Исключение CEPH S3 при выводе списка больших двоичных объектов

Question

Я создал ведро S3, поддерживаемое CEPH, и через клиент java S3, и через объектный шлюз S3. Я перечисляю каталог в разбивке на страницы, и случайным образом список не работает несколько раз после перечисления 1100 blobs в пакетах, иногда после перечисления 2000 blobs в пакетах и я не могу понять, как отладить эту проблему, это исключение, которое я получаю, и если вы заметили, что в исключении есть requestId, я думаю, что это основа, я могу фильтровать журналы, но где я могу найти журналы, это вопрос, Я проверил журналы модуля шлюза s3, но я не смог найти там таких журналов, пожалуйста, дайте мне знать, где мне искать то же самое

com.amazonaws.services.s3.model.AmazonS3Exception: null (Service: Amazon S3; Status Code: 500; Error Code: UnknownError; Request ID: tx00000000000000000e7df-005e626049-1146-rook-ceph-store; S3 Extended Request ID: 1146-rook-ceph-store-rook-ceph-store), S3 Extended Request ID: 1146-rook-ceph-store-rook-ceph-store
at com.amazonaws.http.AmazonHttpClient$RequestExecutor.handleErrorResponse(AmazonHttpClient.java:1799)

и это мой код для итерации по каплям, он не разбит на страницы, версия с разбивкой на страницы, обе версии выдают одно и то же исключение после перечисления нескольких сотен капель

  ObjectListing objects = conn.listObjects(bucket.getName());
        do {
            for (S3ObjectSummary objectSummary : objects.getObjectSummaries()) {
                System.out.println(objectSummary.getKey() + "\t" +
                        objectSummary.getSize() + "\t" +
                        StringUtils.fromDate(objectSummary.getLastModified()));
            }
            objects = conn.listNextBatchOfObjects(objects);
        } while (objects.isTruncated());

Так что любые указания по отладке были бы полезны. Спасибо

Answer 1

Попробуйте ListObjectV2.

Возвращает некоторые или все (до 1000) объектов в корзине.

https://docs.aws.amazon.com/AmazonS3/latest/API/API_ListObjectsV2.html