Получите ошибку циклической ссылки от AWS S3. Выберите запрос, используя s3api для подсчета строк в файле в S3.
Я пытаюсь подсчитать количество строк в файле, хранящемся в корзине S3, используя AWS SELECT. В частности, выполнить следующую команду (на основе документации AWS s3api и этого примера Java для запроса count(*)):
aws s3api select-object-content --bucket my_bucket_name --key my_file_name --expression "select count(*) from S3object s" --expression-type SQL --input-serialization CSV={} --output-serialization CSV={}
Вышеуказанное возвращает:
{
"Payload":
Circular reference detected
Несмотря на то, что настройки по умолчанию работают для моего варианта использования, я попытался предоставить дополнительную информацию с CSV={} параметры в командной строке, а также попробовал альтернативный синтаксис JSON '{"CSV":{}}', Всегда получать Circular reference detected ошибка.
Файл существует в корзине; в противном случае вы получите NoSuchKey ошибка. Да, был там, сделал это...:)
Примеры для AWS SELECT либо редки, либо мой Google-fu меня подводит.
Предложения? Альтернативы приветствуются, но они должны быть в сценариях.
0 ответов
Не уверен, что кто-то все еще сталкивается с ошибкой - в моем случае помогло обновление awscli - pip3 install awscli --upgrade