Учетные данные AWS, необходимые для сегментов Common Crawl S3

Question

Я пытаюсь получить доступ к сегменту S3 новостей Common Crawl, но все время получаю сообщение "Неустранимая ошибка: не удается найти учетные данные". Есть предложения, как это обойти? Насколько мне известно, Common Crawl даже не требует учетных данных?

Answer 1

Из доступного набора данных новостей - Обычное сканирование:

Вы можете получить доступ к данным даже без учетной записи AWS, добавив параметр командной строки --no-sign-request.

Я проверил это, запустив новый инстанс Amazon EC2 (без роли IAM) и выполнив команду:

aws s3 ls s3://commoncrawl/crawl-data/CC-NEWS/

Это дало мне ошибку: Unable to locate credentials

Затем я запустил его с дополнительным параметром:

aws s3 ls s3://commoncrawl/crawl-data/CC-NEWS/ --no-sign-request

Он успешно перечислил каталоги.