Скопируйте амазонку S3 Bucket папки на локальный

Question

У меня есть эта ссылка:

s3://some_path/200_files/*.gz

У меня есть соответствующий идентификатор доступа и секретный ключ. Как скопировать всю папку (200_файлов) ИЛИ все .gz в локальную систему? Ubuntu CLI или решение на основе Python. Я понимаю, что это не самый лучший вопрос, ответы в комментариях будут работать. Спасибо:)

Answer 1

Чтобы скопировать все объекты из корзины S3 на локальный компьютер, просто используйте aws s3 cp команда с --recursive вариант.

Смотрите: http://bigdatums.net/2016/09/04/copy-all-files-in-s3-bucket-to-local-with-aws-cli/

Чтобы установить учетные данные:

mkdir ~/.aws
touch credentials

~ /.aws / учетные данные (пример содержимого)

[default]
aws_access_key_id=AKIAIOSFODNN7EXAMPLE
aws_secret_access_key=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY

Больше настроек здесь