Описание тега s3cmd

Описание тега Вопросы с тегом
ВОПРОСЫ S3CMD ДОЛЖНЫ БЫТЬ СВЯЗАНЫ С ПРОГРАММИРОВАНИЕМ. s3cmd - это инструмент командной строки для загрузки, получения и управления данными в Amazon S3. Он лучше всего подходит для опытных пользователей, которые не боятся командной строки. Он также идеально подходит для сценариев, автоматического резервного копирования, запускаемого из cron и т. Д.
0 ответов

Поиск файла "s3cmd ls" по дате изменения

s3cmd ls в ведрах с большим количеством файлов занимает много времени. • Когда я пытаюсь s3cmd ls s3://__bucketName__ - >> Выполнение занимает очень много времени • Когда я пытаюсь s3cmd ls s3://__bucketName__/za* - >> очень быстро выполнить и дать …
08 июл '18 в 20:31
1 ответ

s3cmd, установить низкий уровень детализации

В настоящее время я использую s3cmd для синхронизации резервных копий с наших серверов на amazon s3. Я делаю это, используя cron, подобный следующему: MAILTO=my@email.address 01 03 * * * s3cmd sync /root/backup/backups/ s3://somebucket/ Это всего ли…
13 сен '13 в 09:08
2 ответа

Инструмент s3cmd на сервере Windows с поддержкой прогресса

Как видно из названия, я использую инструмент s3cmd для загрузки / выгрузки файлов на Amazon. Однако я должен использовать Windows Server и вносить какие-то отчеты о прогрессе. Проблема в том, что в Windows s3cmd выдает следующую ошибку: ERROR: Opti…
09 янв '14 в 10:38
1 ответ

S3 Sync Not Writable Предупреждение

Я пытаюсь использовать синхронизацию s3cmd (удаленная локальная команда vanilla), но для каждого файла я получаю not writable: Operation not permitted предупреждение (см. ниже). Однако файлы отображаются для правильной загрузки, и если я ls на файл …
06 апр '16 в 20:50
1 ответ

Невозможно использовать синхронизацию для перемещения объектов в папке в другую папку в том же сегменте с помощью s3cmd

Я пытался переместить все объекты в папке bucketA/product/pic/ до одного уровня в том же ведре bucketA/pic/ Я могу синхронизировать файлы между локальным хостом и сервером s3 с s3cmd sync /script/ s3://bucketA/ а также поставить объект: s3cmd put zi…
07 авг '15 в 11:50
1 ответ

Ошибка Cronjob - s3cmd - Нет такого файла или каталога

Я нахожусь в процессе настройки WordPress/ WooCommerce сайта на AWS с CDN CloudFront, однако я не могу заставить Cronjob подтолкнуть к работе S3. Я использую стандартную bitnami WordPress AMI и установил s3cmd. Используя s3cmd, я смог успешно перене…
22 авг '17 в 19:12
1 ответ

s3cmd обфусцирует имена файлов (меняется на случайное значение) на стороне Amazon S3 (локальное исходное имя файла)

Мой .s3cfg с парольной фразой шифрования GPG и другими настройками безопасности. Вы бы порекомендовали другие меры безопасности? [default] access_key = $USERNAME access_token = add_encoding_exts = add_headers = bucket_location = eu-central-1 ca_cert…
18 июн '16 в 20:57
0 ответов

Почему при загрузке файлов в Digital Ocean Spaces с использованием s3cmd я получаю некорректные сообщения об ошибках и неудачные запросы?

Это команда, которую я использую: s3cmd put * s3://example/store/ --recursive --disable-multipart -v Я загружаю около 300 ГБ данных из капли DO и получаю следующие ошибки: ERROR: Error parsing xml: Malformed error XML returned from remote server.. E…
03 янв '18 в 06:19
1 ответ

Что делает шеф-повар, когда я использую рецепт `s3cmd`?

Я использую Chef и эту поваренную книгу s3cmd. Как говорится в этом уроке, я использую knife скачать и распаковать его. Я на самом деле сделал s3cmd работать, следуя инструкциям учебника, но у меня проблемы с пониманием, где именно установка s3cmd э…
10 сен '14 в 10:12
3 ответа

S3Cmd не работает с S3 Ninja

Я пытаюсь использовать мой локальный s3ninja с s3cmd. Каждая команда, как: s3cmd ls s3://test бросает те же исключения. S3cfg, кажется, в порядке, и вызываемые конечные точки верны. Кто-нибудь смог использовать s3ninja с s3cmd? PS: я знаю, что S3 не…
18 июл '16 в 10:55
1 ответ

Как получить топ 100 файлов в ведре

У меня есть корзина с aws, и я хочу загрузить топ-100 файлов внутри указанной корзины. Я могу получить один конкретный файл, используя s3cmd нравится следующее: s3cmd get s3://bucket_name/file_name.m4a Как получить 100 из них с помощью команды? Есть…
24 фев '19 в 17:53
1 ответ

Можно ли использовать s3cmd для загрузки файла и загрузки на s3 без локального хранения?

Я хотел бы сделать что-то вроде следующего, но это не работает: wget http://www.blob.com/file | s3cmd положить s3://mybucket/file Это возможно?
29 июл '14 в 18:03
2 ответа

Какая версия s3cmd поддерживает роли IAM?

Я использую последнюю версию s3cmd 1.5.2. Согласно этому посту, 1.5.0-alpha2 поддерживает роли IAM, поэтому я предполагаю, что это должно поддерживаться и в 1.5.2. Я добавил "security_token" в файл s3cfg, как упоминалось в этом посте. Но я все еще п…
08 авг '15 в 09:11
1 ответ

s3cmd Amazon s3 только для обновления метаданных

У меня есть несколько ГБ файлов на S3, и мне нужно массово обновить метаданные для всех них. Я знаю, что s3cmd может обновлять метаданные при передаче файла: s3cmd -m text/html --add-header='Content-Encoding: gzip' put [files] s3://... Однако я не х…
20 мар '13 в 21:54
1 ответ

Поиск и подсчет общего количества экземпляров определенного шаблона в корзине s3 без загрузки файла

Мне нужно посчитать количество строк с соответствующими шаблонами в сегментах s3. Я использую команду -: s3cmd ls --recursive s3://mys3.com/bucket1/ | awk '{print $4}' | grep '.lzo' | xargs -I@ s3cmd get @ - | zgrep 'my-pattern-of-interest-1' | zgre…
18 фев '15 в 19:10
2 ответа

Как загрузить, чтобы сжать и загрузить на s3 на лету с s3cmd

Я только что обнаружил, что в моей коробке осталось 5% жесткого диска, и у меня есть почти 250 ГБ файла mysql bin, который я хочу отправить на s3. Мы перешли с mysql на NoSQL и в настоящее время не используем mysql. Однако я бы хотел сохранить стары…
04 окт '14 в 11:57
1 ответ

openstack swift. региональный счет

Это возможно с openstack swift? У меня кластер с 6 узлами в 3 центрах обработки данных (регионах). В одном датацентре у меня огромные диски. Я хочу хранить свои резервные копии только в этом регионе, но все остальные данные должны быть доступны по р…
19 окт '16 в 20:51
2 ответа

Запуск S3cmd из PHP Script не работает

Я хочу использовать s3cmd из моего скрипта PHP. Все работает из оболочки, но не работает из моего сценария PHP. shell_exec('s3cmd --config=/root/s3cmd.conf ls'); это не работает, а затем я дал полный путь к моей установке s3cmd shell_exec('/usr/sbin…
06 фев '13 в 13:21
0 ответов

Исключить подпапку для синхронизации с AmazonS3 с помощью s3cmd

Я использую следующую команду с s3cmd для синхронизации WordPress wp-содержимого папки с S3 /usr/bin/s3cmd sync -r --delete-removed --add-header "Cache-Control:max-age=31536000" /home/USERNAME/public_html/wp-content/ s3://www.mydomainBucketName.com/…
20 июн '18 в 16:03
0 ответов

Использование клиентского шифрования S3Tools и копирования из S3 в Redshift

Я использую S3cmd с флагом -e для шифрования файла. Когда я пытаюсь скопировать файл в Redshift (из S3), я получаю сообщение об ошибке. Я использую мою кодовую фразу, преобразованную в AES256, в качестве основного ключа. copy xxx from 'xxx' access_k…
10 июл '17 в 17:55