aws s3 sync vs rclone vs что-то еще?

Question

Мне нужно загрузить свои дополнительные резервные копии ~250 tb к моему ведру aws s3.

• Средний вес файла ~ 1 gb
• Также много файлов ~ 30 mb

Какой инструмент лучше использовать для этой задачи?

Answer 1

Вы можете использовать S3CMD для копирования данных на S3 с локального компьютера или любого сервера с терминальным доступом.

В Ubuntu

      $ sudo apt-get install s3cmd

Установите последнюю версию s3cmd, используя источник

      $ wget https://sourceforge.net/projects/s3tools/files/s3cmd/2.2.0/s3cmd-2.2.0.tar.gz

$ tar xzf s3cmd-2.2.0.tar.gz

Чтобы установить s3cmd

      $ cd s3cmd-2.2.0 
$ sudo python setup.py install

настроить s3cmd, используя ключ доступа и секретный ключ, сгенерированные из учетных данных AWS.

      $ s3cmd --configure 

Полный список S3 Bucket

      $ s3cmd ls 

Создание корзины S3

      $ s3cmd mb s3://bucket_name

Загрузить файл в Bucket

      $ s3cmd put file.txt s3://bucket_name/

Загрузите полный каталог в S3 Bucket

      $ s3cmd put -r backups s3://bucket_name/

Загрузите полный каталог в корзину S3, содержащую папку

      $ s3cmd put -r backups s3://bucket_name/folder_name/

Автоматически загружать резервные копии в s3 с помощью cronjob

Создать крон-задание

      $ crontab -e

добавьте ниже cmd и сохраните файл

      0 1 * * * s3cmd put -r backups s3://bucket_name/folder_name/backups_$(date +"%F %T")