Передача 1 ТБ папок и файлов в AWS S3 с веб-сервера vps
Мне нужно перенести все наши файлы (со структурой папок) на AWS S3. Я много исследовал о том, как это делается.
В большинстве мест упоминается s3fs. Но похоже, что это немного стар И я попытался установить s3fs на свой существующий веб-сервер CentOS 6. Но он застрял на команде $ make. (Да, есть Makefile.in)
И согласно этому ответу AWS S3 Transfer Acceleration является следующим лучшим вариантом. Но все же я должен написать скрипт PHP (мое приложение - PHP) для переноса всех папок и файлов на S3. Он работает так же, как сохранение файла в S3 (API putObject), но быстрее. Пожалуйста, поправьте меня, если я ошибаюсь.
Есть ли другое лучшее решение (я предпочитаю FTP) для передачи файлов размером 1 ТБ с папками с сервера CentOS 6 на AWS S3? Есть ли способ использовать FTP-клиент в EC2 для передачи файлов из вне CentOS 6 в AWS S3?
1 ответ
Использовать aws s3 sync команда интерфейса командной строки AWS (CLI).
Это сохранит вашу структуру каталогов и может быть перезапущено в случае отключения. Каждое выполнение будет копировать только новые, измененные или отсутствующие файлы.
Помните, что 1 ТБ - это много данных, и их копирование может занять значительное время.
Альтернативой является использование AWS Snowball - устройства, которое AWS может отправить вам. Он может содержать 50 ТБ или 80 ТБ данных. Просто скопируйте ваши данные на устройство, затем отправьте их обратно в AWS, и они скопируют данные в Amazon S3.