Перенос 2 ТБ изображений из Rackspace в Amazon s3

Question

У нас было требование переместить 2 ТБ изображений с сервера Rackspace в корзину Amazon S3, чтобы объединить их с другими веб-службами Amazon (AWS), которые мы использовали в проекте. Есть ли сервис AWS для переноса этой группы файлов? Меня не интересуют сторонние сервисы миграции CLOUD. Пожалуйста помоги.

Answer 1

Я бы увидел 3 разных сервиса для вашего случая использования

1. S3 ускорение передачи

Вы можете использовать ускорение перевода, это было объявлено в апреле прошлого года. Я не мог проверить это (мы перенесли 1 ТБ файлов дампа оракула в прошлом ноябре)

Как уже упоминалось

Он работает, передавая трафик HTTP и HTTPS через высокооптимизированный сетевой мост, который проходит между ближайшим к вашим клиентам пограничным местоположением AWS и корзиной Amazon S3. Не требуется управлять серверами шлюзов, открывать брандмауэры, нет специальных протоколов или клиентов, с которыми можно интегрироваться, или вносить предоплату. Вы просто изменяете конечную точку S3, которую ваше приложение использует для передачи данных, и ускорение применяется автоматически. При перемещении ГБ или ТБ данных на большие расстояния это может сэкономить часы (или даже дни) во времени передачи

Хорошо, что вам не нужно ничего менять в своей инфраструктуре, чтобы она работала.

Еще одна хорошая вещь: если AWS обнаружит, что TA не улучшит вашу скорость загрузки, она не будет взимать плату со страницы цен

Каждый раз, когда вы используете Transfer Acceleration для загрузки объекта, мы будем проверять, будет ли Transfer Acceleration быстрее, чем обычная передача Amazon S3. Если мы решим, что ускорение переноса вряд ли будет быстрее, чем обычная передача Amazon S3 того же объекта в тот же регион назначения AWS, мы не будем взимать плату за использование ускорения переноса для этой передачи и можем обойти систему ускорения переноса. для этой загрузки.

2. AWS Direct Connect

В зависимости от того, где расположены ваши хост-серверы, вы можете включить прямое подключение

AWS Direct Connect позволяет легко установить выделенное сетевое соединение из вашего помещения в AWS. Используя AWS Direct Connect, вы можете установить частную связь между AWS и вашим центром обработки данных, офисом или средой совместной работы, что во многих случаях может снизить ваши сетевые затраты, увеличить пропускную способность и обеспечить более согласованную работу сети, чем интернет-соединения.

Вам необходимо проверить, является ли центр обработки данных, в котором расположены ваши серверы, частью списка или рядом, если подключение вашего сервера к месту прямого подключения занимает слишком много времени, никаких преимуществ не будет

3. снежный шар

Если у вас есть копия ваших файлов локально или вы можете подключить устройство Snowball. Если у вас действительно нет медленного соединения с вашим сервером, я бы не рекомендовал это только для 2 ТБ: было бы быстрее загрузить 2 ТБ данных из backspace в S3 использование S3 Transfer Acceleration и, скорее всего, более экономически выгодно, чем пересылка снежного кома назад и вперед между AWS и стойкой. Снежок, как правило, используется, если у вас есть петабайты данных или действительно медленное соединение