Резервное копирование из внешнего источника данных в AWS S3 (с использованием конвейера данных)?
Я пытаюсь переместить некоторые файлы журналов, которые находятся на внешнем веб-сервере, в корзину Amazon S3. Это должно происходить каждые 7 дней без ручной активации. Кроме того, я бы хотел, чтобы он был "отказоустойчивым", поэтому, вероятно, было бы лучше, если бы операция копирования выполнялась в облаке Amazon. Я уже читал кое-что о решении AWS Data Pipelining, но не смог найти ничего о том, как заставить его работать с внешним (то есть не размещаемым на Amazon) источником данных, не говоря уже о загрузке файла с веб-сервера и последующей обработке Это. Есть ли у кого-то опыт с подобной проблемой и какие-нибудь советы для меня, с чего начать?
Спасибо!
1 ответ
Я не верю, что какой-либо из существующих компонентов будет делать то, что вы хотите из коробки, но вы всегда можете запустить скрипт как часть конвейера данных. Я использовал его таким образом, чтобы запустить скрипт, который захватывает файлы с внешнего FTP и затем загружает их в корзину S3 каждый час.