Чтение файла внутри S3 из экземпляра EC2

Question

Я хотел бы использовать AWS Data Pipeline, чтобы запустить экземпляр EC2, а затем запустить скрипт python, который хранится в S3.

Является ли это возможным? Я хотел бы сделать один шаг ETL, используя скрипт Python.

Это лучший способ?

Answer 1

Да, это возможно и относительно просто при использовании Shell Command Activity.

Я полагаю, что из предоставленных вами подробностей покажется, что это наилучший способ - поскольку DataPipeline предоставляет экземпляр EC2 для вас по требованию и впоследствии отключает его.

http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-shellcommandactivity.html

Существует также учебное пособие, которому вы можете следовать, чтобы привыкнуть к ShellCommndActivity of Data Pipeline. http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-template-gettingstartedshell.html

Answer 2

Да, вы можете напрямую загружать и резервировать свои данные в s3

http://awssolution.blogspot.in/2015/10/how-to-backup-share-and-organize-data.html