Импорт данных файла из S3 в RDS с этапами преобразования
Я начинающий пользователь AWS, и я пытаюсь решить вариант использования, в котором мне нужно импортировать данные из CSV, которые сбрасываются в корзину S3 в RDS.
У меня есть CSV-файл, который будет загружен в корзину S3, оттуда я хочу запустить собственный сценарий Python для запуска с этими данными, этот сценарий будет создавать набор метрик / скоринга по данным. Затем я хотел бы преобразовать эти выходные данные из скрипта Python (для создания нескольких таблиц) и загрузить их в таблицы, чтобы они соответствовали моей схеме базы данных RDS.
Я взглянул на AWS Data Pipeline и AWS Glue, но не совсем уверен, какие сервисы использовать. Любые идеи очень приветствуются.