Существует ли пример реализации задания Kiba ETL, использующего корзину s3 с файлами csv в качестве источника и место назначения также в корзине s3?

Question

У меня есть CSV-файл в S3, и я хотел преобразовать некоторые столбцы и поместить результат в другой контейнер S3, а иногда и в тот же контейнер, но с другой папкой. Могу ли я достичь этого с помощью Kiba? Я возможно.. мне нужно хранить данные CSV в базе данных, прежде чем преобразование и другие вещи?

Answer 1

Спасибо за использование Kiba! На сегодняшний день нет такого примера реализации. В будущем я предоставлю компоненты S3, поддерживаемые поставщиком, как часть Kiba Pro.

Тем не менее, то, что вы имеете в виду, определенно возможно (я сделал это для некоторых клиентов) - и определенно нет необходимости сначала сохранять данные CSV в базе данных.

Что вам нужно сделать, это реализовать источник и назначение Kiba S3, который сделает это за вас.

Я рекомендую вам ознакомиться с AWS Ruby SDK и, в частности, с примерами S3.

Следующие ссылки будут особенно полезны:

• https://docs.aws.amazon.com/sdk-for-ruby/v3/developer-guide/s3-example-get-bucket-items.html для получения списка элементов корзины.
• https://docs.aws.amazon.com/sdk-for-ruby/v3/developer-guide/s3-example-get-bucket-item.html чтобы загрузить файл локально перед его обработкой.
• https://docs.aws.amazon.com/sdk-for-ruby/v3/developer-guide/s3-example-upload-bucket-item.html для загрузки файла обратно на S3

Надеюсь это поможет!