Kiba-etl Mutliple Transformation-Multiple Destination

Question

Я пытаюсь провести многократное преобразование, распространяя его по нескольким адресатам. например:

orginal.csv: 
title 
movies1
movies2
movies3
movies4

добавление к.themoviedb и превращается в это

better_movies.csv:
title
movies1=9
movies2=5.5
movies3=7
movies4=8

Снова я хочу преобразовать и передать этот файл в файл s3 rating_movies.csv: movies1=9 movies=8

это должен быть вывод, как я могу сделать это, а затем отправить его в папку s3?

Answer 1

Судя по названию вашего вопроса, неясно, что именно вы спрашиваете, не могли бы вы уточнить?

Если мы представим, что у вас есть исходный файл (CSV), который преобразуется вашими преобразованиями, а затем записывается как целевой файл (снова CSV), который вы хотите отправить на S3, одним из способов будет использование post_process блок, чтобы действовать на целевой файл, как только он будет готов.

Примерно это дало бы:

source CSVSource, file: my_source_file

transform
transform
transform

destination CSVDestination, file: my_target_file

post_process do
  # send your file to s3, by shelling out to `aws s3 cp`
  # (but make sure to check the exit code if you do so!)
  # or by using the AWS ruby SDK
end

Есть, конечно, много других возможностей, таких как добавление нового пункта назначения под первым.

Надеюсь это поможет!