Конвейер данных AWS выполняет запрос красного смещения для каждой строки в файле s3
Я разделил файл (несколько файлов с тем же именем шаблона) в s3. В каждом файле есть несколько строк данных. Я хотел бы выполнить красное смещение для каждой строки из файла при замене параметров из строки файла. Мне нужно сделать это в AWS data pipelint Например, файл
val1,val2,val3
val4,val5,val6
val7,val8,val9
поэтому я хотел бы выполнить
select * from <myTable> where f1 = :val1 and f2 = :val2 and f3 = :val3
select * from <myTable> where f1 = :val4 and f2 = :val5 and f3 = :val6
select * from <myTable> where f1 = :val7 and f2 = :val8 and f3 = :val9
Также мне нужно хранить результаты обратно в S3.
Есть идеи, как мне этого добиться?
Спасибо