Использование сопоставления потоков данных для каждого действия конвейера фабрики данных Azure

Question

Сценарий: у меня есть сетевые изменения SQL DB CDC, поступающие в файл csv. В конвейере для каждой строки в файле CSV необходимо проверить наличие обновлений, вставок и удалений, а также внести некоторые изменения в мою базу данных хранилища.

Трубопровод:

отображение потока данных:

Проблема:

Как использовать item() из foreach в потоке данных и получить эту запись из файла csv и обработать. Я не вижу поля / опции на исходном этапе потока данных.

Answer 1

Во-первых, вы можете добавить параметр в поток данных:

Затем вне потока данных щелкните поток данных, установите параметр потока данных с помощью выражения конвейера:

Затем вы можете установить Foreach item() в качестве параметра потока данных:

Теперь вы можете использовать item() из foreach в потоке данных и получить эту запись из файла csv и обработать.

Надеюсь это поможет.

Answer 2

Здесь нет необходимости использовать ForEach. Поток данных может считывать каждую строку из исходного файла CDC, и вы можете применить соответствующую операцию вставки, обновления, слияния и удаления в качестве политик в преобразовании Alter Row.