Как создать общий поток данных сопоставления в datafactory, который будет динамически извлекать данные из разных таблиц с разной схемой?

Question

Как создать общий поток данных сопоставления в datafactory, который будет динамически извлекать данные из разных таблиц с разной схемой?

Я пытаюсь создать поток данных сопоставления фабрики данных Azure, который является общим для всех таблиц. Я собираюсь передать имя таблицы, основной столбец для цели соединения и другие столбцы, которые будут использоваться в функциях groupBy и агрегатных функциях, в качестве параметров в DF.параметры в df

Я не могу ссылаться на этот параметр в groupByError: DF-AGG-003 - Groupby должна ссылаться хотя бы на один столбец - MapDrifted1 aggregate() ~> Aggregate1,[486 619]

Кто-нибудь пробовал этот сценарий? Пожалуйста, помогите, если у вас есть какие-то знания об этом или можно ли с этим справиться с помощью скрипта u-sql.

2

azure azure-data-factory azure-data-factory-2 u-sql azure-data-flow

Источник

user7641802 19 дек '19 в 10:46

1 ответ

Другие вопросы по тегам azure azure-data-factory azure-data-factory-2 u-sql azure-data-flow

user7350788 20 дек '19 в 22:02 2019-12-20 22:02 · Answer 1 · 2019-12-20 22:02

Нам нужно сначала найти имя строки вашего параметра из входящих данных источника, чтобы найти метаданные и назначить их.

Просто добавьте производный столбец перед своим агрегатом, и он будет работать. Назовите столбец groupbycol в производном столбце и используйте эту формулу: byName($group1).

В вашем Agg выберите "groupbycol" в качестве столбца groupby.