Создавать и сохранять новый файл в хранилище BLOB-объектов при каждом запуске конвейера

Question

Можно ли создать файл CSV в хранилище BLOB-объектов для каждого запуска конвейера в фабрике данных Azure с настраиваемым именем?

Каждый csv должен иметь дату запуска (которую я могу легко установить с помощью переменной) в своем имени, поскольку в нем есть данные, связанные с этой датой.

Я понятия не имею, как это сделать, поскольку свойство приемника в действии "Копировать" позволяет выбирать уже созданный "набор данных приемника", но не создавать новый при каждом запуске конвейера.

Answer 1

Я понятия не имею, как это сделать, поскольку свойство приемника в действии "Копировать" позволяет выбирать уже созданный "набор данных приемника", но не создавать новый при каждом запуске конвейера.

Да, набор данных источника и приемника должен быть точным. Вы не можете установить набор данных динамического приемника при выполнении операции копирования.

Согласно вашему описанию, вы хотите регистрировать дату выполнения каждого конвейера ADF в разных файлах отдельно. Насколько мне известно, прямого варианта для этого нет. Предоставьте ниже возможное обходное решение для вашей справки:

Включите журналы диагностики с помощью своей учетной записи ADF и установите место хранения (хранилище BLOB-объектов) для файлов журнала. Вы можете просмотреть свойства в этом файле журнала:pipelineName ,start,end.

Используйте триггер BLOB-объектов Azure для получения всех данных из файла и создавайте файлы отдельно, если хотите, в другой путь к хранилищу BLOB-объектов с кодом.