Описание тега azure-data-flow
Поток данных / поток данных Azure - это один из типов действий внутри фабрики данных Microsoft Azure v2. В основном это используется для преобразования данных.
0
ответов
формирование данных json в приемнике
Как объединить эти два потока в один вывод JSON с использованием фабрики данных / потока данных? У меня два потока данных. Поток 1 (csv): 123,alex,03/18/1985 Поток 2 (csv): 123,blue,new 123,purple,old Желаемый результат: { "Stream1": { "id": 123, "n…
03 дек '19 в 20:09
2
ответа
Использование сопоставления потоков данных для каждого действия конвейера фабрики данных Azure
Сценарий: у меня есть сетевые изменения SQL DB CDC, поступающие в файл csv. В конвейере для каждой строки в файле CSV необходимо проверить наличие обновлений, вставок и удалений, а также внести некоторые изменения в мою базу данных хранилища. Трубоп…
06 май '20 в 00:33
2
ответа
Схема потока данных фабрики данных Azure в формате CSV перемещается в паркет статических столбцов назначения. Является ли это возможным?
Попытка написать поток данных фабрики данных Azure, который обрабатывал бы два похожих CSV-файла с версиями. Файл версии 1 имеет 48 столбцов. В файле версии 2 50 столбцов - те же 48 столбцов, что и в версии 1, но в конце добавлены 2 дополнительных с…
27 янв '20 в 16:48
0
ответов
как объединить данные в поток данных
Я определил 2 потока и пытаюсь к ним присоединиться. Я не могу опубликовать, потому что получаю следующее исключение: Преобразование My Join кажется очень стандартным: В data preview вкладка не работает: Что я делаю неправильно? Как мы объединяем да…
03 окт '19 в 18:25
1
ответ
Несколько потоков данных против всех преобразований в одном
Привет, я новичок в фабрике данных Azure и не все знаком с внутренней обработкой, которая выполняется за кулисами. Мне интересно, влияет ли на производительность параллельное выполнение нескольких потоков данных по сравнению со всеми преобразованиям…
18 окт '19 в 18:00
1
ответ
Как написать условие <= в преобразовании соединения при отображении потока данных
Похоже, я могу только выбрать ==вариант, когда я хочу присоединиться к 2 источникам данных или потоку. Но я хочу добавить<,>,<=,>=состояние, когда я соединяю 2 источника данных. Однако есть способ сделать это, используяCross Join но пере…
26 ноя '19 в 12:39
0
ответов
как передавать данные из конвейера в поток данных
У меня в конвейере есть переменная со следующим содержимым: { "childItems":[{"name":"file10"},{"name":"file12"},{"name":"file31"}] //goes on for about 5000 items } Я могу передать его в свой поток данных в качестве параметра. Как мне присоединиться …
24 дек '19 в 18:35
1
ответ
Поток данных Azure создает множество баз данных в SQL Elastic Pool из одной базы данных.
Я новичок в "Лазурном". Можно ли создать много баз данных в SQL Elastic Pool с помощью фабрики данных Azure (поток данных)? Данный: Таблица Row1 | Значение1 Стр2 | Значение2 После выполнения мне нужно получить две базы данных в конкретном эластичном…
26 дек '19 в 14:11
0
ответов
Отображение потока данных, создающего выходные файлы в корневом каталоге независимо от пути к заданному набору данных
Я пытаюсь разбить файл с данными за месяц на отдельные дневные файлы с помощью потока данных. Я сохраняю имя файла как производный столбец и использую этот столбец как имя файла в настройках приемника, как показано ниже. Имя файла в столбце выглядит…
21 янв '20 в 17:05
1
ответ
Время запуска кластера Azure в конвейере
У меня есть конвейер, который имеет 10 действий потока данных, и каждое из них использует кластер интеграции по умолчанию AutoResolveIntegrationRuntime. Когда я запускаю конвейер, запуск кластера занимает около 4 минут для каждого потока данных, что…
23 апр '20 в 19:36
2
ответа
вызов хранимой процедуры с параметрами потока данных в сценариях SQL до и после обработки потока данных azure mapping
Могу ли я использовать хранимую процедуру SQL для сценариев SQL до и после обработки в узлах приемника. Если да, то как это сделать? Если нет, то каковы альтернативы. Сценарий: вместо использования триггеров БД выполняйте некоторую работу при вставк…
06 май '20 в 22:50
1
ответ
Как создать общий поток данных сопоставления в datafactory, который будет динамически извлекать данные из разных таблиц с разной схемой?
Я пытаюсь создать поток данных сопоставления фабрики данных Azure, который является общим для всех таблиц. Я собираюсь передать имя таблицы, основной столбец для цели соединения и другие столбцы, которые будут использоваться в функциях groupBy и агр…
19 дек '19 в 10:46
1
ответ
Поток данных сопоставления Azure: невозможно использовать набор данных хранилища BLOB-объектов в качестве источника
Я добавил набор данных Azure Blob в качестве источника в поток данных сопоставления Azure, но я не могу просмотреть предварительный просмотр, поскольку он показывает следующую ошибку: Набор данных использует связанный тип службы AzureStorage, которы…
03 янв '20 в 15:03
1
ответ
Фабрика данных Azure - действие потока данных, изменяющее имена файлов
Я выполняю действие потока данных с помощью фабрики данных Azure. Источник данных источника - целевой источник данных Azure bolb - Azure Data Lake Gen 2 Например, У меня есть файл с именем test_123.csv в большом двоичном объекте Azure. Когда я созда…
14 янв '20 в 16:41
1
ответ
Как вывести данные json в виде массива, а не набора объектов в Mapping Dataflow Datafactory?
Я пытаюсь вывести свои данные после преобразований при отображении потока данных в файл json. Но записи заканчиваются как отдельный набор объектов json и не соединяются запятыми, заключенными в массив, как показано ниже: содержимое файла: {k1:v1,k2…
20 янв '20 в 16:58
2
ответа
Поток данных в фабрике данных Azure показывает ошибку проверки без внесения каких-либо изменений
Мы пытались копировать и преобразовывать данные из одной коллекции космоса в другую, используя потоки данных. Мы используем запрос для выбора данных из коллекции, и внезапно фабрика данных показывает ошибку проверки: "Выражение потока данных использ…
22 янв '20 в 13:20
1
ответ
ADF: каталог приемника игнорируется в моем потоке данных
У кого-то возникла проблема с настройкой каталога в наборе данных приемника. Файлы попадают в те места, которые включают только значение файловой системы: https://i.stack.imgur.com/4uQkO.png Таким образом, файлы попадают в /curated, но должны попада…
17 мар '20 в 15:03
1
ответ
Потоки данных ADF не завершаются в режиме отладки
Я создаю конвейеры на фабрике данных Azure, используя действие Mapping Data Flow (Azure SQL DB to Synapse). Конвейеры завершаются в режиме отладки, когда я включаю выборку данных для источников. Когда я отключаю выборку данных и запускаю отладку, я …
31 мар '20 в 03:50
0
ответов
Поток данных Azure - большой двоичный объект Azure - значения NULL и пустые значения
Мой поток данных имеет преобразование SELECT с более чем 100 столбцами. У меня есть преобразование приемника после SELECT, которое сохраняет вывод в файле формата CSV, разделенном конвейером, в контейнере. Проблема в том, что когда я отправляю этот …
21 апр '20 в 00:24
1
ответ
Как вычислить переменную или столбец значений, разделенных запятыми, из нескольких строк одного столбца
Сценарий: поток данных Azure обрабатывает массовые записи из набора данных CSV. для выполнения зависимых заданий в месте назначения sql требовались идентификаторы, разделенные запятыми, из нескольких строк этого csv. Может кто-нибудь помочь, как это…
07 май '20 в 04:04