Описание тега azure-data-factory-2

Вопросы с тегом
Служба интеграции облачных данных Microsoft Azure может объединять службы хранения, перемещения и обработки данных в автоматизированные конвейеры данных. Он может подключаться к самым разным источникам, не только из Azure. Его версия 2 включает больше графических инструментов и SDK, что упрощает взаимодействие с пользователем по сравнению с предыдущей версией.
1 ответ

Azure Data Factory v2 не удается отправить данные в Azure Search

Я пытаюсь передать некоторые данные в Azure Search, но по какой-то причине Invalid linked service reference. Name: AzureSearch1 Я настроил связанную службу поиска Azure следующим образом: { "name": "AzureSearch1", "properties": { "type": "AzureSearc…
15 авг '18 в 14:00
0 ответов

Извлечение данных подкачки с помощью фабрики данных Azure

Я создал конвейер в фабрике данных Azure V2. Он скопирует данные из Rest API и сохранит их в виде файла JSON в озере данных Azure. Затем я преобразую этот файл JSON с помощью U-SQL и скопирую эти данные в другую папку в формате.csv. Мой Трубопровод.…
02 апр '18 в 20:00
1 ответ

Копия фабрики данных Azure V2 с хранимой процедурой

Как я могу передать выходные данные из исходного раздела операции копирования в качестве параметра для хранимой процедуры. Хранимая процедура будет использоваться в разделе приемника того же действия копирования. Благодарю вас.
03 окт '18 в 16:09
2 ответа

Как передать маршрут к триггеру http функции Azure (C#) в конвейере фабрики данных?

Мне нужно передать информацию заголовка в функции функции Azure в фабрике данных. Как видно на картинке, заголовок отмечен красным. Мне нужно изменить следующий код, чтобы получить заголовок. Мне также нужно захватить значение заголовка. открытый ст…
08 янв '19 в 03:47
2 ответа

Как использовать операцию копирования ADF с несколькими строками в источнике?

У меня есть источник, который является массивом JSON, раковина является сервером SQL. Когда я использую сопоставление столбцов и вижу код, я вижу, что сопоставление выполняется с первым элементом массива, поэтому при каждом запуске создается одна за…
30 янв '19 в 14:27
1 ответ

Удалите временные файлы из хранилища данных Azure в конвейере Azure DataFactory (предпочтительно USQL)

Мы используем AdLS (хранилище озера данных Azure) в качестве временного хранилища в нашем конвейере ADF (фабрика данных Azure - V2). Каков наилучший способ удалить данные, которые временно хранятся в ADLS? U-SQL поддерживает только DDL, а не DML, по…
24 фев '19 в 11:49
1 ответ

Фабрика данных Azure: использование вывода Rest в операции копирования данных в следующей операции

У меня есть операция копирования данных, которая копирует данные из Rest на SQL Server. Отдых возвращает ответ JSON. Мне нужно иметь другую активность в Интернете после успешного копирования данных. Для этого действия требуются данные из предыдущего…
14 фев '19 в 11:02
1 ответ

Проблема ADFv2 с отображением столбцов (репостинг)

У меня есть исходник.csv с 21 столбцом и таблица назначения с 25 столбцами. Не ВСЕ столбцы в источнике имеют дом в таблице назначения, и не все столбцы в таблице назначения происходят из источника. Я не могу получить задание CopyData, чтобы позволит…
20 дек '18 в 21:22
0 ответов

Выполните задание PySpark с зависимостями с помощью фабрики данных Azure V2

Я хотел бы выполнить задание PySpark с зависимостями (файлы egg или zip) с использованием Data Factory V2. При запуске команды непосредственно в кластере Head Node (HD Insight) в форме метода spark-submit она выглядит следующим образом (и работает):…
27 май '18 в 13:49
2 ответа

Инкрементная синхронизация с Azure Data Factory V2 поддерживает только Sql Server для Azure SQL

Я пытался использовать инкрементную синхронизацию для разработки данных инкрементной синхронизации между MySQL и ссылочной статьей Azure Sql, и при разработке конвейера для нового водяного знака обнаружил, что компонент поиска поддерживает только SQ…
06 мар '18 в 14:18
2 ответа

Копирование фабрики данных Azure из одного DataLake в другой DataLake

Мне нужно построить конвейер, который мог бы копировать из одного DataLake в другой, но пока, просматривая Google, я не смог найти ничего, связанного с этим, может ли кто-нибудь указать мне правильное направление? Большое спасибо.
21 фев '18 в 14:45
2 ответа

ETL с использованием Azure Data Factory v2

Я просто хочу спросить, какой правильный подход и примеры компонентов будут использоваться при выполнении ETL и при использовании Azure Data Factory v2. Будет ли по-прежнему необходимо использовать SSIS или Azure Data Factory сможет обрабатывать все…
20 ноя '18 в 09:04
2 ответа

Вход в Powershell с параметризацией имени пользователя и пароля

В сценарий PowerShell для создания непрерывного развертывания с использованием VSTS мне нужно включить login-azurermaccount и, если да, как я могу параметризовать его для имени пользователя и пароля. Я его погуглил и не смог найти правильного решени…
19 фев '18 в 03:36
1 ответ

Извлечение параметров из ручных триггеров в АПД

USECASE У нас есть локальная установка Hadoop, и мы используем Power BI в качестве инструмента визуализации BI. То, что мы делаем в настоящее время для получения данных о Powerbi, заключается в следующем. Скопируйте данные из локального объекта в BL…
30 апр '18 в 05:22
1 ответ

Проблема с подключением Azure Managed Instance и Data Factory с проверкой подлинности Windows

У меня есть экземпляр Azure SQL Managed и фабрика данных Azure V2. Теперь я хочу получить соединение с проверкой подлинности Windows между базой данных SQL и ADF V2.Я добавил пользователя Active Directory с помощью оператора "CREATE USER ... FROM EX…
22 ноя '18 в 07:34
0 ответов

ADF V2 - параметризация конвейера копирования данных на основе столбца таблицы

С помощью Azure Data Factory V2 через портал https://adf.azure.com/ Я создал конвейер для инкрементного копирования данных из нескольких таблиц из одной базы данных SQL Azure в другую базу данных SQL Azure. Чтобы создать его, я адаптировал следующий…
18 сен '18 в 08:56
1 ответ

Azure Data Factory v2: не удается создать операцию копирования с помощью кода C#

Проблема в том, что моя внутренняя копия из foreach не публикуется в ADF. Я не вижу этой активности в интерфейсе ADF и даже после того, как добавляю ее вручную, я не могу не отлаживать, публиковать и даже просматривать код активности =( Когда я нажи…
03 июл '18 в 09:05
0 ответов

Ошибка при публикации ADFv2

Я внес изменения в конвейер фабрики данных Azure. Выбрал опцию "VSTS Git" и пытался опубликовать изменения, все работало нормально, но теперь стало появляться сообщение об ошибке ниже: Error while publishing: Cannot read property 'constructor' of un…
20 авг '18 в 14:22
2 ответа

Динамические конвейеры Azure Data Factory v2

Итак, у нас есть фабрика с ~400 наборами данных и ~200 конвейерами, и она становится громоздкой. Сосредоточение на копировании из исходного кода SQL в приемник BLOB-объектов. Поскольку мы копируем в BLOB-объект, схема не оказывает влияния. Я хотел б…
30 авг '18 в 12:35
1 ответ

Поиск активности в Azure Data Factory V2

Как использовать Oracle в качестве исходного набора данных при поиске в фабрике данных Azure V2? У меня есть набор данных Oracle 'DS_ORAC'. Я хотел бы взять этот набор данных в качестве исходного набора данных при поиске.
07 апр '18 в 10:47