Описание тега azure-data-factory
Фабрика данных Microsoft Azure - это облачная служба, используемая для управляемого вызова (оркестрации) других служб Azure с использованием концепции временных интервалов. Фабрики данных в основном разрабатываются с использованием вручную созданного JSON, что обеспечивает инструмент с инструкциями о том, какие действия выполнять. Фабрика данных Azure V2 все еще находится в стадии предварительной версии, но позволяет упростить интеграцию данных с помощью API, а не только файлов JSON.
0
ответов
Как создать Spark для запуска скрипта Scala в HDInsight?
Я хочу выполнить скрипт Scala, используя HDInsight. Ниже в статье описывается запуск скрипта py, но не упоминается о Scala. Я следовал статье (вместо py-файла, загруженного файла Scala), но Azure DataFactory не удалось выполнить с сообщением об ошиб…
03 май '18 в 11:51
1
ответ
Настройте IP-адрес поиска Azure для подключения к локальной БД.
Я использую Indexer для загрузки данных в Azure Index. Я хочу использовать локальную базу данных для копирования данных в Azure Index. Я не хочу использовать ADF. Здесь я обнаружил, что мне нужно разрешить Azure Search IP подключаться к локальной ба…
09 авг '17 в 06:36
1
ответ
Как контролировать сбои данных в конвейерах фабрики данных Azure?
Время от времени я получаю сообщение об ошибке из-за несовместимых данных в моем исходном наборе данных по сравнению с моим целевым набором данных. Я хотел бы контролировать действие, которое конвейер определяет на основе типов ошибок, может быть, в…
21 апр '17 в 06:22
2
ответа
Обновить поле в SalesForce из Azure DataFactory
Я ищу способ обновления поля в SalesForce из конвейера Azure DataFactory. У меня есть стандартный конвейер копирования с SalesForce на SQL-сервер, затем я выполняю хранимую процедуру для загруженных данных, и после этого мне нужно обновить поля в Sa…
19 июл '18 в 13:40
1
ответ
Подстановочные знаки для входов хранилища озера данных Azure в фабрике данных
Я просматриваю документацию Microsoft по перемещению данных в хранилище озера данных Azure и нахожу следующее о fileName имущество: Имя файла в хранилище озера данных Azure. fileName является необязательным и чувствительным к регистру. Если вы укаже…
16 фев '17 в 23:20
2
ответа
Как загрузить в хранилище данных SQL Azure данные, хранящиеся в формате JSON в BLOB-объектах Azure?
У меня есть куча данных, хранящихся в виде файла JSON в BLOB-объектах Azure. Я хочу загрузить их в хранилище данных SQL Azure, но хранилище данных SQL Azure, похоже, не принимает входные файлы JSON. Каков наилучший подход? Решения, которые я изучил:…
09 дек '15 в 17:29
0
ответов
Извлечение данных подкачки с помощью фабрики данных Azure
Я создал конвейер в фабрике данных Azure V2. Он скопирует данные из Rest API и сохранит их в виде файла JSON в озере данных Azure. Затем я преобразую этот файл JSON с помощью U-SQL и скопирую эти данные в другую папку в формате.csv. Мой Трубопровод.…
02 апр '18 в 20:00
1
ответ
Ошибка копирования на фабрике данных Azure
Я пытаюсь запланировать локальное задание на копирование, содержащее SQL Server. Однако я получаю другой вид ошибки при попытке ввести учетные данные сервера SQL. Type = Microsoft.Data.Mashup.InternalMashupException.Message..sorry, во время оценки п…
03 янв '18 в 17:53
1
ответ
Ошибка при использовании мастера копирования данных
Мы используем мастер копирования данных фабрики данных для переноса данных с сервера базы данных mongo в Azure SQL. При этом для одной из таблиц мы сталкиваемся с проблемой размера буфера данных, поскольку эта конкретная таблица содержит большие тек…
18 апр '17 в 06:49
1
ответ
Azure Data Factory - CSV для Parquet - Изменение расширения файла
Я создал фабрику данных для преобразования файла CSV в формат Parquet, так как мне нужно было сохранить оригинальное имя файла, которое я использую в иерархии "Сохранить иерархию". Преобразование работает нормально, но выходной файл создается с расш…
19 июн '18 в 13:13
1
ответ
Реализация Java SSO через ADFS
Я реализую единый вход в Java-приложение через ADFS. У меня есть только ADFS URL, и его metadata.xml.ADFS использует SAML. Доступа к журналам ADFS у меня нет. Мне нужно реализовать единый вход, чтобы я мог отправлять запросы только с https? Как я мо…
24 ноя '17 в 10:54
1
ответ
Параллелизмы в фабрике копирования данных Azure v2
Мы внедряем решение для достижения такой же функциональности, что и пакеты ssis для копирования данных из одной базы данных в другую (локально для Azure SQL). В SSIS у нас есть возможность настроить параллельную обработку различными способами. Мы та…
02 ноя '17 в 17:17
2
ответа
Как использовать операцию копирования ADF с несколькими строками в источнике?
У меня есть источник, который является массивом JSON, раковина является сервером SQL. Когда я использую сопоставление столбцов и вижу код, я вижу, что сопоставление выполняется с первым элементом массива, поэтому при каждом запуске создается одна за…
30 янв '19 в 14:27
1
ответ
Фабрика данных Azure: использование вывода Rest в операции копирования данных в следующей операции
У меня есть операция копирования данных, которая копирует данные из Rest на SQL Server. Отдых возвращает ответ JSON. Мне нужно иметь другую активность в Интернете после успешного копирования данных. Для этого действия требуются данные из предыдущего…
14 фев '19 в 11:02
5
ответов
Фабрика данных Azure и SharePoint
У меня есть некоторые файлы Excel, хранящиеся в SharePoint онлайн. Я хочу скопировать файлы, хранящиеся в папках SharePoint, в хранилище BLOB-объектов Azure. Для этого я создаю новый конвейер в фабрике данных Azure, используя портал Azure. Каковы во…
25 фев '19 в 15:00
0
ответов
Настройте параметры для шаблонов ARM фабрики данных Azure
У меня есть фабрика данных, которая производит шаблон ARM и имеет соответствующий конвейер CI/CD, связанный с ним, чтобы переместить его в другую среду. У меня проблема в том, что генерируемый им шаблон ARM содержит более 256 параметров, поэтому его…
21 фев '19 в 13:28
3
ответа
Добавить имя файла в виде столбца в место назначения конвейера фабрики данных
Я новичок в DF. Я загружаю кучу CSV-файлов в таблицу, и я хотел бы захватить имя CSV-файла в качестве нового столбца в целевой таблице. Может кто-нибудь помочь, пожалуйста, как я могу этого добиться? заранее спасибо
15 авг '18 в 05:17
1
ответ
Проблема ADFv2 с отображением столбцов (репостинг)
У меня есть исходник.csv с 21 столбцом и таблица назначения с 25 столбцами. Не ВСЕ столбцы в источнике имеют дом в таблице назначения, и не все столбцы в таблице назначения происходят из источника. Я не могу получить задание CopyData, чтобы позволит…
20 дек '18 в 21:22
0
ответов
Выполните задание PySpark с зависимостями с помощью фабрики данных Azure V2
Я хотел бы выполнить задание PySpark с зависимостями (файлы egg или zip) с использованием Data Factory V2. При запуске команды непосредственно в кластере Head Node (HD Insight) в форме метода spark-submit она выглядит следующим образом (и работает):…
27 май '18 в 13:49
2
ответа
Ошибка конечной точки Azure ML 404
Конвейер фабрики данных Azure для обновления обученной модели ML возвращает эту ошибку: HTTP 404. The resource you are looking for (or one of its dependencies) could have been removed, had its name changed, or is temporarily unavailable. Please revi…
18 авг '17 в 09:23