Использует ли фабрика данных Azure службы каталогов данных?

Question

Я планирую использовать фабрику данных Azure для процесса ETL, и я хотел бы знать, использует ли фабрика данных Azure метамодель, которая записана в каталоге данных. Пожалуйста посоветуй

Answer 1

В настоящее время нет возможности повторно использовать метаданные, хранящиеся в каталоге данных Azure в фабрике данных Azure. Вы можете попытаться повторно использовать некоторые из метаданных, извлекая активы данных через Rest API ( https://docs.microsoft.com/en-us/rest/api/datacatalog/data-catalog-data-asset), но я думаю, что будет быстрее выполнить настройку в фабрике данных Azure. Также имейте в виду, что основное внимание Data Factory уделяет движению и оркестровке. Для преобразований больших данных вы будете использовать, например, действия Databricks, для "классической" интеграции ETL SSIS.