Запуск нескольких конвейеров и / или заданий в одном кластере HDinsight в фабрике данных Azure
Каков рекомендуемый способ использования кластера HDInsight для запуска конвейера для пользовательских действий в фабрике данных Azure. Можем ли мы использовать один кластер HDInsght для нескольких заданий фабрики данных Azure и для нескольких конвейеров, работающих одновременно?
1 ответ
Если вы имеете в виду запуск настраиваемого действия.NET с помощью фабрики данных Azure, вы должны выполнить его как действие HDInsight, просто пометив его как настраиваемое действие и связавшись с zip-файлом.NET dll в хранилище больших двоичных объектов. Запуск с Azure Batch также возможен, так как.NET будет работать хорошо, а Azure Batch дешевле (если пользовательская активность является единственной причиной наличия кластера HDInsight).
Вы можете использовать один кластер HDInsight для выполнения нескольких заданий фабрики данных, включая несколько параллельных конвейеров. Однако имейте в виду, что в зависимости от ваших параллельных заданий (количество, размер и т. Д.) И конфигурации вашего кластера вы можете перегружать ресурсы кластера.