Потоки данных ADF не завершаются в режиме отладки
Я создаю конвейеры на фабрике данных Azure, используя действие Mapping Data Flow (Azure SQL DB to Synapse). Конвейеры завершаются в режиме отладки, когда я включаю выборку данных для источников. Когда я отключаю выборку данных и запускаю отладку, я не продвигаюсь в конвейере. т.е. ни одно из преобразований не завершено (желтая точка)
Чтобы улучшить это, следует ли мне увеличить размер пакета из источника / приемника (как определить размер пакета), увеличить количество разделов (как определить хорошее количество разделов)
1 ответ
Какой размер вычислительного кластера Spark вы установили в среде выполнения интеграции Azure в свойствах потока данных. Начните с создания Azure IR с достаточным количеством ядер, чтобы предоставить оперативную память для вашего процесса. Затем вы можете настроить разделы и размеры пакетов. Большая часть уроков в этой области представлена в этом руководстве по производительности потока данных ADF.