Время запуска кластера Azure в конвейере

Question

У меня есть конвейер, который имеет 10 действий потока данных, и каждое из них использует кластер интеграции по умолчанию AutoResolveIntegrationRuntime.

Когда я запускаю конвейер, запуск кластера занимает около 4 минут для каждого потока данных, что составляет 40 минут для завершения выполнения конвейера. Могу ли я этого избежать? Если да, то как?

Спасибо, Картик

Answer 1

Вам нужно будет либо поместить эти потоки данных на холст конвейера без линий зависимостей, чтобы все они работали параллельно, либо установить TTL в своем Azure IR и использовать тот же Azure IR для каждого действия. Таким образом, каждое последующее действие может использовать теплый бассейн и запуск через 1-2 минуты вместо 4 минут.

Вот объяснение этих различных методов.

А вот как настроить TTL для установки теплого пула для вашей фабрики.