Число узлов в пакетном пуле Azure при запуске исполняемого файла из фабрики данных Azure

Question

У нас есть конвейер ADF, который запускает 3 других конвейера, которые запускают тот же исполняемый файл, используя тот же пакетный пул Azure. Большую часть времени исполняемый файл выполняется успешно. Однако в некоторых случаях конвейер зависает до запуска исполняемого файла.

Обратите внимание, что все 3 конвейера используют один и тот же пакетный пул Azure.

• Исполняемый файл не имеет параллелизма, так что количество узлов имеет значение? Должно ли быть хотя бы 3 узла?

• Есть ли проблема с конвейерами, использующими один и тот же пакетный пул Azure? Должны ли они использовать разные пулы?

Спасибо

Мехмет

Answer 1

Я мог бы попытаться ответить на 2 вопроса от моих Batch шляпа: (Надеюсь, это дает вам идею внести некоторую отладку для более глубокой идентификации)

• Исполняемый файл не имеет никакого параллелизма, поэтому имеет ли значение количество узлов? Должно быть хотя бы 3 узла?

  • Нет, количество узлов не ограничивает какую-либо концепцию параллелизма в Batch. AFAIK, и я не уверен, откуда упоминаются 3 узла, но так ли это, что с 3 узлами у вас работает ваш сценарий?
  • ErrorHandling: пока концептуальный код хорошо управляется, если есть какое-либо исключение изBatchException или FailureInfowith in BatchErrors будет отправлено пользователю. например https://docs.microsoft.com/en-us/azure/batch/batch-task-fail-event или https://docs.microsoft.com/en-us/rest/api/batchservice/batch-status-and-error-codes
  • С узлов всегда можно получить журналы обслуживания: https://docs.microsoft.com/en-us/rest/api/batchservice/computenode/uploadbatchservicelogs
  • В каком состоянии находится узел, когда ваша параллельная задача зависает?

• Есть ли проблема с конвейерами, использующими один и тот же пул пакетной службы Azure? Должны ли они использовать разные пулы?

  • Нет, AFAIK. Я бы рекомендовал подробно описать ваш сценарий, если вы видите что-то конкретное.

Поскольку его кодовый узел пытается запустить, я бы рекомендовал установить точку отладки и проверить журнал службы, чтобы определить поведение запуска пользовательского кода.

Спасибо,