Задание приема Informatica BDE выполняется в течение 10+ часов, а после уничтожения и повторного запуска - в течение 3 часов.

Question

о моем профиле - я делаю поддержку L3 для некоторых заданий приема информации BDE, которые выполняются в нашем кластере. наша цель - помочь командам приложений встретиться с SLA. Мы поддерживаем потоки заданий, которые выполняются поверх слоя hadoop (куст)

Постановка проблемы. Мы наблюдали, что в некоторые дни задания по обработке информации BDE выполняются мучительно медленно, а в другие дни они завершают свой цикл за 3 часа. если работа занимает так много времени, мы обычно убиваем и перезапускаем, что нам помогает. но это не помогает нам устранить причину.

Ограничения нашего профиля - К сожалению, у меня нет кода приложения или инструмента informatica, но я должен подключиться к команде разработчиков и задать соответствующие вопросы, чтобы мы могли сузить основную причину.

Следующие шаги -

• Можете ли вы поделиться несколькими сценариями, которые могут вызвать эту задержку.
• Какие инструменты я могу использовать, чтобы проверить, что может быть причиной задержки.
• Несколько возможных вопросов, которые я могу задать команде разработчиков:
  1. правильно ли проанализированы таблицы перед запуском потока заданий.
  2. есть ли существенное изменение в объеме данных (это маловероятно, так как задание выполняется быстро при повторном запуске)

Любые указатели, чтобы помочь подойти к этому вопросу будут оценены. Я знаю, что это очень широкий вопрос, и он просит помощи в подходе, а не в решении какой-либо конкретной проблемы, но это только начало, чтобы помочь решить эту проблему навсегда или подходить к ней рационально.

Answer 1

Вам нужно проверить журналы Informatica, чтобы увидеть, не висит ли он на одном шаге каждый раз.

Предполагая, что это не так, вы запускаете задания в одно и то же время каждый день... скажем, полночь, и обычно она завершается к 3 часам утра... но иногда она длится до 10 утра, где вы убиваете и перезапускаете?

Если это так, я предлагаю вам оценить активность носителя при минимальной загрузке, в течение 3 часов быстрого запуска и в течение 10 часов загрузки. Есть ли разница в спросе?

Это звучит как раздор, но это вызывает конфликт. Процесс может ждать вечно, а не возобновлять, когда требуемый ресурс доступен. Поговорите с администраторами баз данных.