Выборочная установка Spark 2.31 без ambari по проблеме производительности HDP
У меня есть Spark 2.3.1 выборочная установка без ambari на HDP 2.6.2, работающая в кластере. Я сделал все необходимые настройки в соответствии с инструкциями по установке свечей и не ambari.
Теперь, когда я отправляю искровое задание в режиме кластера пряжи, я вижу огромный промежуток в 10-12 минут между заданиями и не вижу ошибок или операций, выполняемых между заданиями. Прикрепленный снимок экрана показывает задержку около 10 минут между заданиями, и это приводит к ненужной задержке при завершении задания Spark. Задание Spark 2.3.1 представлено в режиме кластера пряжи
Я проверил журналы Yarn и пользовательский интерфейс Spark, и я не вижу никаких ошибок или каких-либо операций, зарегистрированных с отметкой времени между заданиями.
Просматривая хронологию событий, я вижу разрыв в 10 + минут между заданиями. Промежуток времени между событиями
Нужна помощь в предоставлении любых указателей, чтобы знать, как решить эту проблему и улучшить производительность работы.
С уважением, Виш