Почему ядра spark executor не равны активным задачам в веб-интерфейсе spark spark

Question

Я использую экономичный сервер Spark 2.3 для Ad-hoc Sql запросов. Мои параметры искры установлены как показано ниже в файле spark-defaults.conf:

spark.executor.memory 24G
spark.executor.cores 40
spark.executor.instances 3

Однако, когда я проверял интерфейс искрового веб-интерфейса, сердечники искры не были равны активным задачам, как показано на рисунке:

Как активные номера задач могут быть больше, чем выделенные ядра? Есть идеи? Спасибо!

Answer 1

Я видел то же самое. Я не уверен на 100%, но я считаю, что это условие гонки между пулом потоков Задачи на исполнителе и кодом отчетности метрик.

Если вы нажмете на дамп потока, вы увидите правильное количество потоков. Однако, если вы попробуете это 50 раз (с небольшой удачей), вы увидите, что дополнительный поток задач просто находится в состоянии TIMED_WAITING.