Неравномерное распределение заданий среди искровых исполнителей
Я использую Spark-Streaming 2.2.1 на производстве, и в этом приложении я читаю данные из RabbitMQ и выполняю дальнейшую обработку и, наконец, сохраняю их в кассандре. Итак, я сталкиваюсь с этой странной проблемой, когда количество задач не распределяется равномерно среди исполнителей на одном из узлов. Я возобновил потоковую передачу, но проблема остается.
Как вы можете видеть на 10.10.4.72 У меня есть 2 исполнителя. Работающий на порту 41893 завершил ок. удвоить количество задач на остальных узлах (10.10.3.73 а также 10.10.3.72). где как исполнитель работает на порт 33451 на 10.10.4.72 выполнил только 18 заданий. И эта проблема не исчезнет, даже если я перезапущу свой искровой поток.
Редактировать вопрос После 12 часов, как вы можете видеть на изображении ниже, тот же исполнитель не выполнил ни одной задачи за это время.
