Spark Streaming не запускает рабочий при сбое рабочего
Я пытаюсь настроить спарк-кластер, и я столкнулся с досадной ошибкой... Когда я отправляю спарк-приложение, оно работает на рабочих, пока я его не убью (например, с помощью stop-slave.sh на рабочем узле).). Когда работник убит, спарк попытается перезапустить исполнитель на доступном рабочем узле, но он каждый раз завершается сбоем (я знаю, потому что webUI либо отображает FAILED, либо LAUNCHING для исполнителя, он никогда не завершается).
Кажется, я не могу найти никакой помощи, даже в документации, поэтому кто-то может заверить меня, что spark может и попытается перезапустить работника на доступном узле, если он был убит (на том же узле, где ранее работал работник, или на другой доступный узел, если узел, где он ранее ранжировался, недоступен)?
Вот вывод из рабочего узла:
Spark рабочий ошибка Спасибо за вашу помощь!