Могу ли я иметь мастера и работника на одном узле?
У меня есть автономный кластер с 3 узлами искры, и на главном узле у меня также есть рабочий. Когда я отправляю приложение в кластер, два других работника запускают RUNNING, но рабочий на главном узле остается со статусом LOADING, и в конце концов другой работник запускается на одном из других компьютеров.
Является ли проблема с рабочим и мастером на одном узле? Если да, есть ли способ решить эту проблему, или у меня никогда не должно быть рабочего и мастера на одном узле?
PS Машины имеют по 8 ядер, и рабочие настроены на использование 7, а не всей оперативной памяти.
2 ответа
Можно иметь машину, на которой размещены и рабочие, и мастера.
Возможно ли, что вы неправильно настроили spark-env.sh на этой конкретной машине?
Да, вы можете, вот из веб-документа Spark:
Помимо работы с менеджерами кластеров Mesos или YARN, Spark также предоставляет простой автономный режим развертывания. Вы можете запустить автономный кластер вручную, запустив мастер и рабочих вручную, или использовать предоставленные нами сценарии запуска. Также возможно запустить эти демоны на одном компьютере для тестирования.