Искровой сервер заданий не запускается на нескольких узлах кластера

Question

Мы установили спарк-сервер заданий, который запускается на спарк-кластере с использованием server_start.sh, однако, как бы мы ни поступали, мы не можем запустить его на нескольких рабочих. Мы можем заставить его работать с несколькими ядрами и большим объемом памяти, но не на нескольких узлах.

Команды, которые мы попробовали, следующие:

./server_start.sh --master spark://IP:PORT --deploy-mode cluster --total-executor cores 6
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --total-executor cores 4 --executor-cores 2
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --conf spark.driver.cores=4 --conf spark.driver.memory=7g
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --conf spark.driver.cores=6 --conf spark.driver.memory=7g

Первые две команды были запущены и показали одного работника, использующего одно ядро ​​и 1 ГБ, а третья показывает одного работника, использующего 4 ядра и 7g. Четвертая команда показывает 6 ядер, которые будут использоваться, но состояние ОТПРАВЛЕНО.

Мы убедились, что он работает для запуска и применения на нескольких рабочих, запустив оболочку spark с помощью следующей команды, которая отображается как работающий драйвер с 2 рабочими и 6 ядрами.

./spark-shell --master spark://IP:PORT --total-executor cores 6

Буду признателен за любую помощь.

Answer 1

Spark JobServer на самом деле является искровым драйвером, а не приложением как таковым. Я не могу распределить нагрузку между работниками.