Мезо и искровой кластер ограничивают задачи мезо двумя
Я хочу запустить приложение spark на кластере mesos. Режим развертывания будет кластерным режимом. В Mesos Web UI я вижу следующее:
Resources
CPUs GPUs Mem Disk
Total 64 0 60.5 GB 68.0 GB
Allocated 6 0 4.5 GB 0 B
Offered 0 0 0 B 0 B
Idle 58 0 56.0 GB 68.0 GB
При запуске моего приложения без дополнительных опций конфигурации, я получаю одного искрового исполнителя с 27 ядрами, выделенными, таким образом, одной задачей Mesos. Если я запустлю это так
spark-submit --conf spark.executor.cores=4 --conf spark.max.cores=26.....
Я ожидаю увидеть 6 исполнителей по 4 ядра каждый, по этой ссылке здесь. Но то, что я получаю, это всегда 2 исполнителя с 4 ядрами в каждом. Перепробовал много комбинаций конфигурации как
spark.executor.cores 2 and spark.max.cores 10 to get 5 executors
но все, что я получил, было 2 исполнителя (Mesos Tasks) с 2 ядрами каждый. Не могли бы вы предоставить некоторую помощь о том, как мне достичь желаемого количества исполнителей в моем кластере Mesos?