Опции команды Spark-submit --num-executors
У меня есть следующая конфигурация свечи:
1 мастер и 2 рабочих
- Каждый работник имеет 88 ядер, следовательно, общее количество нет. ядер 176
- Каждый работник имеет 502 ГБ памяти, поэтому общий объем доступной памяти составляет 1004 ГБ.
Теперь я хочу запустить 40 исполнителей, чтобы не использовались все ядра.
Я бегу ниже команды для того же.
./spark-submit --class com.sample.Transformation --conf spark.sql.shuffle.partitions=5001 --num-executors=40 --executor-cores=1 --executor-memory=5G --master spark://10.180.181.41:7077 "/MyProject/Transformation-0.0.1-SNAPSHOT.jar" > /MyProject/logs/logs12.txt
Здесь я разделил --num-executors=40 еще 176 исполнителей было создано.
В той же команде, когда я изменился --executor-cores=3 было создано 176/3 = 58 исполнителей и использовано 174 ядра.
Похоже, значение --num-executors не учитывается в команде.
Я хочу понять, почему такое поведение команды и что может быть разрешением для одного и того же.
РЕДАКТИРОВАТЬ:
Я не использую автономный режим здесь.