How to initialize a new Spark Context and executors number on YARN from RStudio

Я работаю с SparkR,

I am able to set Spark Context on YARN with desired number of executors а также executor-cores с такой командой:

spark/bin/sparkR --master yarn-client --num-executors 5 --executor-cores 5

Сейчас я пытаюсь инициализировать новый контекст Spark, но из RStudio, с которым удобнее работать, чем с обычной командной строкой.

Я понял, что для этого мне нужно использовать sparkR.init() функция. Есть вариант master который я поставил yarn-client но как уточнить num-executors или же executor-cores? Вот где я сложил

library(SparkR, lib.loc = "spark-1.5.0-bin-hadoop2.4/R/lib")

sc <- sparkR.init(sparkHome = "spark-1.5.0-bin-hadoop2.4/",
                  master = "yarn-client")
Источник

1 ответ

Решение

Обеспечение sparkEnvir аргумент в пользу sparkR.init должно сработать:

sparkEnvir <- list(spark.num.executors='5', spark.executor.cores='5')

sc <- sparkR.init(
    sparkHome = "spark-1.5.0-bin-hadoop2.4/", 
    master = "yarn-client",
    sparkEnvir = sparkEnvir)
Источник
Другие вопросы по тегам