Можно ли запустить программу SparkR в Spark без установленного интерпретатора R?
Мой вопрос касается возможности запуска программы sparkR в spark без зависимости от R.
Другими словами, могу ли я запустить следующую программу в спарк, если на машине не установлен интерпретатор R?
#set env var
Sys.setenv(SPARK_HOME="/home/fazlann/Downloads/spark-1.5.0-bin-hadoop2.6")
#Tell R where to find sparkR package
.libPaths(c(file.path(Sys.getenv("SPARK_HOME"),"R","lib"), .libPaths()))
#load sparkR into this environment
library(SparkR)
#create the sparkcontext
sc <- sparkR.init(master = "local")
#to work with DataFrames we will need a SQLContext, which can be created from the SparkContext
sqlContext <- sparkRSQL.init(sc)
name <- c("Nimal","Kamal","Ashen","lan","Harin","Vishwa","Malin")
age <- c(23,24,12,25,31,22,43)
child <- c(TRUE,TRUE,FALSE,FALSE,TRUE,FALSE,TRUE)
localdf <- data.frame(name,age,child)
#convert R dataframe into spark DataFrame
sparkdf <- createDataFrame(sqlContext,localdf);
#since we are passing a spark DataFrame into head function, the method gets executed in spark
head(sparkdf)
2 ответа
Нет, ты не можешь. Вам нужно будет установить R, а также необходимые пакеты, иначе ваша машина не будет знать, что ей нужно интерпретировать R.
Не пытайтесь отправить ваш интерпретатор R в приложение, которое вы отправляете, так как приложение uber будет слишком тяжелым для распространения в вашем кластере.
Вам потребуется система управления конфигурацией, которая позволяет вам определять состояние вашей ИТ-инфраструктуры, а затем автоматически вводить правильное состояние.
Нет. SparkR работает, когда процесс R связывается со Spark через rJava. Вам все еще понадобится установить R на вашем компьютере, так же, как вам нужна установленная JVM.