Можно ли запустить программу SparkR в Spark без установленного интерпретатора R?

Мой вопрос касается возможности запуска программы sparkR в spark без зависимости от R.

Другими словами, могу ли я запустить следующую программу в спарк, если на машине не установлен интерпретатор R?

#set env var
Sys.setenv(SPARK_HOME="/home/fazlann/Downloads/spark-1.5.0-bin-hadoop2.6")
#Tell R where to find sparkR package 
.libPaths(c(file.path(Sys.getenv("SPARK_HOME"),"R","lib"), .libPaths()))

#load sparkR into this environment
library(SparkR)

#create the sparkcontext 
sc <- sparkR.init(master = "local")

#to work with DataFrames we will need a SQLContext, which can be created from the SparkContext
sqlContext <- sparkRSQL.init(sc)

name <- c("Nimal","Kamal","Ashen","lan","Harin","Vishwa","Malin")
age <- c(23,24,12,25,31,22,43)
child <- c(TRUE,TRUE,FALSE,FALSE,TRUE,FALSE,TRUE)

localdf <- data.frame(name,age,child)

#convert R dataframe into spark DataFrame
sparkdf <- createDataFrame(sqlContext,localdf);

#since we are passing a spark DataFrame into head function, the method gets executed in spark
head(sparkdf)

2 ответа

Нет, ты не можешь. Вам нужно будет установить R, а также необходимые пакеты, иначе ваша машина не будет знать, что ей нужно интерпретировать R.

Не пытайтесь отправить ваш интерпретатор R в приложение, которое вы отправляете, так как приложение uber будет слишком тяжелым для распространения в вашем кластере.

Вам потребуется система управления конфигурацией, которая позволяет вам определять состояние вашей ИТ-инфраструктуры, а затем автоматически вводить правильное состояние.

Нет. SparkR работает, когда процесс R связывается со Spark через rJava. Вам все еще понадобится установить R на вашем компьютере, так же, как вам нужна установленная JVM.

Другие вопросы по тегам