Zeppelin с livy.sparkr через Livy не работает
Мой livy.pyspark работает отлично, но livy.sparkr не работает с
df<- createDataFrame (верный) [1] "Ошибка в getSparkSession (): SparkSession не инициализирован"
когда я иду в журналы Ливий я вижу
18/12/21 02:37:03 ИНФОРМАЦИЯ LineBufferedStream: stdout: 18/12/21 02:37:03 ИНФОРМАЦИЯ SparkEntries: инициализация контекста Spark завершена за 10741мс 18/12/21 02:37:03 ИНФОРМАЦИЯ LineBufferedStream: stdout: 18 / 12/21 02:37:03 ИНФОРМАЦИЯ SparkEntries: Создан сеанс Spark (с поддержкой Hive). 18/12/21 02:37:06 INFO RSCClient: полученный результат для 3d3491ff-2173-49e8-a09d-b918d1e89d77 18/12/21 02:37:06 INFO InteractiveSession: создан интерактивный сеанс 2 [appid: application_1544485759793_0040, владелец: null, proxyUser: Some(admin), состояние: бездействующий, вид: sparkr, info: {driverLogUrl=null, sparkUiUrl=null}] 18/12/21 02:37:06 INFO LineBufferedStream: stdout: Исключение в потоке "Бэкэнд SparkR" java.lang.ClassCastException: scala.Tuple2 не может быть приведен к java.lang.Integer 18/12/21 02:37:06 ИНФОРМАЦИЯ LineBufferedStream: stdout: at scala.runtime.BoxesRunTime.unboxToInt(BoxesRunTime.java:101) 18/ 21.12 02:37:06 ИНФОРМАЦИЯ LineBufferedStream: stdout: at org.apache.livy.repl.SparkRInterpreter$$anon$1.run(SparkRInterpreter.scala:83)
Как я могу это исправить? Zeppelin 0.7.3 с livy 0.5 на spark 2.2.1 Я пробовал запускать sparkr прямо на кластере, и он работает нормально