Zeppelin spark innterpreters выдает java.lang.StackruError через некоторое время

Question

Я использую Zeppelin, чтобы запустить какую-то работу с помощью crontab. jdk8,spark1.6.2,scala2.10 Но в последние дни я обнаружил, что искровой интерпретатор Цеппелина отключался почти каждый день один или несколько раз. А вот и журнал

java.lang.StackruError
at scala.reflect.internal.Types$TypeMap.mapOver(Types.scala:4183)
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4638)
at scala.reflect.internal.Types$TypeMap.mapOver(Types.scala:4197)
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4638)
at scala.reflect.internal.Types$Type.asSeenFrom(Types.scala:754)
at scala.reflect.internal.Types$Type.computeMemberType(Types.scala:788)
at scala.reflect.internal.Symbols$MethodSymbol.typeAsMemberOf(Symbols.scala:2655)
at scala.reflect.internal.Types$Type.memberType(Types.scala:779)
at scala.reflect.internal.Types$class.defineUnderlyingOfSingleType(Types.scala:1534)
at scala.reflect.internal.SymbolTable.defineUnderlyingOfSingleType(SymbolTable.scala:13)
at scala.reflect.internal.Types$SingleType.underlying(Types.scala:1486)
at scala.reflect.internal.Types$SingletonType.widen(Types.scala:1340)
at scala.reflect.internal.Types$AsSeenFromMap.toPrefix$1(Types.scala:4541)
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4556)
at scala.reflect.internal.Types$TypeMap.mapOver(Types.scala:4183)
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4638)
at scala.reflect.internal.Types$TypeMap.mapOver(Types.scala:4197)
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4638)
at scala.reflect.internal.Types$Type.asSeenFrom(Types.scala:754)
at scala.reflect.internal.Types$Type.computeMemberType(Types.scala:788)
at scala.reflect.internal.Symbols$MethodSymbol.typeAsMemberOf(Symbols.scala:2655)
at scala.reflect.internal.Types$Type.memberType(Types.scala:779)
at scala.reflect.internal.Types$class.defineUnderlyingOfSingleType(Types.scala:1534)
at scala.reflect.internal.SymbolTable.defineUnderlyingOfSingleType(SymbolTable.scala:13)
at scala.reflect.internal.Types$SingleType.underlying(Types.scala:1486)
at scala.reflect.internal.Types$SingletonType.widen(Types.scala:1340)
at scala.reflect.internal.Types$AsSeenFromMap.toPrefix$1(Types.scala:4541)
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4556)
at scala.reflect.internal.Types$TypeMap.mapOver(Types.scala:4183)
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4638)
at scala.reflect.internal.Types$TypeMap.mapOver(Types.scala:4197)
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4638)
at scala.reflect.internal.Types$Type.asSeenFrom(Types.scala:754)
at scala.reflect.internal.Types$Type.computeMemberType(Types.scala:788)
at scala.reflect.internal.Symbols$MethodSymbol.typeAsMemberOf(Symbols.scala:2655)
at scala.reflect.internal.Types$Type.memberType(Types.scala:779)
at scala.reflect.internal.Types$class.defineUnderlyingOfSingleType(Types.scala:1534)
at scala.reflect.internal.SymbolTable.defineUnderlyingOfSingleType(SymbolTable.scala:13)
at scala.reflect.internal.Types$SingleType.underlying(Types.scala:1486)
at scala.reflect.internal.Types$SingletonType.widen(Types.scala:1340)
at scala.reflect.internal.Types$AsSeenFromMap.toPrefix$1(Types.scala:4541)
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4556)
at scala.reflect.internal.Types$TypeMap.mapOver(Types.scala:4183)

........

Это был очень очень длинный журнал, кажется, что цикл, я должен настроить ENV, как это

export JAVA_HOME=/home/hadoop/jdk
export MASTER=spark://namenode:7077 
export ZEPPELIN_PORT=10001
export SPARK_HOME=/home/hadoop/spark-1.6.2-bin-hadoop2.6
export SPARK_SUBMIT_OPTIONS="--driver-memory 2g --executor-memory 5g --driver-class-path /home/hadoop/spark-1.6.2-bin-hadoop2.6/extlib/oracle-driver.jar:/home/hadoop/spark-1.6.2-bin-hadoop2.6/extlib/phoenix-4.7.0-HBase-1.1-client-spark.jar:/home/hadoop/spark-1.6.2-bin-hadoop2.6/extlib/spark-csv_2.10-1.3.0.jar:/home/hadoop/zeppelin-0.6.0-bin-all/lib/*:/home/hadoop/zeppelin-0.6.0-bin-all/*::/home/hadoop/zeppelin-0.6.0-bin-all/conf:/home/hadoop/zeppelin-0.6.0-bin-all/interpreter/spark/*::/home/hadoop/zeppelin-0.6.0-bin-all/conf:/home/hadoop/zeppelin-0.6.0-bin-all/conf:/home/hadoop/zeppelin-0.6.0-bin-all/lib/zeppelin-interpreter-0.6.0.jar/home/hadoop/zeppelin-0.6.0-bin-all/interpreter/spark/zeppelin-spark-0.6.0.jar" 
export ZEPPELIN_MEM=-Xmx4096m
export ZEPPELIN_JAVA_OPTS="-Xmx4096m"

Answer 1

Я нашел причину.

Во-первых,zeppelin использует scala 2.10.4, а spark 1.6.2 использует 2.10.6, удалите библиотеку scala в файле zepplin_home/lib и поместите библиотеку scala 2.10.6.

во-вторых, когда-нибудь перезапустите интерпретатор spark, в противном случае все задачи будут выполняться только для единственного приложения spark. По прошествии времени приложение будет закрываться из-за проблем с памятью. Просто добавьте cron noteboot и проверьте "auto-restart интерпретатор на cron". исполнение "на

эта работа отключит старый искровой интерпретатор и запустит новый.