zeppelin with spark 1.5.2 ошибка автономного кластера

Question

Я загрузил двоичный файл Zeppelin 0.5.5 в экземпляр Redhat 6.3. Я также успешно построил спарк 1.5.2. Теперь я хотел бы, чтобы zeppelin использовал эту версию искры вместо предварительно скомпилированной версии, которая поставляется с zeppelin.

Для этого я отредактировал conf/ так, чтобы он содержал только эту строку без комментариев:

export SPARK_HOME=/home/eron/spark-1.5.2/

Я также отредактировал графический интерфейс zeppelin, так что теперь у меня есть Master set:

master = spark://master:7077

Затем я нажал "перезагрузить" и попытался снова пройти учебник:

val bankText = sc.textFile("/mnt/zeppelin-0.5.5-incubating-bin-all/bank.csv")

org.apache.thrift.transport.TTransportException в org.apache.thrift.transport.TIOStreamTransport.read(TIOStreamTransport.java:132) в org.apache.thrift.transport.TTransport.readAll(TTransport.java:86) в org.apache.thrift.protocol.TBinaryProtocol.readAll(TBinaryProtocol.java:429) в org.apache.thrift.protocol.TBinaryProtocol.readI32(TBinaryProtocol.java:318) в org.apache.thrift.protocol.TBinaryProtocol.readMessageBegin(TB.java:219) в org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:69) в org.apache.zeppelin.interpreter.thrift.RemoteInterpreterService$Client.recv_interpret(RemoteInterpreterService.javazapache.apache.apache. atache. atz.apache.apache.apache) at220).interpreter.thrift.RemoteInterpreterService$Client.interpret(RemoteInterpreterService.java:205) в org.apache.zeppelin.interpreter.remote.RemoteInterpreter.interpret(RemoteInterpreter.java:211) в org.apache.prep (LazyOpenInterpreter.java:93) в org.apache.zeppelin.notebook.Paragraph.jobRun(Paragraph.java:207) в org.apache.zeppelin.scheduler.Job.run(Job.java:170) в org.apache.zeppelin.scheduler.RemoteScheduler$JobRunner.run(RemoteScheduler.java:304) в Java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) в java.util.concurrent.FutureTask.run(FutureTask.java:262) в java.util.concurrent.ScheduledThreadPoolExecutor$ (ScheduledFutureTecolOpt). Java:178) в java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:292) в java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecec.tur.jav.run (ThreadPoolExecutor.java:615) в java.lang.Thread.run(Thread.java:745)

Кроме того, просто делаю

sc

выходы:

java.net.ConnectException: соединение отклонено в java.net.PlainSocketImpl.socketConnect (собственный метод) в java.net.AbstractPlainSocketImpl.doConnect (AbstractPlainSocketImpl.java:339) в java.net.AbstractPlainSocketImpl.connectToAjj в java.net.AbstractPlainSocketImpl.connect (AbstractPlainSocketImpl.java:182) в java.net.SocksSocketImpl.connect (SocksSocketImpl.java:392) в java.net.Socket.connect (Socket.java:579) в org.ap. thrift.transport.TSocket.open (TSocket.java:182) в org.apache.zeppelin.interpreter.remote.ClientFactory.create (ClientFactory.java:51) в org.apache.zeppelin.interpreter.remote.ClientFactory.create (ClientFactory.java:37) по адресу org.apache.commons.pool2.BasePooledObjectFactory.makeObject (BasePooledObjectFactory.java:60) по адресу org.apache.commons.pool2.impl.GenericObjectPool.create (GenericObjectPool.jap.jol.java.java: org..commons.pool2.impl.GenericObjectPool.borrowObject (GenericObjectPool.java:435) в org.apache.commons.pool2.impl.Gener icObjectPool.borrowObject (GenericObjectPool.java:363) в org.apache.zeppelin.interpreter.remote.RemoteInterpreterProcess.getClient (RemoteInterpreterProcess.java:139) в org.apache.zeppelin.interpreterInterter.reterterter: 192) в org.apache.zeppelin.interpreter.LazyOpenInterpreter.interpret (LazyOpenInterpreter.java:93) в org.apache.zeppelin.notebook.Paragraph.jobRun (Paragraph.java:207) в org.apache.zeppelinJhe.run (Job.java:170) в org.apache.zeppelin.scheduler.RemoteScheduler$JobRunner.run(RemoteScheduler.java:304) в java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) в java.util.concurrent..java: 292) в java.util.concurrent.ThreadPoolExecutor.runWorker (поток PoolExecutor.java:1145) в java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) в java.lang.Thread.run(Thread.java:745) заняло 0 секунд.

Есть идеи, что я делаю не так?

Answer 1

Версия Zeppelin 0.5.5 не будет работать с любой версией Apache spark выше 1.5.0, поэтому вам нужно будет загрузить Zeppelin 0.6.0 с github и перекомпилировать его с помощью команды "mvn clean package -Pspark-1.5 -DskipTests" Zeppelin 0.5.5 сборок Spark 1.4 по умолчанию.