Пример задания Oozie работает из Hue, но не из командной строки: SparkMain not found

Question

Я успешно запустил пример рабочего процесса Spark ("Скопировать файл, запустив Java-программу Spark"), предоставленный в редакторе рабочего процесса Hue Oozie (в виртуальной машине Cloudera 5.5.1 QuickStart).

Я сейчас пытаюсь запустить его вручную, используя oozie инструмент командной строки:

oozie job -oozie http://localhost:11000/oozie -config job.properties -run

XML рабочего процесса в основном не изменился - я скопировал его в HDFS и имею следующее job.properties:

nameNode=hdfs://localhost:8020
jobTracker=localhost:8032
oozie.wf.application.path=/user/cloudera/workflows/spark-scala/spark-scala.xml
input=/user/hue/oozie/workspaces/data/sonnets.txt
output=here

Задание принято и отображается на веб-панели управления Hue, но через несколько секунд оно прекращается, и в отчетах журнала:

Исключение средства запуска: java.lang.ClassNotFoundException: класс org.apache.oozie.action.hadoop.SparkMain не найден

В чем здесь проблема?

Answer 1

Oozie не включает библиотеки для действия Spark, по умолчанию - вам нужно добавить следующее в job.properties:

oozie.use.system.libpath=true

(Нажав на ранее успешный рабочий процесс Hue в Hue Dashboard, вы можете выбрать вкладку Configuration, чтобы увидеть свойства, предоставленные Hue)