Режим кластера Spark-submit - NoClassDefFoundError

Question

Я получаю ниже ошибку при отправке работы в режиме кластера. - модель клиента режима развертывания работает нормально

/usr/spark2.0.2/bin/    spark-submit --name hello --master yarn --deploy-mode client --executor-memory 1g --executor-cores 1 --num-executors 1 --class com.first.load.Hello /home/udaychitukula6587/first.load/target/scala-2.10/helloworld_2.10-1.0.jar

Ниже одной ошибки метания:

/usr/spark2.0.2/bin/    spark-submit --name hello --master yarn --deploy-mode cluster --executor-memory 1g --executor-cores 1 --num-executors 1 --class com.first.load.Hello /home/udaychitukula6587/first.load/target/scala-2.10/helloworld_2.10-1.0.jar*

ОШИБКА:

*:: problems summary ::
:::: ERRORS
_ unknown resolver null_
:: USE VERBOSE OR DEBUG MESSAGE LEVEL FOR MORE DETAILS
:: retrieving :: org.apache.spark#spark-submit-parent
_ confs: [default]_
_ 0 artifacts copied, 17 already retrieved (0kB/19ms)_

    Exception in thread “main” java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig
    _ at org.apache.hadoop.yarn.client.api.TimelineClient.createTimelineClient(TimelineClient.java:55)_
    _ at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.createTimelineClient(YarnClientImpl.java:181)_
    _ at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.serviceInit(YarnClientImpl.java:168)_*

эта программа должна напечатать приветственное сообщение

пожалуйста, помогите мне в решении этого

Answer 1

Кажется, вам не хватает клиента-джерси в вашем классе. Загрузите и добавьте его в свой classpath, используя --jars вариант