Используя искру для запуска jar в пути hdfs
#!/bin/bash
version=$1
tx_inputdir=$2
td_inputdir=$3
batchdate=$4
datapointdate=$5
outputdir_spark=$6
hadoop fs -get /user/mgupta/jobs/jobs/yoy-growth/$version/spark_jobs_2.11-1.0.jar
spark2-submit --master yarn --num executors 35 --executor-memory 10G --executor-cores 5 --className yoy_growth spark_jobs_2.11-1.0.jar $2 $3 $5 $6
ошибка---------------------
spark.SparkContext: Ошибка инициализации SparkContext. org.apache.hadoop.ipc.RemoteException(java.io.IOException): токен делегирования может быть выдан только с помощью Kerberos или веб-аутентификации.
ОШИБКА util.Utils: необработанное исключение в главном потоке java.lang.NullPointerException