Livy: запустить искровое задание в режиме пряжи <работает только в локальном режиме>

Question

Не удается запустить задание Spark в режиме пряжи (кластер или клиент) через Livy, я могу запустить задание Spark с использованием Livy, но задания работают в локальном режиме и не отображаются в диспетчере ресурсов. Я хочу запустить эти задания в режиме кластера пряжи.

Я использую Hortonworks HDP 2.6.1 Hadoop. HDP2.6.1 имеет две версии spark (2.1.1 и spark 1.6.3) и две версии livy (1 и 2).

У нас есть Ambari для просмотра / изменения файлов conf.

Мы внесли изменения в следующие файлы:-

1. /usr/hdp/2.6.1.0-129/etc/livy/conf.dist/conf/livy.conf
2. /usr/hdp/current/livy-server/conf/livy-env.sh
3. /usr/hdp/2.6.1.0-129/spark/conf/spark-defaults.conf

Добавленные ниже свойства в вышеуказанных файлах:-

1. спарк.мастер-пряжа-кластер
2. кластер spark.submit.deployMode

======== данные =========

data = {
  'code': textwrap.dedent("""
    print(sc.applicationId)
    """)
}

======== команда curl =========

curl hdpmaster:8998/sessions/0/statements -X POST -H 'Content-Type: application/json' -d '{"code":"1 + 1"}'

Может кто-нибудь помочь, пожалуйста, в каком файле конфигурации нам нужно внести изменения, чтобы запустить искровое задание в режиме пряжи?

Answer 1

Поскольку вы не можете установить мастер-параметр в своей конфигурации задания, он может принимать то, что установлено в банке, то есть "локально". Проверьте ваш код, может быть, вы жестко закодировали значение