Как я могу запустить Pyspark в интерактивном режиме в Jupyter, используя режим YARN-client?

Question

Теперь мне удалось запустить Pyspark в Jupyter в локальном режиме вторым способом, упомянутым в этом блоге. Вот код:

import findspark
findspark.init()
from pyspark import SparkContext
sc = SparkContext("local", "First App")

Я хочу запустить его в интерактивном режиме в режиме YARN-клиента, как я могу это сделать? Давайте пойдем дальше, как работать в разных режимах, например, в режиме egstandalone и в режиме YARN-кластера.

Answer 1

По документам:

Мастер URL принимает yarn параметр, основанный на переменной HADOOP_CONF_DIR или YARN_CONF_DIR

Так что я могу просто использовать: sc = SparkContext("yarn-client", "First App")