Как вызвать SparkContext и SparkConf в Eclipse с Python
Я настроил среду PySpark в Eclipse IDE. Я смонтировал драйвер Py4J, связал интерпретатор PyDev и настроил каталог PySpark с помощью переменных среды, но я озадачен тем, как создать объект SparkConf для настройки setAppName и setMaster. Я работаю в Mac с Python версии 2.7.10. Также я рассмотрел вопрос переполнения стека отсюда.
Вот код:
from pyspark import SparkConf, SparkContext
sparkConf = (SparkConf()
.setMaster("local")
.setAppName("My app"))
sc = SparkContext(conf = sparkConf)
Когда я отлаживаю строку 3, поднимаю несколько следующих исключений:
Traceback (последний вызов был последним): файл "/Users/admin/Downloads/Eclipse.app/Contents/Eclipse/plugins/org.python.pydev_4.4.0.201510052309/pysrc/pydevd.py", строка 2364, в глобальных значениях = Файл debugger.run(setup['file'], None, None, is_module) "/Users/admin/Downloads/Eclipse.app/Contents/Eclipse/plugins/org.python.pydev_4.4.0.201510052309/pysrc/pydevd. py ", строка 1784, в запуске pydev_imports.execfile(файл, глобальные переменные, локальные) # выполнить файл сценария"/Users/admin/Documents/workspace/parsingData/visual_data/src/WordCounts.py", строка 27, в sc = Файл SparkContext(conf = SparkConf()) "/Users/admin/Downloads/spark-1.5.1/python/pyspark/conf.py", строка 104, в файле инициализации SparkContext._ensure_initialized() "/Users/admin/Downloads/spark-1.5.1/python/pyspark/context.py", строка 234, в _ensure_initialized SparkContext._gateway = файл шлюза или launch_gateway()"/Users/admin/Downloads/spark-1.5.1/python/pyspark/java_gateway.py", строка 76, в launch_gateway proc = Popen(команда, stdin=PIPE, preexec_fn=preexec_func, env=env) Файл "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/subprocess.py", строка 710, в файле init errread, errwrite) "" /Library/Frameworks/Python.framework/ Версии / 2.7 / lib / python2.7 / subprocess.py ", строка 1335, в _execute_child повышения child_exception OSError: [Errno 2] Нет такого файла или каталога
Заранее спасибо.