Не могу запустить pyspark в Jupyter

У меня Windows 10 и я установил спарк, следуя инструкциям:

https://hernandezpaul.wordpress.com/2016/01/24/apache-spark-installation-on-windows-10/

Теперь я открываю свой блокнот jupyter и набираю следующее:

import os
import sys

# Path for spark source folder
os.environ['SPARK_HOME']="c:\\Spark"

# Append pyspark  to Python Path
sys.path.append("C:\\Spark")
sys.path.append("C:\\Spark\\python")
sys.path.append("C:\\Spark\\python\\lib")
sys.path.append("C:\\Spark\\python\\lib\\py4j-0.9-src.zip")

from pyspark import SparkContext
from pyspark import SparkConf

и кажется, что не может загрузить библиотеку аккумуляторов, так как я получаю следующую ошибку:

--------------------------------------------------------------------------- ImportError                               Traceback (most recent call last) <ipython-input-54-68cce399fff2> in <module>()
     12 sys.path.append("C:\\Spark\\python\\pyspark")
     13 
---> 14 from pyspark import SparkContext
     15 from pyspark import SparkConf
     16 

C:\Spark\python\pyspark\__init__.py in <module>()
     39 
     40 from pyspark.conf import SparkConf
---> 41 from pyspark.context import SparkContext
     42 from pyspark.rdd import RDD
     43 from pyspark.files import SparkFiles

C:\Spark\python\pyspark\context.py in <module>()
     26 from tempfile import NamedTemporaryFile
     27 
---> 28 from pyspark import accumulators
     29 from pyspark.accumulators import Accumulator
     30 from pyspark.broadcast import Broadcast

ImportError: cannot import name accumulators

Вот как выглядит мой sys.path, и я считаю, что это правильные папки:

['',
 'C:\\Anaconda2\\python27.zip',
 'C:\\Anaconda2\\DLLs',
 'C:\\Anaconda2\\lib',
 'C:\\Anaconda2\\lib\\plat-win',
 'C:\\Anaconda2\\lib\\lib-tk',
 'C:\\Anaconda2',
 'c:\\anaconda2\\lib\\site-packages\\sphinx-1.3.5-py2.7.egg',
 'c:\\anaconda2\\lib\\site-packages\\setuptools-20.3-py2.7.egg',
 'C:\\Anaconda2\\lib\\site-packages',
 'C:\\Anaconda2\\lib\\site-packages\\win32',
 'C:\\Anaconda2\\lib\\site-packages\\win32\\lib',
 'C:\\Anaconda2\\lib\\site-packages\\Pythonwin',
 'C:\\Anaconda2\\lib\\site-packages\\IPython\\extensions',
 'C:\\Users\\Manuel\\.ipython',
 'C:\\Spark',
 'C:\\Spark\\python',
 'C:\\Spark\\python\\lib',
 'C:\\Spark\\python\\lib\\py4j-0.9-src.zip',
 'C:\\Spark\\python\\pyspark']

Любая помощь будет высоко ценится.

Спасибо!

Источник

1 ответ

Это было решено путем установки winutils.exe, как описано в

Разрешение Spark 1.6.0 "java.lang.NullPointerException, не найдено

Источник
Другие вопросы по тегам