Ошибка импорта Pyspark в Python2.7.x

Question

Попытка использовать Pyspark2.0.2-hadoop2.7 приводит к ошибке при использовании с Python2.7.x

Код как:

import os

import sys

os.environ['SPARK_HOME']="C:/Apache/spark-2.0.2-bin-hadoop2.7"

sys.path.append("C:/Apache/spark-2.0.2-bin-hadoop2.7/python")

try:

  from pyspark import SparkContext

  from pyspark import SparkConf

  print("Succesfull")

except ImportError as e:

  print("Cannot import PYspark module", e)

  sys.exit(1)

Когда я запускаю этот код, выдается сообщение "Не удается импортировать модуль PYspark".

Спасибо

Answer 1

Расширьте путь python как для pyspark, так и для py4j, для spark 2.0.2 это будет:

sys.path.append("C:/Apache/spark-2.0.2-bin-hadoop2.7/python/lib/py4j-0.10.3-src.zip")
sys.path.append("C:/Apache/spark-2.0.2-bin-hadoop2.7/python/lib/pyspark.zip")