Из pyspark.sql.snappy import SnappyContext - ImportError: Нет модуля с именем snappy

Question

Даже после переустановки pyspark и snappydata каждый раз, когда я пытаюсь импортировать pyspark.sql.snappy, импортировать SnappyContext из кода ниже:

from pyspark.sql.snappy import SnappyContext
from pyspark.storagelevel import StorageLevel
SparkContext._ensure_initialized()

spark = SparkSession.builder.appName("test")  \
                        .master("local[*]") \
                        .config("spark.snappydata.connection", "localhost:1527") \
                        .getOrCreate() 

snappy = SnappySession(spark)
snappy.sql("SELECT col1, min(col2) from TABLE1")

Я получаю ошибку:

Traceback (most recent call last):
  File "testpy.py", line 4, in <module>
    from pyspark.sql.snappy import SnappyContext
ImportError: No module named snappy

Пожалуйста помоги!

Answer 1

Это была известная проблема в последней версии. Это было исправлено в последнем мастере. $SNAPPY_HOME/bin/pyspark ссылается на сценарии python внутри папки $SNAPPY_HOME/pyspark. К сожалению, некоторые изменения сборки перестали копировать сценарии Python SnappyData в папку. Вы можете собрать текущий мастер для работы с pyspark.