Застрял в поиске работоспособного решения, чтобы исправить ошибку pyspark недоступно в ноутбуке Jupyter
Я понимаю, что в Stackru есть похожие посты (подобные этой), но я все еще не смог исправить их, следуя им, вот проблема:
У меня есть Jupyterhub и работает только вчера, и мне нужно иметь возможность создавать Spark Context в записной книжке, когда я выполняю
from pyspark import SparkContext, SparkConf
Мне предлагается следующая ошибка:
ошибка: Traceback ImportError (последний последний вызов) в () ----> 1 из pyspark import SparkContext, SparkConf
ImportError: нет модуля с именем 'pyspark'
Ниже приведена настройка среды здесь:
[hadoopuser@hadoop02 .jupyter]$ cat start_jupyterhub.sh
export SPARK_HOME=/opt/cloudera/parcels/SPARK2
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'
sudo jupyterhub
Что мне здесь не хватает?