Тори на Jupyter для Spark 2.2.0
OS X El Capitan 10.11.6
Spark 2.2.0 (local)
Scala 2.11.8
я использую Jupyter
через мою установку anaconda3
, Насколько я понимаю, последний производственный выпуск Toree не поддерживает ни Spark 2.0+, ни Scala 11. Однако я нашел несколько ссылок ( 1, 2), где можно клонировать incubator-toree
от github
и вручную установить версию Spark
,
В моем терминале Mac это код, который я использовал:
git clone https://github.com/apache/incubator-toree
cd incubator-toree
Затем линия make clean release APACHE_SPARK_VERSION=2.2.0
дает мне следующую ошибку:
rm -r dist
rm: dist: No such file or directory
make: [clean-dist] Error 1 (ignored)
APACHE_SPARK_VERSION=2.2.0 VERSION=0.2.0.dev1-incubating IS_SNAPSHOT=true sbt clean
/bin/sh: sbt: command not found
make: *** [clean] Error 127
Я ищу руководство по этой ошибке.
1 ответ
Решение
Установите снимки разработчика с помощью следующих команд
pip install https://dist.apache.org/repos/dist/dev/incubator/toree/0.2.0/snapshots/dev1/toree-pip/toree-0.2.0.dev1.tar.gz
Эта версия поддерживает spark-2.2.0