Тори на Jupyter для Spark 2.2.0

OS X El Capitan 10.11.6
Spark 2.2.0 (local)
Scala 2.11.8

я использую Jupyter через мою установку anaconda3, Насколько я понимаю, последний производственный выпуск Toree не поддерживает ни Spark 2.0+, ни Scala 11. Однако я нашел несколько ссылок ( 1, 2), где можно клонировать incubator-toree от github и вручную установить версию Spark,

В моем терминале Mac это код, который я использовал:

git clone https://github.com/apache/incubator-toree
cd incubator-toree

Затем линия make clean release APACHE_SPARK_VERSION=2.2.0 дает мне следующую ошибку:

rm -r dist
rm: dist: No such file or directory
make: [clean-dist] Error 1 (ignored)
APACHE_SPARK_VERSION=2.2.0 VERSION=0.2.0.dev1-incubating IS_SNAPSHOT=true sbt clean
/bin/sh: sbt: command not found
make: *** [clean] Error 127

Я ищу руководство по этой ошибке.

1 ответ

Решение

Установите снимки разработчика с помощью следующих команд

pip install https://dist.apache.org/repos/dist/dev/incubator/toree/0.2.0/snapshots/dev1/toree-pip/toree-0.2.0.dev1.tar.gz

Эта версия поддерживает spark-2.2.0

Другие вопросы по тегам