Python 2 с Spark 2.0

Question

Python 2 с Spark 2.0

Как мы создаем сервис Spark для Python 2/ или 3 с помощью Spark 2.0 . Всякий раз, когда я создаю новый сервис и связываю его с ноутбуком Python, его Python 2 с Spark 1.6. Почему я не вижу конфигурацию службы, которую я создаю, как в бесплатной версии Data bricks? Я хочу использовать API SparkSession, представленный в Spark 2.0, для создания вашей переменной сеанса spark, поэтому возникает вопрос.

0

data-science-experience

Источник

user6735884 26 авг '17 в 23:58

2 ответа

Другие вопросы по тегам data-science-experience

user4981527 27 авг '17 в 15:27 2017-08-27 15:27 · Answer 1 · 2017-08-27 15:27

Вы можете выбрать версию Python и Spark, пока:

а. Создание новой записной книжки в Data Science Experience:

DSX `Project` --> Overview--> `+ add notebooks` --> `Choose the language` (Python2/R/Scala/Python3) and Spark version (1.6/2.0/2.1).

б. Измените ядро существующего ноутбука:

From any running notebook, on the notebook menu choose `Kernel` and then choose the language and Spark version combination of your choice.

user5629418 28 авг '17 в 05:48 2017-08-28 05:48 · Answer 2 · 2017-08-28 05:48

Вы не можете видеть конфигурацию службы, которую вы создаете, потому что вы не создаете службу с ее собственной конфигурацией. Экземпляры Apache Spark as a Service в Bluemix и Data Science Experience получают слоты выполнения в общем кластере. Конфигурации этого общего кластера управляются IBM.

Сервер Jupyter Notebook вашего экземпляра имеет спецификации ядра для каждой поддерживаемой комбинации языка и версии Spark. Чтобы переключить ноутбук в другую комбинацию, выберите "Ядро -> Изменить ядро -> (что угодно)". Или выберите язык и версию Spark отдельно при создании блокнота.