Python 2 с Spark 2.0

Как мы создаем сервис Spark для Python 2/ или 3 с помощью Spark 2.0 . Всякий раз, когда я создаю новый сервис и связываю его с ноутбуком Python, его Python 2 с Spark 1.6. Почему я не вижу конфигурацию службы, которую я создаю, как в бесплатной версии Data bricks? Я хочу использовать API SparkSession, представленный в Spark 2.0, для создания вашей переменной сеанса spark, поэтому возникает вопрос.

2 ответа

Вы можете выбрать версию Python и Spark, пока:

а. Создание новой записной книжки в Data Science Experience:

DSX `Project` --> Overview--> `+ add notebooks` --> `Choose the language` (Python2/R/Scala/Python3) and Spark version (1.6/2.0/2.1).

б. Измените ядро ​​существующего ноутбука:

From any running notebook, on the notebook menu choose `Kernel` and then choose the language and Spark version combination of your choice.

Вы не можете видеть конфигурацию службы, которую вы создаете, потому что вы не создаете службу с ее собственной конфигурацией. Экземпляры Apache Spark as a Service в Bluemix и Data Science Experience получают слоты выполнения в общем кластере. Конфигурации этого общего кластера управляются IBM.

Сервер Jupyter Notebook вашего экземпляра имеет спецификации ядра для каждой поддерживаемой комбинации языка и версии Spark. Чтобы переключить ноутбук в другую комбинацию, выберите "Ядро -> Изменить ядро ​​-> (что угодно)". Или выберите язык и версию Spark отдельно при создании блокнота.

Другие вопросы по тегам