Описание тега apache-toree
Toree предоставляет приложениям механизм для интерактивного и удаленного доступа к Apache Spark.
1
ответ
Заставить ядро скалы apache-toree добавить зависимость от локального репозитория
В ядре скала apache-toree, %AddDeps магию можно использовать для загрузки зависимостей. Как я могу заставить его использовать локальный репо вместо mavenCentral?
29 сен '17 в 17:39
0
ответов
Ошибка Apache Toree PySpark
Я установил Toree в режиме клиента пряжи. Однако, когда я запускаю работу spark в pyspark, он жаловался, что на рабочем узле модуль pyspark не найден. Кто-нибудь сталкивался с этой проблемой? Спасибо вперед!
08 фев '18 в 18:03
1
ответ
Apache Toree с ноутбуком Анаконды Юпитер
Я хотел бы искать помощь, связанную с ноутбуком Anaconda Jupyter. Я хотел бы написать PySpark и SparkR в блокноте Jupyter, и я следовал интерактивному руководству, в котором рассказывается, как установить Apache Toree вместе с блокнотом Jupyter. Я и…
20 мар '17 в 08:10
1
ответ
Используйте рабочий лист Scala идеи IntelliJ в качестве Scala REPL для Apache Spark
Можно ли использовать рабочий лист Scala в IntelliJ в качестве альтернативы ноутбуку Jupyter? Я следовал упомянутому здесь решению, однако он запускает код локально, а не на удаленном кластере. Моя основная проблема заключается в том, что IntelliJ I…
27 фев '19 в 16:06
1
ответ
java.lang.ClassCastException возникает при преобразовании Spark RDD в Dataframe из текстового файла.
Я использую образ докера "jupyter/all-spark-notebook" и запускаю контейнер Spark с помощью следующей команды: docker run -d -p 8888:8888 -p 4040:4040 -p 4041:4041 --name spark-notebook0 jupyter/all-spark-notebook start-notebook.sh --NotebookApp.toke…
11 авг '17 в 17:06
1
ответ
Ограниченный синтаксис Scala с ядром Apache Toree в Jupyter
OS X El Capitan 10.11.6 Spark 2.2.0 (local) Scala 2.11.8 Apache Toree Jupyter Kernel 0.2.0 Согласно инструкциям, полученным из этого поста, я успешно включил Spark - Scala ядро к моему ноутбуку Jupyter с помощью этого установщика Toree. Однако я зам…
06 ноя '17 в 21:35
0
ответов
Как установить и настроить Apache Toree для ноутбука Jupyter в Windows 10?
Может кто-нибудь помочь мне с установкой и настройкой apache toree для ноутбука jupyter в Windows 10? Я попробовал, но безуспешно. Обнаружена ошибка в следующем. Не удалось запустить ядро Неизвестная ошибка сервера. Traceback (most recent call last)…
19 дек '17 в 18:08
1
ответ
"Задача не сериализуема" пытается разобрать JSON
В то время как import play.api.libs.json._ case class Person(name: String, lovesPandas: Boolean) implicit val personFormat = Json.format[Person] val text = """{"name":"Sparky The Bear", "lovesPandas":true}""" val jsonParse = Json.parse(text) val res…
19 май '16 в 18:18
1
ответ
Редактирование Spark-модуля в Spark-ядре
В настоящее время мы редактируем конкретный модуль в Spark. Мы используем спарк-ядро https://github.com/ibm-et/spark-kernel для запуска всех наших искровых заданий. Итак, мы снова скомпилировали отредактированный код. Это создает файл JAR. Однако мы…
14 мар '16 в 13:44
1
ответ
Запуск jupyter + Apache Toree 0.2.0 с ошибкой генерации ядра spark 2.2 (отсутствует зависимость 'scala объекта в зеркале компилятора')
При попытке запустить Apache Toree 0.2.0 на ноутбуке Jupyter с использованием spark 2.2 и Scala 2.11 выдается следующая ошибка [Windows 10]: (C:\Users\ale3s\Anaconda3) C:\Users\ale3s>jupyter notebook [I 23:20:13.777 NotebookApp] sparkmagic extens…
01 окт '17 в 06:42
1
ответ
Не удается добавить зависимость к Apache Toree при импорте
После добавления зависимости в мой блокнот Jupyter с использованием ядра Apache Toree Scala, например, vegas: %AddDeps org.vegas-viz vegas_2.11 0.3.11 --transitive Затем, когда я пытаюсь импортировать что-то из этого JAR-файла, я получаю длинную тра…
25 сен '17 в 10:51
2
ответа
Работа с Jupyter в Windows и Apache Toree Kernel для совместимости с Spark
Я пытаюсь установить ядро Apache Toree для совместимости с искрой и сталкиваюсь со странным сообщением об окружающей среде. Это процесс, которому я следовал: Установите последнюю версию Anaconda с Jupyter 4.1.0 Запустите: pip install --pre toree В…
14 сен '16 в 08:56
0
ответов
Исключительная ошибка Искры
Я недавно столкнулся с этой ошибкой в Spark (Apache Toree). Я пытаюсь разложить матрицу (примерно 4000 х 1000). Это работало хорошо с меньшими итерациями ( es 10, 15), но с большими итерациями (я только попробовал 50 пока), я получаю это сообщение…
08 авг '16 в 14:13
2
ответа
Не удалось получить доступ к AnyRef в пакете Scala
Я использую Apache Toree (версия от GitHub). Когда я пытаюсь выполнить запрос к таблице postgresql, я получаю периодически возникающие ошибки компилятора scala (когда я запускаю одну и ту же ячейку дважды, ошибки исчезают, и код работает нормально).…
29 авг '17 в 08:09
2
ответа
Запуск Spark + Scala + Jupyter на Dataproc
Мне еще не удалось заставить Спарк, Скалу и Юпитера сотрудничать. У кого-нибудь есть простой рецепт? Какую версию каждого компонента вы использовали?
28 июн '16 в 23:57
0
ответов
Apache Toree - Как связать Spark Kernel Service с клиентским кодом?
Я пытаюсь создать приложение Java/Scala, которое будет отправлять искровой код в удаленный искровой кластер. Я использую Apache Toree, то есть Spark Kernal, чтобы добиться этого. Я успешно подключился и запустил сервис Apache Toree со Spark на YARN.…
04 июл '17 в 07:35
0
ответов
Apache Toree SQL предотвращает усечение столбцов и ограничение строк
Я использую Apache Toree для локального запуска заданий Spark. Трудно использовать магию %%sql. Как, Предотвратить урезание вывода SQL? Предотвратить ограничение числа строк в выводе SQL? Посмотреть доступные опции в %%sql magic command
21 июл '18 в 20:43
0
ответов
Тайм-аут при запуске Apache для ядра Jupyter
Я установил toree с помощью следующей команды в моей системе Ubuntu 16.04: $ pip install --pre toree $ jupyter toree install --interpreters=Scala,PySpark,SQL Затем я проверил список ядра. Я установил ядра успешно: $ jupyter kernelspec list Available…
09 янв '17 в 09:47
0
ответов
Подсветка синтаксиса Python при использовании ядра Pyspark Apache toree
У меня есть Toree Pyspark ядро установлено и работает на новом jupyter ноутбук: я могу бежать python код, но нет подсветки цвета / синтаксиса: Что нужно для включения подсветки? Обновление я сделал некоторое самообразование на kernelspecs и проверил…
18 ноя '18 в 20:16
1
ответ
Ошибка при вызове сюжета init_notebook_mode с Jupyter (Apache Toree PySpark)
Я использую Jupyter (v4.2.1) с Apache Toree - PySpark. Когда я пытаюсь вызвать функцию plot_ init_notebook_mode, я сталкиваюсь со следующей ошибкой: import numpy as np import pandas as pd import plotly.plotly as py import plotly.graph_objs as go fro…
14 дек '16 в 13:58