Описание тега spark-notebook

Вопросы с тегом
Spark Notebook - это веб-приложение, обеспечивающее интерактивный и воспроизводимый анализ данных с помощью Apache Spark из браузера.
2 ответа

Странная ошибка при заполнении объекта мутации накопления 1.6 через spark-notebook

Используя spark-notebook для обновления накопительной таблицы. используя метод, указанный как в документации коду, так и в примере кода. Ниже дословно, что я положил в тетрадь, и ответы: val clientRqrdTble = new ClientOnRequiredTable val bwConfig = …
07 апр '15 в 17:30
1 ответ

Ошибка службы Bluemix: java.net.NoRouteToHostException

Вчера этот код работал нормально. Однако сегодня я получаю следующее сообщение об ошибке: df = sqlContext.read.jdbc( url="jdbc:db2://bluemix05.bluforcloud.com:50001/BLUDB:user=****;password=****;sslConnection=true;", table="GOSALES.BRANCH" ).cache()…
13 ноя '15 в 08:47
0 ответов

В недавно установленном спарк-ноутбуке отсутствует виджет SQL

Я только что установил spark-notebook на некоторые старые ПК, на которых работает тестовый кластер Spark. Я создал блокнот из следующего шаблона: { "Simple" : { "profile" : "standalone", "name" : "Simple Test Spark Cluster", "status" : "stopped", "t…
29 июн '16 в 11:44
1 ответ

Почему Spark Notebook в Hue сообщает об ошибке "Ошибка 504 тайм-аута шлюза"?

Я использую мини-кластер Hadoop 2.2.6 (1 ведущий и 3 подчиненных) с Ambari 2.1.0 и Hue 3.8.1, Ubuntu 12.04. Spark 1.2.1 (с использованием Scala 2.10.3) был установлен как часть установки Ambari. Я установил Livy-Server, чтобы иметь возможность испол…
16 сен '15 в 09:04
3 ответа

Как импортировать библиотеки в Spark Notebook

У меня проблемы с импортом magellan-1.0.4-s_2.11 в искровой тетради. Я скачал банку с https://spark-packages.org/package/harsha2010/magellan и попытался разместить SPARK_HOME/bin/spark-shell --packages harsha2010:magellan:1.0.4-s_2.11 в Start of Cus…
09 мар '17 в 03:41
2 ответа

Искра: Исключение в теме "основной" akka.actor.ActorNotFound:

Я отправляю свои искровые задания с локального ноутбука на удаленный автономный кластер Spark (spark://IP:7077). Он успешно отправлен. Тем не менее, я не получаю никаких выходных данных и через некоторое время происходит сбой. Когда я проверяю работ…
14 янв '16 в 15:10
0 ответов

Инструкция по установке Тахиона в DCOS (Мезосфера)?

У меня есть спарк-ноутбук в DCOS. Тахион является частью экосистемы. Но я не смог найти какие-либо инструкции DCOS по установке Tachyon. Я мог бы установить его с нуля, но, кажется, существует какой-то DCOS-совместимый способ установки / регистрации…
20 май '16 в 00:32
0 ответов

Искра создает только одну работу для нескольких вызовов одной и той же функции

Контекст => Я хочу выполнить одну и ту же функцию с разными параметрами 3 раза. Проблема => тем не менее, я обнаружил, что spark выполняет ТОЛЬКО первую функцию (потому что она создает задания за один раз, а println в func выполняется только один ра…
03 окт '18 в 14:50
1 ответ

Ошибка bluemix pyspark при вызове jdbc

Я использую pySpark в сервисе Spark в Bluemix для преобразования чего-либо в моих данных, а затем записываю это в DashDB, также в Bluemix. Но когда я пытаюсь загрузить данные, я получаю следующую ошибку: Py4JJavaError: Произошла ошибка при вызове o1…
15 сен '16 в 18:46
0 ответов

IllegalArgumentException при запуске Apache Spark Notebook

При попытке запустить spark-notebook.bat я получаю ниже исключение: SLF4J: Actual binding is of type [ch.qos.logback.classic.util.ContextSelectorSta ticBinder] [warn] application - Start local micro tachyon Oops, cannot start the server. java.lang.I…
04 окт '15 в 20:37
1 ответ

Загрузка внешних банок в спарк-ноутбук не удалась

Я пытаюсь подключиться к красному смещению из записной книжки, пока я сделал следующее - Настроенные метаданные для ноутбука "customDeps": [ "com.databricks:spark-redshift_2.10:3.0.0-preview1", "com.databricks:spark-avro_2.11:3.2.0", "com.databricks…
23 авг '17 в 07:04
0 ответов

p.nettyException - Исключение, пойманное в Netty java.lang.NoSuchMethodError:

Я собрал спарк-блокнот из источников и получаю сообщение об ошибке при попытке его запустить. Что-то не так с версией netty. Ну, в спарк-ноутбуках много компонентов. И эти компоненты требуют разных версий netty. Я пытался заставить sbt использовать …
12 июл '16 в 07:45
3 ответа

Не удалось настроить блокнот на ноутбуке, получая сообщение об ошибке no not command и отказано в разрешении

Я пытаюсь запустить на ноутбуке спарк-блокнот, и я выполнил процедуру, описанную в разделе "спаренный блокнот io". Во время этой процедуры я даю команду bin/spark-notebookв терминале, и я получаю Ошибка: разрешение отклонено и когда я использую sudo…
07 июл '16 в 05:32
3 ответа

Как запустить spark-notebook на докере под MacOS X?

Запуск spark-ноутбука с помощью Docker на OSX (через boot2docker), похоже, ничего не дает. Вот вывод pkerp@toc:~/apps/spark-notebook$ docker run -p 9000:9000 andypetrella/spark-notebook:0.1.4-spark-1.2.0-hadoop-1.0.4 Play server process ID is 1 SLF4…
07 фев '15 в 12:05
0 ответов

Zeppelin не работает с внешней искрой - не может получить или обновить прогресс

Я установил Zeppelin 0.6.2 и пытаюсь заставить его работать с внешним искровым кластером (2.0.1). У меня есть настройки переводчика следующим образом: args master 121.201.~~.1~~:8080 spark.app.name Zeppelin spark.cores.max spark.executor.memory zepp…
16 дек '16 в 07:32
4 ответа

Рекурсивный cte в спарк SQL

; WITH Hierarchy as ( select distinct PersonnelNumber , Email , ManagerEmail from dimstage union all select e.PersonnelNumber , e.Email , e.ManagerEmail from dimstage e join Hierarchy as h on e.Email = h.ManagerEmail ) select * from Hierarchy Можете…
28 сен '18 в 20:59
1 ответ

Планировщик для заданий, выполняющих Apache Spark SQL в Bluemix

Я использую Apache Spark в Bluemix. Я хочу реализовать планировщик для заданий sparksql. Я видел эту ссылку на блог, который описывает планирование. Но не ясно, как мне обновить манифест. Может быть, есть какой-то другой способ составить график моей…
11 ноя '15 в 21:58
1 ответ

Сборка искровых тетрадей для окон со сбт

Можно ли собрать ноутбук с Windows? Я проверил последний источник и запустил через 'sbt run', но получил ошибку: workspaces\spark-notebook-master\app\Global.scala:11: object share is not a member of package notebook [error] notebook.share.Tachyon.st…
27 фев '16 в 02:51
2 ответа

Оценка Spark-Notebook

Я оцениваю Spark Notebook и нашел три разных продукта; 1. Hue 3.9 поставляется с ноутбуком Spark (бета) 2. Apache zeppelin 3. andypetrella/spark-notebook. Можете ли вы помочь мне понять плюсы и минусы каждого продукта Спасибо пани
23 сен '15 в 19:37
0 ответов

Спарк-блокнот "Плохая замена" при отправке спарк-задания в пряжу-кластер

Аналогично "Плохая замена" при отправке искрового задания в кластер пряжи Я получаю следующее при отправке работы в кластер пряжи 2016-02-25 19:49:11,029 INFO [Remote-akka.actor.default-dispatcher-4] (org.apache.spark.deploy.yarn.Client) - Applicati…
25 фев '16 в 19:01