Описание тега spark-jobserver
NoneSpark-jobserver предоставляет интерфейс RESTful для отправки заданий Apache Spark, jar-файлов и контекстов заданий и управления ими.
0
ответов
Ошибка переполнения стека при запуске искрового задания через сервер заданий
У меня длительный контекст срабатывания через сервер заданий. Пакетные задания запускаются периодически. В некоторых случаях пакетное задание получило исключение со следующей трассировкой стека. В трассировке стека не так много подсказок, чтобы увид…
05 июл '16 в 09:16
1
ответ
Spark Jobserver max-jobs-per-context
Как бы вы определили безопасное максимальное пороговое значение для параметра max-jobs-per-context, который управляет количеством одновременных заданий Spark, запущенных в контексте? Что произойдет, если вы поднимитесь слишком высоко? По умолчанию у…
08 дек '15 в 00:32
1
ответ
Ошибка контекста в кластере искрового сервера заданий
Мы работаем над запуском сервера искровых работ на кластере искр. Для развертывания сервера мы следуем документации по адресу github.com/spark-jobserver/spark-jobserver#deployment. Мы развертываем с помощью запуска ./server_deploy.sh local, Я загруз…
13 май '16 в 11:56
2
ответа
org.apache.spark.sql.AnalysisException: не удается разрешить указанные входные столбцы
exitTotalDF .filter($"accid" === "dc215673-ef22-4d59-0998-455b82000015") .groupBy("exiturl") .agg(first("accid"), first("segment"), $"exiturl", sum("session"), sum("sessionfirst"), first("date")) .orderBy(desc("session")) .take(500) org.apache.spark…
09 май '17 в 16:29
1
ответ
Связь со Spark с помощью Spark JobServer в докере
Я запустил спарк кластер в одиночном режиме. start-master.sh -h 10.0.0.56 start-slave.sh spark://10.0.0.56:7077 Я могу успешно запустить работу, используя lib-core lib для Scala. Я хочу использовать Spark JobServer для управления заданиями. Я запуст…
05 май '16 в 13:39
1
ответ
Многопоточность и динамическое распределение Spark Job Server
У меня были довольно большие ожидания от Spark Job Server, но я обнаружил, что в нем критически не хватает документации. Не могли бы вы ответить на один / все следующие вопросы: Spark Job Server отправляет задания через сеанс Spark? Можно ли запусти…
12 май '17 в 14:47
1
ответ
Основное использование приложений Spark Streaming
Мы создаем систему, состоящую из нескольких приложений Spark Streaming, в каждом из которых есть несколько приемников. Насколько я понял, каждому приемнику нужно свое ядро в кластере. Нам нужно несколько приемников для размещения пиков, но они не …
21 окт '15 в 14:04
1
ответ
Spark-JobServer не может использовать Spark 1.6.2
Я пытаюсь запустить spark-jobserver 0.6.2 с помощью Spark 1.6.2 В настоящее время я делаю вот что: git clone https://github.com/spark-jobserver/spark-jobserver.git git checkout tags / v0.6.2 -f Sbt Job-сервер / пакет В этот момент система падает с э…
25 окт '16 в 13:35
1
ответ
Как обрабатывать соединения кассандры в искровой работе?
Я провожу стресс-тест на своем искровом приложении, в котором используется разъем искровой кассандры, а также драйвер кассандры. В моем приложении я использую драйвер cassandra, чтобы выбрать самое последнее значение из таблицы C*. Это работает норм…
02 июл '15 в 14:18
0
ответов
Искра работы сервера аварии
Я запускаю работу с использованием искрового сервера заданий (занимает +-10 минут). Задание случайным образом завершается сбоем во время его выполнения (примерно 1 раз на 2) со следующим исключением для исполнителя: ОШИБКА 2016-10-13 19:22:58,617 Lo…
13 окт '16 в 17:57
2
ответа
Spark JobServer JDBC-ClassNotFound ошибка
У меня есть: - Hadoop - Spark JobServer - База данных SQL Я создал файл для доступа к моей базе данных SQL из локального экземпляра Spark JobServer. Чтобы сделать это, я сначала должен загрузить свой JDBC-драйвер с помощью этой команды: Class.forNam…
26 янв '16 в 12:24
0
ответов
Примеры SQL-работы spark-jobServer 0.8.x
Я установил Spark-Observer v 0.8.0 со Scala 2.11. Я могу запускать примеры из тестов задания сервера. Однако я не могу найти никаких примеров, связанных с запуском SQL (загрузите какой-нибудь файл / создайте временную таблицу, а затем запустите SQL …
29 дек '17 в 02:11
0
ответов
Как я могу исправить это исключение при запуске spark-job-server?
Я пытаюсь запустить сервер spark-job-server на моей машине с Linux. Я сделал следующее: Установил CDH дистрибутива Cloudera (5.x) и запустил его загруженный spark-job-server из вышеупомянутого GitHub Извлек проект в какую-то папку Установил sbt-0.13…
06 авг '15 в 03:09
1
ответ
Соедините приложение Spark с веб-сервером
Я просто попытаюсь объяснить мой упрощенный вариант использования. Есть: Spark приложение, которое считает слова. Веб-сервер, который обслуживает веб-страницу с формой. Пользователь, который может ввести слово в этой форме и отправить его. Сервер по…
17 июн '16 в 21:18
1
ответ
Ошибка при выполнении задания, которое запрашивает у Cassandra через Spark SQL через Spark Jobserver
Поэтому я пытаюсь запустить задание, которое просто запускает запрос к cassandra с использованием spark-sql, задание отправляется нормально, и задание запускается нормально. Этот код работает, когда он не запускается через сервер заданий spark (при …
15 июн '15 в 15:15
1
ответ
Модель кэша MLlib на SparkJobServer
Может кто-нибудь сказать мне, как я могу сохранить namedObjects в контексте SparkServer? Я знаю, что есть возможность для этого, но я еще не нашел решение. Заранее большое спасибо!
28 янв '16 в 14:42
1
ответ
Spark Job-сервер освобождает память
Я установил спарк-сервер заданий (см. https://github.com/spark-jobserver/spark-jobserver/tree/jobserver-0.6.2-spark-1.6.1) в автономном режиме. Я создал контекст по умолчанию для использования. В настоящее время у меня есть 2 вида работ в этом конте…
15 дек '16 в 12:30
0
ответов
API-документация Spark Job Server
Не удается найти документацию API Spark Job Server Мы пытаемся изучить документацию по остальным API Spark Job Server, и хотя репозиторий github предоставляет некоторые аспекты API, мне было интересно, есть ли страница с запросом и возможными ответа…
11 фев '19 в 17:54
1
ответ
Искровой сервер заданий не запускается на нескольких узлах кластера
Мы установили спарк-сервер заданий, который запускается на спарк-кластере с использованием server_start.sh, однако, как бы мы ни поступали, мы не можем запустить его на нескольких рабочих. Мы можем заставить его работать с несколькими ядрами и больш…
16 май '16 в 16:06
1
ответ
ОШИБКА КОНТЕКСТА INIT при создании контекста sparkSQL с помощью sparkjobserver
Когда я бегу curl -d "" 'localhost:8090/contexts/test-context?num-cpu-cores=4&memory-per-node=512m' он делает sparkContext без проблем, но когда я хочу создать контекст sparkSQL, я получаю сообщение об ошибке, я использовал эту строку, чтобы сде…
26 июн '15 в 16:43