Описание тега livy
Apache Livy - это сервис, который обеспечивает простое взаимодействие с кластером Spark через интерфейс REST.
0
ответов
Не удалось создать сеанс Spark на сервере оттенков
Я пытаюсь создать сеанс спарка с сервера оттенков, который был настроен с сервером livy для связи с искрой с поддержкой Kerberos. Я получаю приведенную ниже ошибку при попытке запустить сеанс spark scala с помощью редактора запросов. Но я могу отпра…
23 апр '18 в 10:33
2
ответа
Ошибка запроса завитка Ливия для Kerberos Cloudera Hadoop
Сконфигурированный сервер livy на Kerberized CDH 5.10.x и нормально работающий на порту 8998, но запрос curl дает ошибку ниже, curl --negotiate -u: http://xxxxxxx:8998/sessions Ошибка 403 ОШИБКА HTTP: 403 Проблема доступа / сессий. Причина: GSSExcep…
03 дек '18 в 20:20
1
ответ
livy - сервер ограничивает количество заданий
Я ищу какую-то конфигурацию, чтобы ограничить мой сервер livy не более чем X ядрами или количеством заданий, я видел, что кто-то уже спрашивал об этом в вопросах Jira ( https://issues.cloudera.org/browse/LIVY-74), и ему ответили, что Yarn это делает…
21 май '17 в 08:39
2
ответа
Zeppelin, Livy, могу ли я получить proxyUser
Я пытаюсь получить идентификатор пользователя, используемый для входа в Zeppelin, в моем скрипте scala (%livy). Я попытался выполнить поиск в Интернете и заметил, что есть свойство с именем "proxyUser". Однако я не могу понять, как получить это свой…
24 сен '18 в 07:10
0
ответов
Не удалось успешно отправить работу через Livy в режиме кластера
У меня есть следующее, но я не могу успешно отправить работу через Livy в режиме кластера. вот мои настройки искровым defaults.conf spark.master yarn livy.conf livy.spark.master=yarn livy.spark.deploy-mode = cluster livy.server.recovery.mode = recov…
21 мар '18 в 10:36
0
ответов
Безопасная настройка Livy, HDFS и Kerberos с клиентским сервером
Следующая настройка: Сервер приложений, имеющий собственное управление пользователями, размещенный для доступа к общедоступному Интернету. Живой, доступный только для сервера приложений Проверка подлинности Kerberos для Livy. Единственными принципал…
02 авг '18 в 10:56
1
ответ
Как я могу добавить банку в контекст работающей искры?
Чтобы уточнить, я использую livy для создания сеанса spark, а затем отправляю свои задания клиенту livy, который запускает их в том же сеансе spark. Теперь, если мне нужно добавить новую банку в качестве зависимости в одном из заданий, есть ли спосо…
15 май '18 в 11:37
1
ответ
Как собрать клиент Livy на Windows?
Я хочу написать Java-приложение для Windows, которое использует Java API Livy для связи с сервером Apache Livy, который размещен удаленно. Документы говорят: Добавьте зависимость клиента Livy к POM вашего приложения: <dependency> <groupId&g…
02 авг '17 в 14:43
0
ответов
Ливий терпит неудачу, когда работа передается в режиме кластера пряжи
У меня есть локальный сервер livy, который подключается к удаленному кластеру пряжи для выполнения искровых заданий. Я получаю сообщение об ошибке ниже, когда я загружаю свою банку из программного приложения Livy Job. Похоже, что правильный обработч…
22 сен '17 в 23:36
0
ответов
Использовать существующий SparkSession в POST/ пакетном запросе
Я пытаюсь использовать Livy удаленно отправить несколько Spark рабочие места. Допустим, я хочу выполнить следующее spark-submit задание удаленно (со всеми опциями как таковыми) spark-submit \ --class com.company.drivers.JumboBatchPipelineDriver \ --…
08 авг '18 в 12:04
1
ответ
Matplotlib не работает при использовании интерпретатора Apache Livy на Zeppelin
Я не могу использовать matplotlib с Apache Livy 0.5 на Zeppelin 0.8. Параграф не отображает сюжет. Пожалуйста, проверьте образец кода ниже: %livy.pyspark import matplotlib.pyplot as plt plt.plot([1, 2, 3]) Я получаю следующий вывод [<matplotlib.l…
14 авг '18 в 10:56
2
ответа
Чтение файла, созданного в HDFS с Livy
Я использую Livy для запуска примера wordcount, создавая файл jar, который работает отлично, и записывая вывод в HDFS. Теперь я хочу вернуть результат на мою HTML-страницу. Я использую Spark Scala, SBT, HDFS и Livy. API REST GET / batch отображает т…
03 июл '18 в 04:56
2
ответа
Как выполнить упакованную в jar программу scala через Apache Livy на Spark, которая отвечает результатом непосредственно на запрос клиента?
Я намерен добиться, чтобы программа Scala Spark (в jar) получала сообщение POST от клиента, например, curl, принимала некоторые значения аргументов, выполняла некоторую обработку Spark и затем возвращала значение результата вызывающему клиенту. Из д…
05 янв '19 в 21:43
0
ответов
В чем разница между livy.rsc.jars и livy.repl.jars?
Я работаю над ноутбуками Jupyter, использующими ядро sparkmagic (spark-scala), которое использует Apache Livy для запуска искровых заданий. В настоящее время я пытаюсь понять варианты создания сеансов с предоставленными пользователем зависимостями…
22 янв '19 в 19:04
0
ответов
Логи Apache Livy не собираются на S3 в EMR
Может кто-нибудь мне помочь? Как только вы инициируете отправку через Livy на EMR, приложения stderr отправляются на S3, где EMR объединяет журнал. Но фактический стандартный вывод Livy не идет на S3 логи хранятся livy-livy-server.out
27 фев '19 в 04:36
0
ответов
Zeppelin с livy.sparkr через Livy не работает
Мой livy.pyspark работает отлично, но livy.sparkr не работает с df<- createDataFrame (верный) [1] "Ошибка в getSparkSession (): SparkSession не инициализирован" когда я иду в журналы Ливий я вижу 18/12/21 02:37:03 ИНФОРМАЦИЯ LineBufferedStream: stdo…
21 дек '18 в 02:44
0
ответов
Как уменьшить время разворота Ливия
В моем приложении я отправляю работу spark через livy и возвращаю результат, каждый раз загружая файл jar в кластер, но проблема в том, что для возврата результатов требуется 20 секунд. Можно ли как-нибудь сократить время, затрачиваемое сервером liv…
20 фев '19 в 13:36
0
ответов
Сбой интерпретатора Zeppelin livy.sparkr с многострочным скриптом
В моем интерпретаторе zeppelin (0.7.3) livy2.sparkr скрипты, которые не могли работать более чем на 1 строку. Тогда я попробовал это в R: > parse(text="hello<-function(name){\r\n sprintf(\"Hello %s\", name);}") Ошибка при разборе (text = "hell…
14 дек '17 в 07:25
1
ответ
REST API для Apache Spark
У меня есть файл.py, который содержит машинное обучение с использованием Apache Spark с использованием mongodb, и я хочу связать результаты моего кода с приложением для Android. Это способ сделать это с помощью REST API, я слышал о tenorflow и livy!
26 мар '18 в 14:03
1
ответ
Сервер livy отправляет jar каждый раз, когда отправляется пакетное задание
При отправке пакетного задания Apache Spark с использованием сервера Livy он загружает файл jar (содержащий приложение) каждый раз, т. Е. Для каждой отправки пакетного задания. Кажется, это увеличивает время отправки задания. Есть способ отослать пр…
12 май '17 в 10:06