Описание тега sparkling-water

Описание тега Вопросы с тегом
Sparkling Water объединяет быстрый масштабируемый механизм машинного обучения H2O со Spark.
0 ответов

Производство искрового трубопровода

Использование Sparkling Water/H2o v. 2.3 для прогноза. Я пытаюсь экспортировать модель искрового трубопровода, содержащую модель H2o. Оценка должна быть сделана на платформе на основе Java. Пожалуйста, предложите лучший метод для того же. Я изучал э…
02 май '18 в 04:37
0 ответов

В R, есть ли способ интегрировать модель H2O ML в Sparklyr Pipeline?

То, что я вижу в официальных уроках, это использовать функцию as_h2o_frame в rsparkling преобразовать Spark кадр данных в h2o dataframe. Затем используйте h2o датафрейм как обычно. Интересно, есть ли способ интегрировать h2o алгоритмы (такие как h2o…
06 ноя '18 в 18:31
2 ответа

Как совместить прогнозирование с тестовой рамкой

Задача слияния фрейма предсказания с объектами, содержащими h2oframe, не выполняется методом слияния water.rapids.Merge. Как использовать метод слияния для слияния фрейма предсказания с фреймом объектов и сообщить мне описание параметров этого метод…
23 мар '18 в 11:36
2 ответа

H2o Количество исполнителей не работает

Я запускаю sparkling-shell с помощью следующей команды. ./bin/sparkling-shell --num-executors 4 --executor-memory 4g - мастер пряжи-клиента У меня только два исполнителя. Это проблема H2o, проблема YARN, или проблема Spark? Майк
13 май '16 в 17:44
1 ответ

Тренировка составных ансамблевых моделей H2O с использованием экспортированных моделей Mojo и Binary

Я пытаюсь построить многоуровневые ансамблевые модели с использованием API Java H2O. Для этого я обучил 2 модели Модель GBM Модель DRF Я экспортировал эти модели в формате Mojo и Binary. Для экспорта моделей я использовал следующий фрагмент кода: Дл…
16 авг '18 в 08:29
1 ответ

Модель сериализации в газированной воде H2O.ai

Ребята, вы уже работали с сериализованными моделями в Sparkling Models или экспортируете такие модели, как Spark, для запуска в производство? Как мне это сделать?! Заранее спасибо. Флавио
14 июн '17 в 17:47
2 ответа

Не удается запустить кластер H2O для бэкэнда с газированной водой вручную

Я пытаюсь запустить кластер H2O в качестве внешнего бэкенда для Sparkling Water вручную. Следуя приведенной здесь документации, он говорит, что мне нужно использовать параметр "имя" с расширенным драйвером H2O. Но при этом он говорит, что параметр "…
23 фев '18 в 19:24
2 ответа

LDAP-аутентификация с использованием газированной воды

Нам нужно аутентифицировать пользователя, используя LDAP в газированной воде. Мы попытались настроить то же самое, используя Sparkling-water 1.6.13 и h2O 3.14.0.2. Ниже приведена конфигурация: *ldaploginmodule { org.eclipse.jetty.plus.jaas.spi.LdapL…
25 окт '17 в 05:59
1 ответ

Странные следы при закрытии контекста Sparkling Water

Для воспроизведения используйте простейший пример Python с газированной водой ( https://github.com/h2oai/sparkling-water/blob/rel-2.2/py/examples/scripts/H2OContextInitDemo.py): from pysparkling import * from pyspark.sql import SparkSession import h…
02 ноя '17 в 16:50
0 ответов

Настройка Eclipse с газированной водой

Моя цель - использовать Eclipse для кодирования Sparkling Water на Mac. Я смог установить Java, Scala, Spark 2.2 с установкой Brew, газированную воду в качестве двоичных файлов и активно программировал на ноутбуке Jupyter. Я также смог успешно устан…
05 дек '17 в 12:35
1 ответ

Какие преимущества Sparking Water перед H20 Библиотека машинного обучения

Я понял, что Sparkling Water - это H20, выполняемый в среде Spark, и поэтому он может использовать Spark Engine (и все распределенные структуры Spark) для распределения вычислений, но с точки зрения производительности, которая является преимуществом…
19 дек '17 в 19:48
1 ответ

Ошибка H2O при вызове as.factor на фрейме данных H2O

Когда я называю следующую воспроизводимую doce: install.packages("h2o", type = "source", repos = "http://h2o-release.s3.amazonaws.com/h2o/rel-ueno/8/R") library(rsparkling) library(h2o) library(sparklyr) library(dplyr) library(DBI) library(readr) li…
19 июн '17 в 22:54
2 ответа

Как настроить переменную SPARK_HOME?

Следуя инструкциям Sparkling Water по ссылке http://h2o-release.s3.amazonaws.com/sparkling-water/rel-2.2/0/index.html. Запуск в терминале: ~ / InstallFile / SparklingWater / sparkling-water-2.2.0 $ bin / sparkling-shell --conf "spark.executor.memory…
06 окт '17 в 20:42
2 ответа

Добавление дополнительных данных в каждую строку в H2OFrame

Я работаю с огромным H2OFrame (~150gb, ~200 миллионов строк), которыми мне нужно немного манипулировать. Чтобы быть более конкретным: я должен использовать кадры ip столбец, чтобы найти местоположение / названия городов для каждого IP и добавить эту…
20 сен '17 в 08:30
1 ответ

Невозможно найти класс: org.apache.spark.h2o.package$StringHolder

Я пробую простую капельку https://github.com/h2oai/sparkling-water программа, но я не могу заставить ее успешно работать с помощью spark-submit. Я использовал газированную воду 1.6.4, как в примере кода. spark-submit --jars sparkling-water-assembly-…
06 дек '16 в 23:18
0 ответов

RSparkling: SqlException при доступе metastore_db улья из RSparkling

Я использую RSparkling в локальной системе с Apache Spark 2.0.1. Когда я установил h2o_context(подкожно) Я получаю исключение для разрешения / tmp / hive, которое я установил с помощью winutils.exe. После этого, когда я пытаюсь запустить следующую к…
13 мар '17 в 11:20
1 ответ

Интеграция алгоритма Spark MLLib в H2O ai с использованием газированной воды

Я пытаюсь интегрировать Collaborative алгоритм в Spark MLLib с H2o Ai, используя газированную воду для рекомендации продукта. Я перешел по этой ссылке http://spark.apache.org/docs/latest/mllib-collaborative-filtering.html и обновленный код, как пока…
17 фев '17 в 07:07
0 ответов

Невозможно переименовать имена столбцов спарк таблиц в sparklyr/rsparkling

Получив колено от sparklyr/rsparkling, у меня есть несколько таблиц spark с назойливыми именами столбцов, и я хотел бы переименовать их. Но я не могу этого сделать. library(sparklyr) library(rsparkling) library(dplyr) library(DBI) sc <- spark_con…
02 ноя '17 в 04:41
1 ответ

Непрерывное сообщение "Ошибка ввода-вывода при отправке пакетных байтов UDP: java.net.ConnectException: соединение отклонено" в RSparkling на CDH-5.10.2

Я пытаюсь выполнить этот пример RSparkling на автономном кластере CDH-5.10.2. Моя среда это: Spark 1.6.0; спарклир 0,6,2; H2O 3.10.5.2; rsparkling 0.2.1. Я использую кастрюлю Sparkling Water JAR, которая в основном 1.6.12 с этим PR: options(rsparkli…
07 сен '17 в 17:40
2 ответа

Невозможно увеличить рабочую память выше 2 ГБ в оболочке с газированной водой

При запуске sparkling-shell: bin/sparkling-shell Возникает следующая ошибка: org.apache.spark.SparkException: Asked to launch cluster with 2048 MB RAM / worker but requested 20480 MB/worker Мы установили следующее в spark-env.sh: export SPARK_WORKER…
07 апр '16 в 01:40