Описание тега flinkml
FlinkML - это библиотека машинного обучения для распределенного потокового движка Apache Flink.
1
ответ
Flink MultipleLinearRegression fit принимает 3 параметра
Я следую примеру https://ci.apache.org/projects/flink/flink-docs-release-1.0/apis/batch/libs/ml/multiple_linear_regression.html но в этом примере для функции соответствия требуется только один параметр, но в моем коде подходят три параметра, mlr.fit…
06 апр '16 в 09:35
1
ответ
Flink: ОШИБКА разбора формата числового значения
Я пытаюсь разработать модель K-средних во Flink (Scala), используя Zeppelin. Это часть моего простого кода: //Reading data val mapped : DataSet[Vector] = data.map {x => DenseVector (x._1,x._2) } //Create algorithm val knn = KNN() .setK(3) .setBlo…
03 июн '17 в 11:08
1
ответ
Существует ли учебник по машинному обучению Apache Flink на языке Java?
Я нахожусь в поиске учебника, который скажет нам настроить базовое машинное обучение Apache Flink. Текущий доступный материал на языке скала.
18 май '17 в 06:11
1
ответ
Прогнозирование потоковой передачи в реальном времени во Flink с использованием scala
Версия Flink: 1.2.0Версия Scala: 2.11.8 Я хочу использовать DataStream для прогнозирования, используя модель в Flink, используя Scala. У меня есть DataStream[String] на пороге, использующий scala, который содержит данные в формате json из источника …
03 май '17 в 11:55
1
ответ
Извлечение весов из множественной линейной регрессии FlinkML
Я использую пример множественной линейной регрессии для Flink (0.10-SNAPSHOT). Я не могу понять, как извлечь веса (например, наклон и перехват, бета0-бета1, как вы хотите их называть). Я не супер опытный в Скале, это, наверное, половина моей проблем…
07 окт '15 в 19:07
1
ответ
Flink SVM 90% ошибочная классификация
Я пытаюсь сделать некоторую двоичную классификацию с реализацией flink-ml svm. Когда я оценил классификацию, я получил ~85% ошибок в наборе обучающих данных. Я построил трехмерные данные, и выглядело так, как будто вы можете довольно хорошо разделит…
01 дек '17 в 16:33
1
ответ
Потоковые прогнозы в Apache Flink
Можно ли делать прогнозы для dataStream в Apache Flink, используя модель, которая уже обучена в пакетном режиме? Функция предиката из svm нуждается в качестве входного набора данных и не принимает поток данных. К сожалению, я не могу понять, как я м…
19 июл '18 в 15:59
1
ответ
Мгновенная множественная линейная регрессия: есть ли у нее прогноз?
Я обучил модели множественной регрессии, и теперь я хочу использовать ее для прогнозирования. Читая документы, я понимаю, что вход - это помеченный вектор, а выход - набор данных с кортежем [InputValue, PredictValue], верно? Я создаю свой помеченный…
02 июн '17 в 10:00
1
ответ
OutOfBoundsException с ALS - Flink MLlib
Я делаю систему рекомендаций для фильмов, используя наборы данных MovieLens, доступные здесь: http://grouplens.org/datasets/movielens/ Чтобы вычислить эту систему рекомендаций, я использую библиотеку ML Flink в Scala и, в частности, алгоритм ALS (or…
19 июн '15 в 13:27
0
ответов
Модель запуска триггера LinearRegression в Flink -> Медленнее, чем Spark?
Я разработал множественную линейную регрессию и Kmeans в Spark и Flink для сравнения их производительности в пакетном режиме (я использую Zeppelin для программирования и выполнения и Ganglia для измерения). В ответе на этот пост я прочитал, что долж…
04 июн '17 в 12:04
2
ответа
Ошибка с Flink 0.10.1
С flink 0.10.1 в локальной сети я не могу соединиться с jobmanager из-за следующей ошибки: Association with remote system [akka.tcp://flink@127.0.0.1:49789] has failed, address is now gated for [5000] ms. Reason is: [scala.Option; local class incomp…
30 дек '15 в 18:59
1
ответ
Используя окно Flink и функцию сгиба, элемент отсутствует?
Когда я пытаюсь агрегировать элементы, используя функцию окна и сворачивания, некоторые из элементов упускаются из-за агрегации. Расходные элементы от Кафки (value:0, value:1, value:2, value:3) и объединяя их в нечетные и четные значения. Выход: {ev…
18 окт '17 в 12:15
1
ответ
FlinkML: объединение наборов данных LabeledVector не работает
В настоящее время я пытаюсь объединить два DataSets (часть API flink 0.10-SNAPSHOT). Оба DataSet имеют одинаковую форму: predictions: 6.932018685453303E155 DenseVector(0.0, 1.4, 1437.0) org: 2.0 DenseVector(0.0, 1.4, 1437.0) general form: LabeledVec…
13 авг '15 в 11:44
0
ответов
Накопить результат в мгновение ока
Я пытаюсь узнать некоторые веса для линейного онлайн-классификатора, используя Flink. Итак, у меня изначально вектор весов инициализирован до нуля. Для каждого нового экземпляра я хочу обновить этот вес. Я читал код для Flink GradientDescent и Multi…
20 июл '18 в 15:38
2
ответа
FlinkMLTools NoClassDef при запуске jar, созданной с помощью Maven
Я работаю над системой рекомендаций, используя Apache Flink. Реализация работает, когда я тестирую ее в IntelliJ, но я бы хотел сейчас перейти на кластер. Я также собрал jar-файл и протестировал его локально, чтобы увидеть, все ли работает, но я сто…
15 июл '15 в 19:27
0
ответов
Flink DataSet MongoDB Парсинг
В настоящее время я создаю рекомендательный движок, используя flink. Я использую MongoDB в качестве источника для DataSets, используя HadoopInputFormat, Я получил это работает, и Flink теперь может получить данные из MongoDB и поместить их в DataSet…
03 янв '18 в 05:54
2
ответа
FlinkML 0.10.1 Множественная линейная регрессия с разреженными векторами для обучения
Все, Я пытаюсь протестировать Flink ML 0.10.1, выполняя линейную регрессию, как описано здесь: https://ci.apache.org/projects/flink/flink-docs-master/libs/ml/multiple_linear_regression.html Я использую SparseVectors вместо DenseVector, но столкнулся…
03 фев '16 в 19:28
0
ответов
Стохастический отбор Apache Flink для потока данных
Я пытаюсь использовать модель StochasticOutlierSelection пакета Apache Flink ML. Я не могу понять, как использовать его с Kafka в качестве источника данных, я понимаю, что для этого нужен DataSet, а не DataStream, но я, похоже, не могу открыть окно …
12 мар '18 в 15:18
1
ответ
apache-flink операция KMeans в несортированной группировке
У меня есть Flink DataSet (чтение из файла), который содержит показания датчиков от разных датчиков. Я использую метод flinks groupBy(), чтобы организовать данные как UnsortedGrouping для каждого датчика. Затем я хотел бы запустить алгоритм KMeans д…
01 фев '17 в 14:46
0
ответов
Flink ML - java.lang.ClassNotFoundException: org.apache.flink.ml.math.DenseVector
При отправке задания в мой кластер Flink 1.8.1 происходит сбой со следующим исключением: java.lang.ClassNotFoundException: org.apache.flink.ml.math.DenseVector Тем не менее, упомянутый класс, кажется, находится в моей банке в соответствии с: jar -tf…
13 авг '19 в 17:40