Потоковые прогнозы в Apache Flink

Question

Можно ли делать прогнозы для dataStream в Apache Flink, используя модель, которая уже обучена в пакетном режиме?

Функция предиката из svm нуждается в качестве входного набора данных и не принимает поток данных.

К сожалению, я не могу понять, как я могу заставить его работать с функцией flatpMap/map.

Я тренировал свою SVM-модель следующим образом:

val svm2 = SVM ()
svm2.setSeed (1)
svm2.fit (trainLV)
val testVD = testLV.map (lv => (lv.vector, lv.label))
val evalSet = svm2.evaluate (testVD)

и сохранили модель: val modelSvm = svm2.weightsOption.get

Затем у меня есть входящий поток данных в потоковой среде:
dataStream [(Int, Int, Int)]
который должен быть классифицирован двоично с использованием модели SVM.

Спасибо!

Answer 1

Библиотека ML от Flink на данный момент поддерживает только пакетную обработку. Если вы хотите делать прогнозы, используя DataStream API, вам нужно будет реализовать свой собственный flatMap/map функция, которая берет модель и применяет ее к входящим событиям.