Модель запуска триггера LinearRegression в Flink -> Медленнее, чем Spark?
Я разработал множественную линейную регрессию и Kmeans в Spark и Flink для сравнения их производительности в пакетном режиме (я использую Zeppelin для программирования и выполнения и Ganglia для измерения).
В ответе на этот пост я прочитал, что должен запускать метод train, что я и сделал.
Однако в "Линейной регрессии" Flink занимает 3 минуты 27 секунд (только в триггерной части), а Spark - около 30 секунд (в общем исполнении)... поэтому я думаю, что я делаю что-то не так, потому что это невозможно.
Flinks также медленнее сравнивает алгоритмы K-средних.
Это мой код:
//Read the data
val data: DataSet[org.apache.flink.ml.common.LabeledVector] = MLUtils.readLibSVM(benv, /.../quake_test_I.libsvm")
//Example of data
6.1 1:33.0 2:53.26 3:-161.74
5.8 1:45.0 2:51.34 3:173.44
5.9 1:17.0 2:28.62 3:142.42
5.8 1:28.0 2:52.73 3:171.99
// Create multiple linear regression learner
val mlr = MultipleLinearRegression()
.setIterations(10)
.setStepsize(0.5)
.setConvergenceThreshold(0.001)
//Train the model
val model = mlr.fit(data)
//Tigger its execution
val weights = mlr.weightsOption match {
case Some(weights) => weights.collect()
case None => throw new Exception("Could not calculate the weights.")
Как мне запустить запуск этой модели?
Спасибо за вашу помощь!:)