Как создать обработку данных SPARK/Flink Stream в виде микросервиса (REST API)
Я создаю приложение потоковой аналитики с использованием Spark, Flink & Kafka. Каждая аналитика / функциональность будет реализована как микросервис, так что эту аналитику можно будет позже использовать в другом проекте.
Я отлично выполняю свою работу Spark/Flink в приложении Simple Scala и отправляю эту работу через кластер Spark & Flink соответственно. Но я должен запустить / запустить эту работу, когда REST POST startJob() вызывает мой веб-сервис.
Как интегрировать функции обработки данных Spark & Flink в приложение, ориентированное на веб-сервис?
До сих пор я пробовал Lagom Microservice, но я нашел так много проблем, которые вы можете проверить
- Лучший подход к загрузке потоковых данных в Lagom Microservice
- java.io.NotSerializableException при использовании Apache Flink с Lagom
Я думаю, что я не принимаю правильное направление для потоковой обработки микросервисных приложений. Ищите правильное направление для реализации этой аналитики через службу REST.
1 ответ
Я думаю, что REST API предоставляет сведения о выполнении задания, Any Flink API предоставляет предположение, если вызов конечной точки Spring Boot REST подключает потоковые данные Kafka и возвращает данные Kafka?
Flink имеет REST API, который вы можете использовать для отправки и управления заданиями - он используется веб-интерфейсом Flink. Смотрите документы здесь. Смотрите также этот предыдущий вопрос.