Соедините приложение Spark с веб-сервером
Я просто попытаюсь объяснить мой упрощенный вариант использования. Есть:
- Spark приложение, которое считает слова.
- Веб-сервер, который обслуживает веб-страницу с формой.
- Пользователь, который может ввести слово в этой форме и отправить его.
Сервер получает слово и отправляет его в приложение Spark. Приложение Spark принимает в качестве ввода это слово, основываясь на некоторых данных, и это слово запускает задание с пересчетами. Как только Spark завершает вычисления, он отправляет результаты на веб-сервер, который показывает результаты на веб-странице.
Вопрос в том, как мне установить связь между приложением spark и веб-сервером?
Полагаю, этот искровой сервер работы или искровой поток мне могут помочь, но я не уверен в этом.
1 ответ
Есть несколько проектов, которые помогут вам в этом.
Как правило, вы запускаете отдельный веб-сервер для управления заданиями spark, так как для этого нужно выполнить некоторую грязную работу systemExec вокруг spark-submit cli. Очевидно, что он работает на порте, отличном от основного приложения, и доступен только для серверного компонента основного веб-приложения.
Есть несколько проектов с открытым исходным кодом, которые будут обрабатывать это для вас наиболее заметно: