Лучшие практики для развертывания приложения Spark, использующего брокер сообщений
Я создал приложение Java, которое использует сообщения посредника сообщений для запуска заданий Spark на основе параметров, отправляемых в сообщении. Я хочу развернуть приложение в кластере Spark (AWS EMR). Для этого я думал об использовании spark-submit с банкой Uber, содержащей мое заявление. Проблема с этим методом заключается в том, что у меня будет проблема с развертыванием новых версий. Мне придется удалить приложение из кластера Spark и представить новую версию. Есть ли способ сделать это? Есть ли лучший способ использовать брокер сообщений внутри приложения Spark?