Как настроить rabbitmq с помощью spark-k8s-operator
У меня есть rabbitmq, из которого каждое сообщение amqp потребляется работником сельдерея, и он запускает задание приложения искрового оператора с использованием собственных REST API-интерфейсов kube. Теперь проблема в том, что все сообщения в rabbitmq предварительно загружаются работником сельдерея сразу и помещаются во внутренний рабочий Q оператора spark k8. И я не могу отслеживать задания с помощью оператора spark. Вместо этого я хотел бы понять, можем ли мы лучше настроить оператор spark k8s с rabbitmq?