Ограничить количество сообщений по теме

Мой потребитель Kafka должен слушать несколько тем. Каждая тема определяет приоритет, скажем - высокий, низкий и средний.

Потребительский сервис должен быть настроен таким образом, чтобы он, например, имел. 30 исполнителей для обработки сообщений в теме высокого уровня и 5 исполнителей для обработки каждого сообщения в теме низкого и среднего уровня.

Есть ли способ настроить потребителя, чтобы он прекратил потребление сообщений из соответствующей темы, если исполнители заняты и выполняют текущие задачи?

1 ответ

Решение

Вы не должны передавать работу исполнителю задачи; это вызовет проблемы с фиксацией смещений из строя.

Для каждой темы вы должны использовать разные контейнеры слушателей, каждый из которых имеет разные настройки параллелизма.

Таким образом, контейнер управляет параллелизмом.

Другие вопросы по тегам