Разделение Apache Kafka для регистрации активности пользователей
Как я могу разделить тему, которая собирает сообщения / записи о действиях пользователей?
Таким образом, когда отдел обслуживания клиентов получает звонок от конкретного пользователя, он может быстро получить журнал действий для этого конкретного пользователя.
Разделение по идентификатору пользователя не вариант, так как речь идет о 2 миллионах пользователей.
И поскольку в случае с Kafka мы не можем делать что-то вроде селекторов JMS, нам придется написать потребителю Kafka, чтобы он прочитал все сообщения из определенного тематического раздела.
Я знаю об основной стратегии, где мы создаем, скажем, 50 разделов, а затем делаем что-то вроде
раздел # = хэш (идентификатор пользователя) мод 50
Учитывая огромное количество записей, меня беспокоит количество записей, которые нам нужно будет обработать, чтобы отфильтровать записи для конкретного пользователя.
Есть ли лучший способ сделать это?