Является ли создание множества тем с пульсаром хорошим сценарием?

Question

Возможно ли и хороший сценарий с пульсаром для создания темы (или раздела) для каждого хэша на лету и удаления тем (или раздела), когда он больше не используется?

Идея состоит в том, чтобы иметь возможность читать данные с одним и тем же хешем упорядоченным образом, не имея сообщений с другим хешем между двумя сообщениями с одинаковым хешем. Чтобы позволить клиенту хранить только ограниченное количество агрегирующих сообщений в памяти.

Потребитель также должен иметь возможность полностью использовать одну тему (или раздел), прежде чем начать использовать другую.

В результате цель состоит в том, чтобы иметь возможность потреблять и производить данные в другом порядке.

produce  in this order          and read like this
1 2 3 4 5 
_ _ _ _ _
a b c d e                       1 [a b c d e] 
a b c d e                       2 [a b c d e]
a b c d e     -------->         3 [a b c d e]
z y x w v                       4 [z y x w v]
g h i j k                       5 [g h i j k]
_ _ _ _ _

в этом примере хеш ключа сообщения, конечно, не показан (строка хэша имеет тот же хеш ключа)

Answer 1

Возможно ли и хороший сценарий с пульсаром для создания темы (или раздела) для каждого хэша на лету и удаления тем (или раздела), когда он больше не используется?

Конечно, создание множества тем в Pulsar - намного более дешевая операция по сравнению с другими системами обмена сообщениями. Темы могут быть явно удалены, или они автоматически удаляются, когда все производители и потребители отключены и все подписки на тему также были удалены.

Потребитель также должен иметь возможность полностью использовать одну тему (или раздел), прежде чем начать использовать другую.

Если вы используете 1 тему для каждого ключа, то на стороне потребителя у вас есть все возможности, чтобы решить, как использовать сообщения.

Единственное, что вам нужно убедиться, это создать подписку на все темы, прежде чем публиковать сообщения по ним, чтобы Pulsar сохранил данные.