Я должен агрегировать сообщения в шторм или нет из-за его внутренней буферизации

Question

В этой статье Понимание внутренних буферов сообщений Storm упоминается, что Storm выполняет внутреннюю буферизацию.

Теперь у меня будет огромное количество событий, приходящих в мою топологию шторма, которые будут иметь несколько слоев (болтов). Первый слой будет "переваривать" все входящие события случайным образом и, возможно, для каждого входящего события будет отправлять новое событие на следующий уровень (от болта до болта). Однако для меня также возможно, что первый слой будет только периодически генерировать сообщения (и, таким образом, вместо генерации события для каждого входящего события он может генерировать по одному на каждый тик: скажем, каждую секунду - это резко снизит нагрузку на следующий слой).

Однако, когда я читал вышеупомянутую статью, я увидел, что у шторма есть внутренняя буферизация, я хотел знать, означает ли это, что мне не нужно связываться с носиками тиков, потому что шторм уже сделает внутреннюю буферизацию для меня.

Answer 1

Я бы оставил буферизацию любого сообщения между слоями. Много усилий было потрачено на создание процесса буферизации бури, и если у вас нет сильной мотивации (подтвержденной эмпирическими данными), я бы посоветовал вам позволить ей справиться с буферизацией. Остерегайтесь преждевременной оптимизации.