Обработка сложных событий
Недавно я изучал системы, основанные на событиях, и узнал о сложной обработке событий с использованием таких сред, как Apache Storm. Я понимаю, что CEP идеально подходит, когда вы имеете дело с большими потоками данных, и вы хотели бы обнаруживать определенные события среди данных, и мы предоставляем запросы в механизм CEP для обнаружения событий.
Как насчет сценария, когда потоки данных, генерируемые каждую минуту, не очень велики, но вместо этого у вас есть гораздо больший набор запросов, которые вы передаете в CEP? CEP все еще идеален в этом сценарии? Если нет, то как лучше всего подойти к нему?
3 ответа
Storm - это программное обеспечение для обработки событий, которое распределяет задачи обработки по нескольким узлам / машинам. В этом смысле нет сложного механизма обработки событий, так как под сложным подразумевается возможность определять более сложные события, используя операторы из алгебры событий.
Если эти запросы генерируют массовые события, такие как пакетные задания, то это, вероятно, не лучший способ для маркетинговой среды в реальном времени. Если мы собираемся обрабатывать события, то мы должны идентифицировать их как можно быстрее.
Более подходящим подходом было бы прослушивать таблицу на предмет новых изменений (или новых строк) и генерировать события после каждого изменения.
Storm - это распределенная среда вычислений в реальном времени (и не CEP), см. Википедию.
Хороший ресурс для чтения: http://www.complexevents.com/2014/08/25/an-overview-of-event-processing-software/