Flink sql Query on DataStream (Apache Flink Java)
Я совершенно нуб к Apache Flink. Просто пытаюсь испачкать руки. У меня есть следующий сценарий.
- Datastream для событий
- Datastream для событий
- Поток данных для правил
- Объединили эти два потока данных на основе ruleID
Теперь у меня есть поток данных tuple3, который выглядит как <ruleId, Rule, Event>
, Эти правила являются запросами SQL, которые я хочу выполнить на Событии.
Я проходил через концепцию динамических таблиц и Flink SQL. Я не уверен, как обрабатывать дальше. Может ли кто-нибудь помочь мне с этим?
1 ответ
Flink может выполнять SQL-запросы к потокам данных. SQL преобразуется в задание обработки потока и выполняется. Возможно, вы можете использовать Flink SQL для объединения двух потоков событий (Flink 1.4.0 поддерживает оконные объединения потоков).
Вы не можете легко использовать Flink SQL для оценки ваших правил, потому что каждое правило будет переводиться в независимое потоковое задание. Таким образом, сообщение правила будет обрабатываться заданием и запускать выполнение другого задания.