Использовать Flink для обработки сообщений кафки за последние 10 минут?
Мы рассматриваем возможность использования Flink SQL для специальной аналитики данных Кафки в реальном времени за последние 5–10 минут. Похоже, что для этого нам нужно расширить коннектор Kafka, чтобы он мог только читать сообщения за определенный период времени, и использовать его для генерации конечного источника ввода.
Мне интересно, есть ли альтернативный подход к этому. Любые предложения будут очень приветствоваться.
1 ответ
Разъем Flink Kafka позволяет устанавливать начальное положение различными способами, в том числе myConsumer.setStartFromTimestamp(...), Коннектор таблицы Kafka поддерживает эти же параметры.
Если вы хотите использовать SQL-клиент Flink, вам может потребоваться написать тонкую оболочку, которая будет заниматься вычислением отметки времени 10 минут назад и соответственно устанавливает начальное смещение Кафки.