Как загрузить данные из Кафки в CrateDB?

Question

Из следующего вопроса на странице CrateDB GitHub кажется, что это невозможно, т. Е. Протокол Kafka не поддерживается CrateDB. https://github.com/crate/crate/issues/7459

Есть ли другой способ загрузить данные из Kafka в CrateDB?

Answer 1

Обычно вы используете Kafka Connect для интеграции Kafka с целевыми (и исходными) системами, используя соответствующий разъем для технологии назначения.

Я не могу найти соединитель Kafka Connect для CrateDB, но есть соединитель приемника JDBC для Kafka Connect и драйвер JDBC для CrateDB, поэтому стоит попробовать.

Вы можете прочитать больше о Kafka Connect здесь и увидеть его в действии в этой серии блогов:

• https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-1/
• https://www.confluent.io/blog/blogthe-simplest-useful-kafka-connect-data-pipeline-in-the-world-or-thereabouts-part-2/
• https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-3/

Отказ от ответственности: я работаю на Confluent, и я написал вышеупомянутые сообщения в блоге.