Использование Apache Drill для запроса kafka

Question

Я пытался выяснить, как использовать Apache Drill для запроса тем Kafka с помощью SQL. Кто-нибудь может дать мне стартовую точку, чтобы я мог подключить тренировку к кафке. Любая помощь будет оценена.

Answer 1

Поддержка запросов к Кафке была добавлена ​​в Drill 1.12 . Я не использовал это сам, но я предоставлю краткое описание необходимой конфигурации. Если у вас возникнут другие проблемы, пожалуйста, свяжитесь с нами по списку рассылки Drill http://drill.apache.org/mailinglists/. Мы можем помочь вам отладить проблему, а затем опубликовать результаты здесь.

Общее описание того, что вам нужно сделать, следующее:

1. Создайте плагин для хранения в веб-интерфейсе Drill. Назовите плагин kafka

   {
     "bootstrap.servers": "broker_1:port1,broker_2:port2",
     "group.id": "drill-consumer-group-1",
     "enabled": true
   }
   

2. После создания конфигурации плагина установите соответствующий десериализатор сообщений kafka для вашего запроса:alter session set store.kafka.record.reader = org.apache.drill.exec.store.kafka.decoders.JsonMessageReader
3. Также установите тайм-аут опроса, который работает для вашего запроса:alter session set store.kafka.poll.timeout = 200
4. Попробуйте запрос: select * from kafka.myTopic;