Как работать с кафкой-кусто-мойкой и отладкой

Загрузка данных в кластер kakfka, который может отправлять данные в adx kusto db с помощью kafka-sink-azure-kusto .

Я успешно принимаю данные в кластер kafka и не передаю данные в kusto db. как это отладить? любые журналы, которые я могу проверить.

я пытался проверить журнал брокера без ошибок там

ссылка: https://github.com/Azure/kafka-sink-azure-kusto/blob/master/README.md

Источник

1 ответ

Не могли бы вы предоставить больше информации о том, как вы используете Kafka, и как вы настроили разъем?

Шаги отладки будут:

  1. В журналах брокера должно быть упомянуто, что соединитель был правильно подобран, вы видели эту строку в журналах?

  2. Просмотр журналов Connector должен показать больше информации о том, что на самом деле происходит под капотом. Может быть, вы увидите там некоторые ошибки. /var/log/connect-distributed.log

  3. Попробуйте принять данные с помощью любого другого метода? как один из SDK

  4. Попробуйте запустить установку в соответствии с шагами, подробно описанными в разделе delpoy.

Обновление: больше информации о настройке соединителя в целом можно найти в этом вопросе SO: Настройка кластера Kafka Connect или запуск сотрудников Connect

Кроме того, у confluent есть несколько полезных документов: https://docs.confluent.io/current/connect/userguide.html

Источник
Другие вопросы по тегам