Kafka HBase Sink Connector не может доставить свои сообщения в HBase
У меня есть особая проблема с коннектором Kafka HBase Sink, для которой я буду признателен за любые советы или предложения.
Это 3-х узловый кластер Kafka - 2 узла для коннект-распределенных и 1 узел для реестра схемы + потоковая передача кафки. Версия Kafka - 0.10.1 и является частью платформы Hortonworks 2.6.3. Также есть настройки аутентификации SSL и Kerberos. Кроме того, у меня есть специальное приложение Kafka, которое получает сообщения, обрабатывает их с помощью потоковой передачи Kafka и доставляет их в HBase.
Модель процесса:
1) Введите тему;
2) Обработка (в Кафке потоковая);
3) Вывод темы;
4) разъем HBase для мойки;
5) HBase.
Доставленные сообщения в 1) успешно передаются и обрабатываются до шага 3) включительно. Тогда, хотя коннектор приемника работает нормально, сообщение не передается в HBase.
При этом я протестировал нашу пользовательскую модель приложения с помощью модульных тестов, создав встроенный кластер Kafka с его собственными базовыми настройками, и тесты прошли успешно. Скорее всего, это может указывать на то, что проблема с подключением связана с некоторыми настройками кластера.
К вашему сведению я заметил 3 конкретные вещи:
Стандартные функции консоли потребителя могут успешно использовать сообщения из темы приемника;
Для установленного соединения с приемником не существует идентификатора потребителя;
Процесс соединений запускается успешно, но останавливается по незарегистрированным причинам и не вызывает Java-класс WorkerSinkTask, где фактически происходит запись в HBase.
Дополнительным важным моментом является настройка шифрования SSL и аутентификации Kerberos, которая может быть неправильно настроена.
В случае, если кто-либо сталкивался с таким случаем, я буду очень признателен за любые комментарии, которые могут быть полезны.
Димитар