Ошибка Confluent Kafka Python: сбой запроса метаданных

Question

Ошибка Confluent Kafka Python: сбой запроса метаданных

Попадание ниже ошибки. Не уверен, что случилось.

%5|1591739081.630|REQTMOUT|rdkafka#consumer-1| [thrd:GroupCoordinator]: GroupCoordinator/290: Timed out HeartbeatRequest in flight (after 10622ms, timeout #0)
%4|1591739081.630|REQTMOUT|rdkafka#consumer-1| [thrd:GroupCoordinator]: GroupCoordinator/290: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1591739094.726|METADATA|rdkafka#consumer-1| [thrd:main]: GroupCoordinator/289: Metadata request failed: partition assignor: Local: Broker node update (-336618544ms): Permanent

0

python kafka-consumer-api confluent-platform confluent-kafka-python

Источник

user4614272 13 июн '20 в 12:29

1 ответ

Другие вопросы по тегам python kafka-consumer-api confluent-platform confluent-kafka-python

user7434857 16 июн '20 в 11:38 2020-06-16 11:38 · Answer 1 · 2020-06-16 11:38

Насколько мне известно, эта ошибка возникает из-за тайм-аута брокеров.

Он основан на session.timeout.ms потребителя значение по умолчанию 10000 Это означает, что если потребитель не может выполнить контрольный сигнал в течение 10 секунд, он будет отключен.

потребитель пытается послать сердцебиение каждый heartbeat.interval.ms мс, что по умолчанию каждые 3 секунды.

Итак, допустим, у вас проблема с подключением к боркерам более 10 секунд, вы, вероятно, были выгнаны из группы, а потребитель был закрыт

из документации librdkafka оsession.timeout.ms:

Сеанс клиентской группы и тайм-аут обнаружения сбоя. Потребитель отправляет периодические контрольные сообщения (heartbeat.interval.ms), чтобы указать брокеру свою работоспособность. Если брокер не получит сердца для члена группы в течение тайм-аута сеанса, брокер удалит потребителя из группы и инициирует перебалансировку. Допустимый диапазон настраивается с помощью свойств конфигурации брокера group.min.session.timeout.ms и group.max.session.timeout.ms. Также см. Max.poll.interval.ms. Тип: целое число