Создать несколько потребителей в Кафке в командной строке

Question

Создать несколько потребителей в Кафке в командной строке

Я новичок в Кафке. Когда я запустил пример быстрого запуска в командной строке, я обнаружил, что не могу создать несколько потребителей в командной строке.

Состояние:

Я создал тему с именем test с 3 разделами, а также создал продюсера по этой теме.

Затем я хотел создать двух разных потребителей с одной и той же группой потребителей с именем test1 по этой теме.

Я выполнил команду, как показано ниже:

   bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --group test1

Первый работал, но когда я запускался во второй раз, первый отключался, а второй работал.

Итак, как я могу создать двух или более потребителей в одной группе потребителей в командной строке?

    WARN Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect (org.apache.zookeeper.ClientCnxn)
java.net.ConnectException: Connection refused
    at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
    at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:739)
    at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1146)

15

apache-kafka

Источник

user3526640 09 окт '14 в 23:22

4 ответа

Другие вопросы по тегам apache-kafka

user2236665 15 дек '16 в 06:09 2016-12-15 06:09 · Answer 1 · 2016-12-15 06:09

Помимо использования --consumer.config опцию, как ответ Secfree, вы также можете использовать

--consumer-property group.id=your_group

Возможность указать имя группы без редактирования файла конфигурации.

21

Источник

user2236665 15 дек '16 в 06:09

user4164722 28 апр '16 в 09:39 2016-04-28 09:39 · Answer 2 · 2016-04-28 09:39

По умолчанию, kafka-console-consumer.sh создаст случайную группу.
Если вы хотите указать имя группы, вы можете:
1. добавлять group.id=group_name в локальный файл filename
2. использование --consumer.config filename вариант kafka-console-consumer.sh установить группу
Вы можете проверить свои группы в зоопарке /consumers/ каталог.

См.: kafka / core / src / main / scala / kafka / tools / ConsoleConsumer.scala

user5225554 20 дек '16 в 17:42 2016-12-20 17:42 · Answer 3 · 2016-12-20 17:42

Вы можете использовать команду ниже для создания потребителей в группе "test-consumer-group" для "test" раздела:

bin/kafka-console-consumer.sh --bootstrap-server <brokerIP>:9092 --topic test --consumer-property group.id=test-consumer-group

Ниже команда перечислит конфигурацию группы потребителей:

bin/kafka-consumer-groups.sh --bootstrap-server <brokerIP>:9092 --describe --group test-consumer-group

Например:

GROUP || TOPIC || PARTITION || CURRENT-OFFSET || LOG-END-OFFSET || LAG      || OWNER
test-consumer-group || test || 0 || 10 || 10 || 0 || consumer-1_/10.210.223.170

user8962177 30 ноя '17 в 18:41 2017-11-30 18:41 · Answer 4 · 2017-11-30 18:41

Использовать этот:

--partition <Integer: partition>        The partition to consume from.

1

Источник

user8962177 30 ноя '17 в 18:41

user10094991 23 апр '19 в 15:15 2019-04-23 15:15 · Answer 5 · 2019-04-23 15:15

Когда вы используете тему без groupid Kafka, создайте случайный groupid для вашего сеанса. Вы можете указать groupid --consumer-property group.id=test-consumer-group, если groupid существует, или вы можете добавить в свой сеанс новый groupid(имя), когда вы используете, если группа не существует --topic second-topic --group my -first-group p и Kafka создадут новую группу