Описание тега kafka-cluster
1
ответ
Коэффициент увеличения реплики кластера Кафки не работает
Привет, я столкнулся со странной проблемой с увеличением коэффициента репликации Кафки при выполнении шагов в этом документе: https://kafka.apache.org/documentation/ Симптом выглядит так, что увеличение коэффициента репликации не работает вообще. По…
29 ноя '18 в 22:43
3
ответа
Kafka Инструмент мониторинга в производстве
Нужно проверить инструмент для мониторинга Кафки в производстве. Также инструмент не должен иметь лицензии или тяжелого оборудования. В частности, мне нужен инструмент для оценки потребительского возмещения по теме, здоровья темы.
01 мар '18 в 06:10
0
ответов
Производитель Kafka не получил правильные метаданные из вызова API метаданных kafa после завершения работы одного узла кластера kafka
Потеря данных происходит, когда один из узлов кластера kafka отключается. Наблюдения заключаются в следующем. Мы установили количество повторов 10 на уровне производителя, retry.backoff.ms 60000 и metadata.max.age.ms 60000. После каждой минуты произ…
29 дек '17 в 05:56
1
ответ
Кластер Kafka теряет сообщения после перезапуска zookeeper
Я запускаю кластер брокеров кафки, использующих Docker (например, 5 брокеров, по одному брокеру на контейнер). Кафка версия 2.12-0.11.0.0, Zookeeper 3.4.10. Сценарий: Запуск первого брокера с конфигом ниже zoo.cfg tickTime=2000 initLimit=10 syncLimi…
06 мар '18 в 08:00
4
ответа
Ошибка при настройке кластера с несколькими брокерами на локальном компьютере
Использование Kafka в Ubuntu: Zookeeper запущен Kafka запущен Тема создана Создатель запущен Потребитель запущен Сообщения доставляются нормально от производителя к потребителю Я создал 2 новых файла server.properties как: server-1.properties как: b…
26 апр '18 в 11:05
1
ответ
Filebeat не передает события нескольким брокерам Kafka в одном кластере Kafka
Filebeat в моей настройке передает события в кластер Kafka с двумя брокерами. Я добавил только один узел в список хостов, но оба брокера в кластере были обнаружены. Я понял это из журналов Filebeat. Но, хотя оба брокера были обнаружены, события публ…
10 янв '19 в 05:13
1
ответ
Как проверить количество и IP-адреса серверов kafka, работающих в кластере, через клиент kafka?
У меня есть требование, при котором мы должны проверять работоспособность системы через одну точку отдыха. Идея состоит в том, чтобы получить число узлов kafka и их IP-адресов в кластере, активно работающих через клиент kafka. Предоставляет ли kafka…
19 июл '18 в 16:05
0
ответов
Переопределение / настройка свойств Kafka на уровне соединителя, а не рабочего
Я использую Kafka 0.10.0.1 и ищу, чтобы настроить Kafka Sink Connector в распределенном режиме. Я заметил, что в руководстве пользователя указано, что конфигурацию потребителя можно переопределить, добавив к ней префикс "потребитель" и что эти измен…
12 мар '18 в 11:43
1
ответ
Два (Kafka) S3 разъема не работают одновременно
У меня Kafka Connect работает в кластере (3 узла) с 1 коннектором (тема -> S3), все нормально: root@dev-kafka1 ~]# curl localhost:8083/connectors/s3-postgres/status | jq -r % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload…
24 ноя '18 в 20:21
0
ответов
Настройка 5-узлового кластера Kafka в Linux RHEL7.5 Virtul Machine
Я настраиваю 5-ти узловый кластер Kafka на Linux RHEL7.5 Virtual Machine. Кто-нибудь может подсказать, какой тип хранилища мне использовать SAN или NAS?
11 апр '18 в 07:14
2
ответа
Понять скорость записи Кафки
При условии1. Пять машин кластера Кафка2. 1 тема с 1 разделом3. постоянное хранилище для сообщений4. Каждое сообщение 1 КБ5. 10 производителей Теперь, будет ли максимальная способность записи этого кластера РАВЕНЬ к максимальной возможности записи о…
06 июн '18 в 05:51
0
ответов
Kafka кластер не работает, если брокер с ID=0 не работает
У меня есть кластер Kafka с 3 брокерами, настроенными следующим образом: Broker-0 : broker.id=0 ; listeners=PLAINTEXT://localhost:9092 ; log.dirs=/opt/data/kafka/logs-0 Broker-1 : broker.id=1 ; listeners=PLAINTEXT://localhost:9093 ; log.dirs=/opt/da…
05 июн '18 в 22:14
1
ответ
Как перенести тему Kafka, используемую на отдельном сервере Kafka, в кластер Kafka с фактором репликации 2?
Я использую один сервер Kafka с несколькими производителями и потребителями. Теперь я хочу реализовать кластер Kafka, добавив еще одного брокера. Как я могу сделать это, используя ту же тему с фактором репликации.
29 май '19 в 04:49
1
ответ
ACL для кластерного ресурса в кафке
Что такое кластерные операции в kafka и какие все операции можно разрешить / запретить, указав --cluster вариант в kafka-acls.sh скрипт? Из этого Межброкерские операции делятся на два класса: кластерные и тематические. Кластерные операции относятся …
20 мар '19 в 09:00
1
ответ
Кафка: Кворумный подход к избранию нового лидера?
Как указано здесь, существует две распространенные стратегии для синхронизации реплик: репликация первичной резервной копии и репликация на основе кворума. В репликации первичной резервной копии лидер ожидает завершения записи на каждой реплике в гр…
15 апр '19 в 15:58
1
ответ
Spring-Kafka не может работать с Kafka-кластером
Я настроил 3 кафки кластера и пытаюсь использовать с spring-kafka. но когда я убиваю кафку, я не могу отправить другие сообщения в очередь. Кафка версия 2.0.0 весна-кафка версия 2.0.1 kafka-topics.sh --describe --zookeeper = zoo1: 2181 print KAFKA_S…
26 авг '19 в 16:06
2
ответа
Как я могу контролировать запрос / сообщение, отправленное кластером Kafka?
Предположим, у меня есть 3 брокера Кафки, зоопарк, 50 производителей, 50 потребителей и 1 тема (testTopic1). И все потребители подписаны на testTopic1, Теперь я отправлю 50 сообщений одновременно с 50 продюсерами в одну и ту же тему (testTopic1) Теп…
14 июл '19 в 14:09
2
ответа
Создание кластера Kafka для тестирования клиентов Kafka на основе Java
У меня есть клиент Kafka, и мне нужно проверить его функциональность. Для этого мне нужно создать кластер Kafka локально и подключиться к нему. Согласно ограничениям, я не могу использовать образ Docker или K8s для этого. Я выполнил поиск и обнаружи…
26 авг '19 в 17:32
0
ответов
Когда контроллер становится вторым узлом (id 2), Zookeeper и Kafka не работают
У нас есть кластер Kafka с тремя узлами. У нас странная проблема. Когда контроллер становится вторым узлом (id 2), Zookeeper и Kafka не работают. Конфигурация zookeeper: maxClientCnxns=50 tickTime=2000 initLimit=10 syncLimit=5 dataDir=/var/lib/zooke…
07 июл '19 в 10:02
0
ответов
Время ожидания ожидания соединения в состоянии: СОЕДИНЕНИЕ
У меня есть 3 узла кластера для Кафки и зоопарка. И Kafka, и кластер zookeeper используют одинаковые 3 машины. Когда я запускаю службу Kafka, она не запускается, если все 3 сервера zookeeper не работают. Почему Kafka ждет полной доступности кластера…
21 авг '19 в 18:59