Описание тега kafka-topic
Тема — это журнал событий. Темы доступны только для добавления, где события записываются производителем и считываются от потребителя с любого смещения в этом журнале. Эти журналы хранятся на диске и могут быть настроены с использованием различных параметров, таких как срок действия.
1
ответ
КАФКА - как перебалансировать разделы для доступных брокеров
У нас есть 3 машины кафки и 3 сервера зоокейпера kafka1 - 1001 ( broker ID ) kafka2 - 1002 ( broker ID ) kafka3 - 1003 ( broker ID ) у нас есть проблема, связанная с перебалансировкой разделов с доступными брокерами, мы можем видеть (вниз), что неко…
29 сен '18 в 19:27
3
ответа
Как удалить данные, которые уже были использованы потребителем? Кафка
Я делаю репликацию данных в Кафке. Но размер файла журнала kafka увеличивается очень быстро. Размер достигает 5 Гб в день. Как решение этой проблемы, я хочу немедленно удалить обработанные данные. Я использую метод удаления записи в AdminClient для …
24 окт '18 в 05:42
0
ответов
Конфигурация темы Apache Kafka для производства
Я хочу развернуть кластер Kafka, и я хочу несколько предложений о конфигурации брокера. Я действительно беспокоюсь о том, будет ли мой кластер высокодоступным, если каждый брокер отключится и если я попытаюсь перезапустить их, у меня будет потеря да…
22 окт '18 в 16:22
0
ответов
Kafka-Manager показывает неактивные группы потребителей и неверный лаг
У меня есть кластер kafka из 3 отдельных физических узлов, с каждым хостингом 1 zk а также 1 broker каждый. Мы используем Kafka 0.10.1.1, Темы создаются в ансамбле ZK, и брокеры подключаются к ансамблю ZK. мой Producer а также Consumer это spring-bo…
13 июл '18 в 10:00
0
ответов
В теме Кафки есть разделы с лидером =-1 (Выбор лидера Кафки), а узел запущен и работает
У меня есть настройка 3- элементного kafka -кластера, в теме __consumer_offsets 50 разделов. Следующее является результатом команды description на: root@kafka-cluster-0:~# kafka-topics.sh --zookeeper localhost:2181 --describe Topic:__consumer_offset…
18 дек '18 в 10:49
1
ответ
Кафка не избавляется от данных при настройке retention.ms
Поэтому, когда я ищу способ подсчета сообщений в теме, это хорошо kafka-run-class kafka.tools.GetOffsetShell --broker-list broker1:9092,broker2:9092,broker3:9092 --topic rev-dly-upd --time -1 Единственное, когда я меняю retention.ms Конфиг retention…
31 июл '18 в 01:31
3
ответа
Кафка, тема разделов с лидером -1
Я заметил, что некоторые из моих тем о кафке ведут себя так, как я не могу четко объяснить. Например: ./kafka-topics.sh --describe --zookeeper ${ip}:2181 --topic test Topic:test PartitionCount:3 ReplicationFactor:1 Configs:retention.ms=1209600000 To…
20 авг '18 в 11:34
2
ответа
Исправление кластера кафки с недостаточно реплицированными разделами
У нас проблема с одним из наших кластеров кафки. У нас 6 узлов с версией 1.0, все темы имеют коэффициент репликации 3 и 10 разделов / тема, что нам показалось достаточным. Из-за сбоя питания 3 узла на некоторое время вышли из строя, и теперь у нас М…
03 авг '18 в 09:01
1
ответ
Кафка ISR сократилась и не расширяется
У меня есть Kafka Cluster из 3 узлов с 1 ZK и 1 брокером каждый. Kafka version 0.10.1.1. Каждая тема имеет replication-factor=3 а также min.insync.replicas=2, Мы проверили, выдав --describe после этого, темы были успешно созданы с правильными replic…
17 июл '18 в 07:03
1
ответ
Как удалить конфигурацию темы через KafkaAdminClient
Я хочу удалить конфигурацию (сбросить ее по умолчанию) для темы, которая была переопределена ранее. Это возможно с предоставленным скриптом $> ./kafka-configs.sh --zookeeper localhost:2181 --alter --entity-type topics \ --entity-name test --delet…
31 июл '18 в 10:10
0
ответов
Как сделать так, чтобы косумер слушал тему и очередь и одновременно в кафке брокер?
В нашем приложении мы использовали activemq в качестве брокера. Теперь мы собираемся переключить нашего брокера на Кафку. У нас есть модуль, который читает из темы и очереди одновременно. Я знаю, если мы хотим, чтобы у нескольких потребителей было п…
07 авг '18 в 12:58
1
ответ
Не удалось перечислить темы кафки в kubernetes после добавления jmx__javaagent
У меня есть бегущая стручок кафки в моем кластере kubernetes. Для получения пользовательских метрик в формате Prometheus я настроил jmx_prometheus_javaagent и назначил порт 2255. И я могу перечислить метрики из localhost:2255/metrics. Вопрос в том, …
14 авг '18 в 08:42
0
ответов
Как взять Kafka Topic Backup и восстановить?
Мне нужно сделать резервную копию всех тем в Kafka в файл, названный в соответствующих именах тем, и мне нужно восстановить тему в соответствии с требованиями пользователя. Примечание. Этот сценарий необходимо запустить в среде Kerberized.kafkabacku…
03 авг '18 в 14:00
1
ответ
Что такое topic.registered в ksql при запуске списка тем
Я использую kafka-connect для потоковой передачи строк из таблицы mysql в тему kafka. Когда я запускаю это на моем ksql-клиенте: LIST TOPICS; Я получаю список тем, которые выглядят так: Kafka Topic | Registered | Partitions | Partition Replicas | Co…
20 июл '18 в 08:58
4
ответа
Микросервисные модели входных и выходных доменов
Я использую Kafka для развязки своих сервисов, но несколько секунд думаю о том, как сервисы потребляют и производят входы и выходы. Если у меня есть служба A, которая выводит данные из какой-либо внешней службы из-под моего контроля, я вынужден адап…
05 окт '18 в 09:26
1
ответ
Кафка несколько тем в один файл avro
Я новичок в мире протокола KAFKA, и я хотел бы спросить вас немного важной информации, связанной с моим проектом. Я использую файл AVRO для создания и потребления сообщений, я хочу знать, могу ли я использовать один и тот же файл avro для нескольких…
20 июл '18 в 10:29
0
ответов
Как получить информацию о разделе и смещении для темы Kafka, не зная информацию о группе потребителей
Я полностью приседаю в Kafka земля Если я управляю командой /cfintools/confluent-4.0.0/bin/kafka-avro-console-consumer --topic $t --bootstrap-server $bt --consumer.config /cfintools/avro_consumer_ssl_cfin_prod.properties --property schema.registry.u…
23 фев '19 в 07:41
2
ответа
Распределение потребителей Kafka не работает, как ожидалось
У меня есть три темы, каждая из которых имеет три раздела на кластере kafka. сейчас всего 9 разделов. и когда я создаю 9 потребителей... 6 бездействуют. только три потребителя используются. ожидание таково: каждый потребитель должен забрать один раз…
11 июл '18 в 05:50
1
ответ
Как я могу проверить, слушает ли определенный идентификатор группы тему Кафки?
Как я могу проверить, прослушивает ли определенный идентификатор группы тему kafka прямо сейчас, или проверить количество идентификаторов группы, которые прослушивают конкретную тему, с помощью любого остального API?
12 июл '18 в 12:08
0
ответов
kafka - Ошибка при отправке сообщения в тему test-topic с ключом: null, значение: 17 байт с ошибкой
Я работаю над развертыванием Kafka/Zookeeper в Kubernetes, используя MINIKUBE. ниже мой файл YAML: ################################## # Setup Zookeeper Deployment ################################## --- apiVersion: extensions/v1beta1 kind: Deployment…
24 окт '18 в 13:02