Описание тега kafka-consumer-api
Используйте для вопросов, связанных с пользовательским API Apache Kafka
1
ответ
Кафка проверяет сообщения в состоянии с обработкой
У меня есть приложение, в котором несколько пользователей могут отправлять операции REST для изменения состояния общих объектов. Когда объект модифицируется, происходит несколько действий (БД, аудит, ведение журнала...). Не все операции действительн…
24 сен '17 в 08:32
1
ответ
Как разбить одну тему Кафки на несколько небольших тем Кафки?
У меня есть одна главная тема Кафки, которая получает данные временных рядов. Мне нужно взять каждое значение, которое входит в эту тему, скопировать его и отправить в одну из множества отдельных тем на основе значения в его ключе. Поскольку это дан…
27 июл '18 в 18:06
3
ответа
Как ведут себя кафки разделы
Можете ли вы объяснить, как kafka разделы работает для этого сценария Если я произвожу 9 (1-9) сообщений, разбейте их на 1 тему и 3 раздела. Означает ли это, что: Раздел 1 содержит: [1,4,7] Раздел 2 содержит: [2,5,8] Раздел 3 содержит: [3,6,9] ? Кро…
03 июл '17 в 12:18
1
ответ
Не удалось получить информацию о смещении для группы потребителей kafka с помощью CLI zookeeper
Я использую Zookeeper Я использую интерфейс командной строки zookeeper для получения информации о смещении для данной группы потребителей. Ниже работает нормально Command: get /consumers/[ConsumerGroup]/offsets/[TopicName] o/p : 0:1640002 cZxid = 0x…
25 фев '17 в 14:02
0
ответов
Как определить лучший коэффициент репликации и количество разделов?
Я получаю ошибку partition 0 does not have a leader когда я пытаюсь использовать сообщения из очереди Кафки в Spark. Напротив, по какой-то причине я могу написать в той же теме без каких-либо проблем от Spark. Я сделал несколько тестов из консоли: /…
06 фев '17 в 20:36
1
ответ
Варианты использования для ручного управления смещением в Кафке
Я пытаюсь реализовать потребителя Kafka на Java. Предположим, что потребитель содержит некоторую логику обработки сообщений, которая может вызвать исключение. В этом случае потребитель должен поспать некоторое время и обработать последнее сообщение.…
19 сен '16 в 01:51
1
ответ
Spark Direct Streaming - использовать одно и то же сообщение у нескольких потребителей.
Как потреблять Kakfa topic messages в нескольких потребителях, использующих Direct Stream approach? Является ли это возможным? Поскольку прямой поток не имеет подхода Consumer Group концепция. Что произойдет, если я пройду group.id как кафкапарамс д…
10 фев '17 в 09:13
1
ответ
Как выполнить операцию соединения с данными в формате AVRO в потоках kafka с использованием JAVA
ПОТОК-1: [KSTREAM-SOURCE-0000000000]: null, {"id": 1, "name": "john", "age": 26, "updated_at": 1525774480752} [KSTREAM-SOURCE-0000000000]: null, {"id": 2, "name": "jane", "age": 24, "updated_at": 1525774480784} [KSTREAM-SOURCE-0000000000]: null, {"i…
21 май '18 в 10:38
0
ответов
Разделение Apache Kafka для регистрации активности пользователей
Как я могу разделить тему, которая собирает сообщения / записи о действиях пользователей? Таким образом, когда отдел обслуживания клиентов получает звонок от конкретного пользователя, он может быстро получить журнал действий для этого конкретного по…
12 фев '18 в 11:17
0
ответов
Потребитель Кафки не подписывается.NET
Я пишу консольное приложение, которое потребляет данные Kafka. Я проверил конечные точки и работу, когда запускаю их в Почтальоне. Моя проблема в моем приложении: метод подписки явно не работает (я не получаю ошибок или ответов от API о каких-либо о…
20 дек '17 в 16:58
0
ответов
Смещение группы потребителей Kafka снижается до -1
Мы запускаем кластер Kafka в Куберне на основе gcr.io/google_containers/kubernetes-kafka:1.0-10.2.1 образ докера с бэкэндом zookeeper с помощью gcr.io/google_containers/kubernetes-zookeeper:1.0-3.4.10 с тремя экземплярами кафки и зоопарка. У нас ест…
10 июл '18 в 06:56
0
ответов
Кафка - могут ли идентификаторы групп потребителей быть настроены на простых потребителей Spring-интеграции?
Можно ли настроить идентификаторы групп потребителей kafka с простыми потребителями весенней интеграции - опцией канала, управляемого сообщениями?Если нет, то это будет наилучшей альтернативой, если одна тема необходима для функционирования как в ка…
28 дек '15 в 13:10
1
ответ
Два потребителя Кафки вызывают странное поведение друг с другом
У меня есть два потребителя с разными идентификаторами клиентов и идентификаторами групп. Помимо часа хранения и максимального количества разделов, моя установка Kafka содержит конфигурацию по умолчанию. Я посмотрел вокруг, чтобы увидеть, если кто-т…
07 апр '17 в 13:53
1
ответ
Для регистратора не найдено ни одного дополнительного приложения (org.apache.kafka.clients.producer.ProducerConfig)
Я пишу код, в котором я пытаюсь использовать сообщения, используя kafka и spark. Но мой код не работает. Вот мой код: import org.apache.kafka.clients.producer.{ KafkaProducer, ProducerConfig, ProducerRecord } import org.apache.spark.streaming._ impo…
14 янв '17 в 22:25
2
ответа
При использовании Kafka High Level ConsumerConnector, где будут сохраняться смещения?
Как следует из нового документа, сама Kafka позаботится об управлении смещениями при использовании API высокого уровня по умолчанию. Но когда я создаю ConsumerConnector, как показано ниже, он все равно требует от меня предоставления свойства zookeep…
12 окт '16 в 21:03
2
ответа
Когда я приостанавливаю потребителя, другой потребитель из той же группы потребителей должен получить сообщения
Я пытаюсь работать над случаем, когда есть два или более потребителей, слушающих одну общую тему, содержащую только один раздел. Я приостанавливаю одного из потребителей, в это время другие потребители, которые не находятся в режиме паузы, должны им…
02 авг '17 в 22:36
1
ответ
Потребительский API Kafka Python ничего не возвращает
Я использую Kafka-Python для чтения темы от брокера Kafka, но я не могу заставить потребительский итератор что-либо возвращать consumer = KafkaConsumer("topic",bootstrap_servers=bootstrap_server + ":" + str(port), group_id="mygroup") for record in c…
26 фев '18 в 23:51
0
ответов
Смещение конца Кафки 0,9.0 отодвинуло на ребаланс
У меня 3 потребителя работают над очередью кафки (6 разделов в 1 теме). Config: enable.auto.commit: true auto.commit.interval.ms : 1000 heartbeat.interval.ms: 4000 У меня проблема, когда происходит перебалансировка. Смещение смещено назад, как показ…
26 фев '16 в 16:46
0
ответов
Как передать несколько данных в кафку производителя?
Необходимо передать несколько данных (объект) вместе с данными файла, Есть ли сериализатор для передачи объекта или какие-либо пути? Вот код, который просто передает данные файла, props.put("bootstrap.servers", "localhost:9092"); props.put("metadata…
20 окт '16 в 05:18
1
ответ
Как мне установить расширение Kafka для PHP?
Это расширение, которое я пытаюсь установить: https://github.com/EVODelavega/phpkafka Сообщения, передаваемые в очередь, должны быть в формате JSON. В настоящее время я получаю ошибки установки: 1. В инструкциях меня просят установить librdkafka. 2.…
06 дек '17 в 14:16