Описание тега node-kafka
0
ответов
Kafka Node High Level Producer пишет только на четные разделы
Я использую библиотеку Kafka Node и тестирую продюсера высокого уровня. Я создал тему с 10 разделами 'HLPTestInput' и написал функцию, которая генерирует для нее каждую секунду. Производитель пишет в разделы 0,2,4,6 и 8, но не в нечетные. Как ни стр…
17 фев '19 в 09:46
1
ответ
Как получить строковые сообщения из необработанных объектов буфера Kafka Java
Есть продюсер nodejs Kafka, который отправляет содержимое файла в Kafka. Когда потребитель Kafka принимает сообщения от Kafka, это выглядит так: {"type":"Buffer","data":[91,13 .....] Когда я использовал m.message.value.toString('utf8') в nodejs-кафк…
11 мар '19 в 05:56
0
ответов
Время ожидания между сообщениями
Я работаю над созданием потока DLQ. При попытке использовать сообщение с ошибкой, после 3 попыток сообщение должно быть отправлено в тему DLQ. Можно ли настроить время ожидания между сообщениями?
14 мар '19 в 18:23
0
ответов
Как настроить распределенную трассировку Elastic Node APM для работы с Kafka и несколькими службами Node?
Я использую Kafka для очереди, при этом службы Node создают и потребляют сообщения на темы Kafka, используя Kafka-Node. Я использовал решение распределенной трассировки домашнего приготовления, но теперь мы переходим к Elastic APM. Это похоже на HTT…
01 апр '19 в 14:05
0
ответов
Как мне смоделировать node-kafka для модульного тестирования?
Я написал микросервис в узле, который использует узел-кафку. Я слышал о встроенной кафке для весенней загрузки. Есть ли что-нибудь подобное в node.js? если нет, то как мы будем издеваться над кафкой для модульного тестирования в сервисах узлов?
02 апр '19 в 05:28
0
ответов
Инициализация NodeJS Kafka вызывает проблемы с синхронизацией
У меня есть простой кусок кода, который читает в файле JSON с помощью fs, Я использую обратный вызов, и после того, как у меня есть данные, я использую их для настройки другой части моего приложения. Если я не использую тайм-аут или я помещаю обрабо…
09 июл '19 в 05:58
0
ответов
Есть ли способ использовать сообщения, полученные после определенной временной отметки, с использованием kafka-узла?
В моем приложении, после его запуска, я хочу использовать только те сообщения, которые были написаны до двух минут назад. Другими словами - только сообщения за последние две минуты. Я использую nodejs и kafka-node для чтения сообщений из темы, котор…
10 июл '19 в 13:59
1
ответ
Получение нежелательных символов при использовании сообщений с использованием kafka-узла
Я использую пакет npm kafka-node version 3.0.1. Тем не менее, я получаю нежелательные символы в сообщении - ""M`@$�q��1��N$907959dc-30e9-4e5c-af44-09a4f9062fe1�{"header":{"eventName":"myevent","producer"�'INE",DETECTED"}}" Любая помощь приветствуетс…
18 июн '19 в 03:02
1
ответ
Узел Kafka выдает ошибку "TypeError: клиент не является конструктором" с помощью Node-RED.
Полный поток Я установил узел kafka, используя npm install -g node-red-contrib-kafka-node Но бросает TypeError: Client is not a constructor Может ли кто-нибудь помочь мне решить эту проблему? настройки свойств узла kafka
27 янв '20 в 15:43
0
ответов
Потребитель Kafka работает над некоторыми темами, но не над всеми
Я настраиваю Kafka и наткнулся на стену в отношении одного потребителя, подписанного на несколько тем. У меня один потребитель в группеconusmer-1 слушаю create_record, detroy_record, update_record. destroy_record а также update_record получают сообщ…
25 сен '19 в 06:23
0
ответов
Amazon linux: установка узла rdkafka не работает
Подробную информацию об ОС можно найти ниже VERSION="2017.03" ID="amzn" ID_LIKE="rhel fedora" VERSION_ID="2017.03" PRETTY_NAME="Amazon Linux AMI 2017.03" ANSI_COLOR="0;33" CPE_NAME="cpe:/o:amazon:linux:2017.03:ga" HOME_URL="http://aws.amazon.com/ama…
03 дек '19 в 09:59
1
ответ
Kafka-node внезапно потребляет со смещения 0
Иногда потребитель kafka-node начинает потреблять со смещения 0, тогда как по умолчанию он потребляет только новые сообщения. Тогда он не вернется к своему поведению по умолчанию. Вы знаете, как это решить, и что происходит, и его поведение внезапно…
31 янв '20 в 17:30
1
ответ
Интерфейс командной строки kafka-consumer-groups не показывает группу потребителей node-kafka
У меня есть группа потребителей kafka, работающая на node.js на базе node-kafka. Когда эта группа потребителей активна или неактивна, я ожидаю увидеть сообщение об этом через интерфейс командной строки kafa-consumer-groups. Интерфейс командной строк…
10 ноя '19 в 20:16
2
ответа
ProducerStream производит только один раздел
Я пытаюсь создать несколько сообщений для одной темы с двумя разделами. Все сообщения поступают только в раздел номер 2. Я ожидал, что поток производителя будет распространять сообщения по всем разделам. const kafka = require('kafka-node') const { T…
07 янв '20 в 13:58
1
ответ
Nodejs avro-сериализация без реестра схем с последующей десериализацией в Kafka Streams
Я хотел бы попросить совета по следующей проблеме. Я пытаюсь узнать, как выполнить сериализацию данных Avro с помощью nodejs без реестра схем, опубликовать его в кластере Kafka, а затем получить его в Kafka Streams (Java). На стороне javascript я по…
06 мар '20 в 20:20
1
ответ
Как реализовать параллелизм в кафке с использованием потребителей nodejs?
Теоретически говоря, поскольку nodejs является однопоточным, как я могу добиться параллелизма, когда я определяю несколько потребителей для увеличения пропускной способности? Например, если у меня есть тема kafka с 4 разделами, на стороне потребител…
18 май '20 в 11:28
1
ответ
Клиент kafka отправляет запрос на раздел, где упал брокер
Я использую модуль kafka-node для отправки сообщения kafka. В кластерной среде, где у меня есть тема с 3 разделами и фактором репликации как 3. Описание темы - Topic:clusterTopic PartitionCount:3 ReplicationFactor:3 Configs:min.insync.replicas=2,seg…
23 сен '19 в 14:45
1
ответ
Создание раздела для темы в kafka-node
Я создал HighLevelProducer для публикации сообщений в потоке темы, который будет использоваться ConsumerGroupStream с использованием kafka-node. Когда я создаю несколько потребителей из одной группы ConsumerGroup для использования из одной и той же …
07 янв '20 в 01:06
0
ответов
kafka-node, потребители в группе потребителей не получают назначенных им разделов
Версия узла среды: 10.15.3 Версия узла Kafka: 5.0.0 Версия узла Kafka (один узел): 2.3.0 Количество брокеров: 1 Количество разделов для темы: 1 мое приложение состоит из микросервисов, и каждая микрослужба может иметь от 1 до 3 запущенных экземпляро…
08 дек '19 в 12:36
0
ответов
Как подключиться к кластеру kafka с помощью kerberos sasl в node js
Я хочу подключиться к кластеру kafka через конфигурацию sasl keytab(kerberos) с помощью node.js. Мне нужно только получать сообщения из темы, которую они создают, используя параметры конфигурации sasl. Я исследовал множество пакетов NPM, таких как l…
08 авг '20 в 16:29