Описание тега kafkajs

KafkaJS is an open-source Node.js client library for Apache Kafka
1 ответ

NodeJS: KafkaJSProtocolError: Поддерживаемые протоколы члена группы несовместимы с протоколами существующих членов.

Я пытаюсь захватить данные из Kafka с помощью коннектора debezium MongoDB, но я получаю сообщение об ошибке при попытке прочитать их с KafkaJS: KafkaJSProtocolError: The group member's supported protocols are incompatible with those of existing memb…
0 ответов

Есть ли способ выполнить производителя в kafkajs и выйти из функции без process.exit()?

Я устанавливаю сервер в nodejs, который использует kafka. Для этого я использую kafkaJS. Проблема здесь в том, что я не хочу, чтобы сервер выключался каждый раз, когда кто-то отправляет сообщение или читает значение из kafka. До сих пор я пытался эт…
03 апр '19 в 00:06
0 ответов

KafkaJs TypeError: crypto.getRandomValues ​​не является функцией

После начала работы с kafkajs не удалось создать продюсер. Я пробовал как с узлом 10, так и с узлом 8, но, похоже, ни один из них не работает для меня. const { Kafka } = require('kafkajs'); const kafkaClient = new Kafka({ clientId: 'my-test', broker…
06 сен '19 в 23:42
2 ответа

OpenShift - Невозможно подключить Strimzi из KafkaJS

У меня успешно настроен кластер Strimzi Kafka на OpenShift. Я вижу следующие услуги: kafka-brokers kafka-bootstrap zookeeper-client zookeeper-nodes Это на самом деле отличается от того, что выкрикнул здесь; так что не уверен, если это проблема устан…
03 окт '19 в 18:25
0 ответов

Что означает эта ошибка кафки при настройке общего кластера и как ее решить?

Я уже некоторое время использую настройку общего кластера, чтобы протестировать некоторые вещи в CloudKarafka. Это не доставляло мне проблем до вчерашнего дня, когда я начал получать это сообщение об ошибке. {"level":"ERROR","timestamp":"2019-09-23T…
24 сен '19 в 19:07
1 ответ

kafkajs - изящно остановить экземпляр kafkajs после отключения

Я использую kafkajs как в производственных, так и в интеграционных тестах. Перед всеми моими тестами я создаю экземпляр kafkajs с производителем и потребителем, подключением / подпиской / запуском (eachMeassage)... После всех моих тестов я хочу изящ…
31 мар '20 в 17:04
1 ответ

kafkajs - Неверный пароль для аутентификации SASL не вызывал ошибку

Это мой продюсер, использующий kafkajs . Когда я указываю неправильное имя пользователя вoptions.username, Я вижу сообщение Connected. Как обрабатывать ошибки подключения с помощьюkafkajs? const { Kafka, logLevel } = require('kafkajs') async functio…
1 ответ

Как сбросить данные клиенту сразу после записи res.write() перед res.end() в Express.js?

Я создал клиент Apache Kafka с использованием Kafkajs, и я пытаюсь прочитать сообщения из темы в Kafka. Он работает нормально, если я console.log(сообщение). Но я хочу отправлять сообщение клиенту каждый раз, когда создается / записывается новое соо…
24 фев '20 в 11:51
0 ответов

как заставить autocommit false работать в kafkajs

Сценарий : яустанавливаю autocommit false,создавая 12 сообщений, использующих их... (скажем, со смещения 100),завершение работы потребителя, запуск нового потребителя на этом этапе я ожидаю, что второй потребитель снова прочитает все сообщения, начи…
04 июн '20 в 14:24
1 ответ

Можно ли создавать темы, которые уже существуют в KafkaJS?

Ситуация Я динамически создаю серию тем с помощью KafkaJS и обнаружил, что для этого, не создавая проблем с выборами, я должен использоватьcreateTopics функция администратора. Проблема в том, что если createTopics вызывается по уже существующей теме…
24 авг '20 в 21:28
1 ответ

Неожиданный токен в коде kafkajs для потребительского приложения kafka

Версия Nodejs: 4.4.7 Версия NPM: 2.15.8 Я запускаю следующий код, который буквально скопирован со следующего URL-адреса https://kafka.js.org/docs/getting-started const { Kafka } = require('kafkajs') const kafka = new Kafka({ clientId: 'my-app', brok…
04 окт '19 в 05:29
2 ответа

Не удалось подключиться к посевному брокеру с помощью kafkajs

Я пытаюсь использовать kafkajsчтобы создать потребителя кафки. Однако я уже получаю ошибку при подключении к кафке: "[BrokerPool] Failed to connect to seed broker, trying another broker from the list: Closed connection" Вот код, который я использую:…
31 окт '19 в 16:22
1 ответ

Почему мой клиент kafkajs (Node.js/express.js) выдает ошибку "TypeError: themes.forEach is not a function" при получении метаданных тем?

Я пытаюсь получить метаданные тем моих брокеров kafka с помощью клиента администратора kafkajs. Я написал свой сервер на Node.js + express.js. Это мое index.js файл, который является точкой входа npm. 'use strict'; const express = require('express')…
10 фев '20 в 17:56
0 ответов

Модульное тестирование потребителя и производителя kafka в node js

Итак, у нас есть node js api, у которого есть как производитель, так и потребитель kafka. Мы используем kafkajs для создания клиента kafka. Я хотел знать, есть ли библиотека для модульного тестирования производителя и потребителя kafka, с помощью ко…
30 апр '20 в 11:02
0 ответов

Как использовать KafkaJS в машинописном тексте?

Поддерживает ли он @types для использования KafkaJS в машинописном тексте или любую альтернативу?
15 июн '20 в 00:43
0 ответов

Как приостановить потребителя KafkaJS и повторить попытку через некоторое время

Я использую KafkaJS ( https://kafka.js.org/) для подключения к кластеру Kafka. Мои потребители несут ответственность за обработку задач, которые могут завершиться ошибкой в ​​какой-то момент и успешно завершиться через некоторое время ожидания (напр…
1 ответ

KafkaJS - Найдите наиболее эффективный способ смещения

(Полный новичок, когда дело доходит до кафки и кафкаев, так что извините, если это глупый вопрос) У меня проблема, когда у нас есть тема, в которой хранятся 48 часов данных (миллионы записей); И мне интересно, как лучше всего получить из этой темы п…
28 июл '20 в 02:23
1 ответ

В ожидании выборов руководства в KafkaJS

Ситуация Я использую kafkajs, чтобы писать в некоторые динамически генерируемые темы kafka. Я обнаружил, что письма по этим темам сразу после регистрации моего продюсера регулярно вызывают ошибку: There is no leader for this topic-partition as we ar…
24 авг '20 в 20:58
1 ответ

SSL-сертификаты производителя KafkaJS

Я пишу продюсеру NodeJS Kafka с помощью KafkaJS и не понимаю, как получить необходимые SSL-сертификаты для подключения к Kafka с использованием соединения SASL-SSL. В документации KafkaJS есть такая конфигурация для SSL: ssl: { rejectUnauthorized: f…
05 ноя '19 в 12:25
0 ответов

Ошибка подключения Kafka при использовании KafkaJS

Я установил Kafka на свой локальный компьютер разработчика в соответствии с инструкциями здесь: https://kafka.apache.org/documentation/ Я могу создавать и использовать сообщения при запуске файлов.sh, как описано в приведенной выше ссылке. Однако пр…
15 май '20 в 10:18