Описание тега librdkafka
Библиотека Apache Kafka C/C++
1
ответ
Как производитель либрдкафки узнает о новых разделах темы в Кафке
Я запускаю rdkafka_simple_producer.c для создания сообщений в кластер Kafka. У меня одна тема и 30 разделов. Использование стандартного кругового разбиения. Пока продюсер работает и генерирует сообщения для Kafka, я добавляю больше разделов в Kafka …
06 фев '19 в 17:10
1
ответ
Потребительская либрдкафка и конфигурация ssl
Я использую librdkafka в качестве потребителя клиента, и я настроил посредника и клиента для поддержки SSL для посредника: listeners = PLAINTEXT://172.20.54.9:9092,SSL://172.20.54.9:9093 ssl.keystore.location=E:/project_files/Project/kafka_2.11-2.1.…
31 май '19 в 14:33
0
ответов
node-rdkafka не устанавливается в локальной системе Windows, а также на удаленном сервере Linux
node-rdkafka нужен Python 2.7 в качестве одной из зависимостей, и он уже доступен в системе, для него также задан путь.Еще npm выдает ошибки, связанные с librdkafka согласно моему пониманию формы трассировки стека. Ниже приведена ошибка, возникающая…
30 май '19 в 05:32
0
ответов
Не могу установить rdkafka в модуль узла в Windows
Я использую lib-rdkafka, так что мне нужно установить в модуль узла, к сожалению, я не могу установить его. Я использую ОС Windows 10, но у моего Linux нет проблем с этим Уже пробовал некоторые решения, такие как установка и добавление пути для nuge…
27 май '19 в 07:53
1
ответ
Python librdkafka продюсер выступит против родного Apache Kafka Producer
Я тестирую Apache Kafka Producer с нативной реализацией java против confluent-kafka Python, чтобы увидеть, какая из них имеет максимальную пропускную способность. Я развертываю кластер Kafka с 3 брокерами Kafka и 3 экземплярами Zookeeper с использов…
05 мар '19 в 09:23
1
ответ
Некоторые разделы, кажется, имеют приоритет, когда потребитель читает из нескольких разделов
У меня есть сервис, который читает тему Кафки, используя librdkafka. Я заметил, что если потребитель отключается на некоторое время, некоторые записи в журнале создаются в kafka (это вполне нормально и ожидаемо) Странно то, что иногда, когда я запус…
05 апр '19 в 22:05
2
ответа
bazel rules_go: связывание идет бинарно со статической библиотекой C++ (файл.a), созданной другой целью в рабочей области
Я использую библиотеку confluent-kafka-go внутри моего двоичного файла go, и эту библиотеку нужно связать с librdkafka. Другие цели в моем проекте используют librdkakfa, поэтому я создал статические librdkafka.a и librdkafka++. A, используя правило …
16 апр '19 в 00:34
3
ответа
Возврат от потребителя Кафки, когда нет сообщения
Я хочу обработать тему при запуске приложения, используя клиент Confluent dotnet. Предположим следующий пример: while (true) { try { var cr = c.Consume(); Console.WriteLine($"Consumed message '{cr.Value}' at: '{cr.TopicPartitionOffset}'."); } catch …
23 мар '19 в 15:42
1
ответ
Потребитель Кафки застревает после превышения max.poll.interval.ms
Когда потребитель не получает сообщение в течение 5 минут (значение по умолчанию max.poll.interval.ms 300000ms), потребитель останавливается, не выходя из программы. Процесс потребителя зависает и больше не потребляет сообщения. Следующее сообщение …
24 июн '19 в 13:00
1
ответ
Как получить последнее смещение раздела темы Кафки?
Я использую библиотеку C (librdkafka) написать потребителю кафку. Мне нужно знать последнее смещение раздела данной темы (и отставание тоже). Я знаю, что это возможно с Python (из аналогичного поста на Stackru), но я не нашел способ сделать это в C.…
04 июл '19 в 11:10
2
ответа
Невозможно установить пакет npm (kafka-streams)
Я пытаюсь использовать пакет naf kafka-streams, но получаю ошибку ниже: PS D:\Projects\POCs\kstreams-poc> npm install kafka-streams > node-rdkafka@2.7.1 install D:\Projects\POCs\kstreams-poc\node_modules\node-rdkafka > node-gyp rebuild D:\P…
27 июл '19 в 17:37
1
ответ
Производитель librdkafka, чтобы взять сообщение из функции и создать его по теме
Поскольку я относительно новичок в Kafka, у меня возникли проблемы с реализацией Kafka Producer, где он получает информацию message от функции и далее производить ее по определенной теме. Но сложность в том, что на публикацию этой темы уходит много …
16 июл '19 в 10:48
0
ответов
CMB не найдет либрдкафку
Я пытаюсь использовать Кафку в проекте, который использует CMake для сборки. У меня установлена библиотека librdkafka-dev (версия 0.8.6-1.1). Я также попытался загрузить проект из Git и собрать его вручную, что кажется успешным. Я заметил файл REA…
21 авг '19 в 23:51
0
ответов
Как установить непрерывного потребителя кафки в php, без времени ожидания соединения
Я использую следующий код для чтения сообщения от Кафки. Но чтобы установить потребителя, я должен указать время ожидания соединения. В моем случае я хочу потребителя непрерывного чтения, я не могу установить время ожидания соединения, потому что не…
08 авг '19 в 09:53
0
ответов
Реализация Apache Kafka точно-один раз в nodeJs
Я только начал изучать Apache Kafka. Я использую nodejs и node-rdkafka. Чтобы использовать функцию Кафки "точно один раз", я вижу только код Java, но не могу найти способ реализовать его с помощью nodeJs. Можно ли это сделать, если да, то как?
12 июл '19 в 11:08
1
ответ
Настройки конфигурации librd Kafka для аутентификации Kerberos
В моем целевом кластере включен Kerberos. С консоли соединение производителя работает. ./kafka-console-producer.sh --broker-list targetHost:port --topic test --producer.config /path/to/client.properties Я добавил ниже запись в свой bash_profile, что…
29 янв '20 в 20:47
1
ответ
Как создать пример cppkafka с помощью qmake и mingw?
Мне нужно уйти от cmake, поэтому я хочу создать проект qmake на mingw. Пожалуйста, помогите мне понять, чего не хватает. Соберите CPPKafka с https://github.com/mfontanini/cppkafka main.cpp #include <cppkafka/cppkafka.h> using namespace std; us…
31 авг '20 в 16:02
1
ответ
Ошибка: недопустимое значение sasl_ssl для свойства конфигурации security.protocol)
При попытке подключиться к потребителю kafka ( kafka_2.11-2.0.0 в Centos) с помощью golang появляется ошибка ниже: [ 2019_12_12_12:45:05 ] ----> Kafka Consumer Connection Error (kafka.Error=Invalid value "sasl_ssl" for configuration property "sec…
12 дек '19 в 17:47
1
ответ
Учетные данные Kafka и параметры потребителя для клиента C++
Я пытаюсь использовать kafka msg с помощью С ++. Я установил librdkafka и попробовал пример https://github.com/edenhill/librdkafka/blob/master/examples/rdkafka_example.cpp Теперь меня беспокоит, как передать имя пользователя, пароль и хранилище дове…
13 фев '20 в 14:42
0
ответов
Node - был скомпилирован для другой версии Node.js с использованием NODE_MODULE_VERSION 67
Я запускаю приложение узла на терминале и получаю следующую ошибку Error: The module '/Users/test-app/node_modules/node-rdkafka/build/Release/node-librdkafka.node' was compiled against a different Node.js version using NODE_MODULE_VERSION 72. This v…
15 июн '20 в 07:23