Описание тега confluent-kafka
Семейство клиентов Apache Kafka для разных языков Confluent, основанных на libkafka. Добавьте языковой тег, чтобы указать точный клиент.
1
ответ
Изменение лидерства кластера зоопарка, когда лидер умирает
Далеко внизу вы можете найти файлы docker-compose.yml. Предпосылки: Я запускаю 3 сервера zookeeper как кластер, используя docker-compose (docker-compose.yml, 3 zookeepers), затем добавляю 4. один (еще один docker-compose.yml, 1 zookeeper) в кластер.…
23 янв '17 в 06:05
1
ответ
Как выполнить операцию соединения с данными в формате AVRO в потоках kafka с использованием JAVA
ПОТОК-1: [KSTREAM-SOURCE-0000000000]: null, {"id": 1, "name": "john", "age": 26, "updated_at": 1525774480752} [KSTREAM-SOURCE-0000000000]: null, {"id": 2, "name": "jane", "age": 24, "updated_at": 1525774480784} [KSTREAM-SOURCE-0000000000]: null, {"i…
21 май '18 в 10:38
0
ответов
Kafka Streams: Магазин не готов
Недавно мы обновили Kafka до v1.1 и Confluent до v4.0. Но после обновления мы столкнулись с постоянными проблемами, касающимися государственных хранилищ. Наше приложение запускает коллекцию потоков, и мы проверяем, готовы ли хранилища состояний, пре…
05 июн '18 в 13:05
0
ответов
Установка Confluent на Ubuntu Windows Tool box не работает
Я пытаюсь установить последнюю версию Confluent 4.1.x на Ubuntu 16.04.3 TLS на моем Windows 7 через Oracle Tool box. sudo apt-get update && sudo apt-get install confluent-platform-oss-2.11 Получил уведомление при установке: Notice: Not creat…
20 май '18 в 14:41
1
ответ
Создать несколько потребителей для одной и той же темы в Кафке
Я новичок и могу видеть один пример с одним потребителем в репозитории github ниже, но есть ли идеи, как создать несколько потребителей для одной и той же темы? https://github.com/confluentinc/confluent-kafka-go/tree/master/examples Любая фабрика по…
24 сен '18 в 18:41
0
ответов
Ошибки Eclipse Maven при импорте примеров потоков Kafka
Я использую Eclipse Oxygen.1a Release (4.7.1a) на macOS Sierra 10.12.6. Также установите Java 1.8 и Scala 2.12.4. Сделал git-клон следующего хранилища из Confluent: https://github.com/confluentinc/kafka-streams-examples Когда я импортировал это как …
01 дек '17 в 23:40
1
ответ
Упаковка пользовательского плагина Java `partitioner.class` для Kafka Connect в Confluent 4.1 + Kafka 1.1?
Я успешно использовал простой пользовательский класс Partitioner, написанный на Java, для приемника Kafka Connect на Confluent 3.2.x (Kafka 0.10.x). Я хочу выполнить обновление до Confluent 4.1 (Kafka 1.1) и у меня возникают ошибки. Механизм загрузк…
01 май '18 в 17:54
0
ответов
Утечка памяти потребителя.NET Confluent Kafka
Мы наблюдаем огромные утечки памяти при использовании Kafka с использованием библиотеки Confluent Kafka .NET. Одна вещь, которую я заметил, это то, что код потребляет без использования оператора: while (true) { if (_consumer.Consume(out Message<s…
19 ноя '18 в 14:12
1
ответ
Идеальное значение для конфигурации конфигурации Kafka Connect Distributed tasks.max?
Я ищу продукт для ионизации и развертывания моего приложения Kafka Connect. Тем не менее, у меня есть два вопроса о настройке tasks.max, которая необходима и очень важна, но детали неясны для того, чтобы на самом деле установить это значение. Мой са…
27 янв '17 в 18:30
1
ответ
Кафка подключить несколько тем в свойствах разъема приемника
Я пытаюсь прочитать 2 темы Кафки, используя соединитель раковины Cassandra и вставить в 2 таблицы Cassandra. Как я могу сделать это? Это мое connector.properties файл: name=cassandra-sink-orders connector.class=com.datamountaineer.streamreactor.conn…
23 фев '18 в 06:26
1
ответ
Как уменьшить скорость приема Kafka Spout и включить противодавление?
Я использую storm-kafka-client 1.1.1 и storm-core 1.1.0. Я настроил следующие параметры, но не смог включить противодавление и снизить скорость приема кафки-излива. Носик потребляет 2000 сообщений в секунду. Для обработки сообщения нисходящему болту…
23 фев '18 в 05:00
1
ответ
Как отправить ArrayList объектов в Kafka Avro продюсер, не вызывая метод send для каждой отдельной записи?
Я использую приведенный ниже код для создания записей Avro User класс в тему Кафки, и она работает нормально; Класс отправителя import org.apache.avro.Schema; import org.apache.avro.generic.GenericData; import org.apache.avro.generic.GenericDatumRea…
24 апр '18 в 20:07
1
ответ
Потребитель на основе confluent-kafka в Python не работает
Очень плохо знакомы с кафкой и авро. Я застрял с проблемой и не могу понять, что здесь происходит не так. Я написал производителя и потребителя kafka, который использует Avro в качестве формата сериализации. Код производителя работает правильно. Как…
04 мар '18 в 19:19
1
ответ
Confluent .net (rdkafka) коммит на потребительской утилизации
У слитного продвинутого потребителя здесь есть следующий код (сокращенный для краткости). using (var consumer = new Consumer<Null, string>(constructConfig(brokerList, false), null, new StringDeserializer(Encoding.UTF8))) { while (!cancelled) {…
31 июл '17 в 00:30
8
ответов
UnsatisfiedLinkError: /tmp/snappy-1.1.4-libsnappyjava.so Ошибка загрузки общей библиотеки ld-linux-x86-64.so.2: такого файла или каталога нет
Я пытаюсь запустить приложение Kafka Streams в kubernetes. Когда я запускаю модуль, я получаю следующее исключение: Exception in thread "streams-pipe-e19c2d9a-d403-4944-8d26-0ef27ed5c057-StreamThread-1" java.lang.UnsatisfiedLinkError: /tmp/snappy-1.…
11 май '18 в 08:19
2
ответа
Kafka Connector - Упаковочные банки
ВОПРОС Я не профессионал Maven, и я застрял, пытаясь упаковать Kafka Connector. Есть два варианта упаковки: Либо вы создаете папку с jar-файлом, содержащим соединитель + все jar-файлы зависимостей - все jaf-файлы, относящиеся к kafka Или создайте то…
06 сен '17 в 15:09
1
ответ
Конфлюентный кафка REST-прокси, возвращающий пустые зафиксированные смещения
Я использую Confluent REST proxy v.3.2.0, и недавно я переключился с auto.commit.enable=true на false, и теперь я активно получаю и фиксирую смещения. Цель состоит в том, чтобы полагаться на зафиксированное смещение каждый раз, когда я создаю потреб…
20 июл '17 в 18:04
1
ответ
Сохранить Avro Schema в Confluent Schema-Registry
Я пытаюсь записать очень простую схему в реестр с помощью Postman, и мне очень трудно заставить ее зарегистрироваться. Неужели так сложно просто зарегистрировать простую схему, которая является только первым шагом во всем этом процессе, или я что-то…
08 май '17 в 18:38
1
ответ
Как использовать веб-интерфейс Confluent Control Center?
Я развернул слияние в Едином облаке на виртуальной машине Linux, и я планирую настроить перехватчики для Потребителей.Но как мне настроить Центр управления для доступа к его веб-интерфейсу? Развернутый Confluent Control Center Enterprise Edition.
02 мар '18 в 15:12
1
ответ
Kafka SASL рукопожатие занимает слишком много времени
Описание: аутентификация с использованием SASL/SCRAM или SASL/PLAINTEXT занимает около 9 секунд. Это нормально? Как воспроизвести: Один экземпляр брокера Kafka (v1.1.0) Один производитель C# (Confluent Kafka Client v0.11.4), который делает следующее…
09 июл '18 в 16:09