Описание тега spring-kafka
Проект Spring для Apache Kafka (spring-kafka) применяет основные концепции Spring для разработки решений обмена сообщениями на основе Kafka.
1
ответ
Весенняя загрузка кафки с ssl, ошибка отправки сообщения
Я тестирую пример кода Spring Kafka. Работает нормально с PLAINTEXT соединение, но не работает с SSL подключение. Я убедился, что ключ и сертификат действительны для брокера kafka, успешно запустив консольный потребитель: bin/kafka-console-consumer.…
25 апр '18 в 07:31
1
ответ
Обработка репозитория и транзакций Kafka
У меня есть сценарий использования, когда мне нужно использовать тему kafka, выполнить какую-то работу, создать другую тему kafka, используя семантику только один раз, и сохранить ее в базе данных mongo. После просмотра документов я считаю, что тран…
08 авг '18 в 20:20
2
ответа
Когда я приостанавливаю потребителя, другой потребитель из той же группы потребителей должен получить сообщения
Я пытаюсь работать над случаем, когда есть два или более потребителей, слушающих одну общую тему, содержащую только один раздел. Я приостанавливаю одного из потребителей, в это время другие потребители, которые не находятся в режиме паузы, должны им…
02 авг '17 в 22:36
1
ответ
Spring Cloud Stream 2.0 и последний запуск startOffset
При обновлении нашего приложения до весенней загрузки 2.0.3 мы столкнулись с проблемой потребления сообщений и использования startOffset: latest,Сценарий, который мы протестировали, выглядит следующим образом: развернуть приложение с потребителем (t…
25 ноя '18 в 13:23
1
ответ
Spring Kafka Retry Logging
У меня есть требование использовать тему из kafka, выполнить некоторую работу с записями и создать другую тему с помощью spring-kafka 2.1.7. Другие требования требуют транзакций только для семантики, повторных попыток и обработки ошибок. При неудачн…
02 авг '18 в 01:44
1
ответ
Уточнение кафки
Я использую Spring-Kafka 1.3.5, который использует клиент 0.11.0.2. У меня есть 2 раздела. И мой max.poll.records = 1. У меня такой вопрос: предположим, у меня есть 2 узла / работника (для которых параллелизм установлен на один, поэтому один потреби…
24 май '18 в 01:04
0
ответов
Встроенный Kafka: KTable+KTable leftJoin производит дубликаты записей
Я прихожу в поисках знания тайного. Во-первых, у меня есть две пары тем, по одной теме в каждой паре, которая входит в другую тему. Два KTables формируются последними темами, которые используются в KTable+KTable leftJoin. Проблема в том, что leftJoi…
18 июл '18 в 17:09
1
ответ
Удалить группу потребителей, созданную из слушателя java spring Kafka
Я использую Spring kafka listener для чтения сообщений из темы kafka. @KafkaListener( id = "member-group", topics = "member-updated" ) Я использовал для создания новой группы потребителей каждый раз (путем изменения вышеуказанного идентификатора гру…
12 июн '18 в 07:03
1
ответ
Spring Kafka - Как установить свойство Commit Async
Я пытаюсь установить свойство, позволяющее вызывать commitAsync() из KafkaMessageListenerContainer: if (this.containerProperties.isSyncCommits()) { this.consumer.commitSync(commits); } else { this.consumer.commitAsync(commits, is.commitCallback); } …
26 мар '18 в 19:02
1
ответ
Кафка производитель плохая производительность
У меня проблема с производителем кафки. На самом деле я использую Spring Kafka и отправляю сообщения через KafkaTemplate следующим образом: DefaultKafkaProducerFactory<K, V> defaultKafkaProducerFactory = new DefaultKafkaProducerFactory<>…
13 окт '18 в 07:27
1
ответ
СКС Кафка, потребитель обрабатывает только последние сообщения
Я использую SCS 1.3.0.RELEASE. У меня есть производитель и потребитель приложений. Не запуская потребительское приложение, я использовал приложение-производитель для отправки нескольких сообщений. Затем запустил потребительское приложение, но сообще…
26 окт '17 в 16:25
1
ответ
Ограничить количество сообщений по теме
Мой потребитель Kafka должен слушать несколько тем. Каждая тема определяет приоритет, скажем - высокий, низкий и средний. Потребительский сервис должен быть настроен таким образом, чтобы он, например, имел. 30 исполнителей для обработки сообщений в …
10 окт '18 в 14:30
1
ответ
@KafkaListener параллелизм нескольких тем
Я хочу создать параллельный @KafkaListener который может обрабатывать несколько тем, каждая с разным количеством разделов. Я заметил, что Spring-Kafka инициализирует только одного потребителя на раздел для темы с большинством разделов. Пример: я уст…
29 авг '18 в 12:05
2
ответа
Класс отсутствует в доверенных пакетах, хотя отображается в списке доверенных пакетов.
Я пытаюсь реализовать простую связь Kafka между двумя различными приложениями Spring Boot без каких-либо специальных настроек, это приложение имеет только один kafkalistener. Мой yml для потребителя выглядит следующим образом: spring: kafka: bootstr…
27 май '18 в 14:03
1
ответ
Весенний фильтр Кафка не фильтрует потребительские записи
Я пытаюсь отфильтровать сообщения ConsumerRecord перед использованием, основываясь на содержимом одного из полей в ConsumerRecord. Пример записи потребителя перед применением фильтра (ищите GP_ID в значении): ConsumerRecord(topic = jdbc-project, par…
26 фев '19 в 21:39
1
ответ
Задержка ACK в весеннем Кафке
Я использую Spring и Spring Kafka для пакетной службы, которая собирает данные из Kafka до тех пор, пока не будут выполнены определенные условия, а затем создает дамп данных. Я хочу подтвердить коммиты, когда данные покидают мой сервис, но они могут…
31 окт '18 в 10:25
1
ответ
Spring Kafka Всегда перебалансируется через 5 минут, даже если я остановлюсь у потребителя
Есть трудоемкая операция (около 10 минут), но кафка избегает восстановления баланса через 5 минут, даже если я делаю паузу для потребителя. потребительский метод: @KafkaListener(topics = {TopicAppoint.EXECUTE_SCHOOL_DATA_STATICS_TASK}) public void r…
14 ноя '18 в 03:11
1
ответ
Весна-Кафка десериализация
Я пытаюсь заставить потребителя kafka слушать определенную тему и обрабатывать полученное сообщение как JSON. Я попытался следовать подходу, приведенному здесь в Spring Docs, но не могу получить сообщения в формате JSON. Это мой код для настройки пр…
09 фев '17 в 09:38
1
ответ
Несколько KafkaConsumer на нескольких кластеров Kafka в весенней загрузке
Хочу создать homogeneous kafka consumers на разных кластерах из загрузочного приложения Spring с помощью spring-kafka, т.е. хотите создать объект Kafka Consumer для определенного класса, который прослушивает несколько кластеров, определенных динамич…
09 окт '18 в 04:14
2
ответа
Kafka Docker, Docker-Maven-плагин, Spring Boot
Я пытаюсь запустить Kafka через плагин Docker Maven https://github.com/fabric8io/docker-maven-plugin Я использую следующее изображение Maven: https://hub.docker.com/r/wurstmeister/kafka/ Это мой конфиг Maven: <plugin> <groupId>io.fabric8…
22 ноя '17 в 10:06