Описание тега embedded-kafka
0
ответов
Встроенный Kafka: KTable+KTable leftJoin производит дубликаты записей
Я прихожу в поисках знания тайного. Во-первых, у меня есть две пары тем, по одной теме в каждой паре, которая входит в другую тему. Два KTables формируются последними темами, которые используются в KTable+KTable leftJoin. Проблема в том, что leftJoi…
18 июл '18 в 17:09
1
ответ
Реестр Spring Embedded Kafka + Mock Schema: Государственный магазин ChangeLog Schema не зарегистрирован
Я создаю интеграционный тест для нашей системы kafka с помощью Spring Embedded Kafka Broker с MockSchemaRegistryClient. Я создаю тест для одной из наших топологий Stream, созданный с использованием API Streams (KStreamBuilder). Эта конкретная тополо…
18 июн '18 в 21:16
0
ответов
Spark - не останавливается Spark Stream, который использует тему Kafka
Я пытаюсь написать тест для примера потокового воспроизведения, который использует данные из kafka. Я использую EmbeddedKafka для этого. implicit val config = EmbeddedKafkaConfig(kafkaPort = 12345) EmbeddedKafka.start() EmbeddedKafka.createCustomTop…
11 апр '18 в 17:19
0
ответов
Встроенные тесты Кафки (запускаемые SBT) периодически терпят неудачу с ошибками ZooKeeperServer
Я пишу группу тестов с использованием весеннего утилиты тестирования KafkaEmbedded. Каждый из тестов по отдельности поддерживает встроенный экземпляр kafka, генерирует события и утверждает результирующие последующие события. Тесты последовательно пр…
16 июл '18 в 22:05
1
ответ
Получить данные из темы после нажатия на @EmbeddedKafka в весенней загрузке Junit
Я пишу тестовые примеры Junit (используя @EmbeddedKafka) для своего приложения Spring Boot, которое широко использует Spring-kafka для связи с другими сервисами и для других операций. Один типичный случай - удаление данных из kafka (что мы делаем с …
31 янв '19 в 03:30
0
ответов
Apache kafka встроенный тест kafka junit - приложение запускается при запуске юнит-теста
Я разрабатываю асинхронный почтовый сервер при весенней загрузке с использованием kafka. Я написал тесты со встроенной kafka, которая запускает собственную тему kafka в случайном порте и использует ее для тестирования. Когда я запустил этот контекст…
05 фев '19 в 15:30
1
ответ
Как добавить встроенную кафку в приложение SpringBoot
Я использую Kafka и Springboot в своем проекте, теперь у меня есть внешний кластер Kafka и проект микросервиса SpringBoot. Используя файл yml, я успешно создаю Kafka Producer и потребитель, а затем приложение и kafka прекрасно взаимодействуют. Тепер…
17 янв '19 в 17:00
1
ответ
Интеграционный тест Flink и Kafka с scalatest-embedded-kafka
Я хотел бы запустить интеграционный тест с Flink и Kafka. Процесс состоит в том, чтобы прочитать из Кафки некоторые манипуляции с Флинком и поместить поток данных в Кафку. Я хотел бы проверить процесс от начала до конца. Пока я использую https://git…
13 апр '18 в 17:02
1
ответ
Kafka Streams: PAPI и DSL KTable смешивать и сочетать, не разделяя
У меня есть смешанная и подходящая топология Scala, в которой основным рабочим является процессор PAPI, а другие части связаны через DSL. EventsProcessor: INPUT: eventsTopic OUTPUT: visitorsTopic (and others) Данные по темам (включая оригинал events…
26 июл '18 в 15:48
1
ответ
EmbeddedKafka выдает RecordTooLargeException, даже если значения конфигурации установлены
Я пытаюсь увеличить размер сообщения по умолчанию kafka с 1 МБ до 10 МБ. Я тестирую свою новую конфигурацию с EmbeddedKafka и ScalaTest, но она не работает. Используя этот ответ, я соответственно увеличил значения конфигурации: Маклер: message.max.b…
13 июл '18 в 09:50
1
ответ
Не удалось запустить встроенную кафку - Ошибка
У меня проблемы с решением этой проблемы. Вот мой Junit, и я использую встроенную пружинную кафку. Когда я запускаю свой тестовый пример, я получаю странную проблему / исключение. @RunWith(SpringRunner.class) @SpringBootTest(webEnvironment = SpringB…
13 июл '18 в 17:54
1
ответ
Ошибка производителя в Scala Embedded Kafka с потоками Kafka
У меня есть тест, который по темпераменту оставляет открытый поток производителя с непрерывной регистрацией ошибок. [2018-06-01 15:52:48,526] WARN [Producer clientId=test-deletion-stream-application-9d94ddd6-6f29-4364-890e-0d9676782edd-StreamThread-…
01 июн '18 в 14:17
0
ответов
Как исправить ошибку от встроенной кафки, которая не может найти meta.properties
Я пытаюсь сделать интеграционный тест для приложения, использующего kafka, kafka-streams и cassandra. Но когда я пытаюсь установить тестовый класс, у меня есть 2 ошибки: ОШИБКА [main] BrokerMetadataCheckpoint: не удалось прочитать файл meta.properti…
25 янв '19 в 11:59
0
ответов
Тестирование с EmbeddedKafka - протокол испытаний
Я использую EmbeddedKafka проверить интеграцию с Кафкой в моем микросервисе. А также я использую jacoco для публикации результатов теста. Чтобы тестовый прогон прошел без проблем, я должен сделать forkCount параметр как 0, <plugin> <group…
01 ноя '18 в 08:21
1
ответ
Встроенное хранилище состояний миграции Kafka между двумя экземплярами с разными @StreamListener
У меня есть приложение SpringBoot с двумя потоковыми процессорами, сопоставленными через Spring Cloud. Каждый процессор имеет собственный @StreamListener для разных тем. Один процессор записывает агрегированные данные в надежное хранилище состояний.…
08 сен '18 в 00:06
0
ответов
Embedded Scalatest: параллельно запуская два пакета, он пытается подключиться бесконечно
Я запускаю два отдельных FunSuites (параллельно SBT), с разными портами Kafka и ZK каждый, они работают по отдельности, но не работают при запуске обоих. [2018-05-12 00:57:59,106] WARN [Producer clientId=test-processor-stream-application-2fe823e5-72…
11 май '18 в 23:02
1
ответ
IP-адрес встроенного Kafka Broker не разрешен в файле свойств
Я столкнулся с проблемой, когда моя Кафка ProducerConfig становится недействительным bootstrap.servers значение, потому что мой юнит тест @PropertySource не разрешает spring.embedded.kafka.brokers имущество. Когда я записываю свою конфигурацию произ…
06 мар '19 в 14:18
1
ответ
Как я могу протестировать метод с аннотацией @KafkaListener в приложении весенней загрузки?
У меня есть spring компонент с @KafkaListener метод: @Slf4j @Component public class ResponseHandler { private final ResponseMessageService responseMessageService; public ResponseHandler(ResponseMessageService responseMessageService) { this.responseM…
15 апр '19 в 11:48
0
ответов
Сессия ZooKeeper истекла в тестах
Я использую EmbeddedKafka для тестирования моего модуля со следующей конфигурацией аннотаций: @ExtendWith(SpringExtension.class) @SpringBootTest @TestPropertySource(locations = "classpath:test.properties") @EmbeddedKafka(partitions = 1, topics = {"t…
21 апр '19 в 10:19
0
ответов
Встроенный Kafka Appender не работает с Log4j2 xml
Я хочу написать модульный тест для Kafka Appender, используя log4j2 xml. Я использую встроенный kafka, но он не может инициализировать ${spring.embedded.kafka.brokers} это свойство. Я получаю эту ошибку java.lang.ExceptionInInitializerError at sun.r…
03 май '19 в 15:54