Описание тега reactive-kafka
Akka Streams Kafka, также известный как Reactive Kafka, представляет собой коннектор Akka Streams для Apache Kafka.
1
ответ
Как обрабатывать и сортировать большие сообщения в Reactive Kafka с помощью Akka-Stream
Можно ли при отправке большого файла с помощью Kafka распределить его по разделам, а затем повторно собрать с помощью Akka-Stream? как описано в этой презентации: http://www.slideshare.net/JiangjieQin/handle-large-messages-in-apache-kafka-58692297
30 сен '16 в 23:54
0
ответов
Проблема с Kafka Broker - UnknownServerException
Наше приложение использует springBootVersion = 2.0.4.RELEASE вместе с compile('io.projectreactor.kafka:reactor-kafka:1.0.1.RELEASE') зависимость. Брокер Kafka, который у нас есть, находится в версии 1.0.1, Периодически, когда мы отправляем сообщения…
13 фев '19 в 07:54
0
ответов
Реактивная Кафка, не в состоянии отследить смещение лага
Используя Kafka Streams, я могу отслеживать отставание с помощью JMX consumer-fetch-manager-metrics records-lag и предоставлять эти данные, чтобы мы могли отслеживать, отстает ли обработка для данного раздела. Я надеялся перейти на Reactive Kafka, ч…
01 мар '19 в 17:47
1
ответ
Несовместимое ограничение равенства при использовании Akka Kafka Streams
Я пытаюсь использовать Akka Kafka Streams, следуя документации Akka Kafka Streams. Вот код, который у меня есть: ConsumerSettings<byte[], ETLProcessMessage> consumerSettings = ConsumerSettings .create(actorSystem, new ByteArrayDeserializer(), …
10 июн '18 в 09:33
0
ответов
Нужна предсказуемая постоянная задержка <5 мс в кафке
Мы планируем использовать 3 кафка-брокера и узел зоопарка. Мы сохранили один раздел для каждой темы. Но у нас есть строгое требование задержки до 5 мс. Мы используем клиентскую библиотеку реактивная-кафка https://github.com/akka/reactive-kafka. Напр…
23 янв '18 в 14:25
1
ответ
Как обеспечить постоянную генерацию схемы Avro и избежать исключения "Слишком много объектов схемы создано для x"?
Я испытываю воспроизводимую ошибку при создании сообщений Avro с реактивной kafka и avro4s. Однажды identityMapCapacity клиента (CachedSchemaRegistryClient), сериализация завершается неудачно с java.lang.IllegalStateException: Too many schema object…
30 авг '17 в 15:07
1
ответ
Реактивная-кафка: почему издатель "идет с" потребителем?
Я посмотрел следующую документацию: https://github.com/akka/reactive-kafka и увидел следующий фрагмент кода: implicit val actorSystem = ActorSystem("ReactiveKafka") implicit val materializer = ActorMaterializer() val kafka = new ReactiveKafka() val …
28 авг '16 в 07:21
0
ответов
Добавление потока для записи подписчику Kafka
Мне нужно построить следующий график: val graph = getFromTopic1 ~> doSomeWork ~> writeToTopic2 ~> commitOffsetForTopic1 но попытка реализовать его в Reactive Kafka заставила меня спуститься в кроличью нору. И это кажется неправильным, потом…
30 июн '17 в 05:08
1
ответ
Akka Streams Kafka - юнит-тест для потребителя
Я пытался проверить свой код локально, настроив сервер Kafka и отправив сообщения с использованием производителя, но мне интересно, есть ли способ, которым я могу написать модульный тест для этого куска кода (проверить, было ли сообщение получено по…
17 окт '17 в 16:18
0
ответов
Async и mapAsync - достижение параллелизма в потоках akka - реактивная кафка
В настоящее время я работаю с потоками akka и создаю реактивное приложение. Насколько я понимаю, когда async граница установлена, Каждый этап (Поток) проходит в актере. Это правда? призвание mapAsync похоже на применение async в поток? В идеале я хо…
14 авг '17 в 13:59
1
ответ
Подключить поток производителей к графику
Я новичок, использующий потоки akka kafka (и потоки akka в целом) . Я пытаюсь построить график, чтобы опубликовать сообщение на разные темы. Как я могу подключить производителя как поток, чтобы зафиксировать обработанные сообщения? Я пытался использ…
14 авг '17 в 07:50
2
ответа
Reactive-Kafka: как приостановить работу потребителя в случае исключения и повторить запрос по требованию
Я уже задавал этот вопрос в группах Google, но пока не получил ответа. Так что постить это здесь для другой аудитории. Мы используем Reactive-Kafka для нашего приложения. У нас есть сценарий, описанный ниже, где мы хотим прекратить отправку сообщени…
03 фев '17 в 05:09
1
ответ
Использование Akka Streams Kafka Producer параллельно
Я хотел бы распараллелить запись в kafka, когда несколько производителей отправляют данные в kafka, хотя и из потока akka. В другом случае мой поток будет иметь несколько начальных этапов из источника, а затем, когда я приду к отправке данных, я хот…
13 сен '17 в 16:15
1
ответ
Изящно перезапустите Поток Потребителя Reactive-Kafka при сбое
Проблема Когда я перезапускаю / завершаю / останавливаю поток, старый потребитель не умирает / выключается: [INFO ] a.a.RepointableActorRef - Message [akka.kafka.KafkaConsumerActor$Internal$Stop$] from Actor[akka://ufo-sightings/deadLetters] to Acto…
22 май '18 в 10:56
1
ответ
Reactive-Kafka Stream Consumer: найдены мертвые буквы
Я пытаюсь использовать сообщения от Кафки, используя реактивную библиотеку Акки. Я получаю одно сообщение, и после этого я получил [INFO] [01/24/2017 10:36:52.934] [CommittableSourceConsumerMain-akka.actor.default-dispatcher-5] [akka://CommittableSo…
24 янв '17 в 09:53
1
ответ
Akka Stream Kafka, полный поток, когда достигнут конец журнала
Я использую Akka Streams Kafka и ищу способ сделать следующее: Начало потока со смещения x Потребляйте последовательно предметы x, x+1, x+2.. до последнего пункта Как только последний элемент был израсходован, завершите поток. Код будет выглядеть пр…
03 апр '18 в 14:21
0
ответов
Апач спарк против акка-кластер
У меня есть сценарий использования, когда я должен прочитать данные из kafka и выполнить несколько этапов обработки (синхронизация и асинхронность) по нему со скоростью 20 кбит / с или более. Я смотрю на Apache spark или акка-кластер с реактивной-ка…
24 окт '17 в 16:57
0
ответов
Как проверить, что Кафка связана с ReactiveKafka?
Я работаю над кодом, который использует модуль реактивной кафки в Scala. Мой код использует такие строки, как: val kafka = new ReactiveKafka() kafka.consume(ConsumerProprties(...).readFromEndOfStream()) kafka.publish(ProducerProperties(...)) У меня …
21 авг '16 в 15:58
1
ответ
Akka Streams Reactive Kafka - OutOfMemoryError под большой нагрузкой
Я запускаю приложение Akka Streams Reactive Kafka, которое должно работать при большой нагрузке. После запуска приложения в течение примерно 10 минут, приложение закрывается с OutOfMemoryError, Я попытался отладить дамп кучи и обнаружил, что akka.di…
27 сен '17 в 00:13
0
ответов
Цепочка Akka Streams Kafka с Akka-http от источника [Bytestring]
Я получаю файл в виде строки байтов от потребителя Kafka Reactive Streams, который я хочу отправить в службу. Есть ли возможность извлечь Source[Bytestring, Any] из Kafka Reactive Stream Consumer, чтобы я мог связать поток от Kafka до Akka-http, не …
29 сен '16 в 20:56