Описание тега karafka

0 ответов

ошибка ssl-соединения karafka и Apache kafka

Я пытался подключиться karafka приложение к heroku kafka addon, но я получаю следующую ошибку: I, [2019-12-20T17:12:03.425476 #29399] ИНФОРМАЦИЯ -: Получение метаданных кластера с kafka+ssl://ec2-xxxx.compute-1.amazonaws.com:9096 Traceback (последни…
20 дек '19 в 15:01
1 ответ

Карафка start_from_beginning не работает должным образом

Я создал проект, чтобы помочь мне понять Kafka. Он настроен как три идентичных приложения Rails внутри Docker с Karafka, настроенным для приема сообщений - если вы создаете запись в одном, она реплицируется на два других. Я предположил, чтоstart_fro…
31 дек '19 в 14:55
0 ответов

Kafka перестает работать после развертывания на Heroku

У меня микросервисная архитектура включает как минимум 3 сервиса, которые используют Kafka (через Cloud Karafka): некоторый обмен данными и уведомления по электронной почте клиентам в конечной точке. Локально работает отлично, без ошибок. Но после р…
26 июл '20 в 12:14
0 ответов

Kafka/Ruby on Rails - я не понимаю журналы, созданные после запуска `bundle exec karafka server`

Я новичок в мире микросервисов. Я переношу монолитное веб-приложение на микросервисное. У меня проблема с подключением веб-приложения Ruby on Rails, отвечающего за аутентификацию, с помощью KAFKA. У самого Ruby on Rails нет никаких проблем. POC дост…
1 ответ

Большие задержки между обработкой двух последовательных пакетов кафки (с использованием потребителя ruby ​​/karafka)

Я использую карафку, чтобы читать из темы, и звоню во внешнюю службу. Каждый вызов внешней службы занимает около 300 мс. А с 3 потребителями (3 модуля в k8s), работающими в группе потребителей, я ожидаю достижения 10 событий в секунду. Я вижу эти ло…
24 июн '21 в 03:45
0 ответов

кафка рассчитан на то, чтобы иметь много производителей

Мы тестировали kafka (облачную) для реализации системы передачи данных многих производителей (примерно 27000 Linux-машин), потребителя (spring kafka listener) и темы с 10 разделами, проблема в том, что когда 9500 производителей передают одновременно…
13 июл '21 в 09:50
0 ответов

Как обработать раздвижное окно с помощью карафки?

У меня есть поток сообщений в теме Kafka. Для каждого сообщения мне нужно проверить предыдущие сообщения, которые появляются в течение 10 секунд после текущего сообщения. Я предполагаю, что могу сохранить буфер с текущим окном в моем потребителе. Ка…
11 июл '21 в 03:34
0 ответов

Шаблон ответа на запрос с потоками kafka в Ruby on Rails

Я пытаюсь разработать межсервисное взаимодействие, для одного такого варианта использования нужен шаблон запрос-ответ. Одна служба A отвечает за вызов стороннего API с разбивкой на страницы. Теперь другая служба B вызывает A, а A обслуживает 1 стран…
0 ответов

Проблема с приложением Dockerized rails/kafka

У меня есть докеризованное приложение, использующее Kafka/Rails, и у меня возникают проблемы с его настройкой. Моя основная проблема на данный момент заключается в том, что приложение, кажется, подключается к неправильному порту, когда я пытаюсь отп…
11 июл '22 в 18:12
0 ответов

Как передать данные в Kafka из Ruby, используя режим синхронизации с ack=1 или ack=all

Мы пытаемся отправить данные в Kafka в режиме синхронизации, но не знаем, как этого добиться. Afaik, есть две основные библиотеки Ruby Kafka и . ruby-kafka это реализация ruby, которая отлично работает, но не поддерживает более новые версии Kafka, r…
16 ноя '22 в 15:38
0 ответов

Совместима ли Karafka с приложениями, отличными от Rails? то есть Синатра

У меня есть служба, которая публикует событие Kafka всякий раз, когда обновляется пользовательский атрибут, теперь для потребления и обработки этого события у меня есть гем, который использует Karafa. Каждое приложение, загружающее гем, сможет обраб…
1 ответ

Почему сервер Karafka выдает ошибку смещения водяного знака запроса?

Я использую этот драгоценный камень в своих приложениях Ruby on Rails для создания и получения сообщений с сервера Kafka. https://karafka.io/docs/ а это мой файл karafka.rb # frozen_string_literal: true class KarafkaApp < Karafka::App setup do |c…