Описание тега ruby-kafka
0
ответов
Лучший способ реализовать производитель кафки в ruby без потери данных
Каков наилучший способ реализации производителя Kafka в RoR с использованием гема ruby-kafka (0.7.4) без потери данных при сбое экземпляра? Сообщение получается из нескольких потоков. Таким образом, простой вызов метода delivery_message не сработает…
29 янв '19 в 05:51
1
ответ
Производитель Kafka говорит "unknown_topic_or_partition"
Я уже несколько дней пытаюсь заставить работать кафку-докер, и я не знаю, что я делаю неправильно. Сейчас я не могу получить доступ к какой-либо теме с помощью моего клиента ruby-kafka, потому что узел "не существует". Это мой файл docker-compose.ym…
05 ноя '18 в 16:21
1
ответ
Ruby Kafka Uncaught исключение: не удалось найти координатора группы
Я использую Apache Kafka в качестве контейнера Docker https://hub.docker.com/r/wurstmeister/kafka/ Я могу успешно подключиться к Kafka из моего Java-приложения со Spring Kafka. Но когда я пытаюсь подключиться к Kafka из приложения Ruby через Ruby Ka…
23 июн '18 в 14:43
0
ответов
Не удалось подключиться ни к одному из семенных брокеров
Я пытаюсь использовать ruby-kafka жемчужина для отправки сообщений, но я получаю сообщение об ошибке Could not connect to any of the seed brokers kafka::ConnectionError: Could not connect to any of the seed brokers: - kafka:broker1: Connection error…
17 окт '18 в 19:12
0
ответов
Неопределенная локальная переменная или метод min_stat для #<GSSAPI:: Simple: 0x00007fdceb7f0f88>
Я пытаюсь использовать ruby-kafka https://github.com/zendesk/ruby-kafka и использую его следующим образом: kafka = Kafka.new(["abc123d.xyz.cde.net:9093", "abc123f.xyz.cde.net:9093", "abc123h.xyz.cde.net:9093", "abc123k.xyz.cde.net:9093" ], sasl_gssa…
19 окт '18 в 15:46
0
ответов
Ошибка повышения кластера Kafka при работе с ruby-kafka
Я имею kafka исключение при создании сообщения с ruby-kafka, Это иногда случается. Кафка 1.1.0, Скала 2.12, Руби-Кафка 0.7.4 Логи Кафки: [2019-03-27 02:11:51,879] ERROR Exception while processing request from <ip-here>:9092-<ip-here>:479…
27 мар '19 в 02:35
1
ответ
Как проверить, работает ли повторная попытка Ruby-Kafka?
В документации упоминается, что производитель пытается отправить сообщение в очередь на основе max_retries. Поэтому я выключил Kafka и попробовал своего продюсера. Я получаю эту ошибку Fetching cluster metadata from kafka://localhost:9092 [topic_met…
11 май '20 в 09:11
0
ответов
Как эффективно использовать Kafka вместо Sidekiq для фоновой работы в Rails?
В настоящее время я использую sidekiq для фоновых заданий в приложении rails. Теперь я хочу использовать Kafka для того же, используя механизм потребитель-производитель. Для этого я используюruby-kafkaи создание сообщений асинхронно. Мой подход: вpe…
23 июл '20 в 18:59
1
ответ
Гоночная машина не использует сообщения, написанные DeliveryBoy (kafka-ruby)
У меня есть вопрос, связанный с использованием оберток zendesk deliveryboy/racecar в тандеме для обработки событий Kafka. Я потребляю события с помощью Racecar, но отправляю события обратно на повторную обработку с задержкой в ту же тему через Del…
01 авг '20 в 00:39
1
ответ
ruby-kafka: можно ли публиковать в двух экземплярах kafka одновременно
Текущий поток проекта, над которым я работаю, включает отправку в локальную кафку с помощью ruby-kafkaдрагоценный камень.Теперь возникла необходимость добавить производителя дляremote kafka, и дублировать там же сообщения.И я ищу способ получше, чем…
05 дек '19 в 15:50
1
ответ
Подождите, пока значение не появится в хэше
Недавно мне было поручено создать запрос REST API, который отвечает за отправку сообщений во входящий канал Kafka, а затем ожидает вывода из исходящего. Все шло хорошо, пока я не столкнулся с проблемой, связанной с ожиданием этого конкретного сообще…
24 апр '21 в 11:47
0
ответов
Тестирование взаимосвязанных процессов (в частности, процесса Kafka) с помощью RSpec в Rails
У меня есть приложение rails, которое запускает несколько процессов с мастером Процесс 1. Потребитель Kafka, использующий Racecar Gem (https://github.com/zendesk/racecar) Процесс 2: служба, которая рассылает уведомления на основе сообщений, потребля…
27 май '21 в 18:43
1
ответ
Разница между Kafka async и Kafka sync acks = 0?
Основываясь на моих чтениях, Kafka с acks = 0 в основном просто помещает сообщение в буфер производителя. Никаких подтверждений не ждет. При этом мне интересно, чем он отличается от производителя async? Как подтверждения влияют на производителя asyn…
10 июн '21 в 18:45
1
ответ
Большие задержки между обработкой двух последовательных пакетов кафки (с использованием потребителя ruby /karafka)
Я использую карафку, чтобы читать из темы, и звоню во внешнюю службу. Каждый вызов внешней службы занимает около 300 мс. А с 3 потребителями (3 модуля в k8s), работающими в группе потребителей, я ожидаю достижения 10 событий в секунду. Я вижу эти ло…
24 июн '21 в 03:45
0
ответов
что такое connection_builder в геме ruby-kafka?
Я пытался реализовать функции драгоценного камня ruby-kafka . При тестировании одного из них я наткнулся на расширение. Мне трудно понять больше о connection_builder. Любая помощь здесь приветствуется! Ниже приведен фрагмент кода, который я пытался …
23 ноя '21 в 10:52
0
ответов
Ruby Kafka Использование мгновенного сжатия требует добавления зависимости от `snappy` гема в ваш Gemfile. (Ошибка загрузки)
Я использую ruby-kafkagem, и у меня есть простой производитель и потребитель: Режиссер require 'ruby-kafka' class Producer def initialize(kafka_client: Kafka) @kafka_client = kafka_client.new(['localhost:9092'], client_id: 'my-application') end def …
06 сен '21 в 07:32
0
ответов
Ruby-kafka Прочитать все сообщения темы и выйти
Мне нужно прочитать все сообщения из темы Kafka, затем обработать и выйти (не нужно вечно работать как демон). Я написал код, как показано ниже, он служит цели, если сообщения доступны в теме, если тема пуста (или нет нового сообщения для указанного…
28 дек '20 в 12:36
0
ответов
Как передать данные в Kafka из Ruby, используя режим синхронизации с ack=1 или ack=all
Мы пытаемся отправить данные в Kafka в режиме синхронизации, но не знаем, как этого добиться. Afaik, есть две основные библиотеки Ruby Kafka и . ruby-kafka это реализация ruby, которая отлично работает, но не поддерживает более новые версии Kafka, r…
16 ноя '22 в 15:38