Описание тега redis-streams

Описание тега Вопросы с тегом
Redis Streams - это структура данных, выпущенная как часть Redis 5.0. Концептуально вдохновленные Apache™ Kafka, они представляют собой структуру, подобную журналу, предназначенную для хранения полуструктурированных данных только с добавлением. Используйте этот тег для вопросов, связанных с типом данных Redis Stream.
1 ответ

Redis Streams извлекает несколько значений с помощью XREAD

У меня есть поток redis "mystream", и я пытаюсь использовать: XREAD COUNT 5 БЛОК 50000 ПОТОКОВ mystream $ прочитать пять новых записей, добавленных в mystream с блокировкой на 50 секунд. Как только я выполняю команду для добавления данных в мой пото…
29 мар '20 в 12:51
0 ответов

Spring Data Redis Streams (Reactive) - каков правильный способ обработки ошибок?

Я использую Redis Streams с Spring Data Redis 2.2.4. Одна вещь, которую я хочу выяснить, - это правильный способ обработки ошибок . Для модели без реакции мы устанавливаем ErrorHandler и EancelSubscriptionOnError на StreamReadRequest. Затем мы можем…
25 фев '20 в 09:09
1 ответ

Как предотвратить бесконечное увеличение потоковой памяти Redis?

Я только что понял, что XACK не удаляет сообщение автоматически, когда существует только одна группа потребителей. Я думал, что когда все группы потребителей получат одно и то же сообщение, сообщение будет удалено Redis-сервером, но казалось, что эт…
28 фев '20 в 13:52
1 ответ

Как эффективно получить несколько записей с XRange в потоке Redis

Глядя на потоки Redis и создавая индексы в потоке (например, в EventStore), это работает очень хорошо, и я могу получить кучу записей в потоке, за исключением того, что я не могу найти хороший способ вернуть все записи по идентификатору, например, к…
13 мар '20 в 09:50
1 ответ

Redis stream 50k customer support parallel - требования к емкости

Каковы требования к емкости Redis для поддержки 50 тыс. Потребителей в одной группе потребителей для параллельного приема и обработки сообщений? Вам нужно протестировать инфраструктуру для того же сценария, и вам необходимо понять, что именно нужно.
16 апр '20 в 15:37
1 ответ

Архитектура, управляемая событиями - темы / Stream Design

Это может быть вопрос о передовой практике. Кто-нибудь, кто работал над этим, поясните примеры. Чтобы всем нам было на пользу! Для событийно-ориентированных архитектур с Kafka / Redis, когда мы создаем темы / потоки для событий, каковы все лучшие пр…
16 апр '20 в 17:54
0 ответов

Потоки Redis - XCLAIM ничего не возвращает?

Я обрабатываю сообщения в потоке Redis через группы потребителей. В конечном итоге они могут выйти из строя, поэтому полученные сообщения останутся ожидающими навсегда. Я хотел бы реализовать потребителей, которые повторно обрабатывают эти сообщения…
17 май '20 в 07:40
1 ответ

Удаление диапазона записей из Redis Stream

Я хочу удалить записи Redis Stream старше определенного идентификатора записи. Но команда XDEL явно принимает каждый идентификатор как входной. Есть ли способ указать диапазон идентификаторов, который поможет при большом количестве записей в потоке?…
09 июн '20 в 07:09
2 ответа

Почему я получаю (ноль) при чтении потока Redis

В моем потоке есть одно ожидающее сообщение: redis[7]> XREADGROUP GROUP symfony consumer COUNT 1 STREAMS messages 0 1) 1) "messages" 2) 1) 1) "1592850947048-0" 2) (nil) redis[7]> XPENDING messages symfony 1) (integer) 1 2) …
26 июн '20 в 10:51
0 ответов

Как infxDB реализует упорядоченные массовые вставки

У меня есть требование, чтобы, поскольку структура Redis-Stream содержала specified length of data что я хочу transfer to influxDB in bulk, но во время процесса передачи данные, вставленные в большом количестве, не будут в том же порядке, что и исхо…
06 июл '20 в 06:34
4 ответа

Как непрерывно прослушивать поток Redis с помощью библиотеки java lettuce

Я пытаюсь прослушивать поток Redis и обрабатывать сообщения по мере их поступления. Я использую команду async и ожидаю, что сообщение будет отправлено, а не извлечено. Поэтому я не думаю, что нужен цикл while. Но следующий код, похоже, не работает. …
27 июл '20 в 04:26
1 ответ

Есть ли способ подписаться на Redis Streams, аналогичный Redis pub/sub?

Я создаю конвейер данных, который читает двоичные журналы MySQL в реальном времени, используя Maxwell Daemon, а Maxwell Daemon отправляет данные в потоки Redis. Я создал клиент, который потребляет данные из потоков Redis, обрабатывает их. В настояще…
01 авг '20 в 17:00
1 ответ

Redis передает одно сообщение каждому потребителю с помощью Java

Я пытаюсь реализовать Java-приложение с потоками Redis, где каждый потребитель потребляет ровно одно сообщение. Как конвейер / очередь, где каждый потребитель берет ровно одно сообщение, обрабатывает его и после завершения принимает следующее сообще…
17 авг '20 в 12:20
1 ответ

Переместить данные из потока Redis в хранилище, которого нет в памяти

В документации https://redis.io/topics/streams-intro упоминаются ограниченные потоки для предотвращения перегрузки памяти: ... Иногда полезно иметь максимальное заданное количество элементов внутри потока, в других случаях, когда достигается заданны…
28 авг '20 в 12:10
2 ответа

Получение ответа типа int или float из потока Redis и Python

Я добавляю данные в поток redis с целыми числами или числами с плавающей запятой > XADD name 1-0 field 1 > XADD name 1-1 field 2 Затем у меня есть приложение на Python, которое считывает данные потока. r = redis.Redis(host=HOST,port=PORT,decod…
05 сен '20 в 01:43
2 ответа

Потоки Redis - удалить / истечь события в зависимости от времени

Я играю с redis stream и пока все хорошо. Я пытаюсь понять, есть ли у меня способ истечь старые события в зависимости от времени или каким-либо другим способом. Я знаю, что мы можем удалить по идентификатору события. Но я не хочу запоминать / хранит…
01 апр '20 в 05:19
1 ответ

Redis гарантирует возвращаемое значение XREAD?

Можно ли использовать XREAD (или, возможно, другую команду) для атомарного определения, были ли данные записаны в поток Redis? Более конкретно: Предположим, вы добавили некоторые данные в поток Redis в одном процессе и увидели, что данные были успеш…
25 июн '20 в 22:55
1 ответ

Получение ожидающих сообщений с помощью Redis Streams и Spring Data

Я использую Redis Streams в своем приложении Spring Boot. В планировщике я хочу регулярно получать все ожидающие сообщения и проверять, как долго они уже обрабатываются, и при необходимости повторно запускать их. Моя проблема в том, что теперь я мог…
07 июл '20 в 12:22
1 ответ

Обратное чтение нескольких потоков Redis (воображаемая команда XREVREAD)

С потоками Redis я могу читать несколько потоков в хронологическом прямом направлении. Каждый поток читается от момента времени до самого нового момента в этом потоке. Я могу получить самый старый элемент в нескольких потоках XREAD COUNT 1 STREAMS s…
14 июл '20 в 14:52
0 ответов

Можно ли использовать потоки Redis в качестве источника для Flink

Я новичок во Flink и просматриваю документацию. Я выяснил, что Redis можно использовать как SINK (через Apache Bahir). Но нет упоминания об использовании Redis Streams в качестве источника для потоковой передачи данных. Можно ли добавить поток Redis…
26 авг '20 в 13:26