Описание тега faust
Faust - это библиотека потоковой обработки, переносящая идеи из Kafka Streams в Python.
1
ответ
Есть ли альтернатива в Python, как Apache Nifi?
Мне нужно обработать данные и отправить в Faust(потоковое), как Nifi отправляет данные в kafka. Есть ли альтернатива для Nifi в Python, так как я не могу интегрировать Faust с Nifi В нифи я могу обработать и конвертировать CSV в JSON и отправить в К…
05 дек '18 в 06:29
0
ответов
Почему мой потребитель apache kafka случайно игнорирует сообщения в очереди?
Это, вероятно, eisenbug, поэтому я не жду жестких ответов, но больше подсказок о том, что искать, чтобы иметь возможность повторить ошибку. У меня есть управляемая событиями, основанная на Кафке система, состоящая из нескольких сервисов. На данный м…
07 фев '19 в 10:58
0
ответов
Как передать массив словаря в приложение Faust?
Как мы передаем массив словаря в приложение Faust? Как мы можем получить временную метку события? Я пробую Faust, но вроде как потерялся в том, как читать поток данных, который находится в массиве словарей. Пример: [{"product_id": "p1", "name": "pen…
24 фев '19 в 07:41
1
ответ
Как проверить, была ли отправлена новая запись в данный период времени, используя kafka и faust
Я использую тестовую настройку, включая платформу слияния (докер), и обрабатываю записи со следующей информацией: идентификатор датчика, метка времени, значение. Используя robinhood faust (похожий на Kafka Streams, но в python), я пытаюсь сделать сл…
25 фев '19 в 14:16
2
ответа
Как отправить данные в Websocket из ошибочного приложения
В данный момент я работаю над сценарием использования Kafka и robinhood, чтобы обработать данные, поступающие с Kafka. Я успешно выполнил вычисление, и результаты, которые мне нужны, выводятся на консоль, в которой работает мой сборщик ошибок. Тепер…
28 фев '19 в 20:50
0
ответов
Как работать с пулом соединений asyncpg в агенте Faust?
Я хочу, чтобы агент Faust записывал в таблицу PostgreSQL. Я хотел бы использовать пул соединений asyncpg, но не могу найти чистый способ вставить его в код инициализации приложения.
22 май '19 в 08:26
0
ответов
Как использовать параллелизм в faust?
Я работаю с Faust и хотел бы использовать функцию параллелизма. Приведенный пример не совсем демонстрирует использование параллелизма. То, что я хотел бы сделать, это прочитать от производителя Кафки и Unnest JSON. Затем посылки отправляются в проце…
04 апр '19 в 19:56
0
ответов
Как использовать групповые и оконные потоки в потоковой передаче faust kafka?
Мне нужно создать приложение для робастности, которое должно обрабатывать группировку с последующей обработкой окон. Теперь я использую ниже для окон, class Sample(faust.Record): master_mac: str uuid: str slave_mac: str rawData: str rssi: int app = …
08 апр '19 в 08:00
0
ответов
Как работать с приложением Faust в больших проектах? Что делать с импортом основного приложения везде?
Играл в robinhood/faust, пытаясь понять, как я могу получить ту же функциональность, что и celery @shared_task. Главное - избегать импорта приложения faust в любом месте только для декораторов @app.agent/@app.topic. У кого-нибудь есть идеи, как я мо…
25 апр '19 в 06:36
1
ответ
Интегрируйте колбу с Faust
Я пытаюсь заставить агента faust отправить сообщение в виде / конечной точке фляги, я не могу найти ни одного примера, и я действительно изо всех сил. Кто-нибудь пробовал это успешно? в документах говорится, что нужно использовать gevent или eventle…
25 апр '19 в 09:35
6
ответов
Faust пример публикации в теме кафки
Мне любопытно, как вы должны выразить, что хотите, чтобы сообщение было доставлено на тему Кафки в faust. Пример в их readme, похоже, не пишет в тему: import faust class Greeting(faust.Record): from_name: str to_name: str app = faust.App('hello-app'…
27 июн '19 в 03:19
0
ответов
Python Faust await agent.ask() не возвращает ответ и зависает вызывающая его функция
Я новичок в Python, играю с вещами, пытаюсь обмениваться услугами Python через Kafka, используя Faust. Итак, у меня есть небольшой проект PoC. Определение приложения Faust: # app.py import faust as f from models import ReadRequest, ReadResponse app …
08 июл '19 в 23:58
1
ответ
ОШИБКА: невозможно открыть файл "worker": нет такого файла или каталога с faust hello_world, например
Я пытаюсь следовать примеру faust [hello_world][1] для работы на моем Mac. И ошибка ниже: $ faust -A hello_world worker -l info ERROR : cannot open file 'worker' : No such file or directory к моему удивлению, ниже ошибки тоже. $ faust worker --help …
26 мар '20 в 09:59
1
ответ
Как получить частоту входа с микрофона
Я пытаюсь проанализировать входной микрофонный звук и получить значение частоты входа. Есть ли какая-нибудь библиотека, в которой я могу получить частоту ввода? Я использую FAUST. Благодарность
20 май '20 в 13:12
2
ответа
Есть ли альтернатива обратному отсчету сельдерея и eta в фреймворке Faust (или другом фреймворке)?
Я хочу запускать некоторые задачи в определенное время в соответствии с настройками пользователя. Например, если пользователь установил 4:00 PM, я бы запустил задачу в 16:00. Это можно было бы обработать в Celery с обратным отсчетом и eta. Но мой бр…
29 окт '19 в 11:06
1
ответ
Два агента с разными фильтрами на одну тему кафки. Признание в Faust Stream
Я хочу, чтобы два агента faust слушали одну и ту же тему kafka, но каждый агент использует свой собственный фильтр перед обработкой событий, и их наборы событий не пересекаются. В документации есть пример:https://faust.readthedocs.io/en/latest/userg…
13 фев '20 в 00:48
0
ответов
Фауст. Как создать уплотняющую тему
Я хочу создать тему, которая автоматически сжимается kafka, используя поток faust. Я использую такой код: import asyncio import random import faust app = faust.App( 'mysample', broker=<...>, value_serializer='raw', key_serializer='raw', topic_…
15 фев '20 в 04:15
1
ответ
заставить агента Фауста ждать, пока другие агенты закончат
Есть ли способ запустить агент faust после завершения работы других агентов? Например Agent1 + | | | Agent2 +------------->Agent_final | | | + Agent3 Agent_final должен начаться, когда все Agent1,Agent2,Agent3Конец. А такжеAgent_finalдолжен иметь…
10 янв '20 в 13:57
1
ответ
Обработка максимального количества задач на одного потребителя в теме за заданное временное окно?
Мой продюсер создает n задачи из одного входного сообщения и публикует их на topic. Требование состоит в том, чтобы из всех индивидуальных потребителей в группе потребителей topic, ни один из них не должен обрабатывать более трех из этих n задачи в …
23 янв '20 в 20:28
1
ответ
Невозможно подключиться к узлу с идентификатором 1: [Рабочий]: Ошибка: ConnectionError("Нет подключения к узлу с идентификатором")
Я пытаюсь использовать robinhood / faust, но безуспешно! Я уже создал продюсера, который успешно вставляет в исходную тему в моем экземпляре confluent-kafka localhost! но фауст не может подключиться к localhost. Мой app.py: import faust import base6…
25 янв '20 в 00:15