Faust - это библиотека потоковой обработки, переносящая идеи из Kafka Streams в Python.

Faust используется для создания высокопроизводительных распределенных систем и конвейеров данных в реальном времени, которые ежедневно обрабатывают миллиарды событий.

Faust обеспечивает как потоковую обработку, так и обработку событий, разделяя сходство с такими инструментами, как Kafka Streams, Apache Spark/Storm/Samza/Flink,

Он не использует DSL, это просто Python! Это означает, что вы можете использовать все свои любимые библиотеки Python при потоковой обработке: NumPy, PyTorch, Pandas, NLTK, Django, Flask, SQLAlchemy, ++.

Faust требует Python 3.6 или новее для нового синтаксиса async / aw ait и аннотаций типов переменных.

Репозиторий: https://github.com/robinhood/faust