Описание тега apache-beam
Apache Beam - это унифицированный SDK для пакетной и потоковой обработки. Это позволяет определять крупномасштабные рабочие процессы обработки данных с помощью DSL для конкретных лучей. Рабочие процессы Beam могут выполняться в разных средах выполнения, таких как Apache Flink, Apache Spark или Google Cloud Dataflow (облачный сервис).
Apache Beam - это унифицированная модель с открытым исходным кодом для определения и выполнения как пакетных, так и потоковых конвейеров параллельной обработки данных, а также набор SDK для конкретных языков для построения конвейеров и Runner-приложений для их выполнения.
Модель программирования, лежащая в основе Beam, была разработана в Google и первоначально была известна как " Модель потока данных". Конвейеры Beam могут выполняться в разных средах выполнения, таких как Apache Flink, Apache Spark или Google Cloud Dataflow.
Ссылки
- Проект
- Основы конвейера для пакетов SDK Apache Beam
- Почему Apache Beam? Взгляд Google
- GitHub
- вопросы
Связанные теги
Google-облако-поток данных