Существует ли среда визуального программирования, такая как Nifi или сборщик потоковых данных для flink или beam-filnk?
Я ищу инструмент визуального программирования, позволяющий абстрагироваться от кодирования при создании потоков данных для создания приложений CEP в Flink или Beam-Flink. Что-то вроде графических дизайнеров Nifi или потоковых сборщиков данных.
Кто-нибудь знает о таком проекте?
2 ответа
К сожалению, на данный момент в экосистеме открытого исходного кода нет такого инструмента визуального построения конвейера.
Тем не менее, это не является неразрешимой проблемой - в Apache Beam он отслеживается с помощью BEAM-266, и вполне возможно, что это станет частью проекта в среднесрочной перспективе.
Помимо открытого исходного кода, на основе Apache Beam есть коммерческие инструменты, которые предоставляют что-то подобное, но в несколько ограниченной области (например, подготовка данных) - ознакомьтесь с инструментами Talend, Google Cloud и другими.
Прямо сейчас есть визуальный инструмент https://github.com/TouK/nussknacker . Результат его выполнения потока точно не отображается в операторе Flink или Beam, но узлы Nussknacker могут быть легко преобразованы в аналогичные операторы Flink. Один сценарий Nussknacker развертывается как отдельное задание Flink. Вы также можете добавить свои пользовательские компоненты, которые будут еще проще переведены в операторы Flink. У вас нет всех возможностей Flink CEP, но вы можете справиться со многими вариантами использования CEP, используя фильтр/переключатель/разделение/объединение и т. д.