График зависимости трубопровода
Я хочу создать граф зависимостей для нескольких конвейеров в моем кластере. Я пытаюсь показать начальную и конечную точку моих данных и все потоки данных между двумя точками. Я хочу использовать Apache Airflow или Apache Falcon для выполнения этой задачи. Пожалуйста, дайте мне знать, если у вас есть предложения о том, какой инструмент использовать и как начать работу с этим проектом. Пожалуйста, также свяжите любую документацию, связанную с Apache Falcon. Спасибо.
2 ответа
Apache Airflow имеет приятный пользовательский интерфейс, который позволяет просматривать ваши группы DAG в виде дерева, графика или даже диаграммы Ганта. Проверьте это для получения дополнительной информации.
Вы можете создавать свои собственные представления пользовательского интерфейса в Airflow, что позволяет отображать все, что вы ищете. Смотрите документацию по плагинам Airflow. Посмотрите также на Github плагинов Airflow для примеров