Описание тега apache-falcon

Из документов:

Falcon - это система обработки и управления кормом, предназначенная для облегчения конечным потребителям встроенной обработки и управления кормом в кластерах hadoop.

Зачем?

• Устанавливает взаимосвязь между различными данными и элементами обработки в среде Hadoop
• Службы управления каналами, такие как хранение каналов, репликации между кластерами, архивирование и т. Д.
• Легко внедрить новые рабочие процессы / конвейеры, с поддержкой поздней обработки данных, политик повторов
• Интеграция с metastore / каталогом, таким как Hive/HCatalog
• Предоставить уведомление конечному клиенту на основе доступности групп каналов (логическая группа связанных каналов, которые могут использоваться вместе)
• Позволяет использовать варианты для локальной обработки в colo и глобальных агрегациях
• Записывает информацию о происхождении для каналов и процессов