Описание тега oozie-coordinator
Пользователи обычно запускают задания map-reduce, hadoop-streaming, hdfs и / или Pig в сети. Несколько из этих заданий можно объединить в задание рабочего процесса. Oozie, Hadoop Workflow System определяет систему рабочих процессов, которая выполняет такие задания.
Обычно задания рабочего процесса запускаются на основе регулярных интервалов времени и / или доступности данных. А в некоторых случаях они могут быть вызваны внешним событием.
Выражение условий, запускающих задание рабочего процесса, можно смоделировать как предикат, который должен быть удовлетворен. Задание рабочего процесса запускается после выполнения предиката. Предикат может ссылаться на данные, время и / или внешние события. В будущем модель может быть расширена для поддержки дополнительных типов событий.
Также необходимо подключить задания рабочего процесса, которые выполняются регулярно, но с разными временными интервалами. Выходы нескольких последующих запусков рабочего процесса становятся входными данными для следующего рабочего процесса. Например, выходные данные последних 4 запусков рабочего процесса, который выполняется каждые 15 минут, становятся входными данными другого рабочего процесса, который запускается каждые 60 минут. В результате объединения этих рабочих процессов получается конвейер приложения данных.
Система Oozie Coordinator позволяет пользователю определять и выполнять повторяющиеся и взаимозависимые рабочие процессы (конвейеры приложений данных)