Может ли Apache Oozie запускать Docker-контейнеры?

Question

В настоящее время сравниваются инструменты рабочих процессов на основе DAG, такие как Airflow и Luigi, для планирования общих контейнеров докеров, а также заданий Spark.

Может ли Apache Oozie запускать стандартные контейнеры Docker через свои shell действие? Или Oozie строго предназначен для таких инструментов Hadoop, как Pig и Hive?

Oozie интегрирован с остальной частью стека Hadoop и поддерживает сразу несколько типов заданий Hadoop (например, Java Map-Reduce, Streaming Map-Reduce, Pig, Hive, Sqoop и Distcp), а также системные задания (такие как Java-программы и сценарии оболочки).

Answer 1

Я пробовал запускать контейнеры Docker через действие Shell, и он работает. Поскольку действие Shell может быть выполнено на любом узле кластера, Docker должен быть установлен на любом узле.

workflow.xml, созданный из Hue

<workflow-app name="Test docker" xmlns="uri:oozie:workflow:0.5">
    <start to="shell-5c29"/>
    <kill name="Kill">
        <message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <action name="shell-5c29">
        <shell xmlns="uri:oozie:shell-action:0.1">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <exec>test_docker.sh</exec>
            <file>/test_docker.sh#test_docker.sh</file>
        </shell>
        <ok to="End"/>
        <error to="Kill"/>
    </action>
    <end name="End"/>
</workflow-app>

test_docker.sh

docker run hello-world > output.txt
hdfs dfs -put -f output.txt /output.txt
echo 'done'

Сгенерированный контент output.txt

Hello from Docker!
This message shows that your installation appears to be working correctly.

To generate this message, Docker took the following steps:
 1. The Docker client contacted the Docker daemon.
 2. The Docker daemon pulled the "hello-world" image from the Docker Hub (amd64)
 3. The Docker daemon created a new container from that image which runs the executable that produces the output you are currently reading.
 4. The Docker daemon streamed that output to the Docker client, which sent it to your terminal.

To try something more ambitious, you can run an Ubuntu container with:
 $ docker run -it ubuntu bash

Share images, automate workflows, and more with a free Docker ID:
 https://hub.docker.com/

For more examples and ideas, visit:
 https://docs.docker.com/get-started/