Описание тега oozie-workflow

Вопросы с тегом
Рабочий процесс Oozie - это последовательность действий, обычно заданий Hadoop MapReduce, которыми управляет система планировщика Oozie.
1 ответ

Доступ запрещен при помещении файла из HDFS в корзину S3

Я написал программу на Java, которая включена в рабочий процесс oozie, который помещает файлы из HDFS в корзину S3. Однако я получаю следующую ошибку com.amazonaws.services.s3.model.AmazonS3Exception: доступ запрещен (сервис: Amazon S3; код состояни…
09 окт '17 в 06:32
0 ответов

Пользовательский логгер, использующий log4j для приложения Spark Scala при выполнении с помощью oozie

Я разработал приложение spark scala и использовал log4j для logger, и он работает нормально, когда я выполняю его с помощью spark-submit, как показано ниже: spark-submit --name "Test" --class com.comp.test --conf spark.driver.extraJavaOptions='-Dlog…
17 авг '17 в 19:13
0 ответов

Выходные данные захвата для Oozie Spark Action

Я запускаю действие Oozie Spark в Cloudera, и мне нужен способ, чтобы захватить стандартный вывод действия Oozie Spark и сохранить его в HDFS
17 ноя '17 в 23:56
0 ответов

Может ли SparkSubmit переопределить системное свойство oozie.action.output.properties?

Среда: Тина 4.2 Hadoop 2.7 Я предполагаю, что Конфигурация Oozie содержит свойства, загруженные на сервер Oozie при запуске. Если это так, то все еще возможно для задания рабочего процесса - например, задания Java, которое использует SparkSubmit - у…
18 янв '19 в 04:30
1 ответ

Как активировать несколько координаторов Oozie с другим расписанием, поделившись общими параметрами job.properties

У меня есть проблема, когда мне нужно представить несколько координаторов (около 10) каждый с различным графиком, и нет ч / б зависимости каждый (например: один на каждые 2 часа,12 часов и т. Д.). Я увидел, что есть ограничение, что у нас должен быт…
29 сен '17 в 20:48
0 ответов

Планирование дополнительных рабочих процессов в разное время по сравнению с родительским рабочим процессом

У меня есть рабочий процесс Oozie, который состоит из 4 подпроцессов. Мне нужно настроить oozie таким образом, чтобы родительский рабочий процесс выполняется каждые 4 часа дополнительный рабочий процесс 1 и дополнительный рабочий процесс 2 выполняют…
25 сен '17 в 18:33
0 ответов

Переменные в действиях

Я новичок в oozie и у меня есть сценарий использования, в котором нам нужно было бы установить переменную в действии oozie и прочитать ту же переменную в другом действии oozie. Эта работа выполняется каждую неделю, и в первом действии мы рассчитывае…
02 май '18 в 12:31
2 ответа

Oozie: workflow: как получить последнее успешное действие

Я пытаюсь отправить уведомление по электронной почте, если какое-либо действие в моем рабочем процессе не удается. Как узнать, какое действие не удалось или есть ли способ увидеть последнее успешное имя действия в DAG рабочего процесса?
05 фев '15 в 19:02
1 ответ

Oozie Sqoop Workflow Обновить таблицу

Я обновляю таблицы impala, запрашивая рабочий процесс, созданный в Oozie Editor. (Но кого это волнует? Просто "я обновляю таблицы". И, в конце рабочего процесса, вам нужно запустить "обновление". Но я не знаю, как это сделать. Мне нужен не-Bash мето…
07 дек '18 в 16:49
0 ответов

Может ли Apache Oozie запускать Docker-контейнеры?

В настоящее время сравниваются инструменты рабочих процессов на основе DAG, такие как Airflow и Luigi, для планирования общих контейнеров докеров, а также заданий Spark. Может ли Apache Oozie запускать стандартные контейнеры Docker через свои shell …
28 янв '19 в 01:02
0 ответов

ОШИБКА [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMCommunicator: ОШИБКА В СВЯЗИ С RM

Я пытаюсь закинуть свою искровую работу, используя службу apache oozie в редакторе HUE, после отправки задания задание oozie будет в состоянии RUNNING, но в выполнении нет никакого прогресса, кажется, что задание застряло или зависло. Ниже ОШИБКА из…
30 янв '19 в 08:21
1 ответ

Как выполнить одно конкретное действие рабочего процесса в Oozie. Если я убил рабочий процесс Oozie вручную?

У меня ниже рабочий процесс Oozie. Предположим, я вручную убил задание, когда выполнялось действие "Do_task1", но все же я хочу выполнить действие "Do_task2", несмотря на то, что вручную убивал задание oozie (когда выполнялось действие "Do_task1"). …
30 янв '19 в 17:36
0 ответов

Sqoop Fail In Hue Workflow

Когда следующий импорт sqoop запущен в командной оболочке, он работает хорошо. import --connect "jdbc:mysql://quickstart.cloudera:3306/retail_db" --username retail_dba --password cloudera -m 1 --table categories --hive-database retail_stage --hive-t…
04 фев '19 в 12:27
0 ответов

Задание Spark выполняется из CLI, но не выполняется при запуске из рабочего процесса Oozie в том же кластере

Моя команда Spark/Scala: spark-submit --class <package_name>.TestConfig --master yarn --deploy-mode cluster --executor-memory 15G --num-executors 60 --executor-cores 3 --driver-memory 15G <s3path>/TestConfig-1.0-hadoop.jar 2000 Приведенн…
09 фев '19 в 13:04
0 ответов

E0803: Ошибка ввода-вывода. Не удалось загрузить файл правильности 'output_xml.properties' для метода вывода 'xml' (проверьте CLASSPATH)

Я пытаюсь создать рабочий процесс sqoop с использованием Apache oozie, но когда я выполняю сценарий, я получаю сообщение об ошибке ниже: Caused by: com.sun.org.apache.xml.internal.serializer.utils.WrappedRuntimeException: Could not load the propery …
04 дек '18 в 05:48
1 ответ

Apache Oozie рабочие процессы

Я новичок в Узи. У меня есть пара вопросов по планированию работы. Можем ли мы получить список заданий, которые запланированы на ozzie server для ежедневного запуска, используя некоторый программный подход? Принимая во внимание, что есть несколько з…
11 авг '17 в 11:03
1 ответ

Ошибка при выполнении shell-скрипта с использованием oozie

Я пытаюсь бежать kafka-connect-hdfs с помощью Oozie version: 4.2.0.2.6.5.0-292 через файл скрипта sample.sh,Да, я знаю, что мы можем запустить коннектор kafka-hdfs напрямую, но это должно происходить через oozie.Кафка имеет тему sample и имеет некот…
25 июл '18 в 05:26
0 ответов

Сбой действия куста с ошибкой SLF4J: SLF4J: путь к классу содержит несколько привязок SLF4J

Я пытаюсь создать простой рабочий процесс с действием улья. Я использую Cloudera Quickstart VM (CDH 5.12). Ниже приведены компоненты моего рабочего процесса: 1) top_n_products.hql create table instacart.top_n as ( select * from ( select row_number()…
27 ноя '17 в 15:45
0 ответов

Killing Oozie Job автоматически

Как я могу ограничить время выполнения работы в Oozie? Можно ли автоматически убить задание по истечении заданного времени?
20 июн '18 в 13:25
0 ответов

Где найти STDOUT действия Oozie, STDERR регистрирует, как только AWS EMR завершается?

Когда работает кластер EMR, журналы Oozie STDOUT, STDERR и SYSLOG можно проверить из веб-интерфейса с помощью приложения Hue (если оно установлено в кластерах EMR). После прекращения работы кластера EMR мы теряем возможность просмотра этих журналов …
24 июл '18 в 19:00