Описание тега oozie
Oozie is a workflow/coordination system to manage Hadoop Map Reduce jobs
1
ответ
Работа сценария оболочки Oozie
У меня есть один сценарий оболочки script.sh, которому нужен один файл свойств script.properties. Я выполнил этот скрипт как: ./script.sh script.properties Теперь я хочу запустить этот скрипт, используя oozie. Как я могу передать файл script.propert…
11 ноя '16 в 15:31
1
ответ
oozie workflow Откатить действие при убийстве
Я пытался вызвать действие, когда действие в oozie не удаетсяЯ могу сделать это, используя ошибку для узла, как показано ниже <ok to="end"/> <error to="kill"/> Это будет прекрасно работать, если мое требование - сделать откат, если текущ…
20 июл '15 в 18:19
1
ответ
Слизняк подавляет журналирование от работы оболочки?
У меня есть простой рабочий процесс (см. Ниже), который запускает сценарий оболочки. Сценарий оболочки запускает скрипт pyspark, который перемещает файл из локальной папки в папку hdfs. Когда я запускаю сам скрипт оболочки, он работает отлично, журн…
26 июл '17 в 09:04
1
ответ
Создать каталог в HDFS с помощью действия ssh в Oozie
Я должен создать каталог в HDFS с помощью действия SSH в Oozie. Мой пример рабочего процесса <workflow-app name="sample-wf" xmlns="uri:oozie:workflow:0.1"> <action name="testjob"> <ssh> <host>name@host<host> <command…
07 ноя '12 в 04:50
2
ответа
Ошибка запуска Sqoop Action с использованием Oozie в кластере Hadoop
Я пытаюсь успешно запустить sqoop-действие в Oozie с помощью кластера Hadoop. Всякий раз, когда я проверяю статус заданий, Oozie возвращается со следующим обновлением статуса: действия ID Status Ext ID Ext Статус Код ошибки 0000037-140930230740727-o…
02 окт '14 в 20:32
1
ответ
Как указать несколько файлов JAR в OOZIE
Мне нужно решение для следующей проблемы: Мой проект имеет две банки, в которых один jar содержит все классы bean-компонентов, такие как Employee и т. д., а другой jar-файл содержит задания MR, которые используют первый класс bean-компонентов jar, п…
04 окт '12 в 05:10
1
ответ
Невозможно сделать distcp от s3 до hdfs, используя shell-action в oozie
Я пытаюсь скопировать данные из s3 в hdfs, используя distcp. Ниже приведен мой сценарий оболочки, где я делаю distcp. mkdir.sh hadoop distcp s3n://bucket-name/foldername hdfs://localhost:8020/user/hdfs/data/ The above shell script works fine when i …
30 сен '14 в 15:19
1
ответ
Как настроить работу cron для запуска карты уменьшить?
У меня есть три карты сокращения заданий, и мне нужно настроить их как задание cron. Я попытался с созданием задания cron для запуска mapreduce, но он не работает. Я имею в виду, что запуск работы по сокращению карты не начат. Помогите, пожалуйста, …
26 дек '13 в 05:22
1
ответ
Сообщение [JA002: ПРОСТАЯ аутентификация не включена. В наличии:[ЗНАК]]
Я получаю следующую ошибку при выполнении задания Oozie. Команда: oozie job -oozie http://10.xxx.xx.xx:11000/oozie/ -log 0000017-151029172404066-oozie-oozi-W Журналы: 2015-11-24 11:50:23,469 INFO ActionStartXCommand:543 - SERVER[hostname.abc.com] US…
27 ноя '15 в 04:44
1
ответ
Выполнение сценария оболочки с использованием Oozie, задание всегда только в рабочем состоянии
Мне нужна помощь с oozie, я пытаюсь запустить скрипт, который создает папку HDFS, когда я запускаю Oozie, она отображается только в состоянии "Выполнено", может кто-нибудь помочь мне определить, если что-то не так с моими workflow.xml или jo.propert…
07 май '15 в 05:11
1
ответ
Ошибка действия Оззи Хэдупа: несоответствие типов
У меня возникла проблема, когда я запускаю свои задания Hadoop через OOzie. Я обычно запускал задания со следующей конфигурацией: public int run(String[] args) throws Exception { // TODO Auto-generated method stub Job job = new Job(getConf(), "GCAna…
05 авг '13 в 20:09
2
ответа
Как импортировать локальный модуль Python при запуске сценария Python в Oozie?
У меня есть два файла Python - my_python_A.py и my_python_B.py. Первый файл ссылается на второй (from my_python_B import *). Я выполняю первый файл Python из действия оболочки в Oozie (т.е. сценарий просто python my_python_A.py) и получаю следующую …
25 апр '16 в 18:11
0
ответов
Как найти 'hive2.jdbc.url' и 'hive2.server.principal' для настройки в рабочем процессе oozie xml
Я пытаюсь запустить действие улья из моего CDH5.5 (из VMware). Я скопировал ниже частичный XML из какого-то открытого блога. Теперь мой вопрос: какие именно детали мне нужно настроить для hive2.jdbc.url и hive2.server.principal? И как я могу их найт…
27 окт '17 в 12:46
1
ответ
Как выполнить действие оболочки oozie с помощью скрипта, имеющего команду curl
Извинения, поскольку я не пробовал это ранее. Привет, Мне нужно создать рабочий процесс oozie, который исполняет сценарий оболочки. Сценарий оболочки имеет команду curl, которая загружает определенный файл из репозитория клиента. Как команды в сцена…
09 дек '15 в 00:47
0
ответов
Пользовательский логгер, использующий log4j для приложения Spark Scala при выполнении с помощью oozie
Я разработал приложение spark scala и использовал log4j для logger, и он работает нормально, когда я выполняю его с помощью spark-submit, как показано ниже: spark-submit --name "Test" --class com.comp.test --conf spark.driver.extraJavaOptions='-Dlog…
17 авг '17 в 19:13
1
ответ
Координатор Oozie - файловый триггер на основе событий - многократное срабатывание
Я пытаюсь понять, почему основанная на oozie 4.2 работа координатора, которая должна ждать набора данных, запускается несколько раз. Моя работа координатора выглядит так <coordinator-app name="ConfirmDataMasterTrigger" frequency="${frequencyMins}…
01 авг '16 в 02:08
1
ответ
ОШИБКА: org.apache.oozie.action.hadoop.PigMain не найден
Я пытаюсь выполнить простой сценарий pig через рабочий процесс oozie, который импортирует jar-файл python, а также некоторые другие jar-файлы и, в конце концов, получает ошибку, такую как: Failing Oozie Launcher, Main class [org.apache.oozie.actio…
11 авг '15 в 10:41
0
ответов
Действие оболочки Oozie не отправляет почтовое уведомление
Я запускаю сценарий оболочки через oozie. Часть моего скрипта имеет код ниже. Когда я запускаю этот скрипт оболочки через командную строку unix, я получаю электронное письмо, но когда я запускаю этот скрипт оболочки через oozie Job, это будет успешн…
08 май '17 в 04:29
0
ответов
Вставка в таблицу кустов из сценария оболочки с помощью oozie
Я использую Oozie для автоматизации процесса. Когда я использую простые данные загрузки, используя сценарий оболочки из oozie, тогда все данные вставляются в таблицы кустов. Но когда я вставляю значения из таблицы в другую таблицу с использованием с…
18 мар '15 в 15:04
0
ответов
Невозможно выяснить, почему работа oozie остается в состоянии выполнения
Мы сталкиваемся с проблемой с Oozie, когда задание Oozie запущено и оно переходит в рабочее состояние. Задание oozie - это внутреннее задание sqoop, которое соединяет mysql и импортирует данные таблицы в hdfs. Внутреннее задание sqoop работает норма…
22 июн '18 в 10:40