Описание тега oozie-coordinator
Система Oozie Coordinator позволяет пользователю определять и выполнять повторяющиеся и взаимозависимые рабочие процессы (конвейеры приложений данных)
1
ответ
Работа сценария оболочки Oozie
У меня есть один сценарий оболочки script.sh, которому нужен один файл свойств script.properties. Я выполнил этот скрипт как: ./script.sh script.properties Теперь я хочу запустить этот скрипт, используя oozie. Как я могу передать файл script.propert…
11 ноя '16 в 15:31
1
ответ
Координатор Oozie - файловый триггер на основе событий - многократное срабатывание
Я пытаюсь понять, почему основанная на oozie 4.2 работа координатора, которая должна ждать набора данных, запускается несколько раз. Моя работа координатора выглядит так <coordinator-app name="ConfirmDataMasterTrigger" frequency="${frequencyMins}…
01 авг '16 в 02:08
0
ответов
Действие оболочки Oozie не отправляет почтовое уведомление
Я запускаю сценарий оболочки через oozie. Часть моего скрипта имеет код ниже. Когда я запускаю этот скрипт оболочки через командную строку unix, я получаю электронное письмо, но когда я запускаю этот скрипт оболочки через oozie Job, это будет успешн…
08 май '17 в 04:29
1
ответ
Таблица не является исключением fount (E0729) при выполнении запроса куста из рабочего процесса oozie
Script_SusRes.q select * from ufo_session_details limit 5 Workflow_SusRes.xml <?xml version="1.0" encoding="UTF-8"?> <workflow-app xmlns="uri:oozie:workflow:0.4" name="hive-wf"> <start to="hive-node"/> <action name="hive-node"&g…
03 ноя '15 в 09:09
0
ответов
Как устранить ошибку, когда файл не существует в настройке координатора ooziee
Как решить, когда файл ошибок не существует в настройке координатора oozie: У меня есть ошибка в журнале coodinator: Свалка лог-файлов: Сообщение об ошибке бэкенда Ошибка: java.io.FileNotFoundException: файл не существует: /user/hdfs/jay/part-0.tmp …
16 дек '15 в 13:37
1
ответ
Постоянный координатор улья с помощью oozie
Я столкнулся с проблемой при запуске координатора улья с помощью oozie. Вот так выглядит мой файл jobs.properties: oozie.use.system.libpath=true workflowRoot=hdfs://bigi-3000-beta-bm-20140511-2204-3467-master.imdemocloud.com:9000/user/nehpraka/price…
19 май '15 в 10:10
1
ответ
Как активировать несколько координаторов Oozie с другим расписанием, поделившись общими параметрами job.properties
У меня есть проблема, когда мне нужно представить несколько координаторов (около 10) каждый с различным графиком, и нет ч / б зависимости каждый (например: один на каждые 2 часа,12 часов и т. Д.). Я увидел, что есть ограничение, что у нас должен быт…
29 сен '17 в 20:48
3
ответа
Как остановить координатора Узи?
Я управлял координатором Oozie, который запускает рабочий процесс каждый час. У меня нет его ID и когда я запускаю команду oozie jobs -oozie http://localhost:11000/oozie это только показывает мне рабочие процессы и нет координатора. Я хотел бы остан…
03 июн '15 в 21:46
0
ответов
Планирование дополнительных рабочих процессов в разное время по сравнению с родительским рабочим процессом
У меня есть рабочий процесс Oozie, который состоит из 4 подпроцессов. Мне нужно настроить oozie таким образом, чтобы родительский рабочий процесс выполняется каждые 4 часа дополнительный рабочий процесс 1 и дополнительный рабочий процесс 2 выполняют…
25 сен '17 в 18:33
2
ответа
OOzie периодически убивает работу
У меня есть Java-программа с бесконечным циклом, которую я хочу запустить в определенное время, а также убить через два часа, я могу запустить программу, и она продолжает работать, пока я не убью ее вручную, есть ли способ в Oozie(hue) где работу мо…
24 июн '16 в 07:32
1
ответ
Oozie почасовой координатор рассчитывает на будущие действия
На 5-минутной отметке каждого часа у меня есть данные за прошедший час, загруженные в hdfs. Я думал, что смогу настроить задание координатора на 10-минутную отметку каждого часа, чтобы обрабатывать эти данные, проверяя, существует ли каталог для это…
09 фев '16 в 00:01
1
ответ
Рабочий процесс оболочки Oozie
Я пытаюсь написать простое действие оболочки в oozie, которое будет копировать файлы из удаленного в hdfs. Но я получаю ошибку. Вот моя работа flow.xml <workflow-app name="WorkFlowCopyLocalTohdfs" xmlns="uri:oozie:workflow:0.1"> <start to="…
04 май '16 в 11:40
2
ответа
Как запустить oozie для исторических дат?
Я пытаюсь запустить координатора Уси для исторических дат, таких как start-date = 2013-02-01T00:00Z end-date = 2013-03-15T00:00Z frequency = 1 day Узи должна была начать / материализовать все действия за эти дни немедленно 2013-02-01T00:00Z 2013-02-…
10 мар '14 в 12:47
1
ответ
Как координатор Oozie реагирует на изменение рабочего процесса?
У меня есть вопрос об Apache Oozie и, более конкретно, о распространении CDH. Что происходит с координатором, когда используемый им рабочий процесс был изменен? Например, рабочий процесс теперь использует дополнительный параметр, который автоматичес…
06 янв '17 в 07:52
1
ответ
Сценарий Hive / рабочий процесс завершается неудачно: исключение запуска: java.lang.RuntimeException
Я на Cloudera 5.6 и пытаюсь запустить простой рабочий процесс Hive. Но я терплю неудачу за исключением ниже. Что может быть не так? Я скопировал файл скрипта и файл hive-site.xml в папку hdfs. Вот определение рабочего процесса <workflow-app name=…
22 апр '16 в 21:47
1
ответ
Триггер координатора oozie когда любой файл в пути hdfs
Я пытаюсь создать координатор oozie, который выполняет рабочий процесс при добавлении любого файла в путь HDFS, но я нашел только примеры, запускающие рабочий процесс с указанным файлом. Могу ли я использовать что-то вроде регулярного выражения в фл…
29 сен '15 в 11:02
1
ответ
Динамическая переменная внутри функции Oozie EL
Я пишу основанный на частоте рабочий процесс координатора.Конфиги хранятся в некотором файле oozie.wf.properties как: -- java properties config myFrequencyDays=1 Определение координатора выглядит так: <coordinator-app xmlns="uri:oozie:coordinator…
10 янв '18 в 12:03
2
ответа
Исключение нулевого указателя Oozie при отправке задания
Просто пытаюсь запустить очень простой пример подсчета слов, но при отправке задания получаем следующий нулевой указатель: oozie job -oozie = http://localhost:11000/oozie/ -config job.properties -run [cloudera@localhost Oozie_Example]$ oozie job -oo…
10 мар '15 в 19:09
1
ответ
Как я могу позволить рабочему процессу oozie работать после убийства координатора?
Я работал с oozie некоторое время, я хотел убить координатора, но я не хочу убивать рабочий процесс, который запускает координатор. Почему я хочу это сделать? У меня есть сценарий, в котором мое задание должно запускаться один раз каждые 15 минут, н…
24 ноя '17 в 01:59
1
ответ
Как использовать свойство задания Oozie в EL-функции рабочего процесса Oozie?
В моем рабочем процессе Oozie вот как файл передается в качестве аргумента командной строки для действия Java: <file>${concat(filesPath, 'config.properties')}</file> Хотя это работает нормально для запуска координатора, у него есть пробл…
07 мар '16 в 23:57