Описание тега azkaban
Azkaban - это планировщик заданий пакетного рабочего процесса, созданный в LinkedIn для выполнения своих заданий Hadoop.
0
ответов
Ошибка: java.lang.RuntimeException: azkaban.jobExecutor.utils.process.ProcessFailureException?
Как мне запустить искровую работу в Азкабане? Должен ли я использовать command=spark-submit... или что-то другое? Может быть в azkaban есть тип работы для свечи? В настоящее время я только что spark-submiy команда и попытался положить его в файл зад…
25 июн '18 в 10:38
0
ответов
azkaban Невозможно запросить память (Xms 0 кб, Xmx 0 кб) из системы на 3.38
У меня ошибка при выполнении задания. Cannot request memory (Xms 0 kb, Xmx 0 kb) from system for job basic_step_1.cmd, sleep for 60 secs and retry, attempt 1 of 720 Я уже создаю plugins/jobtypes/commonprivate.properties с memCheck.enable=false оба в…
20 дек '17 в 10:17
0
ответов
Как запустить выбранные задания Azkaban в Paralell через скрипт?
Так как на AzkabanЯ должен тестировать новые задания по одному вручную. Предположим, я загрузил несколько новых рабочих мест и можно ли написать Python (или любой другой язык) сценарий для извлечения зависимостей между этими заданиями, а затем запус…
07 июн '18 в 10:17
2
ответа
Параметры потока Азкабан
Как вы устанавливаете параметры потока для каждой работы? Я пытаюсь настроить собственный оповещатель и хочу, чтобы каждая работа вызывала его. Похоже, что он ищет свойство "alert.type" из параметров потока, но сейчас я могу только вызвать его через…
09 мар '16 в 21:51
0
ответов
Как устранить ошибку Azkaban при запуске с Solo Server
2018/12/28 07:49:23.771 +0000 INFO [AzkabanDatabaseSetup] [Azkaban] Searching for installed tables Exception in thread "main" java.sql.SQLException: Cannot create PoolableConnectionFactory (General error: "java.lang.NullPointerException" [50000-193]…
28 дек '18 в 09:16
0
ответов
API загрузки Azkaban с использованием Retrofit
curl -k -i -H "Content-Type: multipart/mixed" -X POST --form 'session.id=e7a29776-5783-49d7-afa0-b0e688096b5e' --form 'ajax=upload' --form 'file=@myproject.zip;type=application/zip' --form 'project=MyProject;type/plain' https://localhost:8443/manage…
29 янв '18 в 08:42
0
ответов
Проблема при выполнении одновременных заданий в одном потоке в Азкабане?
Привет, я создал простой поток Azkaban и у меня есть два независимых задания одного типа и с разными аргументами. Когда я запускаю выполнение, я обнаруживаю, что при выполнении обоих заданий b и c передается один и тот же аргумент 'bbb' - т.е. когда…
12 янв '18 в 23:09
0
ответов
Азкабан не распознает переменную оболочки
Моя цель - создать файл во вчерашнем каталоге HDFS через Азкабан. command в *.job Файл выглядит следующим образом: command=sudo -u hdfs hadoop fs -touchz /user/"`date -d '${etl_date} yesterday' "+%F"`"/_SUCCESS hadoop fs -touchz команда может работа…
11 авг '17 в 11:11
2
ответа
Оркестровка рабочего процесса для Google Dataflow
Мы используем Google Dataflow для пакетной обработки данных и ищем некоторые опции для инструментов управления рабочими процессами, что-то похожее на то, что Azkaban делает для Hadoop. Ключевые вещи, которые мы ищем, Настройка рабочих процессов План…
17 авг '16 в 21:14
0
ответов
Azkaban: сбой из-за слишком большого количества заблокированных заданий в режиме конвейера
Выполнение Azkaban в конвейерном режиме приводит к сбою заданий после накопления достаточного количества заданий в заделе. Это происходит, если выполнение потока занимает больше времени, чем его частота планирования: Есть ли способ заставить Azkaban…
02 июл '18 в 18:47
1
ответ
Можем ли мы использовать Azkaban с Google Cloud Bigtable?
Можем ли мы использовать Azkaban с Google Cloud Bigtable, как с Apache HBase?
21 июл '17 в 09:51
2
ответа
Azkaban: работающий кластер серверов-исполнителей Azkaban
Могу ли я запустить Azkaban Executor Service в кластере. Если один узел выйдет из строя, тогда другой сможет поднять и запустить запланированные задания? Я не видел никакой документации по этому виду установки. Все, что я где-то читал, было то, что …
29 май '15 в 17:34
0
ответов
Как azkaban запускает искровое задание, вызывая искровое задание (type = command) из оболочки и вызовы type = spark имеют разные значения?
Сейчас azkaban версии 3.0.0, источник поддерживает искомый тип задания, но нет описания того, как использовать соответствующую документацию. Некоторые люди знают, как настроить работу это? Я хотел бы знать, чтобы запустить type = command type = spar…
18 май '16 в 04:33
1
ответ
Как составить график работы Hadoop условно?
Я довольно новичок в Hadoop, и особенно в Hadoop Job Scheduling. Вот что я пытаюсь сделать. У меня есть 2 потока, каждый из которых имеет работу Hadoop. У меня есть свобода помещать эти потоки либо в один проект, либо в разные. Я не хочу, чтобы зада…
09 сен '14 в 00:11
1
ответ
Конфигурация заданий Azkaban для каждой среды
Я планирую использовать Azkaban https://azkaban.github.io/ для запуска пакетных заданий. Согласно идеям CI, у нас есть несколько сред, таких как dev, test, stage, production и, конечно, работа должна иметь различную конфигурацию для каждой среды. Со…
25 окт '17 в 18:23
3
ответа
Азкабан: условные казни в рабочем процессе
У меня есть требование ввести условное выполнение в мой рабочий процесс. Например: если выполняется определенное условие, то должен выполняться определенный рабочий процесс. Если нет, другой рабочий процесс должен быть выполнен. Насколько я понимаю,…
29 май '15 в 15:31
3
ответа
Azkaban: передать параметры в базовый код задания
Можно ли передать параметры из рабочего процесса азкабана в базовый код задания? У меня есть что-то вроде этого, это вроде работает для жестко закодированных / заранее известных дат, но я хотел бы иметь возможность указать дату, когда я выполняю пот…
07 май '15 в 23:46
1
ответ
Доступ к "свойствам времени выполнения" Azkaban
Я пытался (без удачи) на простую тему: доступ к "глобальным" свойствам среды выполнения Azkaban (предположительно, доступным для потока). Я пробовал все нормальные и ненормальные методы, чтобы попытаться получить к ним доступ из потока, но безрезуль…
02 мар '15 в 22:29
1
ответ
Почему моя задача Sqoop в Azkaban застревает после выбора столбцов?
Я использую команду оболочки в Azkaban и помещаю команды Sqoop в сценарий оболочки. Сегодня задача Sqoop застряла без причины, sqoop_task1, Это произошло несколько дней назад в другой задаче sqoop, назовем ее sqoop_task2. sqoop_task1 а также sqoop_t…
07 авг '17 в 03:39
1
ответ
Процесс предварительной проверки потоков Азкабана
Я хотел бы проверить свои потоки Azkaban, прежде чем загружать их на сервер, так просто. У нас есть плагин или что-то для этого? Если нет, то какие классы в Azkaban github выполняют эту проверку? Я мог бы просто адаптировать их и использовать для пр…
04 янв '17 в 14:05