Есть ли способ указать название задания из mrjob в веб-интерфейсе администрирования Hadoop?
У меня есть несколько разных заданий, запущенных из библиотеки Python mrjob, включая задания с несколькими шагами. Как я могу заменить streamjob
с пользовательским именем? Например, wordcount_step_1
, wordcount_step_2
, так далее.
2 ответа
Решение
Конечно, просто укажите его, используя опцию --jobconf, когда будете выполнять свою работу.
Например:
if __name__ == '__main__':
# Be careful, this appends all job args, if you have lots it could be a problem
sys.argv.extend(["--jobconf", "mapred.job.name=%s" % " ".join(sys.argv)])
MRYourJobClass.run()
При запуске задания добавьте опцию:
--jobconf mapred.job.name=NameOfTheJob