Есть ли способ указать название задания из mrjob в веб-интерфейсе администрирования Hadoop?

Question

У меня есть несколько разных заданий, запущенных из библиотеки Python mrjob, включая задания с несколькими шагами. Как я могу заменить streamjob с пользовательским именем? Например, wordcount_step_1, wordcount_step_2, так далее.

Answer 1

Конечно, просто укажите его, используя опцию --jobconf, когда будете выполнять свою работу.

Например:

if __name__ == '__main__':
    # Be careful, this appends all job args, if you have lots it could be a problem
    sys.argv.extend(["--jobconf", "mapred.job.name=%s" % " ".join(sys.argv)])
    MRYourJobClass.run()

Answer 2

При запуске задания добавьте опцию:

--jobconf mapred.job.name=NameOfTheJob