Использование другого hadoop-mapreduce-client-core.jar для запуска кластера hadoop

Question

Использование другого hadoop-mapreduce-client-core.jar для запуска кластера hadoop

Я работаю на кластере hadoop с CDH4.2.0 и столкнулся с этой ошибкой. Это было исправлено в более поздних версиях hadoop, но у меня нет доступа для обновления кластера. Есть ли способ сказать Hadoop использовать этот JAR при запуске моей работы через аргументы командной строки, такие как

hadoop jar MyJob.jar -D hadoop.mapreduce.client=hadoop-mapreduce-client-core-2.0.0-cdh4.2.0.jar

где новый файл mapreduce-client-core.jar - это исправленный файл jar из заявки. Или должен быть полностью перекомпилирован hadoop с этой новой флягой? Я новичок в hadoop, поэтому я не знаю всех возможных вариантов командной строки.

1

hadoop jar java-opts

Источник

user128422 24 апр '13 в 23:59

1 ответ

Решение

Другие вопросы по тегам hadoop jar java-opts

user18818 25 апр '13 в 00:55 2013-04-25 00:55 · Accepted Answer · 2013-04-25 00:55

Я не уверен, как это будет работать, когда вы выполняете hadoop Команда, которую вы на самом деле выполняете код в клиентском банке.

Вы не можете использовать MR1? Эта проблема говорит о том, что эта проблема возникает только при использовании MR2, поэтому, если вам действительно не нужна Yarn, вам, вероятно, лучше использовать библиотеку MR1 для запуска карты / сокращения.