Параметры MRv1 и MRv2
Полный список параметров (для Hadoop-2.6) приведен по ссылке
Но вы можете выполнить задание в стиле MRv1 или MRv2. Я думаю, что есть некоторые параметры, которые применимы только для MRv1, как mapreduce.tasktracker.map.tasks.maximum, Это правда? Если да, то есть ли более разумный способ выяснить все такие параметры? мы можем передать все параметры через -Dproperty= значение или -D свойство = значение или есть какой-либо параметр, который я не могу передать, как это?
1 ответ
В MR2 количество задач карты будет рассчитываться динамически менеджером ресурсов в зависимости от памяти, назначенной каждому контейнеру.
Из садоводства
В YARN и MapReduce 2 больше нет предварительно настроенных статических слотов для задач Map и Reduce. Весь кластер доступен для динамического распределения ресурсов карт и сокращений по мере необходимости для работы
На этой странице есть больше информации. проверьте это http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/
Вы можете передать любой параметр, используя -D свойство = значение из командной строки. На это нет никаких ограничений. Но если эти свойства установлены в коде разработчиком, свойство командной строки будет переопределено заданием.