Определение оптимального количества редукторов в пряже

Question

В MRv1 у нас были два ниже настраиваемых параметра, чтобы установить количество карт и уменьшить количество слотов на узел.

mapred.tasktracker.map.tasks.maximum
mapred.tasktracker.reduce.tasks.maximum

Также было бы желательно, чтобы количество слотов на карте было немного больше, чем количество уменьшенных слотов. Идеальное число редукторов для задания Map Reduce должно быть равно или больше, чем количество сокращаемых слотов, доступных в кластере.

Пожалуйста, исправьте, если моё понимание не верно в отношении MRv1...

В MRv2 у нас больше нет концепции слотов, вместо этого контейнеры предоставляют необходимую память и процессор для выполнения операций Map / Reduce taks.

Вот мой вопрос: как определить количество редукторов для любого задания Map Reduce в MRv2?

Спасибо

Answer 1

mapred.tasktracker.reduce.tasks.maximum заменяется

mapreduce.tasktracker.reduce.tasks.maximum

Это свойство обозначает максимальное количество одновременных reduce Слоты, которые может запустить данный узел отслеживания задач.

mapred.tasktracker.map.tasks.maximum заменить на

mapreduce.tasktracker.map.tasks.maximum

Это свойство обозначает максимальное количество одновременных map slots данный узел отслеживания задач может работать.

В YARN и MapReduce 2 больше нет предварительно настроенных статических слотов для задач Map и Reduce. Весь кластер доступен для динамического распределения ресурсов карт и сокращений по мере необходимости для работы.

Но если вы хотите назначить номер редуктора для вашей работы, вы все равно можете сделать это, указав следующее свойство в вашей работе Map/Reduce.

mapreduce.job.reduces

Пожалуйста, смотрите эту ссылку, чтобы узнать больше об этом.

Number of Mapper в основном распределяется на основе количества входных разделений ваших данных. Предположим, вы имеете дело с набором данных 1 ГБ, а размер блока HDFS составляет 128 МБ, и тогда вы не указали размер разделения в своей работе. 1GB/128MB=8 Разделение будет рассмотрено, и 8 Mapper будет выделен для этой работы, но предположим, что если вы указали размер разделения 512MB в своем коде, то 1GB/512MB=2картограф будет рассмотрен и выделен на эту работу.

Пожалуйста, смотрите эту ссылку, чтобы понять больше об этом.