Каковы преимущества и недостатки наличия большего количества редукторов в MapReduce?

Question

Каковы преимущества и недостатки наличия большего количества редукторов в MapReduce?

Программирование в MapReduce - это параллельная обработка, поэтому во многих случаях мы начинаем с отдельных редукторов. Каковы преимущества и недостатки наличия большего количества редукторов в MapReduce?

1

hadoop mapreduce bigdata cluster-computing reducers

Источник

user604205 15 сен '17 в 07:52

1 ответ

Решение

Другие вопросы по тегам hadoop mapreduce bigdata cluster-computing reducers

user2411320 15 сен '17 в 08:05 2017-09-15 08:05 · Accepted Answer · 2017-09-15 08:05

Один редуктор может работать на одном или нескольких разделах, поэтому он ограничивает распараллеливание именно тем, что он только один.

Слишком большое количество редукторов приведет к созданию слишком большого количества маленьких файлов HDFS (выходных данных), что не очень хорошо и будет оказывать давление на HDFS из-за необходимости ведения домашнего хозяйства.