Как выполняется упорядочение в Hadoop Map при использовании улья

При уменьшении карты (с использованием куста) предложение "упорядочить по" приводит все данные в один редуктор, а затем данные сортируются. Этот единственный редуктор работает в контейнере, созданном на одной из машин распределенной среды Hadoop. Какой размер данных превышает лимит памяти этой машины? Были ли мои заявления правильными, если да, то как Hadoop справился с этим?

0 ответов

Другие вопросы по тегам