Force one Редуктор в AWS EMR

Как я могу убедиться, что есть только редуктор для моей работы EMR Streaming? Есть ли способ сделать это из веб-интерфейса, когда я создаю новый Jobflow?

Источник

1 ответ

Решение

Вы можете настроить Hadoop в действии начальной загрузки, используя флаг --arg. Специально для вашего вопроса вы можете установить mapred.tasktracker.reduce.tasks.maximum равным 1.

elastic-mapreduce --create --alive \
      --name "Configure Jobflow" \
      --bootstrap-actions s3://elasticmapreduce/bootstrap-actions/configure-hadoop
      --arg mapred.tasktracker.reduce.tasks.maximum=2
Источник
Другие вопросы по тегам