Ограничение количества одновременных картографов в Sqoop

Question

Я хочу запустить задание Sqoop с 100 сопоставителями ("-m 100") - это распределит данные на 100 разделов. В любой момент времени я хочу ограничить число одновременно работающих мапперов до 10. Что это за свойство?

Следующее не сработало -

-D mapreduce.job.running.map.limit=10
-D mapred.tasktracker.map.tasks.maximum=10
-D mapreduce.job.maps=10
-D yarn.nodemanager.resource.cpu-vcores=10

Answer 1

Fair Scheduler может использоваться для ограничения количества одновременных задач карты в задании.

Добавьте честный планировщик в class path. Затем установите следующее свойство в mapred-site.xml

<property>
  <name>mapred.jobtracker.taskScheduler</name>
  <value>org.apache.hadoop.mapred.FairScheduler</value>
</property>

Конфигурация честного планировщика будет доступна в двух файлах. mapred-site.xml заботится о параметрах алгоритма и fair-scheduler.xml заботится о конфигурации пула, рабочих лимитах и ​​т. д.

maxMaps а также maxReduces поможет нам установить максимальное количество одновременных задач в слотах.