Настройка пряжи с проблемой ресурсов Hadoop 2.7.4

Question

Я настроил hadoop 2.7.4, следуя этому руководству. DataNode, NameNode и SecondaryNameNode работают правильно.

Но когда я запускаю пряжу, NodeManager отключается со следующим сообщением

org.apache.hadoop.yarn.exceptions.YarnRuntimeException: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: получен сигнал SHUTDOWN от Resourcemanager, сбой регистрации NodeManager, сообщение от ResourceManager: NodeManager от localhost не удовлетворяет минимальным выделениям, Отключение сигнала для NodeManager.

Моя система имеет 8 процессоров с 8 ГБ оперативной памяти. Как настроить пряжу с этими ресурсами? Я нашел много таких, как это, но не смог найти решение, которое решило бы мою проблему.

Answer 1

У меня была такая же проблема во время курса. Мы использовали виртуальные машины Amazon с 2 ядрами.

После различных модификаций в yarn-site.xmlмы получили запущенный NodeManager, установив следующие свойства

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4096</value>
</property>

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>2</value>
</property>

В вашем случае вам может потребоваться установить 8 виртуальных ядер.