Yarn NodeManager и ResourceManager в одном узле

Question

(По умолчанию) Есть ли "менеджер узлов" в том же узле, что и "менеджер ресурсов" в Hadoop Yarn? Если нет, возможно ли запустить их на одном узле?

Answer 1

Сценарий sbin/start-yarn.sh делает именно это

# start resourceManager

"$ bin" /yarn-daemon.sh --config $ YARN_CONF_DIR запустить менеджер ресурсов

# start nodeManager

"$ bin" /yarn-daemons.sh --config $ YARN_CONF_DIR начальный менеджер узлов

в файле yarn-site.xml вы можете установить IP:PORT менеджера ресурсов, а также менеджер узла

yarn.resourcemanager.address

yarn.nodemanager.address

Менеджер узлов - это тот, который находит менеджер ресурсов (см. http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html).

Answer 2

Зависит от того, хотите ли вы запускать другие контейнеры (для ApplicationMasters или задач) на узле RM. Если вы хотите, чтобы ваш узел RM был выделен только для управления ресурсами, планирования и т. Д., Не запускайте NM на узле RM. Если вы думаете, что у вас есть запасной cpu / mem / disk на узле RM (особенно для небольшого кластера или кластера с несколькими заданиями для планирования), то запустите NM на узле RM.