Как удалить очередь в YARN?

Question

Я вижу очередь в файле конфигурации пряжи, которую я хочу удалить:

<property>
  <name>yarn.scheduler.capacity.root.queues</name>
  <value>a,b,c</value>
  <description>The queues at the this level (root is the root queue).
  </description>
</property>

<property>
  <name>yarn.scheduler.capacity.root.a.queues</name>
  <value>a1,a2</value>
  <description>The queues at the this level (root is the root queue).
  </description>
</property>

<property>
  <name>yarn.scheduler.capacity.root.b.queues</name>
  <value>b1,b2,b3</value>
  <description>The queues at the this level (root is the root queue).
  </description>
</property>

Скажи, я хочу удалить очередь c, Я удаляю c из списка под строкой <name>yarn.scheduler.capacity.root.queues</name> так что строка выглядит так:

<value>a,b,c</value>

Затем я иду в командную строку и запускаю yarn rmadmin -refreshQueues,

Но я получаю следующее сообщение об ошибке:

Caused by java.io.IOException: c cannot be found during refresh!`

Я пытаюсь удалить очередь c, Как мне это удалить?

Я заметил здесь, это говорит о том, что

Примечание: очереди не могут быть удалены, поддерживается только добавление новых очередей - обновленная конфигурация очереди должна быть допустимой, то есть емкость очереди на каждом уровне должна быть равна 100%.

... так, как мне удалить очередь, если она мне больше не нужна?

Благодарю.

Answer 1

С этой страницы:

Администраторы могут добавлять дополнительные очереди во время выполнения, но очереди не могут быть удалены во время выполнения.

Похоже, вы не можете удалить во время выполнения, НО вы можете остановить / убить YARN, обновить файл конфигурации (и удалить c) и запустите YARN с новой конфигурацией. Так что, если вы можете позволить себе остановить / запустить YARN, то вот процесс:

Примечание: перед тем как убить YARN Прочитайте здесь о влиянии на систему в зависимости от вашей версии YARN.

Здесь идет процесс:

Остановите службу MapReduce JobHistory, службу ResourceManager и NodeManager на всех узлах, где они работают, следующим образом:

 sudo service hadoop-mapreduce-historyserver stop
 sudo service hadoop-yarn-resourcemanager stop
 sudo service hadoop-yarn-nodemanager stop

Затем отредактируйте файл конфигурации и удалите c

Запустите сервер MapReduce JobHistory, ResourceManager и NodeManager на всех узлах, где они ранее работали, следующим образом:

 sudo service hadoop-mapreduce-historyserver start
 sudo service hadoop-yarn-resourcemanager start
 sudo service hadoop-yarn-nodemanager start

Команды отсюда

Answer 2

Вы должны остановить Yarn, если хотите удалить очередь. Только add, update а также stop поддерживается во время работы пряжи.