Невозможно просмотреть логи для yarn-resource-manager

Question

Я пробовал с различными командами, и у меня все еще есть проблемы при просмотре журналов пряжи, и вот шаги, которые я выполнил, чтобы просмотреть журналы

[root@iop-rm1 /]# yarn application -list

17/04/03 13:15:21 INFO client.RMProxy: Connecting to ResourceManager at iop-rm1.qatc/172.18.0.4:8032

Total number of applications (application-types: [] and states: [SUBMITTED, ACCEPTED, RUNNING]):1

            Application-Id      Application-Name        Application-Type          User       Queue               State         Final-State         Progress                        Tracking-URL
  application_1491225022815_0002      paxi                 SPARK                 paxata     default              ACCEPTED         UNDEFINED              0%                                 N/A

Когда я просматриваю логи пряжи, она отображается как

[root@iop-rm1 /]# yarn logs -applicationId application_1491222823231_0001

17/04/03 12:48:57 INFO client.RMProxy: Connecting to ResourceManager at iop-rm1.qatc/172.18.0.4:8032

/tmp/logs/root/logs/application_1491222823231_0001 does not exist.

Log aggregation has not completed or is not enabled.

Я также включил агрегирование журнала в core-site.xml файл

<name>yarn.log-aggregation-enable</name>

<value>true</value>

Я создал путь для журналов, который не существует, но я не могу увидеть журналы пряжи

Есть ли возможный способ просмотра журналов пряжи?

Answer 1

Вы не можете просматривать агрегированные журналы приложения YARN, которое еще не FINISHED,

Из описания yarn.log-aggregation-enable имущество:

Агрегирование журналов собирает журналы каждого контейнера и перемещает эти журналы в каталог, настроенный в yarn.nodemanager.remote-app-log-dir только после заполнения заявки.

Вы можете попробовать ту же команду yarn logs -applicationId <application ID> просматривать журналы после завершения приложения.

Чтобы просмотреть журналы, пока работа RUNNING используйте веб-интерфейс ResourceManger. Это будет доступно в http://ResourceManager_IP_Address:8088/,

PS: Вы должны добавить свойство для агрегации журналов в yarn-site.xml,

Answer 2

Возможно, вы забыли перезапустить кластер, чтобы включить агрегирование журналов.