Как получить память и использование процессора приложением Spark?

Question

Как получить память и использование процессора приложением Spark?

Я хочу получить среднее использование ресурсов заданием "спарк" для целей мониторинга. Как я могу опрашивать ресурс, т. Е. Использование ЦП и памяти приложения Spark?

1

apache-spark yarn

Источник

user6559414 09 янв '18 в 12:20

2 ответа

Другие вопросы по тегам apache-spark yarn

user6810070 12 янв '18 в 19:30 2018-01-12 19:30 · Answer 1 · 2018-01-12 19:30

Вы должны вытащить бревна из пряжи

Командная строка: yarn application -logs {YourAppID} Вы можете получить applicationID из стека искровой работы или из yarn application -list команда или из интерфейса тоже. Больше на командах пряжи здесь

ИЗ UI: Если вы используете Cloudera, вы можете увидеть из http://${LOCALHOST}:7180/cmf/services/17/applications Вы можете добраться до DAG с http://${LOCALHOST}:8088/cluster

user6070282 12 янв '18 в 19:03 2018-01-12 19:03 · Answer 2 · 2018-01-12 19:03

Вы можете проверить журнал stderr для заполненного заявления Spark. Перейдите к Менеджеру ресурсов пряжи. Нажмите на идентификатор приложения, а затем "Журналы" в правой части строки appattempt_*. Перейдите к типу журнала:stderr и нажмите "Нажмите здесь для полного журнала". Посмотрите в журнале что-то вроде этого:

"yarn.YarnAllocator: Will request 256 executor containers, each with 5 cores and 8576 MB memory including 384 MB overhead"