Как я могу контролировать использование памяти и процессора при использовании приложения spark?

Question

После запуска моего приложения spark я хочу отслеживать его использование памяти и процессора, чтобы оценить его производительность, но не смог найти никакой опции. Можно ли это контролировать? Как я могу контролировать использование памяти и процессора при использовании приложения spark?

Answer 1

Есть несколько вариантов:

1. Ганглия один
2. Если вы работаете в своем собственном кластере, HDP или Cloudera имеют графики использования процессора и памяти в реальном времени.
3. Если вам нужны конкретные метрики JVM, я бы порекомендовал FlameGraph, хотя это не в режиме реального времени.
4. Также есть Grafana, он очень мощный, вы можете отслеживать множество метрик с ним, и это в реальном времени.