СПАРК: Как контролировать потребление памяти на кластере Спарк?
Извините за основной вопрос, но я не мог понять его сам.
Я пытался выяснить в интерфейсе Spark, сколько памяти доступно и используется для каждого работника и драйвера.
Есть ли простой и простой способ контролировать эту информацию?
Моя цель состоит в том, чтобы определить свою стратегию настойчивости в зависимости от того, сколько моих данных занимают работники и водитель.
PS Я использую автономный режим, на Spark 1.6.1
1 ответ
Решение
Я думаю, что во вкладке Executors у вас будет информация, которая вам нужна. Если у вас есть вспышка, вы найдете ее в http://localhost:4040/executors/ Best!