Мониторинг выполнения Spark и использования памяти
Я знаю, что есть несколько способов контролировать использование памяти хранения приложения Spark, но кто-нибудь знает способ контролировать использование памяти выполнения. Я также ищу способ контролировать "пользовательскую память", то есть память, которая не используется ни для выполнения, ни для хранения. Следуя документации Spark по управлению памятью, https://spark.apache.org/docs/latest/tuning.html память, которая не выделена для M или spark.memory.fraction.