Мониторинг использования памяти Spark Jobs
Как мы можем получить общую память, используемую для искровой работы. Я не могу получить точный параметр, к которому мы можем обратиться, чтобы получить то же самое. Ссылались на Spark UI, но не уверены в области, на которую мы можем ссылаться. Также в Ganglia у нас есть следующие опции: а) буфер памяти б) кэш-память в) свободная память г) общая память д) свободное пространство подкачки
Не удалось получить какую-либо опцию, связанную с использованием памяти. У кого-нибудь есть идеи по этому поводу.
1 ответ
Если вы сохраните свои RDD, вы сможете увидеть, насколько они велики в памяти через пользовательский интерфейс.
Трудно понять, сколько памяти используется для промежуточных задач (например, для перемешивания). В основном Spark будет использовать столько памяти, сколько нужно, учитывая то, что доступно. Это означает, что если ваши RDD-устройства занимают более 50% доступных ресурсов, ваше приложение может замедляться из-за того, что для выполнения доступно меньше ресурсов.