Как получить Месос Агенты Framework Executor Память

Question

Внутри Mesos Web UI я вижу использование памяти моих исполнителей Spark в виде таблицы.

Agents -> Framework -> Executors

Существует таблица со списком всех исполнителей для моего драйвера Spark, и их использование памяти указано в столбце Mem (Used / Allocated),

Есть ли способ получить этот номер напрямую по ссылке и если да, то как?

Например, я могу получить набор метрик Mesos через http://ip/mesos/metrics/snapshot, но использование памяти исполнителями не является одним из них.

Answer 1

Нашел ответ сам. Для каждого работника / агента, на котором могут работать исполнители, прямой доступ к информации о памяти находится здесь:

http://IP_of_worker1:5051/slave(1)/monitor/statistics
http://IP_of_worker2:5051/slave(1)/monitor/statistics
так далее

Контент представлен в виде json, а framework_id позволяет найти связанных исполнителей и их потребление памяти, использование процессора и т. Д., Приведенные в таблице.

Answer 2

Фактически использование памяти исполнителями связано с задачей mesos, то есть для каждой задачи означает, сколько памяти потребят исполнители.

Если вышеприведенное - это то, что вам нужно, вы можете использовать следующую api rest, чтобы получить json, а затем проанализировать используемую память.

Http: // mesos_ip: 5050 / мастер / задачи

FYI.