Ресурсы Apache Aurora GPU
Я проверяю Apache Aurora с точки зрения запуска научных рабочих процессов (предполагая набор сценариев Python в определенной последовательности). Я успешно справился с несколькими из этих заданий Авроры, и это отлично подходит для моего конкретного случая использования.
Мне было интересно, есть ли способ указать, что конкретная задача (или задание, в целом) требует некоторого количества ресурсов графического процессора из моего кластера Apache Mesos. Конечно, в первую очередь Mesos должен знать о ресурсах графического процессора, и кажется, что это возможно путем определения этих ресурсов графического процессора, как указано здесь.
Таким образом, вопрос заключается в том, есть ли способ связаться с Mesos через Aurora, чтобы принимать предложения с доступными ресурсами GPU. Насколько я могу судить, объект Resource в Aurora ограничен ресурсами CPU/Ram/Disk. Любые советы приветствуются.
Спасибо!
2 ответа
Я не знаком с Apache Aurora, но Mesosphere Marathon (фреймворк, похожий на Aurora по функциональности) также ограничен ресурсами процессора, mem и диска.
Если вы хотите использовать пользовательские ресурсы, вам, вероятно, потребуется написать собственный фреймворк. В зависимости от ваших потребностей это может быть не так сложно. Для вдохновения, проверьте рамки RENDLER.
Как упоминалось в потоке, на который вы ссылаетесь, Mesos не обеспечивают изоляцию для ресурсов GPU (фактически, для любых пользовательских). Имейте это в виду, когда делаете ресурсную математику.
При проверке учебника Авроры я предполагаю, что вы можете просто указать этот ресурс как часть описания вашей работы: resources = Resources(cpu = 2, ram = 4*GB, disk = 8*GB, gpu = 1),
Просто имейте в виду, что это искусственный ресурс для Mesos, поэтому Mesos не позаботится об изоляции ресурса в этом случае. Например, если у вас есть несколько графических процессоров в одной системе, ваш код должен был бы управлять изоляцией / планированием между различными графическими процессорами.