Resource Manager для обработки крупномасштабных рабочих процессов в гетерогенных системах
Я ищу менеджера ресурсов с открытым исходным кодом, который может управлять крупномасштабными рабочими процессами в распределенной вычислительной среде. Я выполнил опрос TORQUE, SLURM, LOADLEVELER, SLURM лучше, чем TORQUE, для обработки больших узлов, но в одном кластере. Все они используются для периодических систем. Кондор используется для сеточных сред, но обеспечивает крупнозернистую распределенную пареллизацию. Я чувствую, что Ganglia и Nagios хороши в средах высокопроизводительных вычислений. Но я хочу знать, можно ли использовать Ganglia и Nagios для рабочих процессов? Может ли мой алгоритм планирования в планировщик и использовать его с Resource Manager через Hadoop MapReduce Framework?? Полезные ответы более ценны. Спасибо.
1 ответ
Ganglia и Nagios являются инструментами мониторинга, они не дадут вам управление ресурсами. Оформить последнюю версию Hadoop. Он поставляется с внутренним управлением ресурсами.
Новый Resource Manager управляет глобальным назначением вычислительных ресурсов приложениям, а ApplicationMaster для каждого приложения управляет планированием и координацией приложения.