Hadoop в кластере Maui+Torque

Question

У меня есть кластер с Torque+Maui. Можно ли установить Hadoop в одном кластере? Каковы плюсы и минусы, если это возможно?

Answer 1

Это может быть хорошим местом для начала:

http://hadoop.apache.org/docs/r0.18.3/hod.html

Я не работал с этим лично, но я слышал, что это не поддерживается активно.

Из того, что я видел, Hadoop имеет свой собственный планировщик, который ожидает, что набор узлов Hadoop будет работать там, где живет файловая система Hadoop. Обычно это постоянная среда, поэтому вы можете загрузить файловую систему один раз (большие данные) и назначить свою работу узлу, который содержит копию нужных вам данных. Torque стремится взять любой набор свободных узлов из кластера, назначить их на задание, запустить задание, а затем очистить среду для следующего задания. Это идет вразрез с дизайном Hadoop.

Я вижу, где было бы хорошо иметь среду, которая могла бы использовать обе возможности, чтобы полностью использовать уже имеющиеся у вас системы, но управление в лучшем случае будет грязным.