В чем разница между Hadoop Namenode HA и федерацией HDFS
Я немного запутался с Hadoop Namenode HA, использующим федерацию QJM и HDFS. Оба используют несколько namenode и оба обеспечивают высокую доступность. Я не могу решить, какую архитектуру использовать для Namenode High Availability, поскольку обе выглядят одинаково, за исключением QJM.
Прошу прощения, если это не тот тип вопроса, который будет обсуждаться здесь.
1 ответ
Основное различие между HDFS High Availability и HDFS Federation заключается в том, что наменоды в Federation не связаны друг с другом.
В федерации HDFS все наменоды имеют общий пул метаданных, в котором каждый наменод имеет свой собственный пул, что обеспечивает отказоустойчивость, т. Е. Сбой одного наменода в федерации не влияет на данные других наменодов.
Итак, Федерация = Несколько наменодов и без корреляции.
В то время как в случае HDFS HA, есть два наменода - первичный NN и резервный NN. Основной NN постоянно работает, каждый раз, когда Резервный NN просто сидит там и время от времени охлаждает и обновляет свои метаданные относительно Основного Наменода, что делает их связанными. Когда Primary NN устает от этого обычного листа (т. Е. Он выходит из строя), Резервный NameNode вступает во владение всеми последними метаданными, которые он имеет.
Что касается архитектуры высокой доступности, вам нужно иметь как минимум две отдельные машины, настроенные как Namenode, из которых только одна должна работать в активном состоянии.
Подробнее здесь: HDFS Высокая доступность