Разница между вторичным NameNode и узлом Checkpoint
Узел контрольной точки периодически извлекает fsimage и редактирует из NameNode и объединяет их. Полученное состояние называется контрольной точкой. После этого загружает результат в NameNode.
Используется ли узел имени контрольной точки в версии Hadoop 2.x? Если да, нужен ли еще узел Secondary Name?
Кроме того, как работает узел имени контрольной точки, когда в Hadoop версии 2 есть несколько узлов Name?
Может кто-нибудь прояснить эти запутанные понятия?
1 ответ
Посмотрите на этот вопрос SE для более подробной информации об обязанностях каждого узла:
Узел имен Hadoop 2.0, вторичный узел и узел контрольной точки для высокой доступности
Вам не нужно настраивать узел вторичного имени и узел контрольной точки в Hadoop 2.0
Вместо этого вам нужен узел активного имени и узел резервного имени для высокой доступности согласно странице документации
В типичном кластере высокой доступности две отдельные машины настроены как узлы имен. В любой момент времени ровно один из узлов имен находится в активном состоянии, а другой - в режиме ожидания.
Active NameNode отвечает за все клиентские операции в кластере, в то время как Standby просто выступает в качестве подчиненного, поддерживая достаточно состояния, чтобы обеспечить быстрое переключение при сбое в случае необходимости.
Чтобы резервный узел поддерживал синхронизацию своего состояния с активным узлом, оба узла связываются с группой отдельных демонов, называемых " JournalNodes " (JN).
Когда активный узел выполняет какое-либо изменение пространства имен, он длительно записывает запись об изменении в большинство этих JN. Резервный узел способен считывать изменения из JN и постоянно следит за их изменениями в журнале редактирования.
Когда резервный узел видит изменения, он применяет их к своему собственному пространству имен. В случае аварийного переключения Standby гарантирует, что он прочитал все изменения из узлов JounalNode, прежде чем перейти в активное состояние. Это гарантирует, что состояние пространства имен будет полностью синхронизировано до того, как произойдет аварийное переключение.
Чтобы обеспечить быстрое переключение при сбое, также необходимо, чтобы резервный узел имел актуальную информацию о расположении блоков в кластере. Для этого узлы данных конфигурируются с указанием местоположения обоих узлов имен и отправляют информацию о местоположении блоков и тактовые импульсы обоим.
Обратитесь к связанным вопросам SE для получения более подробной информации: