Hadoop namenode Высокая доступность
У меня вопрос по поводу названия узла High Availability. Имя узла так важно, потому что он хранит все метаданные, если он не работает, весь кластер Hadoop также будет недоступен. Итак, есть ли хороший способ приблизиться к узлу имени Высокая доступность, например, есть резервный узел имени, который может вступить во владение, когда первичный узел имени терпит неудачу? (сейчас я использую Hadoop 1.1.2)
1 ответ
Для ASF Hadoop 1.1.2 нет надежных параметров HA NameNode. Они были выпущены для 2.0 и включены в популярные дистрибутивы, такие как CDH4 от Cloudera.
Параметры для NameNode HA включают в себя запуск основного NameNode и горячего резервирования NameNode. Они совместно используют журнал изменений либо при монтировании NFS, либо в режиме журнала кворума в самой HDFS. Первый дает вам преимущество наличия внешнего источника для хранения метаданных HDFS, а второй дает вам преимущество отсутствия внешних зависимостей от Hadoop.
Лично мне нравится опция NFS, так как вы можете легко делать снимки / делать резервные копии данных, хранящихся на файловом сервере. Недостатком этого подхода является потенциально несовместимая производительность с точки зрения задержки.
Для более подробной информации, ознакомьтесь со следующими статьями: