В менеджере Cloudera, как перенести данные удаленных данных
Я был исключен хостом datanode "dn001" с помощью "dfs_hosts_exclude.txt", и он работает, как также перенести данные datanode из этого "dn001" в другие датододы?
1 ответ
Тебе не нужно ничего делать. HDFS Hadoop должна повторить любые данные, потерянные на вашем узле данных.
Из архитектуры HDFS - отказ диска данных, биения и повторная репликация
Каждый DataNode периодически отправляет сообщение Heartbeat в NameNode. Сетевой раздел может привести к тому, что подмножество узлов данных теряет связь с узлом имени. NameNode обнаруживает это состояние по отсутствию сообщения Heartbeat. NameNode помечает узлы данных без недавних пульсов как мертвые и не пересылает им новые запросы ввода-вывода. Любые данные, которые были зарегистрированы на мертвом DataNode, больше не доступны для HDFS. Сбой DataNode может привести к тому, что коэффициент репликации некоторых блоков упадет ниже заданного значения. NameNode постоянно отслеживает, какие блоки должны быть реплицированы, и инициирует репликацию при необходимости. Необходимость повторной репликации может возникнуть по многим причинам: узел данных может стать недоступным, реплика может быть повреждена, жесткий диск на узле данных может выйти из строя или коэффициент репликации файла может быть увеличен.