Блоки HDFS повреждены после перезагрузки

У меня есть Hadoop на Ubuntu 16.10

Все работает отлично: я могу загрузить входной файл в HDFS и выполнить операции уменьшения карты. Но когда я перезагружаю свой компьютер, все блоки HDFS повреждены, и NameNode запускается в SafeMode

Так что я должен

1) Оставьте SafeMode

2) Удалить все поврежденные блоки с помощью

hdfs fsck -delete

3) Повторно загрузить входной файл

Тогда все работает нормально до следующей перезагрузки.

Может кто-нибудь, пожалуйста, дайте мне какое-то решение для этого. Спасибо

Источник

2 ответа

Я решил мою проблему. Я использую эту ссылку, чтобы проверить мои файлы конфигурации http://www.bogotobogo.com/Hadoop/BigData_hadoop_Install_on_ubuntu_single_node_cluster.php

я забыл использовать sudo chown -R hduser:hadoop /usr/local/hadoop_tmp в моем каталоге hdfs

Источник 
Create folder like /dfs/ in your machine 
open hdfs-site.xml or hdfs-default.xml  
set this property "dfs.namenode.name.dir".

    Example:
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>/dfs/</value>
      <description>Determines where on the local filesystem the DFS name node
          should store the name table(fsimage).  If this is a comma-delimited list
          of directories then the name table is replicated in all of the
          directories, for redundancy. </description>
    </property>
Источник
Другие вопросы по тегам