Датодея запущена, но не отображается в отчете dfsadmin

Я пытаюсь установить Hadoop 3.1.0 на две виртуальные машины:

Первый компьютер содержит один узел имени и один узел данных, второй содержит один узел данных.

Я следил за этой статьей Установите многоузловой кластер Hadoop 3.0.0 на Ubuntu. И все идет хорошо, пока я не выполнил команды start-dfs.sh и start-yarn.sh.

Когда я бегу Jps Команда на узле Name показывает следующие результаты:

16488 NameNode  
16622 DataNode  
17215 NodeManager  
17087 ResourceManager  
17530 Jps  
16829 SecondaryNameNode

И когда я запускаю его на узле данных, он показывает:

2306 DataNode
2479 NodeManager
2581 Jps

Но странная вещь в том, что при выполнении hdfs dfsadmin -report команда это только показывает Live datanodes (1) которая является местной датодой.

Я сделал много поисков; Я не нашел ничего полезного.

Я пытался:

  1. казнить stop-all.sh
  2. Удалить все файлы в каталогах Name node и datanode
  3. удалить все связанные с hadoop файлы во временном каталоге
  4. выполненный hdfs namenode -format команда

Здесь есть похожий вопрос: Hadoop UI показывает только один Data node, в котором они предложили изменить имя хоста. В моем наменоде /etc/hosts Файл содержит следующие строки:

127.0.0.1   localhost
127.0.1.1   hadoop-Namenode
192.168.75.131  hadoop-Namenode
192.168.75.132  hadoop-datanode-1

И в Датаноде /etc/hosts я имею:

127.0.0.1   localhost
127.0.1.1   hadoop-datanode-1
192.168.75.131  hadoop-Namenode
192.168.75.132  hadoop-datanode-1

Какие-либо предложения?

Источник

1 ответ

Решение

Проблема была решена удалением 127.0.1.1. линии от обеих машин

127.0.1.1   hadoop-Namenode
127.0.1.1   hadoop-datanode-1

Эти строки вызывали конфликт при попытке разрешения имени хоста.

Источник
Другие вопросы по тегам