Datanodes не могут подключить Namenode с помощью HDFS / YARN
Я установил HDFS в инстансы AWS. Один Namenode и два Datanodes.
После этого я запускаю следующие команды, чтобы запустить HDFS.
hdfs namenode -format
$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh
Затем я запускаю hdfs dfsadmin-report, чтобы проверить, все ли в порядке.
hdfs dfsadmin -report
Configured Capacity: 0 (0 B)
Present Capacity: 0 (0 B)
DFS Remaining: 0 (0 B)
DFS Used: 0 (0 B)
DFS Used%: 0.00%
Replicated Blocks:
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0
Low redundancy blocks with highest priority to recover: 0
Pending deletion blocks: 0
Erasure Coded Block Groups:
Low redundancy block groups: 0
Block groups with corrupt internal blocks: 0
Missing block groups: 0
Low redundancy blocks with highest priority to recover: 0
Pending deletion blocks: 0
Просматривая журналы узлов данных, я нахожу сообщения, подобные приведенным ниже:
2021-09-20 22:57:26,016 INFO org.apache.hadoop.ipc.Client: повторная попытка подключения к серверу: ip-172-31-15-97.ec2.internal / 172.31.15.97:8031. Уже пробовали 28 раз; maxRetries=45
Я проверил yarn-site.xml, как предлагалось в других сообщениях, и кажется, что все в порядке:
<property>
<name>yarn.resourcemanager.hostname</name>
<value>ip-172-31-13-44.us-east-2.compute.internal</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>ip-172-31-13-44.us-east-2.compute.internal:8032</value>
</property>
Что можно сделать или что делаю не так?