Hadoop: два datanodes, но пользовательский интерфейс показывает один и Spark: два рабочих интерфейса показывает один

Question

Я видел много ответов на SO и Quora вместе со многими сайтами. Некоторые проблемы были решены, когда они настроили брандмауэр для подчиненных IP-адресов, некоторые сказали, что это сбой пользовательского интерфейса. Я сбит с толку. У меня есть две датододы: одна является чистой датодой, а другая - Namenode + датодода. Проблема в том, когда я делаю <master-ip>:50075 он показывает только одну датодану (та, что у машины, у которой тоже есть наменоде). но мой hdfs dfsadmin -report показывает, у меня есть две датододы и после запуска Hadoop на моем мастере, и если я делаю jps на моем pure-datanode-machine or slave machine Я вижу, как работает датанода. Брандмауэр на обеих машинах отключен. sudo ufw status verbose дает Status: inactive ответ. То же самое сценарий с искрой. Пользовательский интерфейс Spark показывает рабочий узел как узел с главным узлом, а не как чистый рабочий узел. Но рабочий работает на pure-worker-machine, Опять же, это глюк пользовательского интерфейса или я что-то упустил?hdfs dfsadmin -report

Configured Capacity: 991216451584 (923.14 GB)
Present Capacity: 343650484224 (320.05 GB)
DFS Remaining: 343650418688 (320.05 GB)
DFS Used: 65536 (64 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0
Pending deletion blocks: 0

-------------------------------------------------
Live datanodes (2):

Name: 10.10.10.105:50010 (ekbana)
Hostname: ekbana
Decommission Status : Normal
Configured Capacity: 24690192384 (22.99 GB)
DFS Used: 32768 (32 KB)
Non DFS Used: 7112691712 (6.62 GB)
DFS Remaining: 16299675648 (15.18 GB)
DFS Used%: 0.00%
DFS Remaining%: 66.02%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue Jul 25 04:27:36 EDT 2017


Name: 110.44.111.147:50010 (saque-slave-ekbana)
Hostname: ekbana
Decommission Status : Normal
Configured Capacity: 966526259200 (900.15 GB)
DFS Used: 32768 (32 KB)
Non DFS Used: 590055215104 (549.53 GB)
DFS Remaining: 327350743040 (304.87 GB)
DFS Used%: 0.00%
DFS Remaining%: 33.87%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue Jul 25 04:27:36 EDT 2017

/etc/hadoop/masters файл на главном узле

ekbana

/etc/hadoop/slaves файл на главном узле

ekbana
saque-slave-ekbana

/etc/hadoop/masters файл на подчиненном узле

saque-master

Примечание: saque-master на подчиненной машине и экбана на ведущей машине сопоставляются с одним и тем же IP. Также интерфейс выглядит похожим на интерфейс этого вопроса

Answer 1

Это из-за того же имени хоста (экбана). Таким образом, в пользовательском интерфейсе будет отображаться только одна запись для одного и того же имени хоста.

если вы хотите это подтвердить, просто запустите только одну датододу, которая не находится в master. Вы можете увидеть запись для этого в пользовательском интерфейсе.

Если вы также запустили другой канал данных, он замаскирует вторую запись для того же имени хоста.

Вы можете изменить имя хоста и попробовать.

Answer 2

Я также столкнулся с подобной проблемой, где я не мог видеть информацию о датодане на dfshealth.html стр. У меня было два хозяина по имени хозяин и раб.

etc/hadoop/masters (on master machine)
master
etc/hadoop/slaves
master
slave

etc/hadoop/masters (slave machine)
master
etc/hadoop/slaves
slave

и он мог видеть датододы на пользовательском интерфейсе.