Что такое мой URL-адрес webHDFS в Azure HDInsight?

Question

Что такое мой URL-адрес webHDFS в Azure HDInsight?

Новое в лазури здесь. Я только что закончил раскручивать новый экземпляр HDInsight с новым экземпляром хранилища в обычной учетной записи хранения. Мне интересно, что мой URL-адрес webHDFS / где я могу получить его и как я могу получить к нему доступ.

Я не использую хранилище озера данных Azure. (почти каждая ссылка, которую я нашел, связанная с лазурью, ведет к некоторой ссылке на озеро данных)

мой hdfs-site.xml:

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>

ядро-site.xml:

<property>
  <name>fs.defaultFS</name>
  <value>wasb://<my hdinsight storage name>@<my hdinsight name>.blob.core.windows.net</value>
  <final>true</final>
</property>

1

azure hadoop azure-hdinsight hdinsight webhdfs

Источник

user8533512 29 авг '17 в 15:43

2 ответа

Другие вопросы по тегам azure hadoop azure-hdinsight hdinsight webhdfs

user3203213 29 авг '17 в 16:02 2017-08-29 16:02 · Answer 1 · 2017-08-29 16:02

Ваш базовый URI файловой системы webHDFS должен быть: webhdfs://<HOST>:<HTTP_PORT> где должен быть ваш хост CLUSTERNAME.azurehdinsight.net и HTTP_PORT должен быть 80 по умолчанию.

Соответствующий URL-адрес HTTP имеет следующий формат

http://<HOST>:<HTTP_PORT>/webhdfs/v1/

0

Источник

user3203213 29 авг '17 в 16:02

user8188433 15 июл '20 в 08:32 2020-07-15 08:32 · Answer 2 · 2020-07-15 08:32

Примечание. Azure HDInsight не поддерживает WebHDFS.

Вам не нужно создавать кластер HDInsight для связи с ADLS с помощью WebHDFS.

Служба хранилища Azure несовместима с WebHDFS.
Azure Data Lake Store - это файловая система облачного масштаба, совместимая с распределенной файловой системой Hadoop (HDFS) и работающая с экосистемой Hadoop. Ваши существующие приложения или службы, использующие WebHDFS API, могут легко интегрироваться с ADLS.

Ссылка: API файловой системы WebHDFS

ADLS Gen2 - это файловая система Hadoop, совместимая и оптимизированная для облачного хранилища аналитики больших данных и несовместимая с WebHDFS.

user1708119 29 авг '17 в 18:24 2017-08-29 18:24 · Answer 3 · 2017-08-29 18:24

Порт Webhdfs совпадает с портом Namenode HDFS, вы можете переопределить этот порт, используя свойство ниже - dfs.namenode.http-address значение по умолчанию 50070.

https://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

Когда вы обращаетесь к webhdfs через curl или браузер, вы должны указать номер порта следующим образом.

http://<HOST>:<HTTP_PORT>/webhdfs/v1/

http://<HOST>:50070/webhdfs/v1/