Новый Spark StreamingContext не работает с ошибками hdfs

Я использую dcos, установленный через Azure ACS, и установил hdfs и spark через dcos tool с параметрами по умолчанию.

Создание SparkStreamingContext дает:

16/07/22 01:51:04 WARN DFSUtil: Namenode for hdfs remains unresolved for ID nn1. Check your hdfs-site.xml file to ensure namenodes are configured properly. 
16/07/22 01:51:04 WARN DFSUtil: Namenode for hdfs remains unresolved for ID nn2. Check your hdfs-site.xml file to ensure namenodes are configured properly.
Exception in thread "main" java.lang.IllegalArgumentException:
java.net.UnknownHostException: namenode1.hdfs.mesos

Я ожидаю, что мне придется заново развернуть пакет с dcos package install с –options=, но не могу понять, что hdfs.config-url должно быть. Документы https://docs.mesosphere.com/1.7/usage/service-guides/spark/install/ выглядят устаревшими.

Источник

1 ответ

Решение

Да, это устарело. Мы исправим это.

DC / OS HDFS теперь предоставляет свою конфигурацию по http://hdfs.marathon.mesos:%5Bport%5D/v1/connect

Источник
Другие вопросы по тегам