Спарк на пряжу, подключение к ResourceManager в /0.0.0.0:8032

Я писал искровую программу на моей машине разработки, которая является Mac. Версия hadoop - 2.6, версия spark - 1.6.2. Кластер hadoop имеет 3 узла, конечно, все на машине linux. Я запускаю программу spark в идее IDE в автономном режиме spark, она работает успешно. Но теперь я перехожу в режим клиента пряжи, он не работает успешно и выдает следующее сообщение:

...
2017-02-23 11:01:33,725-[HL] INFO main org.apache.hadoop.yarn.client.RMProxy - Connecting to ResourceManager at /0.0.0.0:8032
2017-02-23 11:01:34,839-[HL] INFO main org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2017-02-23 11:01:35,842-[HL] INFO main org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2017-02-23 11:01:36,847-[HL] INFO main org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2017-02-23 11:01:37,854-[HL] INFO main org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
...

Я уже добавил соответствующие файлы конфигурации в каталог ресурсов проекта. Если я сделаю банку и использую spark-submit чтобы запустить эту программу, все будет в порядке. Теперь я хочу запустить эту программу в среде IDE в режиме Yarn-Client, как в автономном режиме Spark. Как я могу исправить эту проблему? Благодарю.

Источник

2 ответа

Убедитесь, что конфигурации YARN доступны для использования Spark при работе в режиме пряжи. Добавьте эти файлы core-site.xml, hdfs-site.xml а также yarn-site.xml файлы в conf каталог искр.
Также убедитесь, что yarn-site.xml содержит адрес менеджера ресурса

<property>
   <name>yarn.resourcemanager.address</name>
   <value>resource_manager_ip:8032</value>
</property>
Источник

Установите свой объект conf следующим образом, его работа для меня:

conf = new SparkConf().setAppName(setup.getAppname).setMaster("yarn")
            .set("spark.hadoop.yarn.resourcemanager.hostname", "resourcemanager.fqdn")
            .set("spark.hadoop.yarn.resourcemanager.address", "resourcemanager.fqdn:8032")`

Шрифт: hortonworks.com

Источник
Другие вопросы по тегам