Соединяющий улей от искры в интеллидж
Я пытаюсь подключиться к удаленному кусту изнутри моей искровой программы в Intellij, установленной на локальной машине.
Я поместил конфигурационные файлы кластера hadoop на локальный компьютер и настроил переменные среды HADOOP_CONF_DIR в Intellij, запустив конфигурации этой программы spark, чтобы иметь возможность обнаруживать этот кластер hadoop, но intelliJ почему-то не читает эти файлы, и программа по умолчанию запускает локальный экземпляр метастаза куста.
Есть ли в любом случае настроить intelliJ для чтения файлов конфигурации hadoop локально. Любая помощь высоко ценится.
2 ответа
Добавить папку с файлами конфигурации hadoop в путь к классам проекта intellij
Настройки проекта -> Библиотеки -> + -> Java -> выберите папку со всеми файлами конфигурации -> классы
Пожалуйста, настройте переменную SPARK_CONF_DIR и скопируйте файл hive-site.xml в этот каталог. Spark подключится к указанному мета-хранилищу улья и убедится, что hive-site.xml указывает на детали вашего кластера.
Спасибо рави