hadoop: файлы конфигурации
Я новичок в Hadoop. Я пытаюсь настроить кластер с одним узлом.
Я заметил, что в документации, которую я прочитал (даже на сайте конфигурации Apache), она всегда ссылается на файлы конфигурации в каталоге conf /. Однако, когда я загружаю версию 2.XX, я вижу только файлы конфигурации в каталоге etc / hadoop.
Я погуглил это. Я попытался прочитать документацию Hadoop, но это относится к каталогу 'Conf', как объяснено ранее.
Итак, мой вопрос: я просто настраиваю файлы там, где они находятся, в каталоге etc / hadoop, или мне нужно переместить их в каталог conf (создать его самостоятельно?).
Спасибо
3 ответа
В Hadoop 2 сам каталог etc / hadoop действительно является каталогом conf, не нужно создавать отдельный каталог. Быстрый способ проверить это - просто изменить что-то вроде fs.default.name между file: /// и вашим hdfs: // host: port / setting и запустить быстрый "hadoop fs -ls", чтобы увидеть, где вы оказались,
Hadoop версии 2.xx является apache yarn и имеет конфигурацию в каталоге etc/hadoop/. Я рекомендую вам следовать настройкам, приведенным на сайте Apache YARN здесь
Извлечение из Hadoop: полное руководство--
"В Hadoop 2.0 и более поздних версиях MapReduce работает на YARN, и существует дополнительный файл конфигурации под названием yarn-site.xml. Все файлы конфигурации должны находиться в подкаталоге etc/hadoop"
Так что вам не нужно создавать новый каталог conf..