Hadoop на Google Compute Engine
Я пытаюсь настроить кластер hadoop в Google Compute Engine с помощью функции "Запустить программное обеспечение, запускаемое по клику". Я создал 1 главный и 1 подчиненный узлы и попытался запустить кластер с помощью сценария start-all.sh с главного узла, и я Получена ошибка "Отказано в доступе (publickey)".
Я сгенерировал открытый и закрытый ключи как на ведомых, так и на основных узлах.
в настоящее время я вошел в мастер с моим именем пользователя, обязательно ли войти в мастер как пользователь "hadoop". Если так, какой пароль для этого идентификатора пользователя.
пожалуйста, дайте мне знать, как преодолеть эту проблему.
1 ответ
Развертывание создает пользователя hadoop который владеет специфичными для Hadoop SSH-ключами, которые генерировались динамически во время развертывания; это значит с start-all.sh использует SSH под капотом, вы должны сделать следующее:
sudo su hadoop
/home/hadoop/hadoop-install/bin/start-all.sh
В противном случае ваше "обычное" имя пользователя не имеет должным образом настроенных ключей SSH, поэтому вы не сможете запускать демоны Hadoop, как вы видели.
Следует также отметить, что при развертывании уже должны быть автоматически запущены все демоны Hadoop, поэтому вам не нужно вручную запускать start-all.sh, если вы не перезагружаете демоны после некоторых ручных обновлений конфигурации. Если после запуска развертывания демоны не работали, возможно, вы столкнулись с неожиданной ошибкой во время инициализации.