64-битная установка hadoop 2.2.0, но не запускается

Question

Я пытаюсь установить Hadoop 2.2.0 Cluster на серверах. На данный момент все серверы 64-битные, я загружаю Hadoop 2.2.0, и все файлы конфигурации были настроены. Когда я работаю./start-dfs.sh, я получил следующую ошибку:

13/11/15 14:29:26 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /home/hchen/hadoop-2.2.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'.namenode]
sed: -e expression #1, char 6: unknown option to `s' have: ssh: Could not resolve hostname have: Name or service not known
HotSpot(TM): ssh: Could not resolve hostname HotSpot(TM): Name or service not known
-c: Unknown cipher type 'cd'
Java: ssh: Could not resolve hostname Java: Name or service not known
The authenticity of host 'namenode (192.168.1.62)' can't be established.
RSA key fingerprint is 65:f9:aa:7c:8f:fc:74:e4:c7:a2:f5:7f:d2:cd:55:d4.
Are you sure you want to continue connecting (yes/no)? VM: ssh: Could not resolve        hostname VM: Name or service not known
You: ssh: Could not resolve hostname You: Name or service not known
warning:: ssh: Could not resolve hostname warning:: Name or service not known
library: ssh: Could not resolve hostname library: Name or service not known
have: ssh: Could not resolve hostname have: Name or service not known
64-Bit: ssh: Could not resolve hostname 64-Bit: Name or service not known
...

Помимо 64-битных, есть ли другие ошибки? Я завершил вход между namenode и datanodes без пароля, что означают другие ошибки?

Answer 1

Добавьте следующие записи в.bashrc, где HADOOP_HOME - ваша папка hadoop:

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

Кроме того, выполните следующие команды:

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

Answer 2

Основная причина заключается в том, что встроенная библиотека по умолчанию в hadoop создана для 32-разрядных систем. Решение

1) Настройте некоторые переменные среды в .bash_profile, Пожалуйста, обратитесь к https://gist.github.com/ruo91/7154697 или

2) Перестройте свою нативную библиотеку hadoop, перейдите по ссылке http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/NativeLibraries.html

Answer 3

Вы также можете экспортировать переменные в hadoop-env.sh

vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

/ usr / local / hadoop - моя папка установки hadoop

#Hadoop variables
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64 # your jdk install path
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

Answer 4

Я думаю, что единственная проблема здесь такая же, как и в этом вопросе, поэтому решение тоже то же самое:

Остановите JVM от вывода предупреждения защиты стека в stdout/stderr, потому что именно это нарушает стартовый скрипт HDFS.

Сделайте это, заменив в своем etc/hadoop/hadoop-env.sh линия:

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

с:

export HADOOP_OPTS="$HADOOP_OPTS -XX:-PrintWarnings -Djava.net.preferIPv4Stack=true"

( Это решение было найдено в блоге Sumit Chawla)

Answer 5

У вас есть три вопроса:

1. " Невозможно загрузить библиотеку native-hadoop", как сказал @Nogard. Его ответ решает эту проблему.

2. "Подлинность хоста" namenode (192.168.1.62) "не может быть установлена.", Потому что у вас нет аутентификации ssh. Сделай это:

   ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys scp ~/.ssh/authorized_keys your_install_user@192.168.1.62:/home/your_install_user/.ssh/

3. "sed: -e выражение #1, символ 6: неизвестная опция для`s'имеет: ssh: не удалось разрешить имя хоста: имя или служба неизвестна HotSpot(TM): ssh: не удалось разрешить имя хоста HotSpot (TM): имя или служба не известна -c: "

   Попробуйте это: отредактируйте свой .bash_profile или же .bashrc и поместите это в это:

   export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
   export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
   

   а также source .bash_profile или же source .bashr чтобы изменения вступили в силу немедленно.

Answer 6

Проблема не с родной библиотекой. Пожалуйста, смотрите, что это просто предупреждение. Пожалуйста, экспортируйте переменные hadoop, упомянутые выше. Это будет работать

Answer 7

У меня была похожая проблема, и я не смог ее решить, выполнив все вышеперечисленные предложения.

Наконец понял, что имя хоста настроено и IP-адрес не назначен для одного и того же.

Мое имя хоста было vagrant и это настроено в /etc/hostname, Но я обнаружил, что IP-адрес для бродяги не назначен в /etc/hosts, В /etc/hosts Я нашел IP-адрес только для localhost,

Как только я обновил имя хоста для обоих localhost а также vagrant Все вышеперечисленные проблемы решены.

Answer 8

Убедитесь, что ваш HADOOP_HOME а также HADOOP_PREFIX правильно установлено. У меня была эта проблема. Кроме того, ssh без пароля должен быть правильно настроен.