JPS выдает пустой вывод, ни один из демонов Hadoop не запускается с start-all.sh, распределенного режима Hadoop Psudo, на 32-битной виртуальной машине, работающей в 64-битной ОС Windows
Я пытаюсь настроить Hadoop2.7.1, Java OpenJDK 7, на 32-битной виртуальной машине, работающей поверх 64-битной ОС. Я настроил все файлы, как указано здесь http://pingax.com/install-hadoop2-6-0-on-ubuntu/
Даже после запуска start-dfs.sh или start-all.sh ни один из демонов не запускается.
Вот вывод команды start,jps
hduser@ubuntu:~$ start-dfs.sh
16/04/22 00:33:14 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [localhost]
localhost: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hduser-namenode-ubuntu.out
localhost: starting datanode, logging to /usr/local/hadoop/logs/hadoop-hduser-datanode-ubuntu.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-hduser-secondarynamenode-ubuntu.out
16/04/22 00:33:33 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
hduser@ubuntu:~$ jps
12147 Jps
hduser@ubuntu:~$
Я не могу понять причину. Что касается Предупреждение, как указано в нескольких других ответах, оно может быть проигнорировано или подавлено.
Я также увидел содержимое упомянутого файла отладки, который выглядит следующим образом
hduser@ubuntu:~$ cat /usr/local/hadoop/logs/hadoop-hduser-namenode-ubuntu.out
OpenJDK Client VM warning: You have loaded library /usr/local/hadoop/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.
It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'.
(kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 14869
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
hduser@ubuntu:~$
Даже та же самая ошибка приведена в файле журнала для узла данных. Любая помощь будет оценена...
РЕДАКТИРОВАТЬ:
https://chawlasumit.wordpress.com/2014/06/17/hadoop-java-hotspottm-execstack-warning/
Как и предполагалось, я внес изменения, но это только подавило ошибку в журнале,
hduser@ubuntu:~$ cat /usr/local/hadoop/logs/hadoop-hduser-namenode-ubuntu.out
ulimit -a for user hduser
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 14869
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 14869
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
2 ответа
Проверьте ваши файлы конфигурации. Убедитесь, что содержимое ваших.xml файлов (особенно вашего core-site.xml) такое же, как здесь. Немногие веб-сайты имеют устаревшие учебные пособия, они упоминают "fs.default.name" вместо "fs.defaultFS" в файле core-site.xml.
Эта проблема возникает из-за 1. Вы используете виртуальную машину 2. 32-битная виртуальная машина поверх 64-битного хоста 3. Собственная библиотека по умолчанию в hadoop создана для 32-битной.
Вот одно правдоподобное решение, которое у меня не работало при установке 64-битной версии hadoop 2.2.0, но не может быть запущено
Однако, когда я настроил hadoop с помощью этих шагов ( http://pingax.com/install-hadoop2-6-0-on-ubuntu/) непосредственно на машине с Ubuntu без использования виртуальной машины, он работал правильно:)
так что если вы столкнулись с этим, попробуйте запустить на физической машине Ubuntu.