Hadoop 2.7.2 - Ошибка: не удалось найти или загрузить основной класс org.apache.hadoop.hdfs.server.namenode.NameNode

Question

Hadoop 2.7.2 - Ошибка: не удалось найти или загрузить основной класс org.apache.hadoop.hdfs.server.namenode.NameNode

Я новичок и пытаюсь найти решение этой проблемы. Я следил за этим турориалом, чтобы настроить Hadoop 2.7.2 на Ubuntu 15.10

http://idroot.net/tutorials/how-to-install-apache-hadoop-on-ubuntu-14-04/

Когда я запускаю "hdfs namenode format", я продолжаю получать эту ошибку Ошибка: не удалось найти или загрузить основной класс org.apache.hadoop.hdfs.server.namenode.NameNode

это контент bashrc

export JAVA_HOME=/usr/lib/jvm/java-8-oracle

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

Может ли кто-нибудь помочь мне решить этот (я думаю, глупый) вопрос?

Большое спасибо Каме

0

hadoop ubuntu-15.10 hadoop-2.7.2

Источник

user2543268 30 янв '16 в 19:21

3 ответа

Другие вопросы по тегам hadoop ubuntu-15.10 hadoop-2.7.2

user6915332 04 май '17 в 01:39 2017-05-04 01:39 · Answer 1 · 2017-05-04 01:39

У меня тоже есть эта ошибка. Для меня это просто потому, что некоторые файлы в папке /share/hadoop/yarn/ отсутствуют, что было вызвано неполной загрузкой hadoop.tar.gz, который все еще может быть удален из командной строки. Может помочь вам, ура.

1

Источник

user6915332 04 май '17 в 01:39

user2543268 01 фев '16 в 20:03 2016-02-01 20:03 · Answer 2 · 2016-02-01 20:03

Проблема решена с помощью скрипта пепла. Основным отличием является использование open jdk вместо oracle jre.

Спасибо за помощь!

0

Источник

user2543268 01 фев '16 в 20:03

user3580502 05 фев '20 в 01:54 2020-02-05 01:54 · Answer 3 · 2020-02-05 01:54

Одной из причин этой проблемы может быть определенная пользователем HDFS_DIRпеременная окружения. Это подбирается скриптами, такими как следующие строки вlibexec/hadoop-functions.sh:

HDFS_DIR=${HDFS_DIR:-"share/hadoop/hdfs"}
...
if [[ -z "${HADOOP_HDFS_HOME}" ]] &&
   [[ -d "${HADOOP_HOME}/${HDFS_DIR}" ]]; then
  export HADOOP_HDFS_HOME="${HADOOP_HOME}"
fi

Решение состоит в том, чтобы избежать определения переменной среды. HDFS_DIR.

В моем случае, используя sudo помогло, но по неправильным причинам: не было проблем с разрешениями, а с переменными среды.

user2534513 30 янв '16 в 20:14 2016-01-30 20:14 · Answer 4 · 2016-01-30 20:14

Сначала убедитесь, что каталоги namenode и datanode уже существуют в расположении, указанном в hdfs-site.xml файл. Вы можете использовать команду mkdir создать те.

Затем попробуйте отформатировать наменоде, используя

hdfs namenode -format

или же

/usr/local/hadoop/bin/hdfs namenode -format

Пожалуйста, обратите внимание на дефис.

Моя конфигурация bashrc для hadoop:

#HADOOP VARIABLES START
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export HADOOP_CLASSPATH=${JAVA_HOME}/lib/tools.jar
#HADOOP VARIABLES END