Не удалось найти или загрузить основной класс org.apache.hadoop.mapreduce.v2.app.MRAppMaster

Question

Не удалось найти или загрузить основной класс org.apache.hadoop.mapreduce.v2.app.MRAppMaster

Содержимое mapred-site.xml:

<configuration>
<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>

<property>
 <name>yarn.app.mapreduce.am.env</name>
 <value>HADOOP_MAPRED_HOME=/home/admin/hadoop-3.1.0</value>
</property>

<property>
 <name>mapreduce.map.env</name>
 <value>HADOOP_MAPRED_HOME=/home/admin/hadoop-3.1.0</value>
</property>

<property>
 <name>mapreduce.reduce.env</name>
 <value>HADOOP_MAPRED_HOME=/home/admin/hadoop-3.1.0</value>
</property>

<property> 
    <name>mapreduce.application.classpath</name>
    <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*,$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
</property>

</configuration>

Хотя я установил yarn.app.mapreduce.am.env и другие параметры; Я получаю сообщение Не удалось найти или загрузить основной класс org.apache.hadoop.mapreduce.v2.app.MRAppMaster error. Я пытаюсь запустить программу карты уменьшения удаленно, где hadoop установлен на Linux-машине, и я запускаю ее с Windows-машины. Ниже приведены мои настройки конфигурации для работы.

public class WordCount {
  public static void main(String[] args)
      throws IOException, ClassNotFoundException, InterruptedException {
    //
    UserGroupInformation ugi = UserGroupInformation.createRemoteUser("admin");
    ugi.doAs(new PrivilegedExceptionAction<Void>() {

      public Void run() throws Exception {
        try {
          Configuration configuration = new Configuration();

          configuration.set("yarn.resourcemanager.address", "192.168.33.75:50001"); // see step 3
          configuration.set("mapreduce.framework.name", "yarn");
          // configuration.set("yarn.app.mapreduce.am.env",
          // "HADOOP_MAPRED_HOME=/home/admin/hadoop-3.1.0");
          // configuration.set("mapreduce.map.env", "HADOOP_MAPRED_HOME=/home/admin/hadoop-3.1.0");
          // configuration.set("mapreduce.reduce.env",
          // "HADOOP_MAPRED_HOME=/home/admin/hadoop-3.1.0");
          configuration.set("fs.defaultFS", "hdfs://192.168.33.75:54310"); // see step 2
          configuration.set("mapreduce.app-submission.cross-platform", "true");
          configuration.set("mapred.remote.os", "Linux");
          configuration.set("yarn.application.classpath",
              "$HADOOP_CONF_DIR:$HADOOP_COMMON_HOME/*:$HADOOP_COMMON_HOME/lib/*:"
                  + "$HADOOP_HDFS_HOME/*:$HADOOP_HDFS_HOME/lib/*:"
                  + "$HADOOP_YARN_HOME/*:$HADOOP_YARN_HOME/lib/*:"
                  + "$HADOOP_MAPRED_HOME/*:$HADOOP_MAPRED_HOME/lib/*");

          Job job = Job.getInstance(configuration);

          job.setJarByClass(WordCount.class); // use this when uploaded the Jar to the server and
                                              // running the job directly and locally on the server
          job.setOutputKeyClass(Text.class);
          job.setOutputValueClass(IntWritable.class);
          job.setMapperClass(MapForWordCount.class);
          job.setReducerClass(ReduceForWordCount.class);

          Path input = new Path("/user/admin/wordCountInput.txt");
          Path output = new Path("/user/admin/output");
          FileInputFormat.addInputPath(job, input);
          FileOutputFormat.setOutputPath(job, output);
          System.exit(job.waitForCompletion(true) ? 0 : 1);
        } catch (Exception e) {
          e.printStackTrace();
        }
        return null;
      }

    });


  }

Пожалуйста, помогите мне. Я застрял на этой проблеме в последние 6 дней. Заранее большое спасибо. Версия Hadoop: 3.1.0

16

java hadoop hadoop3

Источник

user1982264 19 июн '18 в 11:42

6 ответов

Другие вопросы по тегам java hadoop hadoop3

user13192685 12 апр '20 в 15:15 2020-04-12 15:15 · Answer 1 · 2020-04-12 15:15

Просто отредактируйте файл mapred-site.xml:

Добавьте следующие свойства:

<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
<property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=/Users/adityaatri/Applications/hadoop-3.1.3</value> </property>
<property> <name>mapreduce.map.env</name> <value>HADOOP_MAPRED_HOME=/Users/adityaatri/Applications/hadoop-3.1.3</value> </property>
<property> <name>mapreduce.reduce.env</name> <value>HADOOP_MAPRED_HOME=/Users/adityaatri/Applications/hadoop-3.1.3</value> </property>

Теперь для всех вышеуказанных 4 свойств замените путь /Users/adityaatri/Applications/hadoop-3.1.3 с вашим домашним адресом Hadoop.

Теперь добавим 5-е свойство:

<property> <name>mapreduce.application.classpath</name> <value></value> </property>

В <value> Элемент должен быть заполнен содержимым после выполнения следующих команд в вашем терминале:

export HADOOP_CLASSPATH=$(hadoop classpath)
echo $HADOOP_CLASSPATH

Вывод с моего терминала:

/Users/adityaatri/Applications/hadoop-3.1.3/etc/hadoop:/Users/adityaatri/Applications/hadoop-3.1.3/share/hadoop/common/lib/*:/Users/adityaatri/Applications/hadoop-3.1.3/share/hadoop/common/*:/Users/adityaatri/Applications/hadoop-3.1.3/share/hadoop/hdfs:/Users/adityaatri/Applications/hadoop-3.1.3/share/hadoop/hdfs/lib/*:/Users/adityaatri/Applications/hadoop-3.1.3/share/hadoop/hdfs/*:/Users/adityaatri/Applications/hadoop-3.1.3/share/hadoop/mapreduce/lib/*:/Users/adityaatri/Applications/hadoop-3.1.3/share/hadoop/mapreduce/*:/Users/adityaatri/Applications/hadoop-3.1.3/share/hadoop/yarn:/Users/adityaatri/Applications/hadoop-3.1.3/share/hadoop/yarn/lib/*:/Users/adityaatri/Applications/hadoop-3.1.3/share/hadoop/yarn/*

Скопируйте это содержимое в <value> элемент 5-го дома.

Теперь вы не получите никаких ошибок.:)

user9291876 21 июн '18 в 09:02 2018-06-21 09:02 · Answer 2 · 2018-06-21 09:02

У меня была та же проблема, и я решил ее, добавив ее в mapred-site.xml (поэтому отредактируйте свойство mapreduce.application.classpath)

<property> 
    <name>mapreduce.application.classpath</name>
    <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*,$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*,$HADOOP_MAPRED_HOME/share/hadoop/common/*,$HADOOP_MAPRED_HOME/share/hadoop/common/lib/*,$HADOOP_MAPRED_HOME/share/hadoop/yarn/*,$HADOOP_MAPRED_HOME/share/hadoop/yarn/lib/*,$HADOOP_MAPRED_HOME/share/hadoop/hdfs/*,$HADOOP_MAPRED_HOME/share/hadoop/hdfs/lib/*</value>
</property>

user1982264 21 июн '18 в 12:56 2018-06-21 12:56 · Answer 3 · 2018-06-21 12:56

Я добавил следующее свойство в yarn-site.xml

<property>
  <name>yarn.application.classpath</name>
  <value> $HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/share/hadoop/common/*,$HADOOP_COMMON_HOME/share/hadoop/common/lib/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*,$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*,$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*,
    $HADOOP_YARN_HOME/share/hadoop/yarn/*,$HADOOP_YARN_HOME/share/hadoop/yarn/lib/* 
  </value>
</property>

И сделал те же изменения в моей карте уменьшить программу.

  configuration.set("yarn.application.classpath",
              "{{HADOOP_CONF_DIR}},{{HADOOP_COMMON_HOME}}/share/hadoop/common/*,{{HADOOP_COMMON_HOME}}/share/hadoop/common/lib/*,"
                  + " {{HADOOP_HDFS_HOME}}/share/hadoop/hdfs/*,{{HADOOP_HDFS_HOME}}/share/hadoop/hdfs/lib/*,"
                  + "{{HADOOP_MAPRED_HOME}}/share/hadoop/mapreduce/*,{{HADOOP_MAPRED_HOME}}/share/hadoop/mapreduce/lib/*,"
                  + "{{HADOOP_YARN_HOME}}/share/hadoop/yarn/*,{{HADOOP_YARN_HOME}}/share/hadoop/yarn/lib/*");

Моя программа работает без сбоев. Не стесняйтесь спрашивать меня детали.

Amit Jain 28 июл '23 в 22:04 2023-07-28 22:04 · Answer 4 · 2023-07-28 22:04

Просто добавьте следующее в файл Yarn-site.xml, чтобы переменные среды передавались. У меня была такая же проблема, и это решило ее. Я использую Hadoop 3.3.6.

      <property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME
    </value>
</property>

user5308426 01 дек '18 в 15:53 2018-12-01 15:53 · Answer 5 · 2018-12-01 15:53

Проблема в том, что ваш менеджер ресурсов (пряжа) не может загрузить библиотеки Hadoop (файлы jar). Я решил это путем обновления конфигурации. Добавил это в yarn-site.xml:

<property>
<name>yarn.application.classpath</name>
<value>C:/hadoop-2.8.0/share/hadoop/mapreduce/*,C:/hadoop-2.8.0/share/hadoop/mapreduce/lib/*,C:/Hadoop-2.8.0/share/hadoop/common/*,C:/Hadoop-2.8.0/share/hadoop/common/lib/*,
    C:/hadoop-2.8.0/share/hadoop/hdfs/*,C:/hadoop-2.8.0/share/hadoop/hdfs/lib/*,C:/hadoop-2.8.0/share/hadoop/yarn/*,C:/hadoop-2.8.0/share/hadoop/yarn/lib/*</value>
</property>

Обратите внимание, что используемые здесь пути могут быть относительными в зависимости от вашей системы.

user14442294 24 мар '22 в 13:43 2022-03-24 13:43 · Answer 6 · 2022-03-24 13:43

я добавляю mapreduce.application.classpathв mapred.xml, но это все равно не работает. Затем я загружаю core-site.xml, mapred-site.xmlа также yarn-site.xmlфайлы с моего Linux-сервера, затем поместите эти файлы в папку resourcesпуть в вас ИДЕЯ, то это работает!

0

Источник

user14442294 24 мар '22 в 13:43