Невозможно запустить снимок с помощью nutch2.3 на hadoop2.4.0 с использованием gora0.5 и mongodb в качестве внутреннего хранилища данных
Я сталкиваюсь с этой проблемой в течение нескольких дней. Когда я использую hadoop1.2, все работает нормально. Хотя я перехожу к hadoop2.x(hadoop2.4 или hadoop2.5.2), я получаю эту проблему:
java.lang.Exception: java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462)
at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:522)
Caused by: java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
at org.apache.gora.mapreduce.GoraOutputFormat.getRecordWriter(GoraOutputFormat.java:83)
at org.apache.hadoop.mapred.MapTask$NewDirectOutputCollector.<init>(MapTask.java:624)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:744)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:340)
at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:243)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
at java.util.concurrent.FutureTask.run(FutureTask.java:262)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:744)
Я обнаружил, что когда я использую hadoop2.x в ivy.xml, он будет производить hadoop-core-1.0.1.jar автоматически, кажется, под влиянием зависимости Горы. После исключения hadoop-core-* эта проблема возникнет! Я также обновляю файл jar avro-mapre-1.7.6.jar в avro-mapred-1.7.6-hadoop2.jar от руки, пока, к сожалению, ничего не меняется! Любые идеи будут оценены, спасибо!