ElephantBird не работает с AWS EMR
Я пытаюсь запустить скрипт Pig вместе с ElephantBird в AWS EMR. Я использую Hadoop 2.x для этого, но получаю следующее сообщение:
2014-09-09 14:53:11,001 INFO [main] org.apache.hadoop.mapred.MapTask: начало сброса вывода карты 2014-09-09 14:53:11 029 INFO [main] org.apache.hadoop.io.compress.CodecPool: Получен новый компрессор [.snappy] 2014-09-09 14:53:11,040 FATAL [main] org.apache.hadoop.mapred.YarnChild: Ошибка при запуске child: java.lang.IncompatibleClassChangeError: Найден интерфейс org.apache.hadoop.mapreduce.Counter, но класс ожидался в com.twitter.elephantbird.pig.util.PigCounterHelper.incrCounter(PigCounterHelper.java:55) в com.twitter.elephantbird.pig.load.LzoBaseLoadFunc. LzoBaseLoadFunc.java:70) в com.twitter.elephantbird.pig.load.JsonLoader.getNext(JsonLoader.java:128) в org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigRecordJeader: Reader Reader 211) в org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:544) в org.apache.hadoop.mapreduce.task.MapContextImpl.nextKeyValue(MapContextapache.h.h)., mapreduce.lib.map.WrappedMapper$Context.nextKeyValue(WrappedMapper.java:91) в org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144) в org.apache.hadoop.mapred.MapTask.runNewa MapTask.java:775) в org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) в org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:167) в java.security.AccessController.doPrivileged(собственный метод) в javax.security.auth.Subject.doAs(Subject.java:415) в org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548) в org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:162)
Я пробовал с разными версиями elephant bird (от 3.0.9 до 4.0.x), но ни одна из них, похоже, не работает. Я опустил свой кластер до Hadoop 1.x, и у меня не было проблем с использованием птицы-слона. Любая идея?