AvroStorage с mapreduce и java.lang.RuntimeException: не удалось создать экземпляр
У меня есть простой сценарий свиньи,
sensitiveSet = load 'hdfs:///data/CustomerData-20160128-1501807.avro' USING org.apache.pig.piggybank.storage.avro.AvroStorage();
dump sensitiveSet;
Когда код выполняется в локальном режиме pig -x, все работает гладко, при выполнении в режиме mapreduce я получил ошибку ниже:
2016-01-28 21:44:39,644 [main] INFO org.apache.hadoop.mapred.ClientServiceDelegate - Application state is completed. FinalApplicationStatus=FAILED. Redirecting to job history server
2016-01-28 21:44:56,492 [main] WARN org.apache.pig.backend.hadoop.executionengine.Launcher - There is no log file to write to.
2016-01-28 21:44:56,493 [main] ERROR org.apache.pig.backend.hadoop.executionengine.Launcher - Backend error message
Error: java.lang.RuntimeException: could not instantiate 'org.apache.pig.piggybank.storage.avro.AvroStorage' with arguments 'null'
at org.apache.pig.impl.PigContext.instantiateFuncFromSpec(PigContext.java:772)
at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigInputFormat.getLoadFunc(PigInputFormat.java:149)
at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigInputFormat.createRecordReader(PigInputFormat.java:97)
at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.<init>(MapTask.java:515)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:758)
Входные данные: не удалось прочитать данные из " hdfs:///data/CustomerData-20160128-1501807.avro"
Есть идеи, где должны быть проблемы?
Спасибо