Свинья JobStats не может найти предупреждение файла вывода
Я использую Pig 0.11.1 (на CDH4 с MR1) и DBStorage для вывода агрегированных результатов в MySql2. Похоже, что задание работает нормально (успешно завершается и генерирует выходные данные), но я получаю предупреждение ниже. Я провел некоторое исследование, но не смог понять, что означает предупреждение или какое влияние оно может оказать. Любая информация очень ценится.
2014-06-05 06: 42: 53,189 [main] ИНФОРМАЦИЯ org.apache.pig.tools.pigstats.JobStats - использование средства чтения выходного размера: org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.FileBasedOutputSizeReader 2014-06-05 06:42:53,192 [main] WARN org.apache.pig.tools.pigstats.JobStats - не удается найти выходной файл java.io.FileNotFoundException: файл hdfs://ph-task201.mydomain.com:8020/user/V5/ByContentV2 не существует. по адресу org.apache.hadoop.hdfs.DistributedFileSystem.listStatus(DistributedFileSystem.java:410) по адресу org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.FileBasedOutputSizeReader.getOutputSutava.PlaySize.tools.pigstats.JobStats.getOutputSize(JobStats.java:543) в org.apache.pig.tools.pigstats.JobStats.addOneOutputStats(JobStats.java:567) в org.apache.pig.tools.pigstats.JutStats.at (JobStats.java:520) в org.apache.pig.tools.pigstats.PigStatsUtil.addSuccessJobStats(PigStatsUtil.java:356) в org.apache.pig.tools.pigstats.PigStatsUtil.accumulateStats(PigStats.til) atigStats.til org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher.launchPig(MapReduceLauncher.java:324) в org.apache.pig.PigServer.launchPlan(PigServer.java.pig.66) executeCompiledLogicalPlan(PigServer.java:1251) в org.apache.pig.PigServer.execute(PigServer.java:1241) в org.apache.pig.PigServer.executeBatch(PigServe) r.java:335) в org.apache.pig.tools.grunt.GruntParser.executeBatch(GruntParser.java:137) в org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.javag:19).apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:170) в org.apache.pig.tools.grunt.Grunt.exec(Grunt.java:84) в org.apache.pig.Main.run(Main.java:604) в org.apache.pig.Main.main(Main.java:157) в sun.reflect.NativeMethodAccessorImpl.invoke0(собственный метод) в sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAjoror39)) в sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) в java.lang.reflect.Method.invoke(Method.java:597) в org.apache.hadoop.util.RunJar.jj: RunJar 208)
1 ответ
Предупреждение указывает на то, что у вас нет разрешения на запись в каталог hdfs://ph-task201.mydomain.com:8020/user/V5/ByContentV2,