ОШИБКА: org.apache.oozie.action.hadoop.PigMain не найден

Question

Я пытаюсь выполнить простой сценарий pig через рабочий процесс oozie, который импортирует jar-файл python, а также некоторые другие jar-файлы и, в конце концов, получает ошибку, такую ​​как:

Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.PigMain], exception invoking main(), java.lang.ClassNotFoundException: Class org.apache.oozie.action.hadoop.PigMain not found
java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.oozie.action.hadoop.PigMain not found
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1895)
at org.apache.oozie.action.hadoop.LauncherMapper.map(LauncherMapper.java:224)
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:430)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:342)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163)
Caused by: java.lang.ClassNotFoundException: Class org.apache.oozie.action.hadoop.PigMain not found
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1801)
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1893)
... 9 more

Oozie Launcher failed, finishing Hadoop job gracefully

и для этого рабочего процесса я добавил все jar-файлы в директорию lib, включая pig.jar.

Answer 1

Пожалуйста, проверьте, что Свинья Кувшин должен присутствовать в Физическом местоположении Узла, где работает Рабочий процесс Oozie.

Также Вы можете поместить Jar-файл в положение hadoop в Oozie Shared Lib и передать параметр

oozie.use.system.libpath = true

они будут читать банку из Shared Lib Location