Ошибка при выполнении Pig Script с использованием Spring xd
Я пытаюсь выполнить фрагмент кода с использованием Spring xd, но не могу этого сделать. Я создал работу, используя следующую команду
job create --name Pig_job --definition "PigTest" --deploy
Определение задания PigTest определяется следующим образом в каталоге Spring xd modules/job
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:hdp="http://www.springframework.org/schema/hadoop"
xmlns:context="http://www.springframework.org/schema/context"
xmlns:util="http://www.springframework.org/schema/util"
xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd
http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd
http://www.springframework.org/schema/util http://www.springframework.org/schema/util/spring-util.xsd
http://www.springframework.org/schema/hadoop http://www.springframework.org/schema/hadoop/spring-hadoop.xsd">
<hdp:pig-runner id="pigRunner" run-at-startup="true">
<hdp:script>
student = LOAD '/user/KhiTest/Test123/student' AS (Id:int,Name:chararray,Year:int);
DUMP student;
</hdp:script>
</hdp:pig-runner>
</beans>
Задание успешно создается, но развертывание не удалось. Файл журнала приведен ниже:
23: 57: 46,990 ОШИБКА DeploymentsPathChildrenCache-0 boot.SpringApplication - сбой запуска приложения org.springframework.beans.factory.BeanCreationException: ошибка создания бина с именем "pigRunner": сбой инициализации бина; вложенным исключением является java.lang.TypeNotPresentException: тип org.apache.pig.backend.executionengine.ExecJob отсутствует в org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.doCreateBean.bean.factory.support.AbstractAutowireCapableBeanFactory.createBean(AbstractAutowireCapableBeanFactory.java:475) в org.springframework.beans.factory.support.AbstractBeanFactory getSingleton(DefaultSingletonBeanRegistry.java:228) в org.springframework.beans.factory.support.AbstractBeanFactory.doGetBean(AbstractBeanFactory.java:298) в org.springframework.beans.factory.supgean.Fe.Bean в org.springframework.beans.factory.support.DefaultListableBeanFactory.preInstantiateSingletons(DefaultListableBeanFactory.java:703) в org.springframework.context.s Перемещение.springframework..java:210) в org.springframework.xd.dirt.module.ModuleDeployer.deploy(ModuleDeployer.java:98) в org.springframework.xd.dirt.module.ModuleDeployer.deployAndStore(ModuleDeployer.java:88) springframework.xd.dirt.module.ModuleDeployer.deployAndStore(ModuleDeployer.java:78) в org.springframework.xd.dirt.server.ContainerRegistrar.deployModule(ContainerRegistrar.java:236) в org.spring.ContainerRegistrar.deployJobModule(С ontainerRegistrar.java:697) в org.springframework.xd.dirt.server.ContainerRegistrar.onChildAdded(ContainerRegistrar.java:614) в org.springframework.xd.dirt.server.ContainerRegistrar.access:99 на уровне $800(контейнер) org.springframework.xd.dirt.server.ContainerRegistrar$DeploymentListener.childEvent(ContainerRegistrar.java:1020) в org.apache.curator.framework.recipes.cache.PathChildrenCache$5.apply(PathChildrenCache.jap.9): 50.curator.framework.recipes.cache.PathChildrenCache$5.apply(PathChildrenCache.java:503) в org.apache.curator.framework.listen.ListenerContainer$1.run(ListenerContainer.java:92) в com.google.common.util.concurrent.MoreExecutors$SameThreadExecutorService.execute(MoreExecutors.java:297) в org.apache.curator.framework.listen.ListenerContainer.forEach(ListenerContainer.java:83) в org.apache.curator.framework.recipes.ildacheCathCathCath.callListeners(PathChildrenCache.java:500) в org.apache.curator.framework.recipes.cache.EventOperation.invoke(EventOperation.java:35) в org.apache.curator.framework.recipes.cache.PathChildrenCache$10.run(PathChildrenCache.java:762) в java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) в java.util.concurrent.FutureTask.run(FutureTask.java:262) в java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) в java.util.concurrent.FutureTask.run (FutureTask. java: 262) в java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) в java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) в java.runTh..java:745) Причина: java.lang.TypeNotPresentException: Тип org.apache.pig.backend.executionengine.ExecJob отсутствует в sun.reflect.generics.factory.CoreReflectionFactory.makeNamedType(CoreReflectionFactory.java:). refle.generics.visitor.Reifier.visitClassTypeSignature(Reifier.java:125) в sun.reflect.generics.tree.ClassTypeSignature.accept(ClassTypeSignature.java:49) в sun.reflect.generics.visitor.Reifier.reifyTypeArguments(Reifier.java:68) в sun.reflect.generics.visitor.Reifier.visitClassTypeSignature(Reifier.java:138) в sun.reflect.generics.tree.ClassTypeSignature.accept (ClassTypeSignature (ClassTypeSignature) 49) в sun.reflect.generics.visitor.Reifier.reifyTypeArguments (Reifier.java:68) в sun.reflect.generics.visitor.Reifier.visitClassTypeSignature(Reifier.java:138) в sun.reflect.generics.tree.ClassTypeSignature.accept(ClassTypeSignature.java:49) в sun.reflect.generics.repository.ClassRepository.getSuperInterfaces(ClassRepository.java:100) в java.lang.Class.getGenericInterfaces(Class.java:819) в org.springframework.c ResolvableType.getInterfaces(ResolvableType.java:399) в org.springframework.core.ResolvableType.as(ResolvableType.java:365) в org.springframework.core.ResolvableType.forM..ResolvableType.forMethodParameter(ResolvableType.java:1051) в org.springframework.core.ResolvableType.forMethodReturnType(ResolvableType.java:1010) при org.springframework.core.GenericTypeResolver.resolveReturnType(GenericTypeResolver.java:89) в org.springframework.beans.GenericTypeAwarePropertyDescriptor.getPropertyType(GenericTypeAwarePropertyDescriptor.java:132) в org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.isExcludedFromDependencyCheck(AbstractAutowireCapableBeanFactory.java:1365) при org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.filterPropertyDescriptorsForDependencyCheck(AbstractAutowireCapableBeanFactory.java:1346) в org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.filterPropertyDescriptorsForDependencyCheck(AbstractAutowireCapableBeanFactory.java:1322) в org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.populateBean(AbstractAutowireCapableBeanFactory.java:1180) в org.springframework.bean.Bean bleBeanFactory.java:537) ... еще 35. Причина: java.lang.ClassNotFoundException: org.apache.pig.backend.executionengine.ExecJob at java.net.URLClassLoader$1.run(URLClassLoader.java:366) в Java.NET.URLClassLoader$1.run(URLClassLoader.java:355) в java.security.AccessController.doPrivileged(собственный метод) в java.net.URLClassLoader.findClass(URLClassLoader.java:354) в java.lang.ClassLoader.load.java:425) в sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308) в java.lang.ClassLoader.loadClass(ClassLoader.java:358) в java.lang.Class.forName0(собственный метод) в java.lang.Class.forName(Class.java:274) в sun.reflect.generics.factory.CoreReflectionFactory.makeNamedType(CoreReflectionFactory.java:114) ... 57 еще 23:57:46,992 ОШИБКА DeploymentsPathChildrenCache-0 server.Container - Исключение при развертывании модуля org.springframework.beans.factory.BeanCreationException: Ошибка создания бина с именем 'pigRunner': сбой инициализации бина; вложенным исключением является java.lang.TypeNotPresentException: тип org.apache.pig.backend.executionengine.ExecJob отсутствует в org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.doCreateBean.bean.factory.support.AbstractAutowireCapableBeanFactory.createBean(AbstractAutowireCapableBeanFactory.java:475) в org.springframework.beans.factory.support.AbstractBeanFactory getSingleton(DefaultSingletonBeanRegistry.java:228) в org.springframework.beans.factory.support.AbstractBeanFactory.doGetBean(AbstractBeanFactory.java:298) в org.springframework.beans.factory.supgean.Fe.Bean в org.springframework.beans.factory.support.DefaultListableBeanFactory.preInstantiateSingletons(DefaultListableBeanFactory.java:703) в org.springframework.context.s Перемещение.springframework..java:210) в org.springframework.xd.dirt.module.ModuleDeployer.deploy(ModuleDeployer.java:98) в org.springframework.xd.dirt.module.ModuleDeployer.deployAndStore(ModuleDeployer.java:88) springframework.xd.dirt.module.ModuleDeployer.deployAndStore(ModuleDeployer.java:78) в org.springframework.xd.dirt.server.ContainerRegistrar.deployModule(ContainerRegistrar.java:236) в org.spring.ContainerRegistrar.deployJobModule(С ontainerRegistrar.java:697) в org.springframework.xd.dirt.server.ContainerRegistrar.onChildAdded(ContainerRegistrar.java:614) в org.springframework.xd.dirt.server.ContainerRegistrar.access:99 на уровне $800(контейнер) org.springframework.xd.dirt.server.ContainerRegistrar$DeploymentListener.childEvent(ContainerRegistrar.java:1020) в org.apache.curator.framework.recipes.cache.PathChildrenCache$5.apply(PathChildrenCache.jap.9): 50.curator.framework.recipes.cache.PathChildrenCache$5.apply(PathChildrenCache.java:503) в org.apache.curator.framework.listen.ListenerContainer$1.run(ListenerContainer.java:92) в com.google.common.util.concurrent.MoreExecutors$SameThreadExecutorService.execute(MoreExecutors.java:297) в org.apache.curator.framework.listen.ListenerContainer.forEach(ListenerContainer.java:83) в org.apache.curator.framework.recipes.ildacheCathCathCath.callListeners(PathChildrenCache.java:500) в org.apache.curator.framework.recipes.cache.EventOperation.invoke(EventOperation.java:35) в org.apache.curator.framework.recipes.cache.PathChildrenCache$10.run(PathChildrenCache.java:762) в java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) в java.util.concurrent.FutureTask.run(FutureTask.java:262) в java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) в java.util.concurrent.FutureTask.run (FutureTask. java: 262) в java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) в java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) в java.runTh..java:745) Причина: java.lang.TypeNotPresentException: Тип org.apache.pig.backend.executionengine.ExecJob отсутствует в sun.reflect.generics.factory.CoreReflectionFactory.makeNamedType(CoreReflectionFactory.java:). refle.generics.visitor.Reifier.visitClassTypeSignature(Reifier.java:125) в sun.reflect.generics.tree.ClassTypeSignature.accept(ClassTypeSignature.java:49) в sun.reflect.generics.visitor.Reifier.reifyTypeArguments(Reifier.java:68) в sun.reflect.generics.visitor.Reifier.visitClassTypeSignature(Reifier.java:138) в sun.reflect.generics.tree.ClassTypeSignature.accept (ClassTypeSignature (ClassTypeSignature) 49) в sun.reflect.generics.visitor.Reifier.reifyTypeArguments (Reifier.java:68) в sun.reflect.generics.visitor.Reifier.visitClassTypeSignature(Reifier.java:138) в sun.reflect.generics.tree.ClassTypeSignature.accept(ClassTypeSignature.java:49) в sun.reflect.generics.repository.ClassRepository.getSuperInterfaces(ClassRepository.java:100) в java.lang.Class.getGenericInterfaces(Class.java:819) в org.springframework.c ResolvableType.getInterfaces(ResolvableType.java:399) в org.springframework.core.ResolvableType.as(ResolvableType.java:365) в org.springframework.core.ResolvableType.forM..ResolvableType.forMethodParameter(ResolvableType.java:1051) в org.springframework.core.ResolvableType.forMethodReturnType(ResolvableType.java:1010) при org.springframework.core.GenericTypeResolver.resolveReturnType(GenericTypeResolver.java:89) в org.springframework.beans.GenericTypeAwarePropertyDescriptor.getPropertyType(GenericTypeAwarePropertyDescriptor.java:132) в org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.isExcludedFromDependencyCheck(AbstractAutowireCapableBeanFactory.java:1365) при org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.filterPropertyDescriptorsForDependencyCheck(AbstractAutowireCapableBeanFactory.java:1346) в org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.filterPropertyDescriptorsForDependencyCheck(AbstractAutowireCapableBeanFactory.java:1322) в org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.populateBean(AbstractAutowireCapableBeanFactory.java:1180) в org.springframework.bean.Bean bleBeanFactory.java:537) ... еще 35. Причина: java.lang.ClassNotFoundException: org.apache.pig.backend.executionengine.ExecJob at java.net.URLClassLoader$1.run(URLClassLoader.java:366) в Java.NET.URLClassLoader$1.run(URLClassLoader.java:355) в java.security.AccessController.doPrivileged(собственный метод) в java.net.URLClassLoader.findClass(URLClassLoader.java:354) в java.lang.ClassLoader.load.java:425) в sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308) в java.lang.ClassLoader.loadClass(ClassLoader.java:358) в java.lang.Class.forName0(собственный метод) в java.lang.Class.forName(Class.java:274) в sun.reflect.generics.factory.CoreReflectionFactory.makeNamedType(CoreReflectionFactory.java:114) ... 57 еще 23:57:47,017 INFO DeploymentsPathChildrenCache-0gg Server.Container - Событие кэширования пути: путь =/deployments/modules/ selected/cd96473f-2317-4b0a-877e-8abb4cc15c8f/Pig_Test.job.Pig_runner.1, тип =CHILD_REMOVED 23:57:47,017 INFO Deployer server.JobDeploymentListener - Состояние развертывания для задания "Pig_Test": DeploymentStatus{состояние = сбой, ошибки (s)=org.springframework.beans.factory.BeanCreationException: Ошибка создания бина с именем "pigRunner": сбой инициализации бина; вложенным исключением является java.lang.TypeNotPresentException: тип org.apache.pig.backend.executionengine.ExecJob отсутствует в org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.doCreateBean.bean.factory.support.AbstractAutowireCapableBeanFactory.createBean(AbstractAutowireCapableBeanFactory.java:475) в org.springframework.beans.factory.support.AbstractBeanFactory getSingleton(DefaultSingletonBeanRegistry.java:228) в org.springframework.beans.factory.support.AbstractBeanFactory.doGetBean(AbstractBeanFactory.java:298) в org.springframework.beans.factory.supgean.Fe.Bean в org.springframework.beans.factory.support.DefaultListableBeanFactory.preInstantiateSingletons(DefaultListableBeanFactory.java:703) в org.springframework.context.s Перемещение.springframework..java:210) в org.springframework.xd.dirt.module.ModuleDeployer.deploy(ModuleDeployer.java:98) в org.springframework.xd.dirt.module.ModuleDeployer.deployAndStore(ModuleDeployer.java:88) springframework.xd.dirt.module.ModuleDeployer.deployAndStore(ModuleDeployer.java:78) в org.springframework.xd.dirt.server.ContainerRegistrar.deployModule(ContainerRegistrar.java:236) в org.spring.ContainerRegistrar.deployJobModule(С ontainerRegistrar.java:697) в org.springframework.xd.dirt.server.ContainerRegistrar.onChildAdded(ContainerRegistrar.java:614) в org.springframework.xd.dirt.server.ContainerRegistrar.access:99 на уровне $800(контейнер) org.springframework.xd.dirt.server.ContainerRegistrar$DeploymentListener.childEvent(ContainerRegistrar.java:1020) в org.apache.curator.framework.recipes.cache.PathChildrenCache$5.apply(PathChildrenCache.jap.9): 50.curator.framework.recipes.cache.PathChildrenCache$5.apply(PathChildrenCache.java:503) в org.apache.curator.framework.listen.ListenerContainer$1.run(ListenerContainer.java:92) в com.google.common.util.concurrent.MoreExecutors$SameThreadExecutorService.execute(MoreExecutors.java:297) в org.apache.curator.framework.listen.ListenerContainer.forEach(ListenerContainer.java:83) в org.apache.curator.framework.recipes.ildacheCathCathCath.callListeners(PathChildrenCache.java:500) в org.apache.curator.framework.recipes.cache.EventOperation.invoke(EventOperation.java:35) в org.apache.curator.framework.recipes.cache.PathChildrenCache$10.run(PathChildrenCache.java:762) в java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) в java.util.concurrent.FutureTask.run(FutureTask.java:262) в java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) в java.util.concurrent.FutureTask.run (FutureTask. java: 262) в java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) в java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) в java.runTh..java:745) Причина: java.lang.TypeNotPresentException: Тип org.apache.pig.backend.executionengine.ExecJob отсутствует в sun.reflect.generics.factory.CoreReflectionFactory.makeNamedType(CoreReflectionFactory.java:). refle.generics.visitor.Reifier.visitClassTypeSignature(Reifier.java:125) в sun.reflect.generics.tree.ClassTypeSignature.accept(ClassTypeSignature.java:49) в sun.reflect.generics.visitor.Reifier.reifyTypeArguments(Reifier.java:68) в sun.reflect.generics.visitor.Reifier.visitClassTypeSignature(Reifier.java:138) в sun.reflect.generics.tree.ClassTypeSignature.accept (ClassTypeSignature (ClassTypeSignature) 49) в sun.reflect.generics.visitor.Reifier.reifyTypeArguments (Reifier.java:68) в sun.reflect.generics.visitor.Reifier.visitClassTypeSignature(Reifier.java:138) в sun.reflect.generics.tree.ClassTypeSignature.accept(ClassTypeSignature.java:49) в sun.reflect.generics.repository.ClassRepository.getSuperInterfaces(ClassRepository.java:100) в java.lang.Class.getGenericInterfaces(Class.java:819) в org.springframework.c ResolvableType.getInterfaces(ResolvableType.java:399) в org.springframework.core.ResolvableType.as(ResolvableType.java:365) в org.springframework.core.ResolvableType.forM..ResolvableType.forMethodParameter(ResolvableType.java:1051) в org.springframework.core.ResolvableType.forMethodReturnType(ResolvableType.java:1010) при org.springframework.core.GenericTypeResolver.resolveReturnType(GenericTypeResolver.java:89) в org.springframework.beans.GenericTypeAwarePropertyDescriptor.getPropertyType(GenericTypeAwarePropertyDescriptor.java:132) в org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.isExcludedFromDependencyCheck(AbstractAutowireCapableBeanFactory.java:1365) при org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.filterPropertyDescriptorsForDependencyCheck(AbstractAutowireCapableBeanFactory.java:1346) в org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.filterPropertyDescriptorsForDependencyCheck(AbstractAutowireCapableBeanFactory.java:1322) в org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.populateBean(AbstractAutowireCapableBeanFactory.java:1180) в org.springframework.bean.Bean bleBeanFactory.java:537) ... еще 35. Причина: java.lang.ClassNotFoundException: org.apache.pig.backend.executionengine.ExecJob at java.net.URLClassLoader$1.run(URLClassLoader.java:366) в Java.NET.URLClassLoader$1.run(URLClassLoader.java:355) в java.security.AccessController.doPrivileged(собственный метод) в java.net.URLClassLoader.findClass(URLClassLoader.java:354) в java.lang.ClassLoader.load.java:425) в sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308) в java.lang.ClassLoader.loadClass(ClassLoader.java:358) в java.lang.Class.forName0(собственный метод) в java.lang.Class.forName(Class.java:274) на сервере sun.reflect.generics.factory.CoreReflectionFactory.makeNamedType(CoreReflectionFactory.java:114)... еще 57} 23:57:47,017 INFO DeploymentsPathChildrenCache-0.ContainerRegistrar - Развертывание модуля [ModuleDescriptor@d8cfc80 moduleName = 'Pig_runner', moduleLabel = 'Pig_runner', group = 'Pig_Test', sourceChannelName = [null], sinkChannelName = [null], sinkChannelName = [ноль], индекс = 0, тип = задание, параметры = карта [[пусто]], дети = список [[пусто]]]
1 ответ
Вызывается: java.lang.ClassNotFoundException: org.apache.pig.backend.executionengine.ExecJob
Вы добавили pig в модуль /lib?