Почему работа пряжи терпит неудачу?
Я пытаюсь запустить задание mapreduce, но получаю сообщение об ошибке при удалении заданий в оболочке или в кусте:
hive> select count(*) from employee ;
Идентификатор запроса = mapr_20171107135114_a574713d-7d69-45e1-aa73-d4de07a3059b Всего заданий = 1 Запуск задания 1 из 1 Количество задач сокращения, определенных во время компиляции: 1 Чтобы изменить среднюю нагрузку для редуктора (в байтах): задайте куст.exec.reducers.bytes.per.reducer= Чтобы ограничить максимальное количество редукторов: set hive.exec.reducers.max= Чтобы установить постоянное количество редукторов: set mapreduce.job.reduces= Запуск задания = job_1510052734193_0005, URL отслеживания = http://hdpsrvpre2.intranet.darty.fr:8088/proxy/application_1510052734193_0005/ Команда Kill = /opt/mapr/hadoop/hadoop-2.7.0/bin/hadoop job -kill job_1510052734193_0005 Информация о задании Hadoop для рабочей области -1: количество картографов: 0; число редукторов: 0 2017-11-07 13:51:25,951 Карта этапа-1 = 0%, редуктор = 0% Завершено задание = job_1510052734193_0005 с ошибками Ошибка во время задания, получение информации об отладке... СБОЙ: Ошибка выполнения, код возврата 2 из org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapReduce Задания запущены: Stage-Stage-1: MAPRFS Чтение: 0 MAPRFS Запись: 0 FAIL Всего MapReduce Затрачено время ЦП: 0 мс
в журналах Ressourcemanager то что я нахожу:
2017-11-07 13:51:25,269 INFO org.apache.hadoop.yarn.server.resourcemanager.rmapp.attempt.RMAppAttemptImpl: appattempt_1510052734193_0005_000002 State change from LAUNCHED to FINAL_SAVING
2017-11-07 13:51:25,269 INFO org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore: Updating info for attempt: appattempt_1510052734193_0005_000002 at: /var/mapr/cluster/yarn/rm/system/FSRMStateRoot/RMAppRoot/application_1510052734193_0005/appattempt_1510052734193_0005_000002
2017-11-07 13:51:25,283 INFO org.apache.hadoop.yarn.server.resourcemanager.ApplicationMasterService: Unregistering app attempt : appattempt_1510052734193_0005_000002
2017-11-07 13:51:25,283 INFO org.apache.hadoop.yarn.server.resourcemanager.security.AMRMTokenSecretManager: Application finished, removing password for appattempt_1510052734193_0005_000002
2017-11-07 13:51:25,283 **INFO org.apache.hadoop.yarn.server.resourcemanager.rmapp.attempt.RMAppAttemptImpl: appattempt_1510052734193_0005_000002 State change from FINAL_SAVING to FAILED**
2017-11-07 13:51:25,284 INFO org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl: The number of failed attempts is 2. The max attempts is 2
2017-11-07 13:51:25,284 INFO org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl: Updating application application_1510052734193_0005 with final state: FAILED
2017-11-07 13:51:25,284 INFO org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl: application_1510052734193_0005 State change from ACCEPTED to FINAL_SAVING
2017-11-07 13:51:25,284 INFO org.apache.hadoop.yarn.server.resourcemanager.recovery.RMStateStore: Updating info for app: application_1510052734193_0005
2017-11-07 13:51:25,284 INFO org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler: Application appattempt_1510052734193_0005_000002 is done. finalState=FAILED
2017-11-07 13:51:25,284 INFO org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore: Updating info for app: application_1510052734193_0005 at: /var/mapr/cluster/yarn/rm/system/FSRMStateRoot/RMAppRoot/application_1510052734193_0005/application_1510052734193_0005
2017-11-07 13:51:25,284 INFO org.apache.hadoop.yarn.server.resourcemanager.scheduler.AppSchedulingInfo: Application application_1510052734193_0005 requests cleared
2017-11-07 13:51:25,296 INFO org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl: Application application_1510052734193_0005 failed 2 times due to AM Container for appattempt_1510052734193_0005_000002 exited with exitCode: 1
For more detailed output, check application tracking page:http://hdpsrvpre2.intranet.darty.fr:8088/cluster/app/application_1510052734193_0005Then, click on links to logs of each attempt.
Diagnostics: Exception from container-launch.
Container id: container_e10_1510052734193_0005_02_000001
Exit code: 1
Stack trace: ExitCodeException exitCode=1:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:545)
at org.apache.hadoop.util.Shell.run(Shell.java:456)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:722)
at org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor.launchContainer(LinuxContainerExecutor.java:304)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:354)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:87)
at java.util.concurrent.FutureTask.run(FutureTask.java:262)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1152)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:622)
at java.lang.Thread.run(Thread.java:748)
Shell output: main : command provided 1
main : user is mapr
main : requested yarn user is mapr
Container exited with a non-zero exit code 1
Failing this attempt. Failing the application.
Есть идеи о причине?