Сбой конвейера данных для EMR Activity

Question

Я пытаюсь сделать шаг зажигания на AWS Data-pipe. Я получаю следующее исключение:-

amazonaws.datapipeline.taskrunner.TaskExecutionException: Не удалось завершить преобразование EMR. at amazonaws.datapipeline.activity.EmrActivity.runActivity(EmrActivity.java:67) в amazonaws.datapipeline.objects.AbstractActivity.run(AbstractActivity.java:16) в amazonaws.datapipeline.taskrunner.TaskPoller.exunteR) на сайте amazonaws.datapipeline.taskrunner.TaskPoller.executeTask(TaskPoller.java:105) на сайте amazonaws.datapipeline.taskrunner.TaskPoller$1.run(TaskPoller.java:81) на сайте private.com.amazonaws.serline.polap.erap..executeWork(PollWorker.java:76) по адресу private.com.amazonaws.services.datapipeline.poller.PollWorker.run(PollWorker.java:53) по адресу java.lang.Thread.run(Thread.java:748). Причина: amazonaws.datapipeline.taskrunner.TaskExecutionException: задание EMR '@DefaultEmrActivity1_2017-11-20T12:13:08_Attempt=1' с jobFlowId 'j-2E7PU1OK3GIJI' не выполнено с состоянием 'FAILED' и причиной 'завершено выполнение шага после последнего шага'. Шаг 'df-0693981356F3KEDFQ6GG_@DefaultEmrActivity1_2017-11-20T12:13:08_Attempt=1' находится в состоянии "СБОЙ" с причиной "ноль" в amazonaws.datapipeline.cluster.EmrUtil.runSteps(EmrUtilawipeline amazon):28.activity.EmrActivity.runActivity(EmrActivity.java:63) ... еще 7

Кластер правильно раскручивается.

Вот скриншот трубопровода:-

Я думаю, что есть некоторая проблема с "шагом" в деятельности. Любой вклад будет полезен.

Answer 1

Проблема заключалась в том, что:- 1) сценарий должен был быть разделен запятыми. Что-то вроде:-

command-runner.jar,spark-submit,--deploy-mode,cluster,--class,com.amazon.Main

Ссылка: - http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-emrcluster.html

2) EmrActivity не поддерживает Staging. Итак, мы не можем использовать ${INPUT1_STAGING_DIR} в пошаговой инструкции. В настоящее время я заменил это жестко закодированными URL S3.