Как отключить шаг установки PIG из конвейера данных AWS

Question

Как отключить шаг установки PIG из конвейера данных AWS

Я создаю конвейер данных, используя кластер EMR в качестве ресурса. Когда сервер создается после начальной загрузки, он автоматически выполняет какой-то шаг,

enable debugging,
Install Hive
Install Pig
install Task runner

Все хорошо.

Но я хочу убрать с этого шага Install pig. Есть ли способ сделать это?

2

amazon-data-pipeline

Источник

user1873094 12 ноя '13 в 07:07

1 ответ

Другие вопросы по тегам amazon-data-pipeline

user4394783 09 май '15 в 16:03 2015-05-09 16:03 · Answer 1 · 2015-05-09 16:03

Этот ответ учитывает информацию об ошибке в комментариях.

Похоже, у вас установлена очень старая версия Hadoop. Посмотрите на поле hadoopVersion, определенное в объекте EmrCluster, оно, вероятно, говорит "0,20". Я бы сказал, удалите это поле и замените его на amiVersion ( http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-emrcluster.html). Выберите более свежую версию, указанную по адресу http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/ami-versions-supported.html.