Whirr не может загрузить hadoop

Question

Следуя примеру руководства по быстрому старту http://whirr.apache.org/docs/0.8.1/quick-start-guide.html я хотел запустить кластер whirr hadoop. К сожалению, я получаю те же ошибки, что и эта запись. Whirr: невозможно подключиться к кластеру Hadoop на EC2 после lauch-cluster. В выводе о запуске кластера я вижу, что, по-видимому, уже есть некоторая проблема при загрузке hadoop. Есть идеи? Спасибо!

bin / whirr launch-cluster --config ~ /.whirr / hadoop.propertiesRunning на провайдере aws-ec2 с использованием удостоверения AKIAJUS7X6OK3HC3SJMQ Кластер начальной загрузки Конфигурирующий шаблон для bootstrap-hadoop-datanode_hadoop-tasktracker Конфигурирующий шаблон для узла загрузки начального загрузчика с ролями [hadoop-datanode, hadoop-tasktracker] Запуск 1 узла (ов) с ролями [hadoop-jobtracker, hadoop-namenode]

запуск InitScript{INSTANCE_NAME=bootstrap-hadoop-jobtracker_hadoop-namenode} на узле (us-east-1/i-6343df03) запуск InitScript{INSTANCE_NAME=bootstrap-hadoop-datanode_hadoop-tasktracker} на узле (us-east-1 / i- 6143df01)

<< ошибка при запуске InitScript{INSTANCE_NAME=bootstrap-hadoop-datanode_hadoop-tasktracker} на узле (us-east-1/i-6143df01): {output= Эта функция ничего не делает. Он просто должен существовать, чтобы Statements.call("retry_helpers") не вызывал то, чего не существует........ Не удалось загрузить http://apache.osuosl.org/hadoop/common/hadoop-1.0.4/hadoop- 1.0.4.tar.gz.md5. Продолжение. Не удалось загрузить hadoop-1.0.4.tar.gz. Aborting., ошибка =dpkg-preconfigure: не удалось повторно открыть стандартный ввод:

Answer 1

Укажите tar-адрес, который поможет вам правильно установить hadoop.

например

whirr.hadoop.version=1.2.1
whirr.hadoop.tarball.url=http://apache.osuosl.org/hadoop/common/hadoop-${whirr.hadoop.version}/hadoop-${whirr.hadoop.version}.tar.gz

Ошибка загрузки MD5 заключается в том, что Whirr использует install_tarball.sh в whirr/core/src/main/resources/functions

Вы можете изменить HadoopClusterActionHandler.java использовать install_tarball_no_md5.sh в whirr/core/src/main/resources/functions/