Apache Hama на Амазонке Эластичный MapReduce

Question

Я пытаюсь запустить Apache Hama на Amazon Elastic MapReduce, используя скрипт https://github.com/awslabs/emr-bootstrap-actions/tree/master/hama. Тем не менее, при попытке с одним главным узлом и двумя подчиненными узлами, peer.getNumPeers() в коде BSP сообщает только 1 пэр. Я подозреваю, работает ли Хама local Режим.

Более того, глядя на конфигурации по адресу https://hama.apache.org/getting_started_with_hama.html, я понимаю, что список всех серверов должен находиться в hama-site.xml файл для собственности hama.zookeeper.quorum а также в groomservers файл. Однако мне интересно, правильно ли они настраиваются в сценарии установки. Был бы очень признателен, если бы кто-то мог указать, является ли это ограничением в сценарии или я делаю что-то не так.

Answer 1

@Madhura

Хама не всегда нужен groomserver файл для запуска в полностью распределенном режиме. groomserver файл необходим для запуска кластера хама с использованием только start-bspd.sh, Но emr-bootstrap-действие hama запускает загрузку серверов на каждом подчиненном узле, используя hama-daemon.sh файл. Код, выполняемый в скрипте установки, выглядит следующим образом.

$ /bin/hama-daemon.sh --config ${HAMA_HOME}/conf start groom

Я думаю, что вам нужно проверить журналы EMR, есть ли они ошибки или нет.