Установка Apache HAWQ на основе HDFS

Question

Я хотел бы установить Apache HAWQ на основе Hadoop.

Перед установкой HAWQ я должен установить Hadoop и настроить все мои узлы.

У меня есть четыре узла, как показано ниже, и мой вопрос как удар.

Должен ли я установить дистрибутив hadoop для hawq-master?

1. hadoop-master   //namenode, Secondary Namenode, ResourceManager, HAWQ Standby, 
2. hawq-master     //HAWQ Master
3. datanode01      //Datanode, HAWQ Segment
4. datanode02      //Datanode, HAWQ Segment

Я написал роль каждого узла рядом с узлами, как указано выше. На мой взгляд, я должен установить hadoop для hadoop-master, datanode01 а также datanode02 и я должен установить hadoop-master как наменоде (мастер) и остальные как datanode (Ведомый). И тогда я установлю apache HAWQ на все узлы. Я установлю hawq-master в качестве главного узла и hadoop-master в качестве HAWQ. Ожидание и, наконец, два других узла в качестве сегмента HAWQ.

То, что я хочу, это установка HAWQ на основе Hadoop. Итак, я думаю, что hawq-master должно быть построено поверх hadoop, но нет связи с hadoop-master,

Если я продолжу описанную выше процедуру, то думаю, что мне не нужно устанавливать дистрибутив hadoop на hawq-master, Правильно ли мое мнение, чтобы успешно установить установку HAWQ на основе Hadoop?

Если hadoop должен быть установлен на hawq-master тогда какой из них правильный?

1. `hawq-master` should be set as `namenode` .
2. `hawq-master` should be set as 'datanode`.

Любая помощь будет оценена.

Answer 1

Честно говоря, нет никаких строгих ограничений на то, как устанавливаются hadoop и hawq, если они настроены правильно.

Для вашего беспокойства: "Я думаю, что hawq-master должен быть построен поверх hadoop, но нет никакой связи с hadoop-master". ИМО, это должно быть "hawq должен быть построен поверх hadoop". И мы настроили файлы конфигурации hawq-master (hawq-site.xml), чтобы у hawq были связи с hadoop.

Обычно для мастера hawq и мастера hadoop мы могли установить каждый компонент на одном узле, но некоторые из них мы могли бы установить на одном узле, чтобы сохранить узлы. Но для сегмента данных HDFS и сегмента HAWQ мы часто устанавливаем их вместе. Принимая нагрузку на каждую машину, мы могли бы установить их, как показано ниже:

                     hadoop             hawq
 hadoop-master       namenode           hawq standby
 hawq-master         secondarynamenode  hawq master
 other node          datanode           segment

Если вы сконфигурируете hawq с интеграцией пряжи, в кластере будут находиться менеджер ресурсов и менеджер узлов.

                     hadoop role                hawq role
 hadoop-master       namenode                   hawq standby
 hawq-master         snamenode,resourcemanager  hawq master
 other node          datanode, nodemanager      segment

Установка их вместе не означает, что у них есть соединения, это ваш конфигурационный файл, который позволяет им общаться друг с другом. Вы можете установить все основные компоненты вместе, но там может быть слишком тяжело для машины. Прочтите дополнительную информацию об Apache HAWQ на http://incubator.apache.org/projects/hawq.html и прочитайте некоторые документы на http://hdb.docs.pivotal.io/211/hdb/index.html.

Кроме того, вы можете подписаться на список рассылки dev и user, отправив электронное письмо по адресу [e-mail] / [e-mail], чтобы подписаться и отправить электронные письма на [e-mail] / [e-mail], чтобы задавать вопросы.