Объяснение архитектуры Cloudera в облаке (Azure)

Question

Я новичок в мире Hadoop/Cloudera, мне нужно настроить кластер Cloudera в облаке Microsoft Azure. Если я правильно понял, есть два способа установки Cloudera в кластере: использование Cloudera Manager или ручная установка. В соответствии с этой схемой кажется, что для Cloudera Manager и 3 мастер-узлов необходим выделенный компьютер.

Но в этой таблице кажется, что я могу установить Cloudera Manager прямо на мастер-узел.

Итак, вот мои сомнения / вопросы:

• 1) Нужно ли иметь Cloudera Manager на выделенной машине (если да, то почему)? Или это может быть установлено непосредственно на главном узле?
  
• 2) Почему есть 3 мастер-узла? Из того, что я понял, 2 главных узла могут использоваться для высокой доступности (они являются зеркалом друг друга с одинаковой конфигурацией и услугами и могут использоваться для горячего переключения). Какова цель третьего главного узла и почему он отличается от двух других?
  
• 3) Какова цель Директора Cloudera и чем он отличается от Cloudera Managera? Я читал, что его можно использовать для автоматического развертывания в облаке, но мне не ясно, для чего именно я мог бы его использовать.
  

Заранее спасибо за любую информацию.

Answer 1

Из документации Cloudera вы можете увидеть на https://www.cloudera.com/documentation/enterprise/5-8-x/topics/cm_ig_host_allocations.html что у вас может быть различное количество главных узлов в зависимости от размера вашего кластера и высокой доступности. требования:

• для небольшого кластера с 10 рабочими узлами и без высокой доступности вы можете иметь только один мастер (не рекомендуется для производства)
• для небольшого кластера с высокой доступностью вы можете иметь два главных узла
• в более крупном кластере (до 200 рабочих узлов) может быть три главных узла - обратите внимание, что их пример запускает только два экземпляра NameNode, так как цель состоит в том, чтобы распределить рабочую нагрузку по большему количеству узлов, а не голосовать большинством за эту роль.
• до 1000 рабочих узлов с пятью мастерами.

Аналогично, узел утилит, используемый для Cloudera Manager, используется для всех ролей Utility и Edge в первых двух приведенных выше случаях, а затем по мере увеличения размера кластера отображается больше хостов утилит, причем Cloudera Manager в этих случаях является единственным запущенным средством на своем хосте.

https://www.cloudera.com/products/product-components/cloudera-director.html описывает Cloudera Director, который является инструментом, который поможет вам запускать кластеры Hadoop в публичном облаке (AWS/Azure/Google Cloud). Cloudera Director работает с Cloudera Manager для централизованного администрирования облачных кластеров. https://www.cloudera.com/documentation/director/2-2-x/topics/director_cdh_cluster_management.html также является полезным справочным пособием по различиям между Cloudera Director и Cloudera Manager.