Как установить Cloudera CDH на кластер 100 Node без использования Cloudera Manager?

Question

Как установить Cloudera CDH на кластер 100 Node без использования Cloudera Manager? Установка и настройка CDH вручную на каждом узле кластера является сложной задачей. Какие инструменты и технологии используются для автоматизации задач в производстве?

Answer 1

CDH поддерживает установку на основе Parcel и Package. Вы можете использовать Puppet/Chef этих инструментов управления конфигурацией, чтобы выполнить установку на основе пакетов, если хотите. Тем не менее, рекомендуется использовать Cloudera Manager для установки на основе Parcel. Cloudera Manager предоставляет множество функций OOTB, включая мониторинг, управление версиями конфигурации, настройку безопасности на основе мастера, непрерывное обновление и т. Д. Если ваша причина не использовать Cloudera Manager из-за того, что она не имеет открытого источника, обратите внимание

1. Существует бесплатная версия CM (некоторые корпоративные функции недоступны)
2. CM это просто инструмент управления. Ваши данные по-прежнему хранятся в HDFS, а ваши приложения для работы с большими данными (скрипты Hive, приложения Spark/MapReduce и т. Д.) По-прежнему работают на стандартной платформе Hadoop с открытым исходным кодом, и вендора нет.