Экземпляры Hadoop на GCE
Я настраиваю кластер hadoop на Google Compute Engine. Но мне трудно понять, как будет работать экземпляр кластера. Я уже много искал, но ничего не дал четкого ответа.
При настройке кластера hadoop. Вы создаете образ одного экземпляра, на котором установлен hadoop, и каждый раз, когда вы загружаете этот экземпляр (образ), вы создаете другие экземпляры (узлы)? Но этот подход потребовал бы, чтобы узлы настраивались каждый раз, когда вы их создаете?
Кто-нибудь сталкивался с этим и мог бы предоставить некоторую документацию о настройке части кластера hadoop на Google Compute Engine?
1 ответ
Самую свежую информацию о запуске Hadoop на Google Cloud Platform можно найти здесь: https://developers.google.com/hadoop/
Там вы можете найти сценарии установки Hadoop, которые позволят вам быстро раскрутить кластер Hadoop на основе указанных вами сведений о конфигурации. Сценарий установки включает возможность использования распределенной файловой системы Hadoop (HDFS) в качестве файловой системы по умолчанию или облачного хранилища Google, что обеспечивает дополнительные функции, такие как автоматическое масштабирование емкости и сохранение ваших данных в течение срока службы кластера Hadoop.