Есть ли способ создать автомасштабирующий кластер Hadoop Hbase

Question

Я использовал автоматическое масштабирование aws для своего веб-сервера и Apache whirr для кластера hadoop habse. У Apache whirr есть свойство автомасштабирования.

Answer 1

Вы можете использовать Apache Mesos, который основан на контейнерах. Mesos работает над контейнером (например, докерами для запуска служб.) В mesos вы можете настроить количество нужных вам экземпляров, настроить ресурсы, увеличить / уменьшить и т. Д. Он также позаботится об обновлении, поддерживая состояние процесса. Это было недавно опубликовано hbaseconf 2015, где Adobe начала использовать мезо для автоматического масштабирования в их производстве. Вы также можете использовать Google Kuberneetes или марафон для управления кластером и конфигурациями. Я лично попробовал это на моем локальном кластере. Для получения дополнительной информации, пожалуйста, перейдите по этой ссылке

Базовое введение и особенности мезо для быстрого ознакомления [источник: сайт apache]

Что такое Месос?Ядро распределенных систем

Mesos построен с использованием тех же принципов, что и ядро ​​Linux, только на другом уровне абстракции. Ядро Mesos работает на каждом компьютере и предоставляет приложениям (например, Hadoop, Spark, Kafka, Elastic Search) API-интерфейсы для управления ресурсами и планирования во всей среде ЦОД и облачной среде.

Особенности проекта

1. Масштабируемость до 10000 узлов
2. Отказоустойчивые реплицированные ведущие и ведомые с помощью ZooKeeper
3. Поддержка контейнеров Docker Собственная изоляция между задачами с контейнерами Linux
4. Планирование нескольких ресурсов (память, процессор, диск и порты)
5. API Java, Python и C++ для разработки новых параллельных приложений
6. Веб-интерфейс для просмотра состояния кластера