Может ли один и тот же экземпляр Zookeeper использоваться рядом служб?

Question

Достаточно ли хороша одна установка Zookeeper для использования кластерами Hadoop Kafka и Storm? Я хочу развернуть все в одной тестовой среде и попробовать поиграть с этими технологиями. Могу ли я использовать для этого одну установку zookeeper? такой же зноуде может быть выделен для ряда услуг?

Answer 1

Да, вы можете использовать одну установку Zookeeper для поддержки более одного кластера и даже разных типов кластеров. Это имело место в течение долгого времени - вот ссылка на хорошую дискуссию по этому вопросу с 2009 года: http://zookeeper-user.578899.n2.nabble.com/Multiple-ZK-clusters-or-a-single-shared-cluster-td3277547.html

Для тестирования это нормально (и даже запустить его на одном ZK-сервере). Для производственного использования вам понадобится как минимум 3 узла кластера. И вы должны тщательно продумать запуск всего из одного кластера.

Причина в том, что если вы запускаете несколько кластеров Hadoop, Storm и Kafka из одного кластера ZK, этот набор серверов становится единой точкой отказа для всех ваших распределенных систем. Вы можете усилить настройку ZK более чем с 3 серверами (скажем, 7), чтобы он мог обрабатывать несколько сбоев, но если кто-то случайно отключит ZK, все ваши распределенные среды тоже рухнут.

Некоторые утверждают, что вам было бы лучше с большей изоляцией между системами. Я думаю, что это зависит от варианта использования, но я бы позаботился о том, чтобы положить все яйца в одну корзину ZK.