Как масштабировать Apache Atlas
В атласе нет информации о том, как ее масштабировать.
Apache Atlas подключен к cassandra или hbase в бэкэнде, который может масштабироваться, но я не знаю, как Apache Atlas Engine (веб-сервис отдыха и процессор запросов) может масштабироваться.
Я могу установить несколько его экземпляров на разных машинах и иметь балансировщик нагрузки перед ним, чтобы развернуть запрос. Но поможет ли эта модель? Делает ли он какие-либо блокировки и транзакции БД, чтобы эта модель не работала.
Кто-нибудь знает, как масштабируется Apache Atlas?
Благодарю.
0 ответов
Таким образом, Apache Atlas запускает Kafka в качестве очереди сообщений под прикрытием, и, по моему опыту, способ, которым они спроектировали очередь Kafka (группа потребителей, которая говорит, что вы должны иметь ТОЛЬКО ОДНОГО потребителя), является проблемой.
Мало того, что когда вы смотрите на код, у потребителя есть время опроса для брокера, 1 секунда, жестко запрограммированное в потребителе. Соедините их вместе, и это означает, что если потребитель не может обработать сообщения от различных производителей (HIVE, Spark и т. Д.) В течение этой секунды, то брокер отключает ТОЛЬКО потребителя и ждет, пока несуществующий потребитель забрать сообщения...
Мне нужно спроектировать что-то похожее, но это насколько я могу...
Надеюсь, это поможет несколько...
Пожалуйста, обратитесь к этой странице. http://atlas.apache.org/
Атлас не поддерживает фактическое горизонтальное масштабирование. Все запросы обрабатываются "Активным экземпляром". "Пассивные экземпляры" просто перенаправляют все запросы в "Активный экземпляр".