Служба имен для HA Hadoop Namenode HA должна обнаруживаться в кластерах
Требование: служба имен для HA Hadoop Namenode HA должна обнаруживаться во всех кластерах.
Решение № 1: Одно решение, которое я нашел в Интернете, - это добавление конфигураций службы имен во все файлы hdfs-site.xml в задействованных кластерах.
Проблема: у нас есть 10 кластеров, и мы растем, мы не можем добавлять новые определения кластеров во все кластеры при каждом развертывании нового кластера.
Плюсы: управляемость за несколько кластеров. Минусы: не масштабируется для большего количества кластеров.
Решение № 2: Мы планируем работать над вторым решением, чтобы иметь центральную службу для разрешения службы имен в кластерах и иметь собственный класс, расширяющий класс org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider.
Пожалуйста, предоставьте любые входные данные о любых лучших решениях или любых существующих исправлениях, которые уже поданы для этой проблемы.