IP-адрес активного мастера и mtime не обновляются в master_status znode, созданном с помощью spark
Я настроил Spark для HA, используя
SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=zkServer1:2181,zkServer2:2181,zkServer3:2181"
Таким образом, он создает два znodes master_status и leader_election в зоопарке. master_status хранит информацию об активном мастере, а его дочерние элементы содержат информацию о работающих работниках и приложениях.
Теперь проблема, которую я имею, это IP 10.10.3.72 который вы видите, не является IP-адресом текущего активного мастера. Хотя дочерние узлы содержат правильную информацию о работающих работниках и искровых приложениях. Более того, как вы можете видеть mtime не обновлялся после 4 апреля 2018 года, хотя активный мастер был смещен после 4 апреля 2018 года. Это ошибка в Spark?
я использую spark-2.2.1 а также zookeeer-3.3.6