Может ли dask-yarn работать с сервера, который действует как граничный узел для двух разных кластеров Hadoop?
В моей организации есть два кластера Hadoop. У нас есть экземпляр jupyterhub, работающий на сервере, изначально настроенном как граничный узел кластера 2. Чтобы пользователи jupyter могли отправлять искровые задания в кластер 1, были созданы альтернативные папки SPARK_CONF_DIR/HADOOP_CONF_DIR, и пользователи выбирают, в какой кластер отправить задание через изменение этих переменных среды. Я пытался заставить dask-yarn вести себя таким же образом, но не смог с этим справиться. Из моего чтения могло показаться, что я должен просто иметь возможность изменить HADOOP_CONF_DIR, и все готово, но независимо от того, что я установил для моего рабочего стола, сценарий всегда отправляется в кластер 2. Успешно ли у кого-нибудь была такая настройка?