как подключиться к нескольким кластерам hdfs из внешнего приложения

Question

Я пытаюсь подключиться к нескольким кластерам hdfs из внешнего приложения, работающего в kubernetes, для доступа к данным hdfs в разных системах. Я могу подключиться к одному кластеру hdfs, скопировав krb5.conf и hive-site.xml, hdfs-site.xml и другие файлы конфигурации.

      core-site.xml
    <!--Autogenerated by Cloudera Manager-->
    <configuration>
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://cluster1</value>
      </property>
      <property>
        <name>fs.trash.interval</name>
        <value>1</value>
      </property>

**hdfs-site.xml**

    ated by Cloudera Manager-->
    <configuration>
      <property>
        <name>dfs.nameservices</name>
        <value>cluster1</value>
      </property>
      <property>

Теперь я могу подключиться к этому кластеру и прочитать файл hdfs

      val dfCluster1 = spark.read.format("avro").load("/cluster1/folder1");

Теперь я хочу подключиться ко второму кластеру hdfs и прочитать содержимое. У меня есть hdfs-site.xml и core-site.xml из второго кластера, но как заставить spark понять, что мне нужно подключиться ко второму кластеру, поскольку у меня может быть только один hive-site.xml и hdfs-site. xml в пути к классам.