add-файл spark-nlp не поддерживает локальные каталоги, когда не работает локальный режим

Question

Я не могу загрузить файлы модели spark-nlp в мой кластер spark. При попытке загрузить файлы модели это то, что я получаю -

Exception in thread "main" org.apache.spark.SparkException: addFile does not support local directories when not running local mode. at org.apache.spark.SparkContext.addFile(SparkContext.scala:1537) at com.johnsnowlabs.nlp.embeddings.SparkWordEmbeddings$.copyIndexToCluster(SparkWordEmbeddings.scala:86) at com.johnsnowlabs.nlp.embeddings.SparkWordEmbeddings$.apply(SparkWordEmbeddings.scala:111) at com.johnsnowlabs.nlp.HasWordEmbeddings$class.deserializeEmbeddings(HasWordEmbeddings.scala:57) at com.johnsnowlabs.nlp.annotators.ner.crf.NerCrfModel.deserializeEmbeddings(NerCrfModel.scala:19) at com.johnsnowlabs.nlp.embeddings.EmbeddingsReadable$class.readEmbeddings(EmbeddingsReadable.scala:8) at com.johnsnowlabs.nlp.annotators.ner.crf.NerCrfModel$.readEmbeddings(NerCrfModel.scala:84) at com.johnsnowlabs.nlp.embeddings.EmbeddingsReadable$$anonfun$1.apply(EmbeddingsReadable.scala:11) at com.johnsnowlabs.nlp.embeddings.EmbeddingsReadable$$anonfun$1.apply(EmbeddingsReadable.scala:11) at com.johnsnowlabs.nlp.ParamsAndFeaturesReadable$$anonfun$com$johnsnowlabs$nlp$ParamsAndFeaturesReadable$$onRead$1.apply(ParamsAndFeaturesReadable.scala:31)

Вот как я загружаю папки модели и конвейера в коде -

val pipeline = Pipeline.read.load("/opt/pipeline/") 
val model = PipelineModel.read.load("/opt/model/")

Я проверил, что файлы моделей присутствуют по этому пути на всех рабочих узлах. А также первая строка работает нормально (Pipeline.read.load). Ошибка появляется во второй строке (PipelineModel.read.load) при загрузке файлов модели.

Благодарю.