NullPointerException при использовании утилит Databricks в Azure Databricks в настраиваемом jar
У меня возникает эта проблема, когда я пытаюсь использовать DBUtils 0.0.4:
java.lang.NullPointerException
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at com.databricks.dbutils_v1.DBUtilsHolder$$anon$1.invoke(DBUtilsHolder.scala:17)
at com.sun.proxy.$Proxy19.secrets(Unknown Source)
at eu.aaaaaa.etl.pdffilejob.PDFExtractor.preExtract(PDFExtractor.scala:21)
at eu.aaaaaa.etl.common.step.SparkStep.doExecute(SparkStep.scala:30)
at eu.aaaaaa.etl.common.step.AbstractStep.execute(AbstractStep.scala:15)
at eu.aaaaaa.etl.common.job.Job$$anonfun$execute$1.apply(Job.scala:20)
at eu.aaaaaa.etl.common.job.Job$$anonfun$execute$1.apply(Job.scala:16)
at scala.collection.LinearSeqOptimized$class.foldLeft(LinearSeqOptimized.scala:124)
at scala.collection.immutable.List.foldLeft(List.scala:84)
at eu.aaaaaa.etl.common.job.Job.execute(Job.scala:15)
at eu.aaaaaa.etl.common.AbstractJobLauncher.main(AbstractJobLauncher.scala:15)
at eu.aaaaaa.etl.pdffilejob.BinaryPDFJob.main(BinaryPDFJob.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:52)
at org.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:845)
at org.apache.spark.deploy.SparkSubmit.doRunMain$1(SparkSubmit.scala:161)
at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:184)
at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:920)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:929)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Я делаю только одно:
DBUtilsHolder.dbutils.fs.mount(
source = config.getString("inputPath"),
mountPoint = config.getString("mountPoint"),
extraConfigs = Map(config.getString("fileSystemKey") ->
DBUtilsHolder.dbutils.secrets.get(scope = config.getString("databricksScope"), key = config.getString("databricksScopeKey")))
)
Исключение возникает, когда я выполняю DBUtilsHolder.dbutils. Должен ли я делать другие вещи для установки DBUtils? То же исключение происходит, когда я пытаюсь запустить jar-файл в Azure Databricks. Кто-нибудь может мне помочь?