Не удалось найти класс внутреннего ведения журнала: java.lang.NoClassDefFoundError: org/apache/spark/internal/Logging$class

Question

Я пытаюсь создать искровой кластер на платформе DNAnexus .

Я попытался создать искровой контекст из блокнота jupyterlab.

      import pyspark
sc = pyspark.SparkContext()
spark = pyspark.sql.SparkSession(sc)

Я получаю следующую трассировку стека ошибок.

      Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
: java.lang.NoClassDefFoundError: org/apache/spark/internal/Logging$class
    at org.apache.spark.scheduler.DAGScheduler.<init>(DAGScheduler.scala:125)
    at org.apache.spark.scheduler.DAGScheduler.<init>(DAGScheduler.scala:128)
    at org.apache.spark.scheduler.DAGScheduler.<init>(DAGScheduler.scala:137)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:536)
    at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:58)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

Я проверил файлы jar и не смог найти, какой файл jar требуется для класса внутреннего ведения журнала. Может ли кто-нибудь указать, является ли моя установка искры ошибочной или какой файл jar требуется для отсутствующего класса?