Невозможно подключить удаленный сеанс Spark с режимом YARN в Kubeflow

Основная проблема в том, что мы не можем запустить spark в клиентском режиме.

Всякий раз, когда мы пытаемся подключиться к spark в режиме YARN из ноутбука kubeflow, мы получаем следующую ошибку:

      
`Py4JJavaError: An error occurred while calling o81.showString.

: org.apache.spark.SparkException: Job 0 cancelled because SparkContext was shut down

at org.apache.spark.scheduler.DAGScheduler$$anonfun$cleanUpAfterSchedulerStop$1.apply(DAGScheduler.scala:932)

at org.apache.spark.scheduler.DAGScheduler$$anonfun$cleanUpAfterSchedulerStop$1.apply(DAGScheduler.scala:930)`

Кажется, у нас точно такая же проблема:

До сих пор:

  • нам удалось подать искру на ноутбук.
  • Также есть возможность подключить кластерный режим из блокнота kubeflow.
  • Нам также удалось запустить сеанс spark с оболочкой python на одном из рабочих серверов в kubernetes. Мы можем подключить удаленный пограничный узел, управляемый Cloudera.
  • Мы проверили, что между кластерами Hadoop и кластерами Kubernetes нет проблем с сетью.

Однако у нас до сих пор нет доступа к интерактивной искре на ноутбуке jupyter.

Источник

0 ответов

Другие вопросы по тегам