Не удалось создать сеанс Spark на сервере оттенков

Question

Я пытаюсь создать сеанс спарка с сервера оттенков, который был настроен с сервером livy для связи с искрой с поддержкой Kerberos.

Я получаю приведенную ниже ошибку при попытке запустить сеанс spark scala с помощью редактора запросов. Но я могу отправить задание с помощью jar-сервера с сервера hue, и он работает нормально.

Трассировки стека:

 


     15:21:40 Клиент DEBUG: остановка клиента из кэша: org.apache.hadoop.ipc.Client@70609b0c","\nYARN Diagnostics: "," Приложение убито пользователем."]}
    [23 апреля /2018 02:52:05 +0000] ОШИБКИ декораторов Ошибка запуска create_session
    Traceback (последний вызов был последним):
      Файл "/home/hue/desktop/libs/notebook/src/notebook/decorators.py", строка 97, в декораторе
        return func(*args, **kwargs)
      Файл "/home/hue/desktop/libs/notebook/src/notebook/api.py", строка 85, в create_session
        response['session'] = get_api(запрос, сессия).create_session(lang= сессия ['type'], свойства = свойства)
      Файл "/home/hue/desktop/libs/notebook/src/notebook/connectors/spark_shell.py", строка 227, в create_session
        поднять QueryError(_(не удалось создать сеанс Spark в кластере: %s') % info)
    QueryError 

Настроил ливи с учетными данными kerberos, а также он отлично работает при обмене данными с искрой с помощью команды curl.

Конфигурация оттенка:

     livy_server_host = локальный
      livy_server_port=8998 
      livy_server_session_kind= пряжи
      livy_impersonation_enabled= верно 
      livy_server_session_timeout=3600000

Ливий Конфигурация:

    livy.server.csrf_protection.enabled = false livy.spark.master = пряжа livy.spark.deployMode = кластер livy.superusers = hue,livy
    livy.impersonation.enabled = true
    livy.server.access_control.enabled = true 
    livy.server.access_control.users = *
    livy.server.auth.kerberos.keytab livy.keytab
    livy.server.auth.kerberos.principal HTTP/livyserver@FQDN
    #livy.server.auth.type kerberos
    livy.server.launch.kerberos.keytab оттенок.keytab
    livy.server.launch.kerberos.principal hue/hueserver@FQDN
    livy.server.session.timeout = 5h
    livy.server.request-log-retain.days = 5

Также добавлены прокси-пользователи для hue и livy в hadoop core-site.xml