Как использовать hiveContext в потоковой передаче от исполнителей?

Question

Я пытаюсь использовать экземпляр HiveContext в потоковом приложении Spark (1.6), но происходит сбой со следующим исключением:

java.lang.NullPointerException at org.apache.spark.sql.SQLConf.getConf (SQLConf.scala: 638)

В частности, я хочу создать фрейм данных и выполнить запрос для каждого обработанного сообщения.

Кто-то может мне помочь?

Answer 1

Эта ошибка появляется, когда вы пытаетесь использовать SQLContext или HiveContext напрямую от исполнителей.

(Искра 1.6)