Spark/SQL: .toDF() ошибка во время компиляции, но не распознается IntelliJ

Question

Я получаю сообщение об ошибке только тогда, когда запускаю свой проект, а не даже в IDE (IntelliJ) с Spark 1.3.0

Мой объект содержит только один метод, который дает мне эту ошибку при запуске с использованием метода.toDF(). Логика довольно проста: я загружаю текстовый файл в RDD, а затем, используя предложенный класс дел, хочу отобразить его как TempTable.

Я уже много раз использовал классы.toDF и case для использования SparkSQL, как это предлагается в руководстве по Spark SQL, и я никогда не видел этой ошибки (которая даже не распознается как синтаксическая ошибка в IDE):

Вот мой код (обратите внимание, что нет синтаксической ошибки):

Может ли кто-нибудь помочь мне найти решение этого странного поведения? Никогда не случалось ничего подобного раньше. Единственная "странная" вещь, которая приходит мне в голову, это то, что я пишу код внутри метода, а не внутри основного объекта.

Заранее спасибо!

FF

Answer 1

Когда я пробую ваш код, я получаю только одну ошибку

No TypeTag available for Log,

Эту проблему можно решить, переместив Log за пределы метода, в идеале за пределы объекта.

Еще одна вещь, не вызывайте объект SparkContext, это только приведет к путанице.