Scala, Spark-shell, Groupby не работает

Question

У меня Spark версии 2.4.0 и Scala версии 2.11.12. Я могу успешно загрузить фрейм данных с помощью следующего кода.

val df = spark.read.format("csv").option("header","true").option("delimiter","|").option("mode","DROPMALFORMED").option("maxColumns",60000).load("MAR18.csv")

Тем не менее, когда я пытаюсь выполнить групповые действия, я получаю сообщение об ошибке.

df.groupby("S0102_gender").agg(sum("Respondent.Serial")).show()

Сообщение об ошибке:

ошибка: значение groupby не является членом org.apache.spark.sql.DataFrame

Чего мне не хватает Полный Scala и Spark Newb.

Answer 1

Вместо groupby это должно быть groupBy, как показано ниже... явно опечатка.

df.groupBy("S0102_gender").agg(sum("Respondent.Serial")).show()

Answer 2

У вас есть опечатка

+ Изменить

    groupby

к

    groupBy