spark 2.3.3 - пример сломан на версии 2019a-1.71.amzn1 tzdata.noarch и tzdata-java.noarch
Spark v2.3.3 на amazonlinux с версией 2019a-1.71.amzn1 пакетов yum (tzdata.noarch и tzdata-java.noarch)
с помощью искрового снаряда
java.lang.IllegalArgumentException: Illegal pattern component: XXX
at org.apache.commons.lang3.time.FastDateFormat.parsePattern(FastDateFormat.java:577)
Но с версией 2018c-1.70.amzn1 пакетов yum (tzdata.noarch и tzdata-java.noarch) он работает:
peopleDFCsv: org.apache.spark.sql.DataFrame = [name: string, age: int ... 1 more field]
Я знаю, что обходной путь - добавить параметр timestampFormat