Spark сохранить как CSV не игнорировать пробелы

Question

Я пытаюсь сохранить Dataframe как файл CSV, я хочу сохранить пробелы. Я использую Spark 2.1.1, но когда я пытаюсь сохранить его как файл CSV, все пробелы обрезаются.

Я попробовал эти варианты, но они не работали.

option("ignoreLeadingWhiteSpace",false")
  .option("ignoreTrailingWhiteSpace", "false")

Ожидаемый формат CSV

SiteNumber, batch ,DayBatchDate,RecordType   
    190000,    TBD,  12/12/2017,  +00000001

Мой текущий вывод:

SiteNumber, batch ,DayBatchDate,RecordType   
190000,TBD,12/12/2017,+00000001

Answer 1

ignoreLeadingWhiteSpace а также ignoreTrailingWhiteSpace опции для писателя были введены в Spark 2.2 ( SPARK-18579), поэтому не будут иметь эффекта в Spark 2.1.