Как передать тип структуры в CSV-файл
У меня около 300 переменных, и я пытаюсь передать таможенную схему через csv. Ниже приведен пример кода, который я использую. Однако при загрузке схемы через файлы csv ... Вывод не содержит списка столбцов:
Output : StructType(List(StructField(StructType([,StringType,true)))
Code in CSV:
schema = StructType([ \
StructField("COl1",StringType(),True), \
StructField("COL2",DecimalType(20,10),True), \
StructField("COL3",DecimalType(20,10),True)
])
/*reading schema**/
sch_df = spark.read.option("header", "true").csv("schema.csv").schema
/*Passing schema**/
df = spark.read.schema(sch_df).option("header", "true").csv("/sample.csv")
Не могли бы вы сразу предоставить схему для загрузки через файл csv?