Как конвертировать разные форматы в одном столбце, используя pyspark to_timestamp?
Я добавляю столбец в фрейм данных в соответствии с форматом даты, но возможны 2 формата даты, я написал код ниже, но он передается как нулевой, если формат "yyyy_MM_dd", как с этим справиться?
df.withColumn("stg_loading_ts", F.to_timestamp(col('stg_loading_ts'), "yyyy_MM_dd_HH_mm_ss"))
Примечание: формат даты выбирается из имени папки, которое приходит от клиента.