написать динамический фрейм на s3 с форматом xml

Question

caption Я хочу написать свой динамический фрейм на s3 в формате xml. Я хочу получить один xml-файл моего df. Я ПОПРОБОВАЛ ЭТИ строки, но получил разные части файлов xml. Кто может мне помочь решить эту проблему пожалуйста???

datasink4 = glueContext.write_dynamic_frame.from_options(frame = df, connection_type = "s3", connection_options = {"path": "s3://datalaketest1/temp"}, format = "xml", transformation_ctx = "datasink4")

Answer 1

В этом случае вам нужно переразбить на 1, поэтому будет создан только 1 выходной файл:

repartitioned_df = df.repartition(1)
datasink4 = glueContext.write_dynamic_frame.from_options(frame = repartitioned_df, connection_type = "s3", connection_options = {"path": "s3://datalaketest1/temp"}, format = "xml", transformation_ctx = "datasink4")