Есть ли способ удалить повторяющуюся структуру в pyspark?
Я новичок в Писпарке. Мой фрейм данных содержит массив, а внутри массива - структуру. Я хочу удалить дубликат в struct. Я нашел решение по этой ссылке Переименовать вложенное поле в искровом фрейме данных, но мне нужно написать всю схему самостоятельно. Моя структура содержит элемент более 400. Есть ли способ редактировать только дублированный элемент (не называемый дублированным, потому что он будет показывать неоднозначный столбец).
