Расширить тип данных Spark DataFrame для поддержки внешних библиотек
Я хочу использовать любую библиотеку гомоморфного шифрования Python для шифрования кадра данных pyspark. Однако я получаю следующую ошибку
PicklingError: Could not serialize object: TypeError: can't pickle _tenseal_cpp.TenSEALContext objects
Я думаю, что тип зашифрованного текста, который не является предопределенным в искре, выдает ошибки. Мой вопрос: как мы можем расширить тип данных искры или как мы можем выполнить любое гомоморфное шифрование по кадру данных искры?