Почему нет кодеров для Pyspark
Я новичок в мире Pyspark. Я понимаю, что кодировщики Spark SQl используются для последовательной сериализации десериализованных объектов с помощью Spark SQL. Я знаю, что речь идет о преобразовании объектов для внутренних типов хранения SQL. Я вижу много примеров в интернете о кодировщиках в мире искры Scala. Я не вижу ни одного примера в мире Pyspark. Более того, я не смог найти Энкодеры ни в одном из импортеров Pyspark
например.
from pyspark.sql.catalyst.encoders import RowEncoder
Не существует в искре
Пакет с действующим катализатором не существует в pyspark. Может кто-нибудь объяснить, почему кодировщики не имеют смысла в Pyspark?