Можно ли сохранить обученную модель Spark ML или кроссвалидатор в базу данных postgree?

Question

Можно ли сохранить обученную модель Spark ML или кроссвалидатор в базу данных postgree? Я мог бы найти способы сохранить его на диск или HDFS, но можем ли мы сохранить его в таблице RDBMS(например, Postgree)?

Answer 1

В общем, это не так. Модели ML используют особую структуру с файлами Parquet, в которых хранятся модели, метаданные и дополнительные данные. Можно создать оболочки, которые могли бы хранить те же данные в реляционной базе данных, но в Spark в данный момент таких функций нет.

Для некоторого подмножества моделей вы можете:

• Сериализация модели с использованием Java-сериализации.
• Сохраните сохраненную модель как Большой объект.

Это ограничено нераспределенными моделями.