Есть ли реализация Reformer, позволяющая сохранить SavedModel TensorFlow?
Учитывая, что Reformer является наиболее эффективным с точки зрения вычислений вариантом Transformer для длинных последовательностей (единственный, который
O(N Log N) в длине последовательности), я бы подумал, что будет реализация, которая может быть развернута в производственной среде.
Я просмотрел репозиторий Google trax (реализация авторов), а также версию CerebroAI и соответствующую реализацию PyTorch, а также репозиторий HuggingFace . Ни один из них не будет сериализован из коробки в формат SavedModel, будь то использование руководства Keras SavedModel или преобразование из PyTorch с использованием ONNX; Сохранение SavedModel не поддерживается. К сожалению, HuggingFace поддерживает преобразование и сериализацию в формат SavedModel TensorFlow для целого ряда вариантов преобразования, но не Reformer.
Есть ли где-нибудь реализация Reformer, которая может экспортировать в формат SavedModel TensorFlow для вывода?