Обслуживание Tensorflow - Stateful LSTM

Question

Есть ли канонический способ поддерживать LSTM с сохранением состояния и т. Д. С помощью Tensorflow Serving?

Используя Tensorflow API напрямую, это просто - но я не уверен, как наилучшим образом обеспечить сохранение состояния LSTM между вызовами после экспорта модели в обслуживание.

Есть ли какие-нибудь примеры, которые выполняют вышесказанное? Образцы в репо очень простые.

Answer 1

От Мартина Вике в списке рассылки TF:

"На модельном сервере пока нет хорошей интеграции моделей с состоянием. Как вы заметили, в основном предполагается, что модели - это чистые функции. Мы работаем над этим, и вы должны увидеть, что эта функциональность появится в конце концов, но она слишком далека, чтобы обещать время. Таким образом, вы можете написать простую оболочку, которая хранит состояние на сервере (и назначить какой-то идентификатор сеанса, который передается в запросах), или вы можете написать свой собственный сервер, который поддерживает состояние сеанса TensorFlow (и аналогично возвращает некоторый идентификатор сеанса). Последний является более производительным. Для обоих потребуется какая-то логика сбора мусора / тайм-аута сеанса ".