Можно ли экспортировать модель синтаксиса (Parsey McParseface) для обслуживания с TensorFlow Serving?

Question

У меня demo.sh работает нормально, и я посмотрел на parser_eval.py и в некоторой степени ухватил его. Однако я не вижу, как обслуживать эту модель с помощью TensorFlow Serving. Есть две проблемы, которые я могу видеть сверху:

1) Для этих графиков нет экспортируемой модели, график строится при каждом вызове с использованием построителя графиков (например, structd_graph_builder.py), буфера протокола контекста и целого ряда других вещей, которые я не до конца понимаю на данный момент. (кажется, что регистрирует дополнительный syntaxnet.ops также). Итак... возможно ли это, и как бы я экспортировал эти модели в форму "связки", необходимую для обслуживания и SessionBundleFactory? Если нет, то кажется, что логику / шаги построения графа нужно будет повторно реализовать в C++, потому что обслуживание выполняется только в контексте C++.

2) demo.sh на самом деле представляет собой две модели, которые в буквальном смысле передаются по конвейеру UNIX, поэтому любой Servable должен (вероятно) построить две сессии и перенаправить данные из одной в другую. Это правильный подход? Или возможно построить "большой" граф, содержащий обе "сшитые" вместе модели и экспортировать их вместо этого?

Answer 1

Так что после долгих исследований, исследований и т. Д. Я закончил тем, что собрал запрос на выборку тензорного потока / моделей и синтаксической сети, который достигает цели обслуживания Parsey McParseface из TF.

https://github.com/tensorflow/models/pull/250

Чего здесь нет, так это фактического "обслуживающего" кода, но это относительно тривиально по сравнению с работой по решению проблем, описанных в предыдущем вопросе.