Как повторно использовать ваши преобразования TFX для вывода в производство (потоковый конвейер)?

Question

Я хочу построить обучающий конвейер с использованием TFX и, в конечном итоге, повторно использовать мои преобразования данных, чтобы отправлять запросы на вывод в TensorFlow-Serving, что якобы способен делать TFX. Все примеры TFX, которые я обнаружил, похоже, создают пакетный обучающий конвейер и в конечном итоге проталкивают модель в TensorFlow-Serving, но они не затрагивают часть вывода, которая должна быть потоковым конвейером по причинам задержки. Возможно, я мог бы написать свой собственный инструмент для выполнения запроса, но, похоже, не стоит повторно использовать мой компонент Transform для вывода.

Я запускал локально примеры, установленные в пакетах с помощью сценария установки примеров TFX. Интерфейс воздушного потока дает понять, что это периодические трубопроводы.

Answer 1

TFX позволяет вам определить вашу логику преобразования внутри обучающего конвейера и сохранить логику как часть результирующего графа модели, так что ваша сохраненная модель будет включать как преобразования, так и обычную модель, а tf-сервис сможет принимать запрос в формат данных до преобразования, и выполнять как правильные преобразования, так и вывод модели без какой-либо дополнительной работы. Поэтому по замыслу TFX не участвует в выводе.