Поддерживает ли TensorFlow Serving вывод в скомпилированных средах выполнения?

Можно ли обслуживать модели, оптимизированные компиляторами вывода ( в частности, ONNXRuntime, TVM или TensorRT ) в TF Serving? Или TF Serving может обслуживать только сохраненные модели, созданные TensorFlow, в среде выполнения TensorFlow?

0 ответов

Другие вопросы по тегам