Файл движка TensorRT не может взаимодействовать с tritonserver, но не может использоваться с python
Мой Env:
- Centos 7
- nvidia 440,36
- cuda 10.2
- cudnn 8
- TensorRT-7.1.3.4
- cuda 10.2
- nvcr.io/nvidia/tritonserver 20.09-py3 (docker) Моя модель, обученная с помощью tf1, замороженное постоянное значение в граф и сериализованное в frozen.pb. но моя модель будет выводиться с помощью trtserver.triton contain tensorflow2.3。Я скомпилировал тензорный поток из исходный код cuda10.2,cudnn8,tenorrt.tensorflow версии 2.4.0. Я использую инструмент convert-to-uff, конвертирую мой замороженный файл в model.uff и использую TensorRT(python) для чтения файла и десериализованного файла движка в model.plan. Я могу использовать вывод Python с файлом движка, но не могу использовать его с triton. Мой код: введите здесь описание изображения
config.pbtxt: config.pbtxt
журнал uff-convert: журнал uff-convert