Файл движка TensorRT не может взаимодействовать с tritonserver, но не может использоваться с python

Мой Env:

  • Centos 7
  • nvidia 440,36
  • cuda 10.2
  • cudnn 8
  • TensorRT-7.1.3.4
  • cuda 10.2
  • nvcr.io/nvidia/tritonserver 20.09-py3 (docker) Моя модель, обученная с помощью tf1, замороженное постоянное значение в граф и сериализованное в frozen.pb. но моя модель будет выводиться с помощью trtserver.triton contain tensorflow2.3。Я скомпилировал тензорный поток из исходный код cuda10.2,cudnn8,tenorrt.tensorflow версии 2.4.0. Я использую инструмент convert-to-uff, конвертирую мой замороженный файл в model.uff и использую TensorRT(python) для чтения файла и десериализованного файла движка в model.plan. Я могу использовать вывод Python с файлом движка, но не могу использовать его с triton. Мой код: введите здесь описание изображения

config.pbtxt: config.pbtxt

журнал uff-convert: журнал uff-convert

журнал tritonserver

0 ответов

Другие вопросы по тегам