Описание тега tensorrt-python
1
ответ
Размер пакета tensorrt python API установлен
Я хочу установить размер пакета при создании движка TensorRT. Я использую TensorRT 7 и Python API. Я конвертирую модель ResNet50 в формат onnx.
23 июл '20 в 22:48
0
ответов
Как наполнить движок TensorRT данными потоковой передачи в реальном времени
Из документации TensorRT и примера кода я вижу, что общий шаблон - запуск движка и данных в следующей последовательности ( здесь приведен пример для C++, но другие образцы имеют аналогичную логику): cudaMemcpyAsync(bindings[inputId], inputTensor.dat…
03 июл '20 в 05:14
1
ответ
Механизм сборки Tensorrt выдает ошибку со статическими входными размерами
Я пытаюсь создать движок cuda, используя статические размеры и ссылаясь на эту документацию: https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html Однако я продолжаю видеть следующую ошибку: [TensorRT] ERROR: (Unnamed Layer* 249) …
08 июн '20 в 09:15
0
ответов
Как получить формат кэша калибровки INT8 в TensorRT?
Я работаю над преобразованием глубокой модели с плавающей запятой в модель int8 с помощью TensorRT. Вместо создания файла кэша с помощью TensorRT я хотел бы создать свой собственный файл кеша для использования TensorRT для калибровки. Однако кодовая…
18 июн '20 в 07:37
0
ответов
Протестируйте файл .trt с помощью tensorflow
Ниже output_saved_model_dir в этом каталоге у меня есть файл trt с именем final_model_gender_classification_gpu0_int8.trt output_saved_model_dir='/home/cocoslabs/Downloads/age_gender_trt' saved_model_loaded = tf.saved_model.load(output_saved_model_d…
07 июл '20 в 11:03
0
ответов
Модель преобразователя tensorflow tensorrt - это сохраненная модель или замороженнаяgrpah?
Я оптимизировал модель обнаружения объектов с помощью trt.TrtGraphConverterV2. converter = trt.TrtGraphConverterV2( input_saved_model_dir=input_saved_model_dir, conversion_params=conversion_params ) converter.convert() А позже использовал метод save…
29 окт '20 в 15:13
0
ответов
Файл движка TensorRT не может взаимодействовать с tritonserver, но не может использоваться с python
Мой Env: Centos 7 nvidia 440,36 cuda 10.2 cudnn 8 TensorRT-7.1.3.4 cuda 10.2 nvcr.io/nvidia/tritonserver 20.09-py3 (docker) Моя модель, обученная с помощью tf1, замороженное постоянное значение в граф и сериализованное в frozen.pb. но моя модель буд…
23 окт '20 в 12:02
0
ответов
экспорт pytorch в onnx с определенными выходными слоями
Я пытаюсь экспортировать сеть pytorch в ONNX, а затем onnx в tenorrt для более быстрого вывода, но мне нужно получить вывод слоя (avg_pool) до окончательного слоя softmax или любого промежуточного слоя, модели [-N], так что согласно следующему image…
21 ноя '20 в 18:33
2
ответа
Как мне ускорить вывод данных YOLO v3-v4?
Я запускаю YOLO V3 или YOLO v4 на Jeston Xavier, версия DNN OpenCV, это очень медленно, едва достигает ~ 7-9 кадров в секунду с использованием DNN в контейнере докеров. Мне интересно, не могли бы вы рассказать мне, какой самый простой способ ускорит…
03 фев '21 в 21:42
1
ответ
Неудачное строительное колесо для pycuda
Я попытался установить pycuda командой: pip install pycuda == 2021.1 Я получил ошибку Failed building wheel for pycuda Моя среда: Ubuntu: 20.04; Графический процессор: GeForce GTX 1070 Ti; Драйвер NVIDIA: 460,80; Набор инструментов CUDA: 10.2.89; cu…
03 июн '21 в 09:13
0
ответов
Модель keras: Точность сильно падает, когда после сборки TensorRTengine
Я пытаюсь преобразовать модель keras в TensorRTengine. Моя модель содержит слой CNN и слой GRU. И для этого я использую tenorrt python API. В то же время я успешно строю движок, но точность сильно падает, и я не могу найти причину. Путем тестировани…
11 авг '21 в 06:45
0
ответов
Aoborted(дамп ядра) при выводе тензорного движка?
Я успешно преобразовал модель pytorch в тензорный движок, но обнаружил следующую ошибку, когда do_inference: [TensorRT] VERBOSE: Allocated persistent device memory of size 9451520 [TensorRT] VERBOSE: QKV Clone [TensorRT] VERBOSE: QKV Deser Start [Te…
18 авг '21 в 11:24
0
ответов
вопрос о накладных расходах на многопоточность python
Я работаю над проектом с tenorrt и python. Не волнуйтесь, этот вопрос может не включать никаких вычислений графического процессора. Я чувствую, что в этом случае мы можем просто видеть tensorrt как numpy, поскольку оба пакета удаляют GIL, когда он п…
21 авг '21 в 02:55
0
ответов
Эта версия TensorRT поддерживает отступы только по двум внешним измерениям.
Я пытаюсь преобразовать файл модели onnx AI в файл nvidia tensorrt. Аппаратное обеспечение: NVIDIA xavier AGX. Версия tenorrt и информация об оборудовании: NVIDIA Jetson AGX Xavier [16 ГБ] Реактивный ранец 4.5.1 [L4T 32.5.1] Энергетический режим NV:…
03 сен '21 в 11:46
0
ответов
cuda.Stream.synchronize(): cuStreamSynchronize failed: неопределенная ошибка запуска
Я столкнулся с "неопределенной ошибкой запуска" через некоторое время после запуска программы python3 с использованием pycuda. В настоящее время я работаю в системе идентификации объектов в реальном времени. Иногда программа может работать несколько…
03 сен '21 в 22:10
0
ответов
Tf-trt convert saved_model.pb не удалось
Вот мой код конвертации. import tensorflow as tf from tensorflow.python.compiler.tensorrt import trt_convert as trt from tensorflow import gfile, compat from tensorflow.core.protobuf import saved_model_pb2 # from tensorflow.core.protobuf import meta…
27 сен '21 в 11:58
0
ответов
Как настроить вывод модели onnx при преобразовании из tenorflow в onnx?
Я пытаюсь преобразовать сохраненную модель (файл тензорного потока .pb) yolov4 в onnx для вывода tenorrt. Мне удалось установить форму ввода перед преобразованием в onnx(как показано в документации с помощью параметра входной сигнатуры). Однако я не…
26 дек '21 в 20:14
2
ответа
Установите tenorrt с настраиваемыми плагинами
Я могу установить желаемую версию TensorRT из официального руководства nvidia (https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html#maclearn-net-repo-install) sudo apt-get update && \ apt-get install -y libnvinfer7=7.1.3-1+…
30 дек '21 в 18:51
0
ответов
tensorRT с ошибкой многопоточности grpc, как это исправить?
Описание Окружающая среда Версия TensorRT : 8.2.3.0 Графический процессор NVIDIA : gtx 1080ti Версия драйвера NVIDIA : 470.103.01 Версия CUDA : 11.4 Версия CUDNN : 8.2 Операционная система : Linux 18.06 Версия Python (если применимо): 3.8.0 Версия T…
28 фев '22 в 17:29
0
ответов
Вызов конвертера TF-TRT приводит к сбою colab с TF 2.3.0, но нормально работает с 2.4.0
Вызов tf.experimental.tensrrt.Converter приводит к сбою без отчетов при использовании TF 2.3, но работает без проблем при использовании TF 2.4. Вы можете воспроизвести проблему в этом блокноте Colab.
20 янв '21 в 13:17