Описание тега tensorrt
NoneQuestions pertaining to NVIDIA's TensorRT system, used for Deep Learning Inference Optimization on GPUs
0
ответов
Сравнение весового порядка TensorRT с Tensorflow [H,W,IN_C,OUT_C]
Я должен вручную добавить слой свертки, поскольку у меня есть специальная операция, которая не поддерживается анализатором Tensorflow. Какой порядок весов TensorRT ожидает прочитать из файла.wts? Например, взвешенный тензор потока Tensorflow обычно …
03 дек '18 в 21:37
1
ответ
Тензор потока, измените модель контрольной точки (.meta .index .data) на замороженную модель (.pd)
Я не знаком с тензорным потоком. Я хочу преобразовать эту сеть, https://github.com/jiangsutx/SRN-Deblur, из тензорного потока в nvidia tenorRT. Ему нужен файл модели ".pb", но проект дает только три файла модели следующим образом: deblur.model-52300…
25 янв '19 в 02:33
0
ответов
TensorRT с TensorFlow не дает результата при выводе
Я хочу использовать тензор для ускорения вывода модели тензорного потока. Но я не получил никакого результата, когда сделаю это, вот мой код. Ящики для возврата и оценки все Нет. Я использую TensorRT и tenorflow неправильно? import tensorflow as tf …
19 янв '19 в 12:53
1
ответ
Вывод линейной модели по тензорному потоку на GPU медленный
Я тренирую модель редкой логистической регрессии на тензорном потоке. Эта проблема конкретно о выводной части. Я пытаюсь сделать вывод о производительности на CPU и GPU. Я использую графический процессор Nvidia P100 (4 матрицы) на моем текущем GCE. …
16 май '18 в 22:31
0
ответов
Совместимость двигателя TensorRT между различными устройствами с одинаковыми вычислительными возможностями
Я конвертирую график TensorFlow в движок TensorRT. Целевое устройство для развертывания - 1080 Ti. Однако у моего настольного компьютера только 1080. Учитывая, что оба устройства имеют вычислительную способность 6.1, мне интересно, могу ли я оптимиз…
30 мар '18 в 14:00
0
ответов
Что на самом деле генерирует вызов ICudaEngine.serialize()?
Я хочу выяснить, что на самом деле парни из TensorRT называют "движком". Я хочу знать это, потому что я не уверен, смогу ли я использовать один и тот же движок, чтобы выводить поверх реальных архитектур GPU разные графические процессоры. Я знаю, что…
19 дек '18 в 18:05
0
ответов
Как отключить сообщение nvonnxparser::IParser::parseFromFile?
Когда я вызываю nvonnxparser::IParser::parseFromFile, будет показано следующее сообщение. ----- Разбор модели ONNX network.onnx выполнен ---- Я уже изменил многословно, но это не работает. Как я могу скрыть сообщение? Благодарю.
14 фев '19 в 12:06
0
ответов
tenorrt не поддерживает tf.expand_dims: неподдерживаемая операция _ExpandDims
Я хочу ускорить вывод с помощью tenorrt для тензорной модели. Сначала я конвертирую модель pb в модель uff, затем я анализирую модель uff, но получаю следующую ошибку: ERROR: UFFParser: Validator error: ExpandDims_36: Unsupported operation _ExpandDi…
15 фев '19 в 12:05
1
ответ
Как я могу преобразовать оптимизированную TRT модель в сохраненную модель?
Я хотел бы преобразовать оптимизированную TRT замороженную модель в сохраненную модель для обслуживания тензорного потока. Есть ли какие-либо предложения или источники, чтобы поделиться? Или есть ли другие способы развертывания модели, оптимизирован…
25 сен '18 в 03:28
0
ответов
Импортирование PriorBox кафе в TensorRT
У нас есть модель Caffe, которая содержит: layer { name: "foo" type: "PriorBox" prior_box_param { # ERROR HERE # whatever } # etc } Теперь, следуя коду в sampleMNIST Я пытаюсь импортировать свою модель в TensorRT, но получаю ошибку: Error parsing te…
19 сен '18 в 03:59
1
ответ
Какие предварительно обученные модели обнаружения объектов доступны и могут быть преобразованы с помощью TensorRT?
Я пытаюсь преобразовать предварительно обученную модель обнаружения объектов с помощью TensorRT, чтобы опробовать ее на моем NVIDIA Jetson TX2, но каждая найденная мной модель имеет слои, которые еще не поддерживаются TensorRT. До сих пор я пробовал…
18 июн '18 в 15:24
0
ответов
TensorRT со слоями CTC
Я хочу оптимизировать свою модель с помощью tenorRT, однако уровень CTC в моей модели не поддерживается tenorRT. Кому-нибудь удалось оптимизировать уровень CTC с помощью tenorRT.
21 авг '18 в 13:03
0
ответов
Произошла ошибка tenorRT ('*** Обнаружено разрушение стека ***: Python прекращен') при преобразовании замороженного графа тензорного потока
Я использую TensorFlow версии 1.7, cuda8.0, Python 2.7 для оптимизации модели TensorFlow VGG-16 с помощью кода ниже:- vgg_checkpoint = 'trained_models/models/vgg16/vgg_16.ckpt' image_decoded = tf.placeholder(dtype=tf.float32, shape=[None, None, None…
19 июл '18 в 14:05
1
ответ
Как выполнить вывод с половинной точностью в модели TensorRT, написанной с использованием TensorRT C++ API?
Я пытаюсь выполнить вывод с половинной точностью с моделью, изначально написанной на TensorRT C++ API (не разбирается с другими фреймворками, например, caffe, тензорным потоком); Насколько мне известно, нет публично работающего примера этой проблемы…
20 июн '18 в 09:51
1
ответ
KeyError: Замороженная модель тензорного потока в граф UFF
Я обучил пользовательскую модель CNN API Tensorflow Estimator. Я успешно заморозил график, но преобразование в UFF завершается неудачно и выдает следующую ошибку: 'KeyError: u'IteratorGetNext:1' Код для выполнения указанного преобразования: frozen_g…
14 июл '18 в 15:35
2
ответа
Любой код для преобразования модели тензорного потока в модель кофе?
Моя конечная цель - использовать TensorRT для оптимизации моей модели для развертывания. Я делаю свои эксперименты в тензорном потоке. Но TensorRT требует модель ввода в формате caffemodel.
14 июн '17 в 05:22
1
ответ
TensorRT для масштабирования изображений не дает ожидаемых результатов
Я борюсь с TensorRT (TensorRT 4 для Python прямо сейчас) уже несколько недель. Я прошел много проблем, чтобы запустить TensorRT. Пример кода от NVIDIA хорошо работает для меня: пример TensorRT MNIST Теперь я создал свою собственную сеть в tenorflow …
24 май '18 в 15:14
0
ответов
Протобуф фатальное исключение оптимизация модели Tensorrt Mnist
Я пытаюсь бежать tensorrt код API Python, который приведен в этой ссылке этот код является примером оптимизации модели MNIST с использованием tensorrt в caffe Я не нахожу предопределенного Mnist внутри caffe/data/mnist папка, поэтому я использовал m…
24 апр '18 в 12:16
0
ответов
Плагин Tensorrt и анализатор кафе в Python
Я новичок в Tensorrt, и я не так хорошо знаком с языком Си. Могу я спросить, есть ли какой-нибудь пример для импорта caffe modell(caffeparser) и в то же время использовать плагин с python. Пример библиотеки плагинов: " https://docs.nvidia.com/deeple…
07 авг '18 в 18:00
1
ответ
Как найти операцию, не поддерживаемую TensorRT
Когда я преобразовываю свою модель тензорного потока (сохраненную как файл.pb) в файл uff, журнал ошибок выглядит следующим образом: Using output node final/lanenet_loss/instance_seg Using output node final/lanenet_loss/binary_seg Converting to UFF …
20 июл '18 в 13:14