Описание тега tritonserver
1
ответ
Как использовать «ансамблевую модель» сервера Triton с вводом / выводом 1:N для создания патчей из большого изображения?
Я пытаюсь загрузить очень большое изображение на сервер Triton. Мне нужно разделить входное изображение на патчи и передать патчи один за другим в модель тензорного потока. Изображение имеет переменный размер, поэтому количество патчей N является пе…
26 апр '21 в 14:07
0
ответов
Используйте данные реального изображения с perf_analyzer - сервер вывода Triton
В настоящее время я пытаюсь использовать perf_analyzer сервера вывода Nvidia Triton с моделью глубокого обучения, которая принимает в качестве входных данных массив numpy (который является изображением).* Я выполнил шаги, чтобы использовать реальные…
07 июн '21 в 15:42
0
ответов
Тритон в Gitlab CI
Возникли проблемы с внедрением сервиса triton в gitlab CI. Как я заметил в triton github https://github.com/triton-inference-server/server, у них нет открытого порта по умолчанию в Dockerfile, и я действительно не могу получить доступ к службе каким…
01 июл '21 в 14:55
1
ответ
Можно ли использовать другую модель в репозитории моделей Nvidia Triton Inference Server с пользовательской моделью Python?
Я хочу использовать модель в моем репозитории моделей Triton Inference Server в другой пользовательской модели Python, которая есть у меня в том же репозитории. Является ли это возможным? Если да, то как это сделать? Я предполагаю, что это можно был…
07 июл '21 в 13:13
0
ответов
Cmake в системе centos/rhel устанавливается в… / lib64, а в ubuntu - в… / lib
Я пытаюсь скомпилировать сервер вывода triton на centos / rhel вместо ubuntu. Одна из проблем, с которыми я сталкиваюсь, заключается в том, что я получаю следующую ошибку для некоторых пакетов (например, protobuf, prometheus-cpp): Could not find a p…
29 авг '21 в 18:57
0
ответов
Сервер вывода Triton: явное управление моделью
Мне нужен небольшой совет по развертыванию сервера вывода Triton с явным управлением моделью. Судя по всему, этот режим дает пользователю наибольший контроль над тем, какая модель будет запущена. Но проблема, которую я не могу решить, заключается в …
14 окт '21 в 20:55
0
ответов
Как сервер nvidia triton обрабатывает ошибки и регистрирует их?
Я использовал сервер triton для развертывания своих моделей несколько недель. Но я не нашел никакой документации о ведении журнала и обработке ошибок. Итак, мне интересно, как мы справляемся с обработкой ошибок и ведением журнала, если мы используем…
12 ноя '21 в 13:05
1
ответ
fast_rcnn_r50, предварительно обученный, преобразованный в ONNX, размещенный на сервере модели Triton
Я просмотрел документацию mmdetection, чтобы преобразовать модель pytorch в onnx здесь, ссылка Все установки верны, и я использую onnxruntime ==1.8.1, пользовательские операторы для ONNX Runtime MMCV_WITH_OPS. Я использую конфиги / faster_rcnn / fas…
02 дек '21 в 02:41
1
ответ
оценка позы на сервере вывода Triton
Я борюсь с запуском моделей поз на сервере вывода NVIDIA Triton. Модель (открытая поза, альфа-поза, HRNet и т. д.) загружается нормально, но проблема заключается в постобработке.
02 дек '21 в 16:34
0
ответов
Triton Inference Server с потоковой передачей на Python
Я использую Triton Inference Server с бэкэндом python, в данный момент отправляю один запрос grpc. Кто-нибудь знает, как мы можем использовать бэкэнд python с потоковой передачей, потому что я не нашел ни одного примера или чего-либо, связанного с п…
23 фев '22 в 10:37
1
ответ
Использование параметра String для nvidia triton
Я пытаюсь развернуть простую модель на Triton Inference Server. Он загружается хорошо, но у меня возникают проблемы с форматированием ввода, чтобы выполнить правильный запрос на вывод. Моя модель имеет config.pbtxt, настроенный следующим образом. ma…
03 май '22 в 15:13
0
ответов
Декодирование видео nvidia dali из буфера external_source (вместо файла)
В этой статье объясняется, как выполнять декодирование и предварительную обработку изображений на стороне сервера с помощью Dali при использовании сервера triton-inference-server. Я пытаюсь найти что-то похожее для декодирования видео из массива бай…
21 мар '22 в 18:05
1
ответ
Не могу найти определение константы
Я пытаюсь добавить новый ускоритель на сервер вывода Nvidia Triton. Последнее, что мне нужно сделать, это добавить новую константу, подобную этой (kOpenVINOExecutionAccelerator), но почему-то не могу найти, где это определено: https://github.com/tri…
16 авг '22 в 15:16
1
ответ
Запуск Triton Server Inference на экземпляре AWS GPU Graviton
В настоящее время я запускаю сервер Triton в производстве в облаке AWS, используя стандартный EC2 с поддержкой графического процессора (очень дорого). Я видел, что эти новые экземпляры Graviton с поддержкой графического процессора могут быть на 40% …
21 окт '22 в 10:35
2
ответа
Есть ли способ получить файл config.pbtxt с сервера логических выводов Triton?
Недавно я столкнулся с решением флага отключения конфигурационного файла тритона "--strict-model-config=false" при запуске сервера логического вывода. Это позволит создать собственный файл конфигурации при загрузке модели из репозитория моделей. sud…
07 июл '22 в 13:49
0
ответов
tritonserver: запрос «один ко многим» (оценка моделей с в основном перекрывающимися наборами функций)?
Можно ли настроить Triton Server для обслуживания нескольких моделей с различными входными формами таким образом, чтобы только один «коллективный» (объединение списков функций) запрос мог обслуживать все эти модели (вместо нескольких запросов — по о…
28 фев '23 в 21:10
0
ответов
В чем разница между размером пакета, предпочтительным размером пакета и максимальным размером пакета в анализаторе модели сервера Triton?
Я использую анализатор моделей для профилирования моделей обнаружения объектов для различных конфигураций. Пример: max_batch_size = 32 ... dynamic_batching { preferred_batch_size: [ 4, 8 ] } В этом примере модель поддерживает максимальный размер пак…
16 июл '22 в 18:01
1
ответ
Triton Inference Server — tritonserver: не найден
Я пытаюсь запустить сервер NVIDIA Triton Inference Server. Я вытащил предварительно созданный контейнер nvcr.io/nvidia/pytorch:22.06-py3, а затем запустил его с помощью команды run --gpus=1 --rm -p8000:8000 -p8001:8001 -p8002:8002 -v/F/models:/model…
06 июл '22 в 10:18
0
ответов
Развертывание сервера выводов Nvidia Triton за внутренним балансировщиком нагрузки приложений AWS
Я хочу Развернуть сервер выводов Nvidia Triton за балансировщиком нагрузки внутренних приложений AWS Мое приложение Triton, работающее под управлением Ubuntu 20.04 с изображением Docker triton nvcr.io/nvidia/tritonserver:22.08-py3 tritonserver на Do…
21 дек '22 в 07:46
0
ответов
Как запустить сервер triton после создания образа tritonserver для пользовательского сервера Windows 2019?
Сборка образа сервера Triton на базе Windows. Сборка Dockerfile.win10.min для сервера triton версии 22.11 не работала, так как базовый образ, необходимый для сборки образа сервера, был недоступен для загрузки. Для сборки образа понизил версию сервер…
05 янв '23 в 11:52