Описание тега triton
Triton - это проект с открытым исходным кодом, обеспечивающий инфраструктуру гибридных облачных вычислений, спонсируемый Joyent.
1
ответ
DTrace пропускает фреймы Java с помощью ustack(). Работает на инфраструктурном контейнере Joyent SmartOS
Я не могу получить любой стек Java с помощью dtrace в экземпляре Joyent SmartOS. Я попробовал java:15.1.1 образ и простой образ SmartOS 'base64', где я установил openjdk 8. Я самый простой пример: кошка Loop.java [root@7e8c2a25-c852-4967-b60c-7b4fbd…
16 июл '16 в 17:33
1
ответ
Как Coreos сравнивается с тритоном?
Недавно были разработаны некоторые альтернативы для запуска Docker-контейнеров или даже контейнера приложений. Я знаю, что есть rkt от coreos ( https://coreos.com/blog/rocket/) и triton от joyent ( https://www.joyent.com/) Как эти два подхода сравни…
12 янв '16 в 08:01
1
ответ
Получение docker.sock в радостном тритоне
Я пытаюсь настроить jwilder/nginx-proxy Докер контейнер на платформе Джойента Тритона. Этот контейнер требует доступа к docker.sock читать информацию о своей среде. В основном это нужно сделать docker up -v /var/run/docker.sock:/tmp/docker.sock:ro .…
22 июн '15 в 06:55
0
ответов
Terraform не строит тритоновые машины
Я сделал свои первые шаги в мир терраформ, я пытаюсь развернуть инфраструктуру на Джойент Тритон. После установки я написал свой первый.tf (ну, скопированный из примеров) и нажал кнопку terraform apply. Кажется, все идет хорошо, это не приводит к ош…
17 янв '18 в 20:37
0
ответов
Есть ли эффективный способ преобразовать Z3 в код сборки?
Мне нужно что-то подобное для арки x86: mov edi, dword ptr [0x7fc70000] add edi, 0x11 sub edi, 0x33F0B753 После упрощения Z3 у меня получилось (обозначена память 0x7FC70000): bvadd (_ bv3423553726 32) MEM_0x7FC70000 Последний шаг - преобразование AS…
15 май '20 в 22:11
1
ответ
Как лучше всего перевести AST Z3 в код ASM?
Вот пример: mov edi, dword ptr [0x7fc70000] add edi, 0x11 sub edi, 0x33F0B753 После упрощения Z3 у меня получилось (обозначена память 0x7FC70000): bvadd (_ bv3423553726 32) MEM_0x7FC70000 Теперь мне нужно преобразовать Z3 в ASM, чтобы получить такой…
14 май '20 в 18:26
0
ответов
Файл движка TensorRT не может взаимодействовать с tritonserver, но не может использоваться с python
Мой Env: Centos 7 nvidia 440,36 cuda 10.2 cudnn 8 TensorRT-7.1.3.4 cuda 10.2 nvcr.io/nvidia/tritonserver 20.09-py3 (docker) Моя модель, обученная с помощью tf1, замороженное постоянное значение в граф и сериализованное в frozen.pb. но моя модель буд…
23 окт '20 в 12:02
0
ответов
GradCAM на Tenorflow SaveModel?
Я пытаюсь добавить выходы GradCAM в модель keras и сохранить как savedModel для использования сервера tenorflow или сервера вывода triton. Кто-нибудь знает как это делать? Я открыл проблему тензорного потока.
21 фев '21 в 11:15
0
ответов
Тритон в Gitlab CI
Возникли проблемы с внедрением сервиса triton в gitlab CI. Как я заметил в triton github https://github.com/triton-inference-server/server, у них нет открытого порта по умолчанию в Dockerfile, и я действительно не могу получить доступ к службе каким…
01 июл '21 в 14:55
0
ответов
Nvidia Triton - нет клиента nvida
Я хочу построить сервер-клиент с помощью Triton Имеется в виду отправка данных и получение заключения. Проблема в том, что я не понимаю, что возвращает сервер и чего он ожидает. если есть какие-то курсы / руководства по работе с Triton, поделитесь.
26 июл '21 в 16:54
0
ответов
Пакет nvidia для сервера Triton [закрыто]
Я создаю сервер triton с изображениями nvcr.io/nvidia/tritonserver:21.06-py3-min, когда я использую python3 build.py --cmake-dir=/serevr/build --build-dir=/tmp/build --enable-logging --enable-stats --enable-tracing --enable-metrics --enable-gpu-metr…
30 авг '21 в 12:30
0
ответов
Получение сообщения об ошибке при создании даркнета с помощью графического процессора
Первый, $ git clone https://github.com/elsampsa/darknet-python.git затем следуйте инструкциям, затем застрял на $ ./easy_build.bash Сообщения об ошибках следующие: *** WILL COMPILE WITH CUDA *** ---------------------- GENERATING module.i -----------…
27 янв '21 в 19:15
0
ответов
nvidia-pyindex не удалось установить на win10
я хочу установить tritonclientпо данным client_libraries.md на win10. Произошли ошибки при установке nvidia-pyindex. Как это решить? Спасибо! (py38trtc250) G:\client_py>pip install --user nvidia-pyindex Looking in indexes: https://mirrors.aliyun.…
28 дек '20 в 08:50
1
ответ
Строковый параметр тензорного потока Nvidia Triton
У меня есть модель тензорного потока со строковым параметром в качестве входных данных. Какой тип использовать для строк в Triton Java API? Например. Определение модели { "name":"test_model", "platform":"tensorflow_savedmodel", "backend":"tensorflow…
10 мар '21 в 19:47
1
ответ
Ошибка при открытии нескольких портов с помощью ALB Ingress на EKS
У меня есть сервер Triton на EKS, прослушивающий 3 порта, 8000 для http-запросов, 8001 для gRPC и 8002 для метрик prometheus. Итак, я создал развертывание Triton на EKS, которое доступно через службу NodePort EKS. Я также использую ALB ingress, кото…
22 мар '22 в 15:05
0
ответов
Проблемы с балансировкой нагрузки с помощью NGINX Load Balancer на AWS EKS
Я развертываю сервер вывода Triton в сервисе Amazon Elastic Kubernetes (Amazon EKS) и использую Nginx Open-Source Load Balancer для балансировки нагрузки. Наш кластер EKS является частным (узлы EKS находятся в частных подсетях), поэтому никто не мож…
13 апр '22 в 07:00
0
ответов
Как запустить вывод для тензорной модели T5, развернутой на nvidia triton?
Я развернул модель tensorrt T5 на сервере nvidia triton, и ниже приведен файл config.pbtxt, но столкнулся с проблемой при выводе модели с помощью клиента triton. В соответствии с файлом config.pbtxt должно быть 4 входа в модель tensorrt вместе с иде…
18 апр '22 в 12:08
0
ответов
Почему Triton, обслуживающий общую память, не смог запустить несколько рабочих процессов в uvicorn, чтобы одновременно отправить несколько запросов к моделям?
Я запускаю модель в тритоне с общей памятью, и она работает правильно. Чтобы смоделировать внутреннюю структуру, я написал Fast API для своей модели и запустил его с помощью gunicorn с 6 работниками. Затем я написал anthor Fast API для маршрутизации…
10 май '22 в 07:53
0
ответов
Как развернуть GPT-подобную модель на сервере вывода Triton?
Учебники по развертыванию GPT-подобных моделей для Triton выглядят следующим образом: Предварительно обработайте наши данные какinput_ids = tokenizer(text)["input_ids"] Подайте входные данные на сервер вывода Triton и получитеoutputs_ids = model(inp…
15 дек '22 в 15:09
2
ответа
Есть ли способ получить файл config.pbtxt с сервера логических выводов Triton?
Недавно я столкнулся с решением флага отключения конфигурационного файла тритона "--strict-model-config=false" при запуске сервера логического вывода. Это позволит создать собственный файл конфигурации при загрузке модели из репозитория моделей. sud…
07 июл '22 в 13:49