Triton Inference Server — tritonserver: не найден

Question

Я пытаюсь запустить сервер NVIDIA Triton Inference Server. Я вытащил предварительно созданный контейнер nvcr.io/nvidia/pytorch:22.06-py3, а затем запустил его с помощью команды

      run --gpus=1 --rm -p8000:8000 -p8001:8001 -p8002:8002 -v/F/models:/models nvcr.io/nvidia/pytorch:22.06-py3 tritonserver --model-repository=/models

и получил ошибку

      /opt/nvidia/nvidia_entrypoint.sh: line 49: exec: tritonserver: not found

Я гуглил и не нашел что-то, чтобы поймать это. Я попытался изменить tritonserver на trtserver в соответствии с рекомендациями, но это не помогло. Дайте совет, как это можно решить.

Answer 1

Похоже, вы пытаетесь запуститьtritonserverиспользуяpytorchизображение, но согласно руководству по быстрому запуску triton-server изображение должно быть:

      $ docker run --gpus=1 --rm -p8000:8000 -p8001:8001 -p8002:8002 -v/full/path/to/docs/examples/model_repository:/models nvcr.io/nvidia/tritonserver:<xx.yy>-py3 tritonserver --model-repository=/models

Где <xx.yy> — версия Triton, которую вы хотите использовать.

В вашем случае должно бытьnvcr.io/nvidia/tritonserver:22.06-py3и полная команда:

      run --gpus=1 --rm -p8000:8000 -p8001:8001 -p8002:8002 -v/F/models:/models nvcr.io/nvidia/tritonserver:22.06-py3 tritonserver --model-repository=/models