Развертывание сервера выводов Nvidia Triton за внутренним балансировщиком нагрузки приложений AWS
Я хочу Развернуть сервер выводов Nvidia Triton за балансировщиком нагрузки внутренних приложений AWS Мое приложение Triton, работающее под управлением Ubuntu 20.04 с изображением Docker triton nvcr.io/nvidia/tritonserver:22.08-py3 tritonserver на Docker версии 20.10.12, сборка e91ed57 Здесь мы используем порт 8000 для прослушивания HTTP-запросов для проверки работоспособности (/v2/health/ready). Порт 8001 для GRPC и 8002 для метрик по мере необходимости. Но когда я собираюсь подключить свою машину Triton за целевой группой, мое приложение выдает это
errorgRPC: 14 НЕДОСТУПЕН: не удалось подключиться ко всем адресам
Моя настройка целевой группы Alb, как показано на снимке экрана. Я хочу серверировать мой запрос Triton Grpc через ALB.
