Сервер вывода Triton: явное управление моделью
Мне нужен небольшой совет по развертыванию сервера вывода Triton с явным управлением моделью. Судя по всему, этот режим дает пользователю наибольший контроль над тем, какая модель будет запущена. Но проблема, которую я не могу решить, заключается в том, как загружать модели в случае, если сервер выходит из строя в производстве, что вызывает появление нового экземпляра.
Единственное решение, которое я могу придумать, - это сделать так, чтобы служба опрашивала сервер через определенные промежутки времени, постоянно проверяла, действительно ли мои живые модели живы, а если нет, загружать их. Но это кажется довольно сложным процессом.
Хотелось бы узнать, как другие решили эту проблему.
заранее спасибо