AWS Sagemaker init 1K+ моделирует "конечные точки"?
Исходя из предположения, что само обучение модели очень быстрое, мне интересно, как лучше всего быстро раскрутить конечные точки ~ 1K моделей.
Спасибо за любой намек Кристиан
1 ответ
Предполагая, что это разные модели (не производственные варианты для тестирования), вам потребуется одна конечная точка на модель и, следовательно, один экземпляр SageMaker. Вероятно, не самый лучший вариант (стоимость, время раскрутки экземпляров, синхронные вызовы, регулирование API и т. Д.). На данный момент я бы использовал другой сервис для развертывания, например кластер ECS.
Не могли бы вы рассказать мне немного больше о вашем случае использования (бизнес-проблема, структура, размер модели и т. Д.)? Вы не первый, кто спрашивает об этой возможности, и ваши отзывы будут очень полезны при создании наилучшего решения.
Жюльен (АМС)