Как Aws Sagemaker обеспечивает среду нескольких экземпляров и балансировку нагрузки для конечных точек

Question

Я успешно развернул свой блокнот jupyter на AWS Sagemaker и создал конечную точку для алгоритма прогнозирования (вариант использования). Я хотел знать, как создать среду с несколькими экземплярами в AWS Sagemaker и распределить нагрузку для нескольких запросов на конечной точке.

Если вопрос не действителен, пожалуйста, дайте мне знать.

Answer 1

Вы, вероятно, создали свою конечную точку следующим образом:

Предикатор = estimator.deploy(initial_instance_count=1, instance_type='ml.m4.xlarge')

Если вы установили initial_instance_count более чем на 1, SageMaker автоматически назначит это количество экземпляров вашей конечной точке. Запросы прогнозирования будут автоматически сбалансированы по нагрузке, больше ничего не нужно делать.

При необходимости вы также можете настроить автоматическое масштабирование для обработки изменений трафика: https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling.html