Как реализовать декодер поиска луча в конечной точке хостинга SageMaker?

Question

Я создал модель SageMaker для нейронной сети Seq2Seq, а затем запустил конечную точку SageMaker:

create_endpoint_config_response = sage.create_endpoint_config(
    EndpointConfigName = endpoint_config_name,
    ProductionVariants=[{
        'InstanceType':'ml.m4.xlarge', 
        'InitialInstanceCount':1,
        'ModelName':model_name,
        'VariantName':'AllTraffic'}])

create_endpoint_response = sage.create_endpoint(
    EndpointName=endpoint_name,
    EndpointConfigName=endpoint_config_name)

Эта стандартная конечная точка не поддерживает поиск луча. Каков наилучший подход для создания конечной точки SageMaker, поддерживающей поиск луча?

Answer 1

Исходя из вашего комментария, я считаю, что единственное решение - создать собственный докер-контейнер для вывода. Таким образом, вы можете загрузить свою уже обученную модель и делать с ней что угодно. Этот пример - хорошее место для начала, когда вы хотите узнать, как использовать docker в sagemaker.

Для вашего случая использования было бы лучше найти исходный код для встроенной модели seq2seq sagemaker (встроенные алгоритмы также являются просто образами докеров), изменить его в соответствии с вашими потребностями, скомпоновать модифицированный контейнер докеров и загрузить его в свой aws ecr, из где вы можете загрузить его с Sagemaker.

К сожалению, я не знаю, является ли исходный код Docker-контейнеров общедоступным (не нашел его с первой попытки).