Запуск пользовательского прогноза с помощью платформы Google Cloud AI и графического процессора

Question

Я пытаюсь развернуть модель MaskRCNN на платформе GCP AI. Онлайн-прогноз по умолчанию для меня не работает, потому что мой размер ввода превышает допустимый предел. Итак, я решил продолжить путь пользовательского предсказания.

Что касается настраиваемого прогнозирования, я пытаюсь использовать больший тип машины, чем тот, который предоставляется по умолчанию, потому что моя модель большая и требует больше памяти, чем предоставляет модель по умолчанию ( mls1-c1-m2).

Я хочу развернуть модель с типом машины n1-standard-4, и следующую команду я выполняю:

gcloud beta ai-platform versions create $VERSION_NAME   --model $MODEL_NAME   --runtime-version 1.14   --python-version 3.5   --origin $MODEL_DIR   --package-uris gs://pred_02/staging/my_custom_code-0.1.tar.gz --framework tensorflow  --prediction-class predictor.MyPredictor --machine-type n1-standard-4 

но это вызывает ошибку:

ERROR: (gcloud.beta.ai-platform.versions.create) FAILED_PRECONDITION: Machine type n1-standard-4 only support FRAMEWORK_TENSORFLOW

Я пробовал разные варианты --framework arg, но все они выдают похожие ошибки. Итак, почему он выдает эту ошибку?

Если это сработает, то моя идея состоит в том, чтобы использовать этот тип машины с ускорителем k80. И это был бы мой второй вопрос? могу ли я запустить его с ускорителем для пользовательского предсказания?

Answer 1

--prediction-classпока не работает на машинах типа n1. Вы могли бы использоватьmls1-c4-m2машин до тех пор. Проверьте типы машин здесь, чтобы узнать об ограничениях для каждого типа машин.

Пользовательские процедуры прогнозирования все еще развиваются (бета). Вы должны проверить наличие обновлений здесь.