Модель на 45 МБ слишком велика для платформы Google AI
Я пытаюсь использовать платформу AI для развертывания конвейера scikit-learn. Размер файла model.joblib, который я пытаюсь развернуть, составляет 45 мегабайт.
- версия python: 3.7
- структура: scikit-learn(==0.20.4)
- Одноядерный ЦП, четырехъядерный ЦП (бета)
Я использовал следующую команду для развертывания, а также графический интерфейс
gcloud beta ai-platform versions create v0 \
--model test_watch_model \
--origin gs://rohan_test_watch_model \
--runtime-version=1.15 \
--python-version=3.7 \
--package-uris=gs://rohan_test_watch_model/train_custom-0.1.tar.gz \
--framework=scikit-learn \
--project=xxxx
Это файл setup.py, который я использую на тот случай, если проблема может заключаться в библиотеках.
from setuptools import setup
setup(
name='train_custom',
version='0.1',
scripts=[
# 'train_custom.py',
# 'data_silo_custom.py',
# 'dataset_custom.py',
# 'preprocessor_custom.py'
'all.py'
],
install_requires=[
"torch==1.5.1",
"transformers==3.0.2",
"farm==0.4.6"
]
)
Я также попытался удалить pytorch из setup.py и использовать torch 1.3 из http://storage.googleapis.com/cloud-ai-pytorch/readme.txt, но у меня осталось то же сообщение об ошибке.
ERROR: (gcloud.beta.ai-platform.versions.create) Create Version failed. Bad model detected with error: Model requires more memory than allowed. Please try to decrease the model size and re-deploy. If you continue to experience errors, please contact support.