Обслуживание модели Google AI против kfsering

Question

Мы собираемся делать модельное обслуживание инфраструктуры. Я сравниваю Google AI Prediction и kfserving. Но я не могу найти достаточно документов об особенностях обслуживания Google AI и о том, как это реализовано.

Кажется, что gcloud ai-platform versions create может создать ресурс версии модели и начать обслуживание, и это единственное, что я могу найти.

У меня три вопроса:

1, какова взаимосвязь между обслуживанием Google AI и kfserving?

2, как gcloud ai-platform versions create работает?

3, что касается функций обслуживания google ai, предоставляет ли обслуживание google ai все функции, такие как развертывание канареек, объяснители, мониторинг и т. Д., Перечисленные в https://www.kubeflow.org/docs/components/serving/overview/?

Спасибо

Answer 1

Документ, которым вы поделились, содержит обширную информацию о Google AI Platform Prediction. Таким образом, это размещенная служба в GCP, где вам не нужно управлять инфраструктурой. Вы просто развертываете свою модель, и новая конечная точка REST будет доступна для вас, чтобы начать отправлять прогнозы через SDK или API.

• Поддерживает несколько фреймворков:
  • TensorFlow
  • scikit-learn
  • XGBoost
  • Pytorch
  • Пользовательские контейнеры Docker (скоро)
• Поддержка графических процессоров
• Версии модели
• Онлайн и пакетное прогнозирование
• Регистрация и мониторинг
• Несколько регионов
• REST API

Ответьте на ваши вопросы:

1. KFServing вам необходимо управлять собственной инфраструктурой K8s/KubeFlow. Kubeflow поддерживает две системы обслуживания моделей, которые позволяют обслуживать модели с несколькими фреймворками: KFServing и Seldon Core. AI Platform Service вы не управляете инфраструктурой и не нуждаетесь в K8s/KF, вы просто развертываете свои модели, а GCP позаботится об инфраструктуре.

2. gcloud ai-platform versions create развернет виртуальную машину (ы) в Google Cloud, где в зависимости от настроек (Runtime) и Framework все зависимости будут установлены автоматически, а также все, что вам нужно для загрузки вашей модели, будет установлено, чтобы вы могли получить доступ к REST API.

3. Canary можно использовать с различными моделями и версиями, это может зависеть от маршрутизации ваших прогнозов. Проверьте инструмент " Что, если" и ведение журнала модели.

Answer 2

1. Google AI Platform можно использовать для управления следующими этапами рабочего процесса машинного обучения:

-Обучите модель ML на ваших данных:

Обучить модель Оценить точность модели Настроить гиперпараметры

- Разверните обученную модель.

-Отправить запросы на предсказание вашей модели:

Онлайн-прогнозирование Пакетное прогнозирование (только для TensorFlow)

-Контролировать прогнозы на постоянной основе.

-Управление моделями и версиями моделей.

2. KFServing обеспечивает бессерверный логический вывод в Kubernetes и предоставляет производительные интерфейсы с высокой степенью абстракции для распространенных сред машинного обучения (ML), таких как TensorFlow, XGBoost, scikit-learn, PyTorch и ONNX, для решения производственных моделей, обслуживающих варианты использования.