Мониторинг модели для данных изображения не работает в Vertex AI

Question

Мой вариант использования связан с мультиклассовой классификацией изображений. Развернули модель CNN в производстве и включили мониторинг моделей только для обнаружения прогнозируемого дрейфа, который не требует обучающих данных. Он автоматически создает две корзины — анализ и прогнозирование в корзине хранилища. Затем я создал и запустил 1000 экземпляров для тестирования модели (один и тот же запрос 1000 раз через Apache Bench), поскольку это было предварительным условием. Я продолжал отслеживать задания, чтобы они выполнялись каждый час и со 100% частотой дискретизации. Я не получаю никаких выходных данных или журналов во вновь созданных корзинах?

1. В чем здесь ошибка?
2. Мониторинг модели (обнаружение дрейфа прогноза) не включен для данных изображения с помощью Vertex AI?
3. Какие шаги мне нужно предпринять, чтобы убедиться, что мониторинг модели работает нормально для модели классификации изображений. Нам нужны доказательства в виде логов, сгенерированных в двух корзинах.

Answer 1

На данный момент мониторинг моделей поддерживается только для табличных моделей AutoML и табличных моделей с пользовательским обучением. Он не поддерживает специально обученные модели классификации изображений.

Для более активного подхода, который должен свести к минимуму дрейф прогнозов в моделях классификации изображений, команда Vertex AI рекомендует следующее:

• Расширение ваших данных, чтобы у вас был более разнообразный набор образцов. Этот набор должен соответствовать вашим бизнес-потребностям и иметь значимые преобразования с учетом вашего контекста. Пожалуйста, обратитесь к [2] для получения дополнительной информации об увеличении данных.

• Использование вершинного объяснимого ИИ для определения функций, которые в наибольшей степени влияют на решения по классификации вашей модели. Это поможет вам увеличить ваши данные более образованным образом. Пожалуйста, обратитесь к [3] для получения дополнительной информации о вершинном объяснимом ИИ.

[1] https://cloud.google.com/vertex-ai/docs/model-monitoring/overview

[2] https://www.tensorflow.org/tutorials/images/data_augmentation

[3] https://cloud.google.com/vertex-ai/docs/explainable-ai/overview