Как реализовать настраиваемые задания по оценке (с настраиваемыми метриками для настраиваемых задач обучения) в Vertex AI
Из того, что я вижу в официальных документах GCP:https://cloud.google.com/vertex-ai/docs/evaluation/introduction .
Оценочное задание поставляется с предопределенными показателями для предопределенных задач. Если у меня есть задача обучения, которая немного более специфична и ее метрики/цели выходят за рамки доступных задач/метрик, как бы я ее реализовал?
Примерами пользовательских метрик являются потери MMD или KL Divergence и т. д.
Мои текущие мысли таковы:
- Создайте собственное оценочное приложение в Docker-контейнере.
- Создайте CustomJob, который запускает мое оценочное приложение.
- Вывести артефакты оценки (например, результаты, графики) в GCS и т. д.?
Спасибо заранее!