Пользовательская функция потерь в H2O

Question

Я довольно новичок в H2O и обращаюсь к нему через R. Я пытаюсь построить модели произвольного леса, XGBoost, GBM для решения проблемы мультикласса. Представления о производительности модели, которые предоставляет H2O, великолепны, но в качестве одного из критериев успеха у меня есть собственная настраиваемая функция, которая оценивает точность модели, когда модель используется для оценки набора пользователей, скажем, набора проверки. Вообще говоря, эта функция вознаграждает предсказание и наказывает неправильное предсказание. Учитывая, что целевые классы в этой задаче являются порядковыми категориями, оценка наказания зависит от количества мест, по которым было пропущено предсказание. Обратное значение этой пользовательской функции также можно рассматривать как функцию потерь.

Мне интересно, если и как я могу подключить такую ​​функцию потери в H2O во время обучения моделей. Очень признателен за любую помощь в этом отношении.

Большое спасибо

Answer 1

Несмотря на то, что в настоящее время не поддерживается пользовательская функция потерь (хотя для ее добавления есть билет jira), есть некоторая поддержка пользовательской функции оценки, более подробную информацию можно найти здесь: https://github.com/h2oai/h2o-3/blob/master/h2o-docs/src/dev/custom_functions.md.