H2O AutoML отслеживание сходимости
AutoML останавливается на часах. Я сравнил два авто-ML, где один использовал подмножество того, что другой должен был делать те же самые прогнозы, и во время выполнения 3600 секунд более полная модель выглядела лучше. Я повторил это с повторным запуском в 5000 секунд, и модель подмножества выглядела лучше. Они поменялись местами, а этого не должно случиться.
Я думаю, что это конвергенция. Есть ли способ отследить историю конвергенции укомплектованных учеников ансамбля, чтобы определить, являются ли они относительно стабильными? У нас это есть для параллельных и серийных ансамблей CART. Я не понимаю, почему гетерогенный ансамбль не сделал бы то же самое.
У меня есть много данных, и особенно с перекрестной проверкой, я не хотел бы думать, что разница была в случайных ничьях между тренировкой и проверкой.
Я работаю на относительно высокопроизводительном оборудовании, поэтому я не думаю, что это "слишком короткое время выполнения". Мое "все" количество моделей составляет от сотен до тысячи, что бы ни стоило.