Высокий уклон или дисперсия? - SVM и специальные кривые обучения
Я никогда не видел таких кривых обучения. Я прав, что происходит огромное переоснащение? Модель лучше и лучше подходит для данных тренировки, а для тестовых данных она обобщается хуже.
Обычно, когда есть большая дисперсия, как здесь, больше примеров должно помочь. В этом случае они не будут, я подозреваю. Это почему? Почему такой пример кривых обучения не может быть легко найден в литературе / учебниках?
1 ответ
Вы должны помнить, что SVM является непараметрической моделью, поэтому больше выборок не должно уменьшать дисперсию. Снижение дисперсии может быть более или менее гарантировано для параметрической модели (например, нейронной сети), но SVM не является одним из них - больше выборок означает не только лучшие обучающие данные, но и более сложную модель. Ваши кривые обучения являются типичным примером переоснащения SVM, что часто происходит с ядром RBF.