Как выполнить линейную / логистическую регрессию на предсказаниях различных моделей (скажем, randomforest, gbm, svm и т. Д.)?
В основном это делается для улучшения прогнозов путем создания ансамбля. Но как мы это делаем. Может кто-нибудь объяснить, используя пример кода на R? Я просто ученик. Любая помощь будет принята с благодарностью.
Спасибо.
1 ответ
Агрегирование прогноза в ансамблях может быть выполнено различными способами. Самым простым подходом является голосование большинством (классификация) или усреднение прогнозов всех базовых моделей (регрессия).
Часто сложные схемы агрегирования не намного лучше базовых (и очень чувствительны к переобучению). Вот почему специализированные пакеты, такие как EnsembleSVM, допускают только очень базовую агрегацию (в лучшем случае линейную комбинацию).