Есть ли в исходном коде scikit-learn Lasso/Quantile Regression место, где применяется регуляризация L1?
Я не смог найти, где манхэттенское расстояние весов рассчитывается и умножается на альфа (коэффициент регистрации L1) в исходном коде регрессии Лассо и квантильной регрессии scikit-learn.
Я пытался реализовать Lasso Regression и Quantile Regression с NumPy и сравнить результаты с моделями scikit-learn.
1 ответ
Я не верю, что функция потерь (включая штраф за регуляризацию) когда-либо вычислялась явно, нет.
Вместо этого функция потерь оптимизируется с помощью спуска по координатам, поэтому нам нужно фактически вычислять только производные функции потерь. Это происходит в
enet_coordinate_descent
функция (или родственники), и я думаю, что соответствующий бит здесь .