Когда использовать поиск скорости обучения

Question

Чтение статьи "Циклические учебные курсы для обучения нейронных сетей" https://arxiv.org/abs/1506.01186

Имеет ли смысл использовать искатель скорости обучения, если модель переоснащается? Кроме уменьшения количества итераций до того, как использование модели поиска с помощью средства поиска обучения предотвратит переопределение?

После прочтения статьи нет никаких предположений о том, что этот метод уменьшает перетекание, правильна ли моя интерпретация?

Answer 1

Я не думаю, что изменение скорости обучения уменьшает переоснащение. Чтобы избежать чрезмерного соответствия, вы можете использовать регуляризацию и выпадение L1/L2 или некоторые из их вариантов.