Как выбрать правильное значение множителя скорости обучения?

Question

Я хочу вручную выбрать правильную скорость обучения в задаче классификации изображений с помощью Pytorch, запустив модель для нескольких эпох. Я использовал планировщик LR для снижения скорости обучения, а также управлял скоростью обучения в группе параметров оптимизатора, но я не вижу никаких изменений в потерях.

Answer 1

Регулировка скорости обучения и поиск "единственного" может быть очень утомительным и трудоемким.

К счастью для вас, вы не первый, кого беспокоит эта проблема, и существует несколько подходов для более систематической корректировки скорости обучения.
Назовем только два из этих методов:

1. Гиперградиентный спуск - рассмотрение скорости обучения как параметра и его "обучение".
2. Циклические скорости обучения - поиск "оптимальной" скорости обучения в пределах интервала.

Answer 2

Пожалуйста, взгляните на это. Это может дать вам некоторое представление. LR Finder fastai