График оптимизатора SGD
Я просто хотел задать быстрый вопрос. Я понимаю, что val_loss и train_loss недостаточно, чтобы определить, переоснащена ли модель. Однако я хочу использовать его в качестве приблизительной меры, отслеживая, увеличивается ли val_loss. Поскольку я использую оптимизатор SGD, у меня, кажется, есть 2 разных тренда на основе значения сглаживания. Что мне использовать? Синий - val_loss, оранжевый - train_loss.
При сглаживании = 0,999 оба параметра кажутся уменьшающимися, но при сглаживании = 0,927 значение val_loss, похоже, увеличивается. Спасибо за чтение!
Кроме того, когда лучше уменьшить скорость обучения? Это прямо перед переобучением модели?
1 ответ
По моему опыту работы с DL применительно к CNN, переоснащение больше связано с разницей в точности / потерях train/val, а не только с одним или другим. На ваших графиках видно, что разница в потерях увеличивается с течением времени, показывая, что ваша модель плохо обобщается для набора данных и, следовательно, показывает признаки переобучения. Это также поможет вам отслеживать точность классификации в наборах данных train и val, если это возможно - это покажет вам ошибку обобщения, которая действует как аналогичная метрика, но может показать более заметные эффекты.
Снижение скорости обучения после того, как потери начнут выравниваться и начнется переобучение, - хорошая идея; однако вы можете получить больший выигрыш для вашего обобщения, если сначала скорректируете сложность сети, чтобы она лучше соответствовала набору данных. Для такого переоснащения может помочь умеренное снижение сложности - используйте разницу в потерях и погрешностях поездов / валов для подтверждения.