Глубокое обучение, потеря не уменьшается

Question

Глубокое обучение, потеря не уменьшается

Я попытался настроить подготовленную модель, используя тренировочный набор, состоящий из 20 классов. Важно отметить, что, хотя у меня 20 классов, один класс составляет 1/3 тренировочных образов. Это причина того, что моя потеря не уменьшается, а точность тестирования составляет почти 30%?

Спасибо за любые советы

2

deep-learning cross-validation objective-function

Источник

user5640428 23 дек '15 в 14:52

2 ответа

Другие вопросы по тегам deep-learning cross-validation objective-function

user6629464 23 июл '16 в 16:25 2016-07-23 16:25 · Answer 1 · 2016-07-23 16:25

У меня была похожая проблема. Я решил это, увеличив дисперсию начальных значений для весов нейронной сети. Это служит предварительным условием для нейронной сети, чтобы предотвратить исчезновение весов во время обратного подпорки.

Я наткнулся на лекции по нейронной сети с курса профессора Дженни Орр и нашел их очень информативными. (Только что понял, что Дженни в соавторстве много соавторов с Янном ЛеКуном и Леоном Буту в первые годы обучения нейронным сетям).

Надеюсь, поможет!

user5630712 02 янв '16 в 17:08 2016-01-02 17:08 · Answer 2 · 2016-01-02 17:08

Да, очень возможно, что ваша сеть подходит для несбалансированных этикеток. Одним из решений является то, что вы можете выполнить увеличение данных на других метках, чтобы сбалансировать их. Например, если у вас есть данные изображения: вы можете делать произвольные кадрирования, делать горизонтальные / вертикальные перевороты, различные техники.

Редактировать:

Один из способов проверить, соответствуете ли вы несбалансированным меткам, - это вычислить гистограмму прогнозируемых меток ваших сетей. Если он сильно наклонен к несбалансированному классу, вы должны попробовать описанный выше метод увеличения данных, переобучить свою сеть и посмотреть, поможет ли это.