Как настроить гиперпараметры оптимизатора импульса?
В обучении нейронной сети есть несколько оптимизаторов. Но Momentum и SGD кажутся всегда лучше, чем адаптивные методы.
Сейчас я пишу программу в тензорном потоке для воспроизведения результатов других. Они используют импульс, чтобы тренироваться в pylearn2, Но есть несколько параметров: коэффициент импульса, шкала весов, шкала смещения. Они назначают весы как вес выпадающих слоев.
Когда я тренирую свою сеть, я использую Momentum. Однако результат кажется слишком сложным для обучения, и потери всегда высоки. Результат кажется неплохим, когда я использую Адама для тренировки, но результат хуже его в 0,00X.
Я хочу знать, как настроить оптимизатор Momentum. И я также хочу знать причину, почему моя программа не работает хорошо.