Тест на сходимость SGD с использованием скорости обучения

Question

Тест на сходимость SGD с использованием скорости обучения

Может ли кто-нибудь объяснить объяснение теста сходимости, представленного на 8-й минуте этой лекции Уго Ларошелле?

0

machine-learning neural-network gradient-descent convergence

Источник

user6822857 12 сен '16 в 14:24

1 ответ

Решение

Другие вопросы по тегам machine-learning neural-network gradient-descent convergence

user3782161 12 сен '16 в 15:31 2016-09-12 15:31 · Accepted Answer · 2016-09-12 15:31

Эти условия обеспечивают сходимость асимптотически. В этом случае мы должны иметь возможность обновлять приближенное решение бесконечное число раз. Интуитивно понятно, что для этого скорость обучения должна быть всегда больше нуля. Первое условие означает или подразумевает, что скорость обучения всегда больше 0.

С другой стороны, помимо "бесконечного обновления" нашего приближенного решения, мы заинтересованы в том, чтобы приблизиться к оптимальному решению. Чтобы достичь этого, скорость обучения должна быть все меньше и меньше. Второе условие означает, что альфа-параметр должен монотонно уменьшаться.

Оба условия требуются не только в SGD, но и во многих других методах стохастической аппроксимации. Иногда их называют условиями Роббинса-Монро из -за алгоритма Роббинса-Монро.