Определения нейронной сети
Я пишу класс нейронной сети и столкнулся с двумя понятиями, которые я не понимаю. Кто-нибудь сможет сказать мне, что bias а также momentum есть и делает
3 ответа
Смещение - это постоянный вклад, который дают нейроны. например, в обычной сети с прямой связью, у вас может быть 2 входных блока, 2 скрытых блока и 1 блок вывода. постоянное значение смещения (скажем, 1) войдет в скрытые и выходные блоки в дополнение к входным данным от входных блоков.
Импульс - это дополнительная скорость обучения, используемая в начале обучения для ускорения обучения. Например, ошибка обучения обычно изначально очень велика, поэтому вы начинаете с большого импульса и более агрессивно настраиваете веса. позже во время обучения, когда ваша ошибка уменьшается, импульс также должен уменьшаться, чтобы вы учились медленнее, но у вас будет меньше шансов выйти за пределы цели.
Смещение позволяет нейрону принимать более широкий диапазон входных значений. Импульс можно рассматривать как размер шага во время приличного градиента.
В типичном узле смещение и все входные данные предыдущего уровня взвешиваются, суммируются и затем сводятся к выходному значению. Функция сдавливания сосредоточена вокруг нуля и резко снижается чувствительность, поскольку взвешенная сумма становится очень положительной или очень отрицательной. Однако иногда вы хотите, чтобы чувствительная часть сдавливания находилась в некоторой области ввода, а не в районе нуля. Вход смещения позволяет алгоритму обучения смещать ответ узла, чтобы достигнуть этого.
В дополнение к тому, что описал Чарльз Ма, импульс также может помочь перенести алгоритм обучения через локальный минимум, чтобы найти лучшее решение.
Интуитивно понятный способ восприятия смещения подобен термину b в линейном уравнении. Который определяется как:
у = мх + б
Термин m - это уклон, а b говорит вам, где линия пересекается с осью y. Если вы увеличите или уменьшите этот член, линия будет двигаться вверх и вниз по оси Y. Нейронная сеть создает гиперплоскость для разделения кластеров, поэтому смещение будет перемещать ее вверх и вниз во время обучения, пока оно не достигнет минимума и, как мы надеемся, найдет подходящее соответствие для ваших тренировочных образцов.
Момент, как упоминалось ранее, уменьшит колебания во время градиентного спуска. Это увеличит размер шага в начале тренировки и уменьшит его к концу. Вы можете думать об этом как о больших шагах в направлении отрицательного градиента к минимумам и о меньших шагах по мере приближения к нему. Это имеет несколько преимуществ:
- Это увеличивает скорость тренировки.
- У вас ниже риск превышения минимума, чтобы он никогда не сходился, особенно при высокой скорости обучения.
- Возможно превышение локальных минимумов.