Должен ли входной слой включать нейрон смещения?

Question

Должен ли входной слой включать нейрон смещения?

Мне было интересно: в многослойной нейронной сети с прямой связью входной слой должен включать нейрон смещения, или это просто полезно в скрытых слоях? Если так, то почему?

Спасибо,
Tunnuz

10

neural-network feed-forward bias-neuron

Источник

user25418 30 авг '11 в 10:03

1 ответ

Решение

Другие вопросы по тегам neural-network feed-forward bias-neuron

user821806 30 авг '11 в 23:52 2011-08-30 23:52 · Accepted Answer · 2011-08-30 23:52

Нет, входной слой не нуждается в подключении к нейрону смещения, поскольку любая активация, полученная от нейрона смещения, будет полностью перекрыта фактическим входом.

Например, представьте сеть, которая пытается решить классическую проблему XOR, используя эту архитектуру (где нейрон, только что отмеченный 1, является смещением):

Чтобы запустить эту сеть на входе (1,0), вы просто зажимаете активацию нейронов X1=1 и X2=0. Теперь, если бы X1 или X2 также получили вход от смещения, тогда этот вход был бы переопределен в любом случае, таким образом делая такое соединение бессмысленным.