Как использовать "Смещение" в нейронных сетях

Question

Уже 2 недели я работаю с нейронной сетью. Моя функция активации - нормальная сигмовидная функция, но есть одна вещь, о которой я читал в Интернете, но нашел разные способы интерпретации.

В настоящее время я складываю все входные значения, умноженные на их веса, а затем добавляю смещение (которое является отрицательным порогом). Я взял все это из http://neuralnetworksanddeeplearning.com/chap1 Все это работало для меня довольно хорошо, но потом я нашел эту страницу: http://www.nnwj.de/backpropagation.html

В части прямого распространения смещение вообще не используется, и я думаю, что так и должно быть, поэтому, пожалуйста, скажите, я просто глуп, чтобы увидеть, что они там сделали или какая страница неправильная?

for(int v = 0; v < outputs[i].X; v++){
    outputs[i].set(v, biases[i].get(v));
        for(int k = 0; k < outputs[i-1].X; k++){
            outputs[i].increase(v, weights[i].get(v,k) * outputs[i-1].get(k));
        }
    outputs[i].set(v, sigmoid( outputs[i].get(v)));

System.out.println("Layer :" + i + "    Neuron :" + v + "    bias :" + biases[i].get(v) + "   value :" + outputs[i].get(v));

        }

Это мой код для вычисления моего кода, но часть для одного нейрона сделана в этой части:

outputs[i].set(v, biases[i].get(v));
for(int k = 0; k < outputs[i-1].X; k++){
    outputs[i].increase(v, weights[i].get(v,k) * outputs[i-1].get(k));
}
outputs[i].set(v, sigmoid( outputs[i].get(v)));

Возможно, вы не сможете понять, что именно я там сделал, но я просто обозначаю свой слой, k - все входные нейроны, и я итеративно бросал входные нейроны и добавлял веса с выходными данными. Просто перед тем, как я это сделал, я установил начальное значение смещения.

Я был бы очень рад, если бы вы могли помочь мне с этой проблемой, также я прошу прощения за мой английский:)

Answer 1

В общем случае термин смещения должен быть включен как в прямой, так и в обратный проходы.

Я думаю, что на второй странице вы упомянули термин смещения для простоты в разделе "Прямое распространение", и только в разделе "Обратное распространение" объясняется, почему нам нужен этот дополнительный термин смещения.

Первый выглядит как более вдумчивый учебник, чем второй.