С предубеждением ANN больше не сходятся

Question

Я учусь ANN, я сделал два сценария (в Fortran90 и Python) для простой задачи двоичной классификации.

Сначала я обошелся без предвзятости, и я получаю хорошую конвергенцию Но добавляя смещение для каждого узла, он больше не сходится (или все приближается к 0 или все близко к 1)

Смещение равно 1 и имеет определенный вес для каждого узла. Он случайным образом инициализируется, а затем обновляется, добавляя дельту, например, веса других. Я пытался изменить размер шага градиента, но он все еще делал то же самое.

У кого-нибудь есть какие-то подсказки?....

РЕДАКТИРОВАТЬ:

Сеть:

    IN                HIDDEN             OUTPUT node
(each column is a     LAYERS          (each column is
training data)   (2layers of 3node)   the wanted result)


          W1      .___W2__.    W3
|0|0|1|1|-------->|___|___|______
|0|1|0|1|--\/_-\->|___|___|______\_--> |1|1|0|0|
|1|0|1|1|--/\__/->|___|___|______/

Функция активации является сигмоидальной (1/(1+exp(-x)))

Вес инициализируется с нормальным распределением в диапазоне [-1, 1]

Answer 1

У вас могут быть проблемы:

https://datascience.stackexchange.com/questions/15602/training-my-neural-network-to-overfit-my-training-dataset

Вы также должны быть осторожны с шагом обучения, если он слишком большой, вы не можете сходиться.