Почему БИАС необходим в ИНС? Должны ли мы иметь отдельные BIAS для каждого слоя?

Question

Я хочу сделать модель, которая прогнозирует будущую реакцию входного сигнала, архитектура моей сети [3, 5, 1]:

• 3 входа,
• 5 нейронов в скрытом слое, и
• 1 нейрон в выходном слое.

Мои вопросы:

1. Должны ли мы иметь отдельный BIAS для каждого скрытого и выходного слоя?
2. Должны ли мы присваивать вес BIAS на каждом уровне (поскольку BIAS становится дополнительной ценностью для нашей сети и вызывает чрезмерную нагрузку на сеть)?
3. Почему BIAS всегда установлен на один? Если у eta разные значения, почему мы не устанавливаем BIAS с другими значениями?
4. Почему мы всегда используем функцию log sigmoid для нелинейных функций, можем ли мы использовать tanh?

Answer 1

Таким образом, я думаю, что многое прояснилось бы, если бы мы отступили назад и обсудили роль, которую единица смещения должна играть в NN.

Блок смещения предназначен для того, чтобы позволить блокам в вашей сети выучить соответствующий порог (т. Е. После достижения определенного общего ввода начать отправку положительной активации), поскольку обычно положительный общий вход означает положительную активацию.

Например, если ваша единица смещения имеет вес -2 с некоторым нейроном x, тогда нейрон x обеспечит положительную активацию, если все другие входные данные в сумме будут больше -2.

Итак, с этим в качестве фона, ваши ответы:

1. Нет, всегда достаточно одного смещения, поскольку оно может по-разному влиять на разные нейроны в зависимости от их веса в каждой единице.
2. Вообще говоря, наличие весов смещения, поступающих на каждый невходящий блок, является хорошей идеей, поскольку в противном случае эти блоки без весов смещения имели бы пороговые значения, которые всегда будут равны нулю.
3. Начиная с порога, однажды усвоенные должны быть согласованы между испытаниями Помните смещение, представленное, как каждая единица взаимодействует с входом; это не сам вклад.
4. Вы, конечно, можете, и многие делают. Любая функция sqaushing обычно работает как функция активации.