входные данные для всех узлов скрытых слоев одинаковы, тогда как они различаются на своем выходе?

Question

входные данные для всех узлов скрытых слоев одинаковы, тогда как они различаются на своем выходе?

Я новичок в глубоком обучении и пытаюсь понять концепцию скрытых слоев, но не понимаю следующих вещей:

Если есть предположим 3 скрытых слоя. Когда мы берем вывод со всех узлов 2-го уровня в качестве ввода для всех узлов 3-го уровня, тогда какая разница в выводе узлов 3-го уровня, поскольку они получают одинаковый ввод + инициализацию тех же параметров (согласно тому, что я читал, Предположим, что все узлы одного слоя имеют одинаковый случайный вес для параметров).

Пожалуйста, поправьте меня, если я думаю в неправильном направлении.

0

machine-learning deep-learning neural-network recurrent-neural-network densenet

Источник

user9973202 12 мар '20 в 08:47

1 ответ

Другие вопросы по тегам machine-learning deep-learning neural-network recurrent-neural-network densenet

user11243028 12 мар '20 в 09:14 2020-03-12 09:14 · Answer 1 · 2020-03-12 09:14

Простой ответ - случайная инициализация.

Если вы начали с одинаковыми весами в нейронной сети (NN), то все узлы будут давать одинаковый результат.

Это связано с тем, что при использовании алгоритма обратного распространения ошибка распространяется в зависимости от силы активации каждого узла. Если они начнут одинаково, ошибка будет распространяться одинаково, и, следовательно, узлы в NN не смогут изучать различные функции.

Таким образом, базовая случайная инициализация гарантирует, что каждый узел специализируется. Следовательно, после обучения узлы в скрытых слоях будут давать разные выходные данные, даже если входные данные одинаковы.

Надеюсь это поможет.