Является ли многослойная нейронная сеть из 2 нейронов такой же, как 1 нейрон

Question

Логика И и логика ИЛИ может быть решена всего одним нейроном. Однако для логики XOR необходима нейронная сеть из 3 нейронов в 2 слоях:

(neuron1)\
          \
           +----- (neuron3)
          /
(neuron2)/

Рассмотрим эту форму нейронной сети:

(neuron1) ------- (neuron2)

Может ли этот тип нейронной сети, состоящей всего из двух нейронов, соединяющихся друг с другом, решить что-либо лучше, чем только один нейрон?

Answer 1

2 нейрона могут быть более мощными, чем 1 нейрон.

Например, рассмотрим два нейрона со стандартной нелинейностью выпрямителя max(0,x).

Пусть вход будет х.

Первый нейрон вычисляет y=max(0,x)

Второй нейрон вычисляет z=max(0,1-y)

На рисунке изображены y (зеленый),1-y (красный),z (синий) против x.

Это показывает, как два нейрона, использующих простой выпрямитель, могут построить более сложную насыщающую нелинейность (представленную синей линией).

Невозможно создать синюю линию с одним выпрямляющим нейроном, работающим на одном выходе (потому что все такие выходы имеют максимум два линейных сегмента, а наш выход z имеет три линейных сегмента).