CNN: зачем складывать одни и те же карты активации друг на друга

Question

Мне интересно, почему мы накладываем друг на друга в основном одинаковые карты активации? Поскольку к одному и тому же входу всегда применяется один и тот же фильтр, разве это не будет всегда одна и та же карта активации?

Если это так, нам даже не нужно пересчитывать карту активации, а просто скопировать карту активации N раз. Какую дополнительную информацию это дает нам? Да, мы снова создаем слой с глубиной (выходной объем), но если это то же значение, что является рациональным за ним?

Источник: http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture5.pdf

Answer 1

Это не та же свертка, у вас есть отдельное, независимое ядро ​​(фильтры) для каждой карты активации (независимые веса), поэтому они совершенно разные. Без него, после свертки, мы извлекли бы только один "тип объекта", скажем, ребра; в то время как для работы CNN нам нужно их много.

В приведенном примере "зеленый фильтр 5x5x3" создает одну зеленую карту активации, затем у вас есть отдельный "синий фильтр 5x5x3", который создает синюю карту активации и так далее.

Answer 2

На самом деле мы не накладываем одни и те же карты активации друг на друга. Это только форма каждой карты активации, которая сохраняет ее (в вашем случае это 5*5*3). Но веса среди разных карт активации совсем другой.
1. каждая карта активации имеет одинаковый вес. это единственная карта активации, используемая для обнаружения особого вида объектов, появляющихся в разных местах исходной карты.
2. разные карты активации используются для обнаружения различных видов функций.