Нужно ли определять обратную функцию для замороженных слоев?

Question

У меня есть функциональная сеть с 4 скрытыми слоями.

Мне нужно найти подходящие веса для первого и третьего слоев, в то время как второй и четвертый уровни представляют собой некоторые виды слоев нормализации, и их не нужно изучать, поэтому я просто заморозил их, установив их скорость обучения на ноль.

Мой вопрос:

Должен ли я определить обратную функцию для этих двух замороженных слоев?

Я видел в caffe, что слой пула, который не имеет обучаемого параметра, имеет обратную функцию.

Заранее спасибо,

Answer 1

Да, вам нужен обратный проход, иначе ваше обучение остановится на этом уровне (ничто под ним не научится). Даже для непознаваемых слоев вам нужно вычислить действительные градиенты.