Факел - почему люди не используют активацию явно?

Question

Всякий раз, когда я видел нейронные сети, реализованные в Torch, они только соединяли модули. Например, есть модуль секвенсора с LookupTable, Splittable, FasLSTM, Linear, LogSoftMax. Почему люди не используют промежуточные функции активации, такие как tanh/Sigmoid/ReLu?

Answer 1

У вас есть пример? Как правило, ReLu или TanH используются между слоями.

Вы не будете использовать их между функциями манипулирования таблицами и т. Д., Поскольку они не являются "настоящими" слоями нейронной сети с параметрами.