Модификация вариационной архитектуры автоэнкодера с помощью функции активации SELU

Question

В вариационной архитектуре авто-кодировщика мы использовали полностью связанный уровень mu и sigma. Затем за ними следует скрытый переменный слой, который осуществляет выборку из гауссовского распределения, то есть из мю и сигмы слоя ниже. А в функции стоимости мы используем дивергенцию KL, чтобы гарантировать, что активация скрытой переменной следует за единичным гауссовым распределением.

Следовательно, поскольку SELU предназначен для обеспечения активации по Гауссу, мы можем удалить полностью подключенный слой mu и sigma и использовать вместо этого функцию активации SELU.

Спасибо!!

Answer 1

Используемая вами функция активации здесь не имеет значения, потому что последний уровень в вашей сети кодировщика не должен иметь никакой активации. Таким образом, даже если SELU сходится к единичному распределению Гаусса, он не будет единичным гауссовским, если у вас нет активации на слое, который генерирует скрытые переменные.

Кроме того, выходной сигнал сети датчика представляет собой среднее значение и дисперсию распределения скрытой переменной вместо самой скрытой переменной. Поэтому мы хотели бы, чтобы первый столбец выходных данных кодера был равен 0, а второй столбец выходных данных кодера был равен 1, вместо того, чтобы позволить им быть единичными гауссовскими. SELU позволит распределению среднего значения и дисперсии следовать за единицей Гаусса, что здесь не имеет смысла.