Gaussian-RBM со скрытыми единицами NRLU (в DBN)?

Question

Я работаю над RBM (для DBN) для классификации изображений. Я работаю с двумя слоями RBM. Первый имеет видимые гауссовские единицы и двоичные скрытые единицы, а второй имеет двоичные видимые единицы и softmax скрытые единицы. Это работает довольно хорошо. Сейчас я хочу попробовать использовать Noise Recified Linear Unit в качестве скрытого слоя, но я не понимаю, как их реализовать. Все, что я пробовал, привело к ужасным результатам.

Теперь, если я правильно понимаю: вероятность активации ReLU просто p = max(0, x + N(0, 1)), но тогда как мне выбрать значения для активации видимых единиц? Должен ли шум использоваться только в выборке, а не в вероятностях активации?

Другое дело: в некоторых работах я видел, что шум должен быть N (0,1), а в некоторых других используется N (0, сигмоид (x)).

Итак, какой должна быть функция активации и как должны выбираться значения?

Answer 1

По-видимому:

С помощью max(0, x) в качестве функции вероятности активации и использования max(0, x + N(0, Sigmoid(x)) для отбора проб, кажется, работает для RBM.