Машина Больцмана с ограничениями (RBM): изменение бинарных единиц на гауссовские или реулевые единицы

Question

Я написал рабочую реализацию RBM с двоичными скрытыми / видимыми единицами в R. Я некоторое время искал, но просто не могу понять, как изменить двоичные единицы на гауссовые или ReLU.

Если бы я хотел, чтобы мои входные данные были реальными значениями, я бы изменил видимые единицы измерения и скрытые единицы? Или только видимые единицы?

Допустим, я хотел изменить оба. В настоящее время я вычисляю скрытые / видимые вероятности, используя функцию логистической сигмоиды (1/(1+e^(-x))). ReLU использует max(0, x + N(0,1)). Как я сейчас понимаю, я бы переключал все вхождения функции логистической сигмоиды с помощью функции ReLU max. Тем не менее, это не дает результатов, которые имеют смысл. Так что я не уверен, что я должен изменить.

Answer 1

Вы можете изменить активацию видимого устройства без изменения активации скрытого устройства. Таким образом, вы могли бы иметь скрытые юниты Бернулли и гауссовские видимые юниты. Если вы проводите предварительную подготовку для глубокой сети, лучше всего использовать ту же функцию активации, что и в вашей конечной сети (обычно relus).

Я также написал код RBM, трюк, чтобы получить лучшие результаты, состоит в том, чтобы не пробовать визуальную реконструкцию или мечту (при использовании CD-1). Я не смогу помочь больше, не взглянув на ваш код или попросив вас прояснить "немного смысла" для ваших результатов.

Отличное руководство для советов по обучению RBM можно найти в практическом руководстве по обучению RBM, написанном Хинтоном.

Другой совет - использовать постоянную контрастную дивергенцию, которая предполагает, что обновления веса достаточно малы, чтобы не изменять цепочку марков. В коде это соответствует активации визуальных единиц из последнего сна и мечты из визуальной реконструкции. По моему опыту, обучение занимает гораздо меньше времени, оригинал статьи: http://www.machinelearning.org/archive/icml2008/papers/638.pdf

Опять же, опубликуйте свой код и результаты, и я готов помочь вам просмотреть их.