Если я использую softmax в RBM, нужно ли использовать его как в скрытых единицах, так и в видимых?

Question

Если я использую softmax в RBM, нужно ли использовать его как в скрытых единицах, так и в видимых?

Как я понимаю, при использовании softmax значений K в видимых единицах RBM скрытая единица остается двоичной.

Если так - я не уверен, как вычислить вклады двоичных единиц в видимые. Должен ли я связать двоичное состояние 0 в скрытой единице с конкретным состоянием из K-состояний softmax, а состояние 1 - с другими K-1-состояниями? Или, может быть, 0 в скрытой единице коррелирует с 0 во всех K возможных состояниях видимой единицы (но не противоречит ли это тому факту, что по крайней мере одно из K состояний должно быть включено?).

1

softmax rbm

Источник

user378594 11 июн '13 в 23:54

1 ответ

Решение

Другие вопросы по тегам softmax rbm

user378594 12 июн '13 в 12:50 2013-06-12 12:50 · Accepted Answer · 2013-06-12 12:50

Думаю, я понял свое недоразумение: единицы softmax ведут себя как группы двоичных субъединиц, и каждая субъединица имеет свои веса для скрытых единиц. Это означает, что матрица весов между скрытым слоем и видимым слоем является 3-мерной, а не 2, и теперь очевидно, как рассчитать вклады.