L2 регуляризация весов в Эдварде

Question

Я пытаюсь понять, как мы можем использовать регуляризацию с моделями Эдварда. Я все еще новичок в tenorflow (который используется как бэкэнд Эдварда). Рассмотрим модель ниже,

# prior
w=Normal(loc=tf.zeros((d,c)),scale=tf.ones((d,c)))

# likelihood
y=Categorical(logits=tf.matmul(X,w))

# posterior
loc_qw = tf.get_variable("qw/loc", [d, c])
scale_qw = tf.nn.softplus(tf.get_variable("qw/scale", [d, c]))
qw = Normal(loc=loc_qw, scale=scale_qw)

# inference 
inference = ed.KLqp({w: qw, b: qb}, data={X:train_X, y:train_y})

Я заметил, что Эдвард использует регуляризационные потери в своей функции потерь. loss = -(p_log_lik - kl_penalty - reg_penalty)

Однако я не могу понять, как применить потери регуляризации к модели Эдварда. Как мы можем добавить регуляризацию L1 или L2 к вышеупомянутой модели?

Спасибо!

Answer 1

Я знал, что Нормальный априор эквивалентен регуляризации l2. Визуализация, если предыдущий не является нормальным, и если мы хотим упорядочить параметры, которые мы пытаемся оценить во время стохастической оптимизации.

Я обнаружил, что это можно сделать с помощью параметра регуляризатора переменных tf в апостериорной области.

loc_qw = tf.get_variable("qw/loc", [d, c], regularizer=tf.contrib.layers.l2_regularizer(reg_scale) )