Взвешенный кросс-энтропийный тензор потока

Question

Я не смог найти встроенный тензор потока, который позволял бы передавать метки, которые не суммируются с 1, поэтому попытался написать свою собственную: (входные данные [batch_size, метки])

tf.reduce_mean(tf.reduce_sum(y_true,axis=1) * tf.reduce_logsumexp(y_pred_logits,axis=1)
 - tf.reduce_sum(y_true * y_pred_logits,axis=1))

Однако, похоже, что это не работает (потери расходятся). Я сделал что-то неправильно?

Answer 1

Я думаю, что это было правильно, но я установил слишком низкий "эпсилон" оптимизатора Адама.