Зачем объяснять logit как "немасштабированный журнал вероятности" в sotfmax_cross_entropy_with_logits?

Question

В документации тензорного потока ( softmax_cross_entropy_with_logits) они сказали "logits: немасштабированный журнал вероятности". что такое "логарифмическая вероятность"? Во-первых, я понимал "логиты" как "вывод перед нормализацией" или "оценка за класс".

    logits = tf.matmul(X,W) + b
    hypothesis = tf.nn.softmax(logits)

Если я получил [1,5, 2,4, 0,7] с помощью tf.matmul(X,W) + b, то [1,5, 2,4, 0,7] - это логиты (оценка), и это было немасштабировано. Я могу понять это до этой стадии. Но я не могу понять, почему [1.5, 2.4, 0.7] - это "логарифмическая вероятность".

Answer 1

Спасибо всем!

Я нашел этот пост. Это почти решило мой вопрос.

https://stats.stackexchange.com/questions/52825/what-does-the-logit-value-actually-mean

Answer 2

Если вы интерпретируете выходные данные функции softmax как вероятности (как нам нравится делать), то легко увидеть, откуда берется "логарифмическая вероятность":

Функция softmax

\ Ехр {z_k}/\sum_i{\ ехр {z_i}},

с z_i в качестве компонентов ваших "логитов". Знаменатель просто заботится о нормализации, т.е. он гарантирует, что все выходные данные суммируют до 1 (что имеет смысл, если мы хотим интерпретировать их как вероятности для набора взаимоисключающих классов). Итак, глядя на числитель, вывод функции softmax в основном просто exp(z). Если мы интерпретируем это как вероятность, то z ("логиты") - это логарифм ненормированной вероятности.