Распределение тензорного потока создает вероятность больше 1

Question

Я использую API-интерфейс распределения тензорного потока для выборки, ниже приведен пример кода, который я использую, но я обнаружил, что вероятность больше 1, тогда вероятность логирования меньше 0. Я пробовал и CPU, и GPU, оба дают этот странный результат. тензор потока равен 1,3.

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import tensorflow as tf
from sklearn.datasets import load_boston
from sklearn.preprocessing import scale
from matplotlib import pyplot as plt

import numpy as np

learning_rate = 0.01

total_features, total_prices = load_boston(True)

# Keep 300 samples for training
train_features = scale(total_features[:300])
train_prices = total_prices[:300]

x = tf.placeholder(tf.float32, [None, 13])

l1 = tf.layers.dense(inputs=x, units=20, activation=tf.nn.elu)

l2 = tf.layers.dense(inputs=l1, units=20, activation=tf.nn.elu)

mu = tf.squeeze(tf.layers.dense(inputs=l2, units=1))
sigma = tf.squeeze(tf.layers.dense(inputs=l2, units=1))
sigma = tf.nn.softplus(sigma) + 1e-5

normal_dist = tf.contrib.distributions.Normal(mu, sigma)
samples = tf.squeeze(normal_dist._sample_n(1))

log_prob = -normal_dist.log_prob(samples)
prob = normal_dist.prob(samples)

sess = tf.Session()
sess.run(tf.global_variables_initializer())

avg_cost = 0.0

feed_dict = {x: train_features}

p = sess.run(prob, feed_dict)
lp = sess.run(log_prob, feed_dict)

P - это мой вывод вероятности, а lp - логарифмическая вероятность

Спасибо!

Answer 1

Функции.prob и.log_prob - это PDF и Log PDF обычного дистрибутива: https://en.wikipedia.org/wiki/Probability_density_function. Обратите внимание, что PDF не обязательно должен иметь значение от 0 до 1; Его интеграл в диапазоне (который связан с CDF) должен быть между 0 и 1.

Рассмотрим случай, когда mu = 0 а также sigma = 1e-4, Если мы используем PDF нормального дистрибутива: https://en.wikipedia.org/wiki/Normal_distribution, то PDF(0) ~= 4000! Однако, если бы мы интегрировали PDF и получили CDF (или использовали CDF напрямую), мы всегда получим значение от 0 до 1.