Получение негативной информации с помощью сглаживания Лапласа

Question

Можно ли получить отрицательный прирост информации, если использовать сглаживание Лапласа?

Мы знаем:

IG = H(Y) - H(Y|X)

Здесь H - функция энтропии, а IG - прирост информации.

Также:

H (Y) = -Σ_y P (Y = y).log₂(P (Y = y))

H (Y | X) = Σ_x P (X = x).H (Y | X = x)

H (Y | X = x) = -Σ_y P (Y = y | X = x).log₂(P (Y = y | X = x))

Например, предположим, что P (Y = y | X = x) = n_{y | x}/ n_x. Но возможно, что n_x = 0 и n_{y | x} = 0. Поэтому я делаю сглаживание Лапласа и определяю P (Y = y | X = x) = (n_{y | x}+1) / (n_x+ | X |). Здесь | X | обозначим количество возможных значений, которые может принять X (количество возможных разбиений, если X выбран в качестве атрибута). Возможно ли, что из-за сглаживания лапласа я получаю отрицательный прирост информации?