Дивергенция KL скорректирована с учетом систематической ошибки ограниченного размера выборки.
У меня есть эталонное распределение R, из которого я беру выборку для создания распределений разных размеров выборки. Эти новые распределения имеют те же размеры, но с разным количеством точек данных. Когда я вычисляю расхождение KL этих выборочных распределений, P и R, они разные. Когда размер выборки велик, KL близок к 0, а когда размер выборки мал, KL велик. Таким образом, разница в Kl обусловлена ограниченным размером выборки. Как устранить эту ошибку и получить исправленное расхождение KL? Меня также устраивает отсутствие исправленного KL, но получение неопределенности из-за небольшого размера выборки.
Я попробовал метод Миллера Мэдоу, однако не знаю, как реализовать его в KL.