Как доказать сходимость ЭМ?
Можете ли вы объяснить, как доказать сходимость алгоритма максимизации ожидания?
Например, EM для проблем с монетами: https://math.stackexchange.com/questions/25111/how-does-expectation-maximization-work
2 ответа
EM алгоритм делает оценку максимального правдоподобия. Если вы посмотрите на вероятность бревна, это неправда, что шаги E и M всегда максимизируют его. Однако, если вы посмотрите на отрицательную функцию свободной энергии, они оба всегда максимизируют ее, хотя и по отношению к разным вещам (что-то вроде координатного спуска). Так что да, алгоритм EM всегда сходится, даже если он может сходиться к плохим локальным экстремумам, что является другой проблемой.
Взгляните на классическую статью http://www.cs.toronto.edu/~radford/ftp/emk.pdf чтобы узнать больше самостоятельно.
EM-алгоритмы не всегда сходятся. Так что специфика вашей проблемы будет важна.