Изменится ли свойство неубывающего свойства, если знаменатель является необратимой матрицей в шаге M алгоритма EM?
Предположим, что в M-шаге EM-алгоритма знаменатель некоторых параметров является матричным, и они необратимы, вместо него мы использовали бы псевдообратную матрицу. Если это так, будет ли вероятность бревна все еще увеличиваться?
Я не мог привести конкретный случай, и я сфабриковал этот вопрос. Если вам это действительно нужно, вы можете следовать алгоритму EM на вики-странице. В фильтрующей и сглаживающей части. предположим, что знаменатель является матрицей, а их сумма не обратима, так что же произойдет для логарифмической вероятности? Все еще всегда увеличивается?
1 ответ
В каждом конкретном случае я предлагаю вам пройти через доказательство алгоритма EM, например https://en.wikipedia.org/wiki/Expectation%E2%80%93maximization_algorithm, в этом параметре. В целом, я ожидал бы, что, пока ваш шаг М увеличивает значение, он максимизирует проход EM в целом, что увеличит вероятность регистрации, даже если шаг М, например, не находит абсолютный максимум на каждом проходить.
Я все еще буду волноваться, если эта необратимая матрица означает, что вы вошли в какую-то особую область набора решений. Поскольку шаг Ожидание определяет ожидаемую логарифмическую вероятность при текущих параметрах, некоторые значения специальных параметров, особенно ноль, будут означать, что все возможности, рассмотренные на этапе максимизации, используют эти специальные параметры - иногда, когда параметр обнуляется, Алгоритм EM никогда не может изменить свое решение и отодвинуть этот параметр от нуля. Таким образом, может случиться так, что, как только вы получите необратимую матрицу, все последующие шаги EM из этой позиции также будут иметь необратимые матрицы, и в этом случае вы можете обнаружить, что алгоритм EM очень быстро застревает в локальных оптимумах, прежде чем это сделало много оптимизации.