Описание тега markov-models

Цепь Маркова

Простейшая марковская модель - это цепь Маркова. Он моделирует состояние системы со случайной величиной, которая изменяется во времени. В этом контексте свойство Маркова предполагает, что распределение для этой переменной зависит только от распределения предыдущего состояния. Пример использования цепи Маркова - это цепь Маркова Монте-Карло, в которой свойство Маркова используется для доказательства того, что конкретный метод выполнения случайного блуждания будет выборкой из совместного распределения системы.

Скрытая марковская модель

Скрытая марковская модель - это марковская цепь, состояние которой наблюдается только частично. Другими словами, наблюдения связаны с состоянием системы, но их обычно недостаточно для точного определения состояния. Существует несколько хорошо известных алгоритмов для скрытых марковских моделей. Например, для данной последовательности наблюдений алгоритм Витерби вычислит наиболее вероятную соответствующую последовательность состояний, прямой алгоритм вычислит вероятность последовательности наблюдений, а алгоритм Баума-Велча оценит начальные вероятности, переход функция и функция наблюдения скрытой марковской модели. Одним из распространенных способов использования является распознавание речи, где наблюдаемые данные представляют собой звуковую волну речи, а скрытое состояние - это произносимый текст. В этом примереалгоритм Витерби находит наиболее вероятную последовательность произнесенных слов с учетом звука речи.

Марковский процесс принятия решений

Марковский процесс принятия решений - это цепь Маркова, в которой переходы состояний зависят от текущего состояния и вектора действия, который применяется к системе. Как правило, процесс принятия решений Маркова используется для вычисления политики действий, которая максимизирует некоторую полезность в отношении ожидаемых вознаграждений. Он тесно связан с обучением с подкреплением и может быть решен с помощью итерации значений и связанных методов.

Частично наблюдаемый марковский процесс принятия решений

Частично наблюдаемый марковский процесс принятия решений (POMDP) ​​- это марковский процесс принятия решений, в котором состояние системы наблюдается только частично. POMDP, как известно, являются NP-полными, но недавние методы приближения сделали их полезными для множества приложений, таких как управление простыми агентами или роботами.

Марковское случайное поле

Марковское случайное поле или сеть Маркова можно рассматривать как обобщение цепи Маркова в нескольких измерениях. В цепи Маркова состояние зависит только от предыдущего состояния во времени, тогда как в случайном поле Маркова каждое состояние зависит от своих соседей в любом из нескольких направлений. Марковское случайное поле может быть визуализировано как поле или граф случайных величин, где распределение каждой случайной величины зависит от соседних переменных, с которыми она связана. Более конкретно, совместное распределение для любой случайной величины в графе может быть вычислено как произведение "потенциалов клик" всех клик в графе, которые содержат эту случайную величину.Моделирование проблемы как марковского случайного поля полезно, поскольку оно подразумевает, что совместные распределения в каждой вершине графа могут быть вычислены таким образом.

Иерархические марковские модели

Иерархические марковские модели могут применяться для категоризации человеческого поведения на различных уровнях абстракции. Например, ряд простых наблюдений, таких как местоположение человека в комнате, можно интерпретировать для определения более сложной информации, например, о том, какую задачу или действие выполняет человек. Два вида иерархических марковских моделей - это иерархическая скрытая марковская модель и абстрактная скрытая марковская модель. Оба они использовались для распознавания поведения, а определенные свойства условной независимости между разными уровнями абстракции в модели позволяют быстрее обучаться и делать выводы.