MDP - методики генерации вероятности перехода

Question

Я работаю над проблемой спроса и предложения автомобилей MDP следующим образом и думал о том, есть ли какие-либо методы для генерации матрицы вероятности перехода автоматически, а не вручную.

Предположим, что спрос выглядит следующим образом:
время, станция1, станция2
1000, 3, 1
1030, 3, 1
1100, 2, 3

Предположим, что для машины со станции 1 существует 60% -ная вероятность того, что машина будет доставлена ​​на станцию ​​1, и 40% - на станцию ​​2. Предположим, что для автомобиля со станции 2 существует 80% -ная вероятность того, что машина будет доставлена ​​на станцию ​​1, и 20% - на станцию ​​2.

Я рассчитал вручную, что следующее.

На этапе 1 времени

P(car at station1 = 2,car at station2 = 8) = 0.0432
P(car at station1 = 3,car at station2 = 7) = 0.2016
P(car at station1 = 4,car at station2 = 6) = 0.1344
P(car at station1 = 5,car at station2 = 5) = 0.0896
P(car at station1 = 6,car at station2 = 4) = 0.0512

Следовательно, хотелось бы проверить, может ли кто-нибудь предоставить информацию для автоматического вычисления вероятности на этапе 2 времени, а не для вычисления вручную.

За ваши советы, пожалуйста.

Answer 1

Я не уверен, что понимаю ваш вопрос.

Если в стационарном марковском процессе, распределение переменной состояния x_t (здесь, станция, на которой автомобиль) в данный момент t является функцией только матрицы перехода P и состояние в то время t-1,

Ты можешь написатьx_t = x_{t-1} * P для любого t, Который означает, что x_t = x_0 * P^t,

знание x_0 (распределение автомобилей в начале, например, если автомобили равномерно распределены между двумя станциями x_0 = [0.5 0.5]) и используя P = [ 0.6 0.4 ; 0.8 0.2 ]тогда вы получите раздачу авто в любое время t > 0 как x_t = x_0 * P^t,