Процесс обновления Маркова

Generalization of Markov jump processes

Процессы Марковского восстановления представляют собой класс случайных процессов в вероятности и статистике, которые обобщают класс марковских скачкообразных процессов . Другие классы случайных процессов, такие как цепи Маркова и пуассоновские процессы , могут быть выведены как особые случаи среди класса процессов Марковского восстановления, в то время как процессы Марковского восстановления являются особыми случаями среди более общего класса процессов восстановления .

Определение

В контексте процесса скачка, который принимает состояния в пространстве состояний , рассмотрим набор случайных величин , где представляет времена скачков, а представляет ассоциированные состояния в последовательности состояний (см. рисунок). Пусть последовательность времен между прибытиями . Для того чтобы последовательность можно было считать процессом восстановления Маркова, должно выполняться следующее условие: $\mathrm {S}$ $(X_{n},T_{n})$ $T_{n}$ $X_{n}$ $\tau _{n}=T_{n}-T_{n-1}$ $(X_{n},T_{n})$

${\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\[5pt]={}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\,\forall n\geq 1,t\geq 0,i,j\in \mathrm {S} \end{aligned}}$

Связь с другими стохастическими процессами

Пусть и будут такими, как определено в предыдущем утверждении. Определяя новый стохастический процесс для , тогда процесс называется полумарковским процессом, поскольку он происходит в непрерывной по времени цепи Маркова . Процесс является марковским только в указанные моменты скачков, оправдывая название полумарковский . ^[1]^[2]^[3] (См. также: скрытая полумарковская модель .) $X_{n}$ $T_{n}$ $Y_{t}:=X_{n}$ $t\in [T_{n},T_{n+1})$ $Y_{t}$
Полумарковский процесс (определенный в предыдущем пункте), в котором все времена ожидания распределены экспоненциально, называется непрерывной по времени цепью Маркова . Другими словами, если время между прибытиями распределено экспоненциально и если время ожидания в состоянии и следующее достигнутое состояние независимы, мы имеем непрерывную по времени цепь Маркова.
${\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\[3pt]={}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\\[3pt]={}&\Pr(X_{n+1}=j\mid X_{n}=i)(1-e^{-\lambda _{i}t}),{\text{ for all }}n\geq 1,t\geq 0,i,j\in \mathrm {S} ,i\neq j\end{aligned}}$
Последовательность в процессе марковского восстановления представляет собой цепь Маркова с дискретным временем . Другими словами, если временные переменные игнорируются в уравнении процесса марковского восстановления, мы получаем цепь Маркова с дискретным временем . $X_{n}$
$\Pr(X_{n+1}=j\mid X_{0},X_{1},\ldots ,X_{n}=i)=\Pr(X_{n+1}=j\mid X_{n}=i)\,\forall n\geq 1,i,j\in \mathrm {S}$
Если последовательность s независима и одинаково распределена, и если их распределение не зависит от состояния , то процесс является обновлением . Таким образом, если состояния игнорируются и у нас есть цепочка времен iid, то у нас есть процесс обновления. $\tau$ $X_{n}$
$\Pr(\tau _{n+1}\leq t\mid T_{0},T_{1},\ldots ,T_{n})=\Pr(\tau _{n+1}\leq t)\,\forall n\geq 1,\forall t\geq 0$

Смотрите также

Ссылки

^ Medhi, J. (1982). Стохастические процессы . Нью-Йорк: Wiley & Sons. ISBN 978-0-470-27000-4.
^ Росс, Шелдон М. (1999). Стохастические процессы (2-е изд.). Нью-Йорк [ua]: Routledge. ISBN 978-0-471-12062-9.
^ Барбу, Влад Стефан; Лимниос, Николаос (2008). Полумарковские цепи и скрытые полумарковские модели для приложений: их использование в надежности и анализе ДНК . Нью-Йорк: Springer. ISBN 978-0-387-73171-1.

[1] Medhi, J. (1982). Стохастические процессы . Нью-Йорк: Wiley & Sons. ISBN 978-0-470-27000-4.

[2] Росс, Шелдон М. (1999). Стохастические процессы (2-е изд.). Нью-Йорк [ua]: Routledge. ISBN 978-0-471-12062-9.

[3] Барбу, Влад Стефан; Лимниос, Николаос (2008). Полумарковские цепи и скрытые полумарковские модели для приложений: их использование в надежности и анализе ДНК . Нью-Йорк: Springer. ISBN 978-0-387-73171-1.