Markovův proces obnovy - Markov renewal process - Wikipedia

V pravděpodobnosti a statistikách, a Markovův proces obnovy (MRP) je a náhodný proces který zobecňuje pojem Markov skokové procesy. Jiné náhodné procesy jako Markovovy řetězy, Poissonovy procesy a procesy obnovy lze odvodit jako speciální případy MRP.

Definice

Ilustrace procesu obnovy Markova

Zvažte stavový prostor ${ displaystyle mathrm {S}.}$ Zvažte sadu náhodných proměnných ${ displaystyle (X_ {n}, T_ {n})}$ , kde ${ displaystyle T_ {n}}$ jsou skokové časy a ${ displaystyle X_ {n}}$ jsou přidružené státy v Markovův řetězec (viz obrázek). Nechte čas mezi příjezdy, ${ displaystyle tau _ {n} = T_ {n} -T_ {n-1}}$ . Pak sekvence ${ displaystyle (X_ {n}, T_ {n})}$ se nazývá proces obnovy Markov, pokud

{ displaystyle { begin {aligned} & Pr ( tau _ {n + 1} leq t, X_ {n + 1} = j mid (X_ {0}, T_ {0}), (X_ { 1}, T_ {1}), ldots, (X_ {n} = i, T_ {n})) [5pt] = {} & Pr ( tau _ {n + 1} leq t, X_ {n + 1} = j mid X_ {n} = i) , forall n geq 1, t geq 0, i, j in mathrm {S} end {aligned}}}

Vztah k jiným stochastickým procesům

Pokud definujeme nový stochastický proces ${ displaystyle Y_ {t}: = X_ {n}}$ pro ${ displaystyle t in [T_ {n}, T_ {n + 1})}$ , pak proces ${ displaystyle Y_ {t}}$ se nazývá a semi-Markovův proces. Všimněte si, že hlavní rozdíl mezi MRP a semi-Markovovým procesem je ten, že první je definován jakon-tice stavů a časů, zatímco druhý je skutečný náhodný proces, který se vyvíjí v čase a jakákoli realizace procesu má definovaný stav pro žádný daný čas. Celý proces není Markovian, tj. Bez paměti, jak se to děje v a Markovův řetězec / proces nepřetržitého času (CTMC). Místo toho je proces Markovian pouze v zadaných okamžicích skoku. Toto je zdůvodnění jména, Semi-Markov.^[1]^[2]^[3] (Viz také: skrytý semi-Markovův model.)
Semi-Markovův proces (definovaný ve výše uvedené odrážce), kde jsou všechny doby zadržení exponenciálně distribuováno se nazývá a CTMC. Jinými slovy, pokud jsou časy mezi příchody exponenciálně rozloženy a pokud je čekací doba ve stavu a v dalším dosaženém stavu nezávislá, máme CTMC.
${ displaystyle { begin {aligned} & Pr ( tau _ {n + 1} leq t, X_ {n + 1} = j mid (X_ {0}, T_ {0}), (X_ { 1}, T_ {1}), ldots, (X_ {n} = i, T_ {n})) [3pt] = {} & Pr ( tau _ {n + 1} leq t, X_ {n + 1} = j mid X_ {n} = i) [3pt] = {} & Pr (X_ {n + 1} = j mid X_ {n} = i) (1-e ^ {- lambda _ {i} t}), { text {pro všechny}} n geq 1, t geq 0, i, j in mathrm {S}, i neq j end {zarovnáno }}}$
Sekvence ${ displaystyle X_ {n}}$ v MRP je a diskrétní čas Markovův řetězec. Jinými slovy, pokud jsou časové proměnné v MRP rovnici ignorovány, skončíme s a DTMC.
${ displaystyle Pr (X_ {n + 1} = j mid X_ {0}, X_ {1}, ldots, X_ {n} = i) = Pr (X_ {n + 1} = j mid X_ {n} = i) , forall n geq 1, i, j in mathrm {S}}$
Pokud je posloupnost ${ displaystyle tau}$ s jsou nezávislé a identicky distribuované, a pokud jejich distribuce nezávisí na stavu ${ displaystyle X_ {n}}$ , pak je proces a proces obnovy. Pokud jsou tedy státy ignorovány a máme řetězec časů iid, pak máme proces obnovy.
${ displaystyle Pr ( tau _ {n + 1} leq t mid T_ {0}, T_ {1}, ldots, T_ {n}) = Pr ( tau _ {n + 1} leq t) , forall n geq 1, forall t geq 0}$

Viz také

Reference

^ Medhi, J. (1982). Stochastické procesy. New York: Wiley & Sons. ISBN 978-0-470-27000-4.
^ Ross, Sheldon M. (1999). Stochastické procesy (2. vyd.). New York [u.a.]: Routledge. ISBN 978-0-471-12062-9.
^ Barbu, Vlad Stefan; Limnios, Nikolaos (2008). Semi-Markovovy řetězce a skryté semi-Markovovy modely k aplikacím: jejich použití ve spolehlivosti a analýze DNA. New York: Springer. ISBN 978-0-387-73171-1.

[1] Medhi, J. (1982). Stochastické procesy. New York: Wiley & Sons. ISBN 978-0-470-27000-4.

[2] Ross, Sheldon M. (1999). Stochastické procesy (2. vyd.). New York [u.a.]: Routledge. ISBN 978-0-471-12062-9.

[3] Barbu, Vlad Stefan; Limnios, Nikolaos (2008). Semi-Markovovy řetězce a skryté semi-Markovovy modely k aplikacím: jejich použití ve spolehlivosti a analýze DNA. New York: Springer. ISBN 978-0-387-73171-1.

[1]

[2]

[3]