Markovovy řetězce na měřitelném stavovém prostoru - Markov chains on a measurable state space - Wikipedia

A Markovův řetězec na měřitelném stavovém prostoru je diskrétní časově homogenní Markovův řetězec s měřitelný prostor jako stavový prostor.

Dějiny

Definice markovských řetězců se vyvinula v průběhu 20. století. V roce 1953 byl použit termín Markovův řetězec stochastické procesy s diskrétní nebo spojitou sadou indexů, žijící v spočetném nebo konečném stavovém prostoru, viz Doob.^[1] nebo Chung.^[2] Od konce 20. století se stalo populárnějším považovat markovský řetězec za stochastický proces s diskrétní sadou indexů, žijící v měřitelném stavovém prostoru.^[3][4][5]

Definice

Označit s ${ displaystyle (E, Sigma)}$ měřitelný prostor a s ${ displaystyle p}$ A Markovovo jádro se zdrojem a cílem ${ displaystyle (E, Sigma)}$.Stochastický proces ${ displaystyle (X_ {n}) _ {n in mathbb {N}}}$ na ${ displaystyle ( Omega, { mathcal {F}}, mathbb {P})}$ se nazývá časově homogenní Markovův řetězec s Markovovým jádrem ${ displaystyle p}$ a zahájit distribuci ${ displaystyle mu}$ -li

${ displaystyle mathbb {P} [X_ {0} v A_ {0}, X_ {1} v A_ {1}, tečky, X_ {n} v A_ {n}] = int _ { A_ {0}} dots int _ {A_ {n-1}} p (y_ {n-1}, A_ {n}) , p (y_ {n-2}, dy_ {n-1}) dots p (y_ {0}, dy_ {1}) , mu (dy_ {0})}$

je spokojen pro každého ${ displaystyle n in mathbb {N}, , A_ {0}, dots, A_ {n} in Sigma}$. Lze vytvořit libovolné Markovovo jádro a libovolnou pravděpodobnost měřit přidružený Markovův řetězec.^[4]

Poznámka k integraci jádra Markov

Pro všechny opatření ${ displaystyle mu tlustého střeva Sigma až [0, infty]}$ označujeme pro ${ displaystyle mu}$- integrovatelná funkce ${ displaystyle f dvojtečka E až mathbb {R} pohár { infty, - infty }}$ the Lebesgueův integrál tak jako ${ displaystyle int _ {E} f (x) , mu (dx)}$. Pro opatření ${ displaystyle nu _ {x} dvojtečka Sigma až [0, infty]}$ definován ${ displaystyle nu _ {x} (A): = p (x, A)}$ použili jsme následující notaci:

${ displaystyle int _ {E} f (y) , p (x, dy): = int _ {E} f (y) , nu _ {x} (dy).}$

Základní vlastnosti

Počínaje jediným bodem

Li ${ displaystyle mu}$ je Diracova míra v ${ displaystyle x}$, označujeme pro Markovovo jádro ${ displaystyle p}$ se zahájením distribuce ${ displaystyle mu}$ přidružený markovský řetězec jako ${ displaystyle (X_ {n}) _ {n in mathbb {N}}}$ na ${ displaystyle ( Omega, { mathcal {F}}, mathbb {P} _ {x})}$ a očekávaná hodnota

${ displaystyle mathbb {E} _ {x} [X] = int _ { Omega} X ( omega) , mathbb {P} _ {x} (d omega)}$

pro ${ displaystyle mathbb {P} _ {x}}$- integrovatelná funkce ${ displaystyle X}$. Podle definice tedy máme${ displaystyle mathbb {P} _ {x} [X_ {0} = x] = 1}$.

Máme pro každou měřitelnou funkci ${ displaystyle f colon E až [0, infty]}$ následující vztah:^[4]

${ displaystyle int _ {E} f (y) , p (x, dy) = mathbb {E} _ {x} [f (X_ {1})].}$

Rodina Markovských jader

Pro Markovovo jádro ${ displaystyle p}$ se zahájením distribuce ${ displaystyle mu}$ lze představit rodinu Markovských jader ${ displaystyle (p_ {n}) _ {n in mathbb {N}}}$ podle

${ displaystyle p_ {n + 1} (x, A): = int _ {E} p_ {n} (y, A) , p (x, dy)}$

pro ${ displaystyle n in mathbb {N}, , n geq 1}$ a ${ displaystyle p_ {1}: = p}$. Pro přidružený markovský řetězec ${ displaystyle (X_ {n}) _ {n in mathbb {N}}}$ podle ${ displaystyle p}$ a ${ displaystyle mu}$ jeden získá

${ displaystyle mathbb {P} [X_ {0} v A, , X_ {n} v B] = int _ {A} p_ {n} (x, B) , mu (dx) }$.

Stacionární opatření

Míra pravděpodobnosti ${ displaystyle mu}$ se nazývá stacionární míra Markovova jádra ${ displaystyle p}$ -li

${ displaystyle int _ {A} mu (dx) = int _ {E} p (x, A) , mu (dx)}$

platí pro všechny ${ displaystyle A in Sigma}$. Li ${ displaystyle (X_ {n}) _ {n in mathbb {N}}}$ na ${ displaystyle ( Omega, { mathcal {F}}, mathbb {P})}$označuje markovský řetězec podle markovského jádra ${ displaystyle p}$ se stacionárním měřítkem ${ displaystyle mu}$a distribuce ${ displaystyle X_ {0}}$ je ${ displaystyle mu}$, pak vše ${ displaystyle X_ {n}}$mají stejné rozdělení pravděpodobnosti, jmenovitě:

${ displaystyle mathbb {P} [X_ {n} v A] = mu (A)}$

pro všechny ${ displaystyle A in Sigma}$.

Reverzibilita

Markovské jádro ${ displaystyle p}$ se podle míry pravděpodobnosti nazývá reverzibilní ${ displaystyle mu}$ -li

${ displaystyle int _ {A} p (x, B) , mu (dx) = int _ {B} p (x, A) , mu (dx)}$

platí pro všechny ${ displaystyle A, B in Sigma}$.Výměna ${ displaystyle A = E}$ ukazuje, že pokud ${ displaystyle p}$ je reverzibilní podle ${ displaystyle mu}$, pak ${ displaystyle mu}$ musí být stacionární míra ${ displaystyle p}$.

Viz také

• Harrisův řetězec
• Podřazení konečného typu

Reference