Doob martingale - Doob martingale - Wikipedia

A Doob martingale (pojmenoval podle Joseph L. Doob,^[1] také známý jako a Levy Martingale) je matematická konstrukce a stochastický proces který se blíží danému náhodná proměnná a má martingale majetek s ohledem na dané filtrace. Lze jej považovat za vyvíjející se sekvenci nejlepších aproximací náhodné proměnné na základě informací nahromaděných do určité doby.

Při analýze součtů náhodné procházky nebo jiné doplňkové funkce nezávislé náhodné proměnné, lze často použít teorém centrálního limitu, zákon velkých čísel, Černoffova nerovnost, Čebyševova nerovnost nebo podobné nástroje. Při analýze podobných objektů, kde rozdíly nejsou nezávislé, jsou hlavní nástroje martingales a Azumaova nerovnost.^{[je zapotřebí objasnění ]}

Definice

Nechat ${ displaystyle Y}$ být libovolná náhodná proměnná s ${ displaystyle mathbb {E} [| Y |] < infty}$ . Předpokládat ${ displaystyle left {{ mathcal {F}} _ {0}, { mathcal {F}} _ {1}, dots right }}$ je filtrace, tj. ${ displaystyle { mathcal {F}} _ {s} podmnožina { mathcal {F}} _ {t}}$ když ${ displaystyle s$ . Definovat

{ displaystyle Z_ {t} = mathbb {E} [Y mid { mathcal {F}} _ {t}],}

pak ${ displaystyle left {Z_ {0}, Z_ {1}, dots right }}$ je martingale,^[2] a to Doob martingale, s ohledem na filtraci ${ displaystyle left {{ mathcal {F}} _ {0}, { mathcal {F}} _ {1}, dots right }}$ .

Toto si všimněte

${ displaystyle mathbb {E} [| Z_ {t} |] = mathbb {E} [| mathbb {E} [Y mid { mathcal {F}} _ {t}] |] leq mathbb {E} [ mathbb {E} [| Y | mid { mathcal {F}} _ {t}]] = mathbb {E} [| Y |] < infty}$ ;
${ displaystyle mathbb {E} [Z_ {t} mid { mathcal {F}} _ {t-1}] = mathbb {E} [ mathbb {E} [Y mid { mathcal {F }} _ {t}] mid { mathcal {F}} _ {t-1}] = mathbb {E} [Y mid { mathcal {F}} _ {t-1}] = Z_ { t-1}}$ tak jako ${ displaystyle { mathcal {F}} _ {t-1} podmnožina { mathcal {F}} _ {t}}$ .

Zejména pro jakoukoli posloupnost náhodných proměnných ${ displaystyle left {X_ {1}, X_ {2}, dots, X_ {n} right }}$ na pravděpodobnostním prostoru ${ displaystyle ( Omega, { mathcal {F}}, { text {P}})}$ a funkce ${ displaystyle f}$ takhle ${ displaystyle mathbb {E} [| f (X_ {1}, X_ {2}, tečky, X_ {n}) |] < infty}$ , dalo by se vybrat

{ displaystyle Y: = f (X_ {1}, X_ {2}, tečky, X_ {n})}

a filtrace ${ displaystyle left {{ mathcal {F}} _ {0}, { mathcal {F}} _ {1}, dots right }}$ takhle

{ displaystyle { begin {aligned} { mathcal {F}} _ {0} &: = left { phi, Omega right }, { mathcal {F}} _ {t} &: = sigma (X_ {1}, X_ {2}, dots, X_ {t}), forall t geq 1, end {aligned}}}

tj. ${ displaystyle sigma}$ -algebra generovaná ${ displaystyle X_ {1}, X_ {2}, tečky, X_ {t}}$ . Poté podle definice Doob martingale zpracujte ${ displaystyle left {Z_ {0}, Z_ {1}, dots right }}$ kde

{ displaystyle { begin {aligned} Z_ {0} &: = mathbb {E} [f (X_ {1}, X_ {2}, dots, X_ {n}) mid { mathcal {F} } _ {0}] = mathbb {E} [f (X_ {1}, X_ {2}, dots, X_ {n})], Z_ {t} &: = mathbb {E} [ f (X_ {1}, X_ {2}, dots, X_ {n}) mid { mathcal {F}} _ {t}] = mathbb {E} [f (X_ {1}, X_ { 2}, dots, X_ {n}) mid X_ {1}, X_ {2}, dots, X_ {t}], forall t geq 1 end {aligned}}}

tvoří Doob martingale. Všimněte si, že ${ displaystyle Z_ {n} = f (X_ {1}, X_ {2}, tečky, X_ {n})}$ . Tento martingale lze použít k prokázání McDiarmidova nerovnost.

McDiarmidova nerovnost

Prohlášení^[1]

Zvažte nezávislé náhodné proměnné ${ displaystyle X_ {1}, X_ {2}, tečky X_ {n}}$ na pravděpodobnostním prostoru ${ displaystyle ( Omega, { mathcal {F}}, { text {P}})}$ kde ${ displaystyle X_ {i} v { mathcal {X}} _ {i}}$ pro všechny ${ displaystyle i}$ a mapování ${ displaystyle f: { mathcal {X}} _ {1} times { mathcal {X}} _ {2} times cdots times { mathcal {X}} _ {n} rightarrow mathbb {R}}$ . Předpokládejme, že existuje konstanta ${ displaystyle c_ {1}, c_ {2}, tečky, c_ {n}}$ takové, že pro všechny ${ displaystyle i}$ ,

{ displaystyle { underset {x_ {1}, cdots, x_ {i-1}, x_ {i}, x_ {i} ', x_ {i + 1}, cdots, x_ {n}} { sup}} | f (x_ {1}, dots, x_ {i-1}, x_ {i}, x_ {i + 1}, cdots, x_ {n}) - f (x_ {1}, tečky, x_ {i-1}, x_ {i} ', x_ {i + 1}, cdots, x_ {n}) | leq c_ {i}.}

(Jinými slovy, změna hodnoty ${ displaystyle i}$ ta souřadnice ${ displaystyle x_ {i}}$ změní hodnotu ${ displaystyle f}$ maximálně ${ displaystyle c_ {i}}$ .) Pak pro všechny ${ displaystyle epsilon> 0}$ ,

{ displaystyle { text {P}} (f (X_ {1}, X_ {2}, cdots, X_ {n}) - mathbb {E} [f (X_ {1}, X_ {2}, cdots, X_ {n})] geq epsilon) leq exp left (- { frac {2 epsilon ^ {2}} { sum _ {i = 1} ^ {n} c_ {i } ^ {2}}} vpravo),}

{ displaystyle { text {P}} (f (X_ {1}, X_ {2}, cdots, X_ {n}) - mathbb {E} [f (X_ {1}, X_ {2}, cdots, X_ {n})] leq - epsilon) leq exp left (- { frac {2 epsilon ^ {2}} { sum _ {i = 1} ^ {n} c_ { i} ^ {2}}} vpravo),}

a

{ displaystyle { text {P}} (| f (X_ {1}, X_ {2}, cdots, X_ {n}) - mathbb {E} [f (X_ {1}, X_ {2} , cdots, X_ {n})] | geq epsilon) leq 2 exp left (- { frac {2 epsilon ^ {2}} { sum _ {i = 1} ^ {n} c_ {i} ^ {2}}} vpravo).}

Důkaz

Vyberte libovolné ${ displaystyle x_ {1} ', x_ {2}', cdots, x_ {n} '}$ taková, že hodnota ${ displaystyle f (x_ {1} ', x_ {2}', cdots, x_ {n} ')}$ je tedy omezen na všechny ${ displaystyle x_ {1}, x_ {2}, cdots, x_ {n}}$ tím, že nerovnost trojúhelníku,

{ displaystyle { begin {aligned} & | f (x_ {1}, x_ {2}, cdots, x_ {n}) - f (x_ {1} ', x_ {2}', cdots, x_ {n} ') | leq & | f (x_ {1}, x_ {2}, cdots, x_ {n}) - f (x_ {1}', x_ {2}, cdots, x_ {n}) | & + sum _ {i = 1} ^ {n-1} | f (x_ {1} ', cdots, x_ {i}', x_ {i + 1}, cdots , x_ {n}) - f (x_ {1} ', x_ {2}', cdots, x_ {i} ', x_ {i + 1}', x_ {i + 2}, cdots, x_ { n}) | leq & sum _ {i = 1} ^ {n} c_ {i}, end {zarovnáno}}}

tím pádem ${ displaystyle f}$ je omezený.

Definovat ${ displaystyle Z_ {i}: = mathbb {E} [f (X_ {1}, X_ {2}, cdots, X_ {n}) mid X_ {1}, X_ {2}, cdots, X_ {i}]}$ pro všechny ${ displaystyle i geq 1}$ a ${ displaystyle Z_ {0}: = mathbb {E} [f (X_ {1}, X_ {2}, cdots, X_ {n})]}$ . Všimněte si, že ${ displaystyle Z_ {n} = f (X_ {1}, X_ {2}, cdots, X_ {n})}$ . Od té doby ${ displaystyle f}$ je omezen definicí Doob martingale, ${ displaystyle left {Z_ {i} right }}$ tvoří martingale. Nyní definujte ${ displaystyle { begin {aligned} U_ {i} & = { underset {x in { mathcal {X}} _ {i}} { sup}} mathbb {E} [f (X_ {1 }, cdots, X_ {n}) mid X_ {1}, cdots, X_ {i-1}, x] - mathbb {E} [f (X_ {1}, cdots, X_ {n} ) mid X_ {1}, cdots, X_ {i-1}], L_ {i} & = { underset {x in { mathcal {X}} _ {i}} { inf} } mathbb {E} [f (X_ {1}, cdots, X_ {n}) mid X_ {1}, cdots, X_ {i-1}, x] - mathbb {E} [f ( X_ {1}, cdots, X_ {n}) mid X_ {1}, cdots, X_ {i-1}]. End {aligned}}}$

Všimněte si, že ${ displaystyle L_ {i} leq Z_ {i} -Z_ {i-1} leq U_ {i}}$ a ${ displaystyle U_ {i}, L_ {i}}$ jsou oba ${ displaystyle { mathcal {F}} _ {i-1}}$ -měřitelný. Navíc,

{ displaystyle { begin {aligned} U_ {i} -L_ {i} & = { podmnožina {x_ {u} in { mathcal {X}} _ {i}, x_ {l} in { mathcal {X}} _ {i}} { sup}} mathbb {E} [f (X_ {1}, cdots, X_ {n}) mid X_ {1}, cdots, X_ {i- 1}, x_ {u}] - mathbb {E} [f (X_ {1}, cdots, X_ {n}) mid X_ {1}, cdots, X_ {i-1}, x_ {l }] & = { underset {x_ {u} in { mathcal {X}} _ {i}, x_ {l} in { mathcal {X}} _ {i}} { sup} } int _ {{ mathcal {X}} _ {i + 1} times cdots times { mathcal {X}} _ {n}} f (X_ {1}, cdots, X_ {i- 1}, x_ {u}, x_ {i + 1}, cdots, x_ {n}) { text {d}} { text {P}} _ {X_ {i + 1}, cdots, X_ {n} mid X_ {1}, cdots, X_ {t-1}, x_ {u}} (x_ {i + 1}, cdots, x_ {n}) & quad - int _ {{ mathcal {X}} _ {i + 1} times cdots times { mathcal {X}} _ {n}} f (X_ {1}, cdots, X_ {i-1}, x_ {l}, x_ {i + 1}, cdots, x_ {n}) { text {d}} { text {P}} _ {X_ {i + 1}, cdots, X_ {n} mid X_ {1}, cdots, X_ {t-1}, x_ {l}} (x_ {i + 1}, cdots, x_ {n}) & = { underset {x_ {u} v { mathcal {X}} _ {i}, x_ {l} v { mathcal {X}} _ {i}} { sup}} int _ {{ mathcal {X}} _ {i +1} times cdots times { mathcal {X}} _ {n}} f (X_ {1}, cdots, X_ {i-1}, x_ {u}, x_ {i + 1}, cdots, x_ {n}) { text {d}} { text {str }} _ {X_ {i + 1}, cdots, X_ {n}} (x_ {i + 1}, cdots, x_ {n}) & quad - int _ {{ mathcal {X }} _ {i + 1} times cdots times { mathcal {X}} _ {n}} f (X_ {1}, cdots, X_ {i-1}, x_ {l}, x_ { i + 1}, cdots, x_ {n}) { text {d}} { text {P}} _ {X_ {i + 1}, cdots, X_ {n}} (x_ {i + 1 }, cdots, x_ {n}) & = { podmnožina {x_ {u} v { mathcal {X}} _ {i}, x_ {l} v { mathcal {X}} _ {i}} { sup}} int _ {{ mathcal {X}} _ {i + 1} times cdots times { mathcal {X}} _ {n}} f (X_ {1} , cdots, X_ {i-1}, x_ {u}, x_ {i + 1}, cdots, x_ {n}) & quad -f (X_ {1}, cdots, X_ {i -1}, x_ {l}, x_ {i + 1}, cdots, x_ {n}) { text {d}} { text {P}} _ {X_ {i + 1}, cdots , X_ {n}} (x_ {i + 1}, cdots, x_ {n}) & leq { podmnožina {x_ {u} v { mathcal {X}} _ {i}, x_ {l} in { mathcal {X}} _ {i}} { sup}} int _ {{ mathcal {X}} _ {i + 1} times cdots times { mathcal {X }} _ {n}} c_ {i} { text {d}} { text {P}} _ {X_ {i + 1}, cdots, X_ {n}} (x_ {i + 1} , cdots, x_ {n}) & leq c_ {i} end {zarovnáno}}}

kde třetí rovnost platí kvůli nezávislosti ${ displaystyle X_ {1}, X_ {2}, cdots, X_ {n}}$ . Poté použijte obecná forma Azumovy nerovnosti na ${ displaystyle left {Z_ {i} right }}$ , my máme

{ displaystyle { text {P}} (f (X_ {1}, cdots, X_ {n}) - mathbb {E} [f (X_ {1}, cdots, X_ {n})] geq epsilon) = { text {P}} (Z_ {n} -Z_ {0} geq epsilon) leq exp left (- { frac {2 epsilon ^ {2}} { sum _ {i = 1} ^ {n} c_ {i} ^ {2}}} right).}

Jednostranné vázání z druhého směru se získá aplikací Azumovy nerovnosti na ${ displaystyle left {- Z_ {i} right }}$ a oboustranná vazba vyplývá z odborově vázán. ${ displaystyle square}$

Viz také

Koncentrační nerovnost - souhrn McDiarmidových a několika podobných nerovností.

Reference

^ ^A ^b Doob, J. L. (1940). "Vlastnosti pravidelnosti určitých skupin náhodných proměnných" (PDF). Transakce Americké matematické společnosti. 47 (3): 455–486. doi:10.2307/1989964. JSTOR 1989964.
^ Doob, J. L. (1953). Stochastické procesy. 101. New York: Wiley. str. 293.

[Doob-1] A ^b Doob, J. L. (1940). "Vlastnosti pravidelnosti určitých skupin náhodných proměnných" (PDF). Transakce Americké matematické společnosti. 47 (3): 455–486. doi:10.2307/1989964. JSTOR 1989964.

[2] Doob, J. L. (1953). Stochastické procesy. 101. New York: Wiley. str. 293.

[1]

[2]