Velké O v notaci pravděpodobnosti - Big O in probability notation

The pořadí v pravděpodobnosti notace se používá v teorie pravděpodobnosti a statistická teorie přímo paralelně s big-O notace to je standardní v matematika. Kde big-O notace pojednává o konvergenci posloupností nebo sad běžných čísel, řeší se pořadí v notaci pravděpodobnosti konvergence množin náhodných proměnných, kde konvergence je ve smyslu konvergence v pravděpodobnosti.^[1]

Definice

Malá O: konvergence v pravděpodobnosti

Pro sadu náhodných proměnných X_n a odpovídající sadu konstant A_n (oba indexovány n, které nemusí být diskrétní), zápis

${displaystyle X_ {n} = o_ {p} (a_ {n})}$

znamená, že soubor hodnot X_n/A_n s pravděpodobností konverguje k nule jako n se blíží k odpovídajícímu limitu. X_n = o_p(A_n) lze psát jako X_n/A_n = o_p(1), kde X_n = o_p(1) je definován jako,

${displaystyle lim _ {n o infty} P (| X_ {n} | geq varepsilon) = 0,}$

za každé kladné ε.^[2]

Big O: stochastická omezenost

Zápis,

${displaystyle X_ {n} = O_ {p} (a_ {n}),}$

znamená, že soubor hodnot X_n/A_n je stochasticky ohraničen. To znamená, že pro libovolné ε> 0 existuje konečná M> 0 a konečná N> 0 taková, že

${displaystyle P (| X_ {n} / a_ {n} |> M) N.}$

Srovnání dvou definic

Rozdíl mezi definicí je nepatrný. Pokud někdo použije definici limitu, dostane:

• Big O_p(1): ${displaystyle forall varepsilon quad there N_ {varepsilon}, delta _ {varepsilon} quad {ext {such that}} P (| X_ {n} | geq delta _ {varepsilon}) leq varepsilon quad forall n> N_ {varepsilon}}$
• Malé o_p(1): ${displaystyle forall varepsilon, delta quad there N_ {varepsilon, delta} quad {ext {such that}} P (| X_ {n} | geq delta) leq varepsilon quad forall n> N_ {varepsilon, delta}}$

Rozdíl spočívá v δ: pro stochastickou omezenost stačí, že existuje jeden (libovolně velký) δ pro uspokojení nerovnosti, a δ může být závislý na ε (odtud δ_ε). Na druhé straně, pro konvergenci, musí výrok platit nejen pro jeden, ale pro libovolný (libovolně malý) δ. V jistém smyslu to znamená, že sekvence musí být ohraničená, s ohraničením, které se zmenšuje s rostoucí velikostí vzorku.

To naznačuje, že pokud je sekvence o_p(1), pak je to O_p(1), tj. Konvergence v pravděpodobnosti znamená stochastickou omezenost. Opak však neplatí.

Příklad

Li ${displaystyle (X_ {n})}$ je stochastická sekvence, takže každý prvek má konečnou odchylku

${displaystyle X_ {n} -E (X_ {n}) = O_ {p} ({sqrt {operatorname {var} (X_ {n})}})}$

(viz Theorem 14.4-1 in Bishop et al.)

Pokud navíc ${displaystyle a_ {n} ^ {- 2} operatorname {var} (X_ {n}) = operatorname {var} (a_ {n} ^ {- 1} X_ {n})}$ je nulová sekvence pro sekvenci ${displaystyle (a_ {n})}$ skutečných čísel ${displaystyle a_ {n} ^ {- 1} (X_ {n} -E (X_ {n}))}$ s pravděpodobností konverguje k nule Čebyševova nerovnost, tak

${displaystyle X_ {n} -E (X_ {n}) = o_ {p} (a_ {n})}$.

Reference