Funkce generující momenty - Moment-generating function

v teorie pravděpodobnosti a statistika, funkce generující momenty skutečné hodnoty náhodná proměnná je jeho alternativní specifikací rozdělení pravděpodobnosti. Poskytuje tedy základ alternativní cesty k analytickým výsledkům ve srovnání s přímou prací funkce hustoty pravděpodobnosti nebo kumulativní distribuční funkce. Existují obzvláště jednoduché výsledky pro funkce generování momentů distribucí definované váženými součty náhodných proměnných. Ne všechny náhodné proměnné však mají funkce generující momenty.

Jak název napovídá, moment generující funkce lze použít k výpočtu distribuce momenty: nten okamžik kolem 0 je nth derivát funkce generující moment, vyhodnocen na 0.

Kromě distribucí se skutečnou hodnotou (jednorozměrné distribuce) lze definovat funkce generující momenty pro náhodné proměnné s vektorovou nebo maticovou hodnotou a lze je dokonce rozšířit na obecnější případy.

Funkce generování momentů distribuce se skutečnou hodnotou na rozdíl od ne vždy neexistuje charakteristická funkce. Mezi chováním momentálně generující funkce distribuce a vlastnostmi distribuce, jako je existence momentů, existují vztahy.

Definice

Funkce generující moment a náhodná proměnná X je

${ displaystyle M_ {X} (t): = operatorname {E} left [e ^ {tX} right], quad t in mathbb {R},}$

ať už je to kdekoli očekávání existuje. Jinými slovy, moment generující funkce X je očekávání náhodné proměnné ${ displaystyle e ^ {tX}}$. Obecněji, kdy ${ displaystyle mathbf {X} = (X_ {1}, ldots, X_ {n}) ^ { mathrm {T}}}$, an ${ displaystyle n}$-dimenzionální náhodný vektor, a ${ displaystyle mathbf {t}}$ je fixní vektor, jeden používá ${ displaystyle mathbf {t} cdot mathbf {X} = mathbf {t} ^ { mathrm {T}} mathbf {X}}$ namísto${ displaystyle tX}$:

${ displaystyle M _ { mathbf {X}} ( mathbf {t}): = operatorname {E} left (e ^ { mathbf {t} ^ { mathrm {T}} mathbf {X}} že jo).}$

${ displaystyle M_ {X} (0)}$ vždy existuje a rovná se 1. Klíčovým problémem funkcí generujících momenty však je, že momenty a funkce generující momenty nemusí existovat, protože integrály nemusí absolutně konvergovat. Naproti tomu charakteristická funkce nebo Fourierova transformace vždy existuje (protože je integrálem omezené funkce v prostoru konečné opatření ), a pro některé účely mohou být použity místo.

Funkce generující momenty je pojmenována tak, protože ji lze použít k vyhledání momentů distribuce.^[1] Sériové rozšíření ${ displaystyle e ^ {tX}}$ je

${ displaystyle e ^ {t , X} = 1 + t , X + { frac {t ^ {2} , X ^ {2}} {2!}} + { frac {t ^ {3} , X ^ {3}} {3!}} + Cdots + { frac {t ^ {n} , X ^ {n}} {n!}} + Cdots.}$

Proto

${ displaystyle { begin {zarovnáno} M_ {X} (t) = operatorname {E} (e ^ {t , X}) & = 1 + t operatorname {E} (X) + { frac { t ^ {2} operatorname {E} (X ^ {2})} {2!}} + { frac {t ^ {3} operatorname {E} (X ^ {3})} {3!} } + cdots + { frac {t ^ {n} operatorname {E} (X ^ {n})} {n!}} + cdots & = 1 + tm_ {1} + { frac { t ^ {2} m_ {2}} {2!}} + { frac {t ^ {3} m_ {3}} {3!}} + cdots + { frac {t ^ {n} m_ { n}} {n!}} + cdots, end {zarovnáno}}}$

kde ${ displaystyle m_ {n}}$ je ${ displaystyle n}$th okamžik. Diferenciace ${ displaystyle M_ {X} (t)}$ ${ displaystyle i}$ krát s ohledem na ${ displaystyle t}$ a nastavení ${ displaystyle t = 0}$, získáme ${ displaystyle i}$ten okamžik o původu, ${ displaystyle m_ {i}}$;vidět Výpočty momentů níže.

Li ${ displaystyle X}$ je spojitá náhodná proměnná, následující vztah mezi její funkcí generující moment ${ displaystyle M_ {X} (t)}$ a oboustranná Laplaceova transformace jeho funkce hustoty pravděpodobnosti ${ displaystyle f_ {X} (x)}$ drží:

${ displaystyle M_ {X} (t) = { mathcal {L}} {f_ {X} } (- t),}$

protože oboustranná Laplaceova transformace PDF je uvedena jako

${ displaystyle { mathcal {L}} {f_ {X} } (s) = int _ {- infty} ^ { infty} e ^ {- sx} f_ {X} (x) , dx,}$

a definice funkce generující moment se rozšiřuje (o zákon statistika v bezvědomí ) až

${ displaystyle M_ {X} (t) = operatorname {E} left [e ^ {tX} right] = int _ {- infty} ^ { infty} e ^ {tx} f_ {X} (x) , dx.}$

To je v souladu s charakteristickou funkcí ${ displaystyle X}$ být Rotace knotu z ${ displaystyle M_ {X} (t)}$ když existuje funkce generující moment, jako charakteristická funkce spojité náhodné proměnné ${ displaystyle X}$ je Fourierova transformace jeho funkce hustoty pravděpodobnosti ${ displaystyle f_ {X} (x)}$a obecně, když je funkce ${ displaystyle f (x)}$ je z exponenciální pořadí Fourierova transformace ${ displaystyle f}$ je Wickova rotace jeho oboustranné Laplaceovy transformace v oblasti konvergence. Vidět vztah Fourierových a Laplaceových transformací pro další informace.

Příklady

Zde je několik příkladů funkce generující moment a charakteristické funkce pro srovnání. Je vidět, že charakteristická funkce je a Rotace knotu funkce generující moment ${ displaystyle M_ {X} (t)}$ když druhý existuje.

Rozdělení	Funkce generující momenty ${ displaystyle M_ {X} (t)}$	Charakteristická funkce ${ displaystyle varphi (t)}$
Degenerovat ${ displaystyle delta _ {a}}$	${ displaystyle e ^ {ta}}$	${ displaystyle e ^ {ita}}$
Bernoulli ${ displaystyle P (X = 1) = p}$	${ displaystyle 1-p + pe ^ {t}}$	${ displaystyle 1-p + pe ^ {it}}$
Geometrický ${ displaystyle (1-p) ^ {k-1} , p}$	${ displaystyle { frac {pe ^ {t}} {1- (1-p) e ^ {t}}}}$ ${ displaystyle forall t <- ln (1-p)}$	${ displaystyle { frac {pe ^ {it}} {1- (1-p) , e ^ {it}}}}$
Binomický ${ displaystyle B (n, p)}$	${ displaystyle left (1-p + pe ^ {t} right) ^ {n}}$	${ displaystyle left (1-p + pe ^ {it} right) ^ {n}}$
Negativní binomický ${ displaystyle operatorname {NB} (r, p)}$	${ displaystyle left ({ frac {pe ^ {t}} {1-e ^ {t} + pe ^ {t}}} right) ^ {r}}$	${ displaystyle left ({ frac {pe ^ {it}} {1-e ^ {it} + pe ^ {it}}} right) ^ {r}}$
jed ${ displaystyle operatorname {Pois} ( lambda)}$	${ displaystyle e ^ { lambda (e ^ {t} -1)}}$	${ displaystyle e ^ { lambda (e ^ {it} -1)}}$
Jednotný (průběžný) ${ displaystyle operatorname {U} (a, b)}$	${ displaystyle { frac {e ^ {tb} -e ^ {ta}} {t (b-a)}}}$	${ displaystyle { frac {e ^ {itb} -e ^ {ita}} {it (b-a)}}}$
Uniformní (diskrétní) ${ displaystyle operatorname {DU} (a, b)}$	${ displaystyle { frac {e ^ {at} -e ^ {(b + 1) t}} {(b-a + 1) (1-e ^ {t})}}}$	${ displaystyle { frac {e ^ {ait} -e ^ {(b + 1) it}} {(b-a + 1) (1-e ^ {it})}}}$
Laplace ${ displaystyle L ( mu, b)}$	${ displaystyle { frac {e ^ {t mu}} {1-b ^ {2} t ^ {2}}}, ~ | t | <1 / b}$	${ displaystyle { frac {e ^ {it mu}} {1 + b ^ {2} t ^ {2}}}}$
Normální ${ displaystyle N ( mu, sigma ^ {2})}$	${ displaystyle e ^ {t mu + { frac {1} {2}} sigma ^ {2} t ^ {2}}}$	${ displaystyle e ^ {it mu - { frac {1} {2}} sigma ^ {2} t ^ {2}}}$
Chi-na druhou ${ displaystyle chi _ {k} ^ {2}}$	${ displaystyle (1-2 t) ^ {- { frac {k} {2}}}}$	${ displaystyle (1-2it) ^ {- { frac {k} {2}}}}$
Noncentrální chí-kvadrát ${ displaystyle chi _ {k} ^ {2} ( lambda)}$	${ displaystyle e ^ { lambda t / (1-2t)} (1-2t) ^ {- { frac {k} {2}}}}$	${ displaystyle e ^ {i lambda t / (1-2it)} (1-2it) ^ {- { frac {k} {2}}}}$
Gama ${ displaystyle gama (k, theta)}$	${ displaystyle (1-t theta) ^ {- k}, ~ forall t <{ tfrac {1} { theta}}}$	${ displaystyle (1-it theta) ^ {- k}}$
Exponenciální ${ displaystyle operatorname {Exp} ( lambda)}$	${ displaystyle left (1-t lambda ^ {- 1} right) ^ {- 1}, ~ t < lambda}$	${ displaystyle left (1-it lambda ^ {- 1} right) ^ {- 1}}$
Vícerozměrné normální ${ displaystyle N ( mathbf { mu}, mathbf { Sigma})}$	${ displaystyle e ^ { mathbf {t} ^ { mathrm {T}} vlevo ({ boldsymbol { mu}} + { frac {1} {2}} mathbf { Sigma t} vpravo )}}$	${ displaystyle e ^ { mathbf {t} ^ { mathrm {T}} vlevo (i { boldsymbol { mu}} - { frac {1} {2}} { boldsymbol { Sigma}} mathbf {t} vpravo)}}$
Cauchy ${ displaystyle operatorname {Cauchy} ( mu, theta)}$	Neexistuje	${ displaystyle e ^ {it mu - theta | t |}}$
Vícerozměrný Cauchy ${ displaystyle operatorname {MultiCauchy} ( mu, Sigma)}$[2]	Neexistuje	${ displaystyle ! , e ^ {i mathbf {t} ^ { mathrm {T}} { boldsymbol { mu}} - { sqrt { mathbf {t} ^ { mathrm {T}} { boldsymbol { Sigma}} mathbf {t}}}}}$

Výpočet

Funkce generující moment je očekávání funkce náhodné proměnné, lze ji zapsat jako:

• Pro diskrétní funkce pravděpodobnostní hmotnosti, ${ displaystyle M_ {X} (t) = součet _ {i = 1} ^ { infty} e ^ {tx_ {i}} , p_ {i}}$
• Pro kontinuální funkce hustoty pravděpodobnosti, ${ displaystyle M_ {X} (t) = int _ {- infty} ^ { infty} e ^ {tx} f (x) , dx}$
• Obecně: ${ displaystyle M_ {X} (t) = int _ {- infty} ^ { infty} e ^ {tx} , dF (x)}$, za použití Riemann – Stieltjesův integrál, a kde ${ displaystyle F}$ je kumulativní distribuční funkce.

Všimněte si, že pro případ, kdy ${ displaystyle X}$ má kontinuální funkce hustoty pravděpodobnosti ${ displaystyle f (x)}$, ${ displaystyle M_ {X} (- t)}$ je oboustranná Laplaceova transformace z ${ displaystyle f (x)}$.

${ displaystyle { begin {zarovnáno} M_ {X} (t) & = int _ {- infty} ^ { infty} e ^ {tx} f (x) , dx & = int _ {- infty} ^ { infty} left (1 + tx + { frac {t ^ {2} x ^ {2}} {2!}} + cdots + { frac {t ^ {n} x ^ {n}} {n!}} + cdots right) f (x) , dx & = 1 + tm_ {1} + { frac {t ^ {2} m_ {2}} {2 !}} + cdots + { frac {t ^ {n} m_ {n}} {n!}} + cdots, end {zarovnáno}}}$

kde ${ displaystyle m_ {n}}$ je ${ displaystyle n}$th okamžik.

Lineární transformace náhodných proměnných

Je-li náhodná proměnná ${ displaystyle X}$ má funkci generování momentů ${ displaystyle M_ {X} (t)}$, pak ${ displaystyle alpha X + beta}$ má funkci generování momentů ${ displaystyle M _ { alpha X + beta} (t) = e ^ { beta t} M_ {X} ( alpha t)}$

${ displaystyle M _ { alpha X + beta} (t) = E [e ^ {( alpha X + beta) t}] = e ^ { beta t} E [e ^ { alpha Xt}] = e ^ { beta t} M_ {X} ( alfa t)}$

Lineární kombinace nezávislých náhodných proměnných

Li ${ displaystyle S_ {n} = součet _ {i = 1} ^ {n} a_ {i} X_ {i}}$, Kde X_i jsou nezávislé náhodné proměnné a A_i jsou konstanty, pak funkce hustoty pravděpodobnosti pro S_n je konvoluce funkcí hustoty pravděpodobnosti každé z X_ia funkce generující moment pro S_n darováno

${ displaystyle M_ {S_ {n}} (t) = M_ {X_ {1}} (a_ {1} t) M_ {X_ {2}} (a_ {2} t) cdots M_ {X_ {n} }(mravenec),.}$

Náhodné proměnné s vektorovou hodnotou

Pro vektorové náhodné proměnné ${ displaystyle mathbf {X}}$ s nemovitý komponent, funkce generující moment je dána vztahem

${ displaystyle M_ {X} ( mathbf {t}) = E vlevo (e ^ { langle mathbf {t}, mathbf {X} rangle} vpravo)}$

kde ${ displaystyle mathbf {t}}$ je vektor a ${ displaystyle langle cdot, cdot rangle}$ je Tečkovaný produkt.

Důležité vlastnosti

Funkce generující momenty jsou pozitivní a log-konvexní, s M(0) = 1.

Důležitou vlastností funkce generující momenty je to, že jednoznačně určuje rozdělení. Jinými slovy, pokud ${ displaystyle X}$ a ${ displaystyle Y}$ jsou dvě náhodné proměnné a pro všechny hodnotyt,

${ displaystyle M_ {X} (t) = M_ {Y} (t), ,}$

pak

${ displaystyle F_ {X} (x) = F_ {Y} (x) ,}$

pro všechny hodnoty X (nebo ekvivalentně X a Y mají stejnou distribuci). Toto tvrzení není ekvivalentní tvrzení „pokud mají dvě distribuce stejné momenty, pak jsou ve všech bodech identické.“ Je to proto, že v některých případech momenty existují, a přesto funkce generující momenty ne, protože limit

${ displaystyle lim _ {n rightarrow infty} sum _ {i = 0} ^ {n} { frac {t ^ {i} m_ {i}} {i!}}}$

nemusí existovat. The lognormální distribuce je příkladem, kdy k tomu dojde.

Výpočty momentů

Funkce generující moment se nazývá, protože pokud existuje v otevřeném intervalu kolem t = 0, pak je to exponenciální generující funkce z momenty z rozdělení pravděpodobnosti:

${ displaystyle m_ {n} = E left (X ^ {n} right) = M_ {X} ^ {(n)} (0) = left. { frac {d ^ {n} M_ {X }} {dt ^ {n}}} doprava | _ {t = 0}.}$

To znamená s n jako nezáporné celé číslo, nten okamžik kolem 0 je nth derivace funkce generování momentu, vyhodnocená v t = 0.

Další vlastnosti

Jensenova nerovnost poskytuje jednoduchou spodní hranici funkce generující moment:

${ displaystyle M_ {X} (t) geq e ^ { mu t},}$

kde ${ displaystyle mu}$ je průměr z X.

Funkce horního ohraničení funkce generující moment lze použít ve spojení s Markovova nerovnost svázat horní ocas skutečné náhodné proměnné X. Toto prohlášení se také nazývá Černoff svázán. Od té doby ${ displaystyle x mapsto e ^ {xt}}$ monotónně roste pro ${ displaystyle t> 0}$, my máme

${ displaystyle P (X geq a) = P (e ^ {tX} geq e ^ {ta}) leq e ^ {- v} E [e ^ {tX}] = e ^ {- v} M_ {X} (t)}$

pro všechny ${ displaystyle t> 0}$ a jakékoli A, za předpokladu ${ displaystyle M_ {X} (t)}$ existuje. Například když X je standardní normální rozdělení a ${ displaystyle a> 0}$, můžeme si vybrat ${ displaystyle t = a}$ a připomeň si to ${ displaystyle M_ {X} (t) = e ^ {t ^ {2} / 2}}$. To dává ${ displaystyle P (X geq a) leq e ^ {- a ^ {2} / 2}}$, což je faktor 1+A přesné hodnoty.

Různá lemata, jako např Hoeffdingovo lemma nebo Bennettova nerovnost poskytnout hranice funkce generující moment v případě nulové střední, ohraničené náhodné proměnné.

Když ${ displaystyle X}$ je nezáporná, funkce generující moment dává jednoduchou a užitečnou vazbu na momenty:

${ displaystyle E [X ^ {m}] leq left ({ frac {m} {te}} right) ^ {m} M_ {X} (t),}$

Pro všechny ${ displaystyle X, m geq 0}$ a ${ displaystyle t> 0}$.

To vyplývá z jednoduché nerovnosti ${ displaystyle 1 + x leq e ^ {x}}$ do kterého můžeme dosadit ${ displaystyle x '= tx / m-1}$ naznačuje ${ displaystyle tx / m leq e ^ {tx / m-1}}$ pro všechny ${ displaystyle x, t, m in mathbb {R}}$.Teď když ${ displaystyle t> 0}$ a ${ displaystyle x, m geq 0}$, to lze přeskupit na ${ displaystyle x ^ {m} leq (m / (te)) ^ {m} e ^ {tx}}$.Očekávání na obou stranách dává závazek ${ displaystyle E [X ^ {m}]}$ ve smyslu ${ displaystyle E [e ^ {tX}]}$.

Jako příklad zvažte ${ displaystyle X sim { text {Chi-Squared}}}$ s ${ displaystyle k}$ stupně svobody. Pak víme ${ displaystyle M_ {X} (t) = (1-2 t) ^ {- k / 2}}$.Vybírání ${ displaystyle t = m / (2m + k)}$ a zapojením do svazku dostaneme

${ displaystyle E [X ^ {m}] leq (1 + 2m / k) ^ {k / 2} e ^ {- m} (k + 2m) ^ {m}.}$

Víme, že v tomto případě správná vazba je ${ displaystyle E [X ^ {m}] leq 2 ^ {m} gama (m + k / 2) / gama (k / 2)}$.K porovnání hranic můžeme považovat asymptotiku za velkou ${ displaystyle k}$Tady je vázán Mgf ${ displaystyle k ^ {m} (1 + m ^ {2} / k + O (1 / k ^ {2}))}$, kde je skutečná hranice ${ displaystyle k ^ {m} (1+ (m ^ {2} -m) / k + O (1 / k ^ {2}))}$Vazba Mgf je tedy v tomto případě velmi silná.

Vztah k ostatním funkcím

S funkcí generující momenty souvisí řada dalších transformuje které jsou běžné v teorii pravděpodobnosti:

Charakteristická funkce

The charakteristická funkce ${ displaystyle varphi _ {X} (t)}$ souvisí s funkcí generující moment pomocí ${ displaystyle varphi _ {X} (t) = M_ {iX} (t) = M_ {X} (it):}$ charakteristická funkce je moment-generující funkce iX nebo funkce generování momentu X vyhodnoceno na imaginární ose. Tuto funkci lze také zobrazit jako Fourierova transformace z funkce hustoty pravděpodobnosti, což z toho tedy lze odvodit inverzní Fourierovou transformací.

Funkce generující kumulant

The funkce generující kumulant je definován jako logaritmus funkce generující moment; někteří místo toho definují funkci generující kumulant jako logaritmus charakteristická funkce, zatímco ostatní tomu říkají druhý funkce generující kumulant.

Funkce generující pravděpodobnost

The funkce generující pravděpodobnost je definován jako ${ displaystyle G (z) = E doleva [z ^ {X} doprava]. ,}$ To okamžitě naznačuje ${ displaystyle G (e ^ {t}) = E doleva [e ^ {tX} doprava] = M_ {X} (t). ,}$

Viz také

• Entropická hodnota v ohrožení
• Funkce generující faktoriální moment
• Hodnotit funkci
• Hamburgerův momentový problém

Tento článek obsahuje seznam obecných Reference, ale zůstává z velké části neověřený, protože postrádá dostatečné odpovídající vložené citace. Prosím pomozte zlepšit tento článek představuji přesnější citace. (Únor 2010) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

Reference

Citace

Zdroje