Kullbackova nerovnost - Kullbacks inequality - Wikipedia

v teorie informace a statistika, Kullbackova nerovnost je dolní mez na Kullback – Leiblerova divergence vyjádřeno v velké odchylky rychlostní funkce.^[1] Li P a Q jsou rozdělení pravděpodobnosti na skutečné linii, takhle P je absolutně kontinuální s ohledem na Q, tj. P<<Q, a jehož první okamžiky tedy existují

{ displaystyle D_ {KL} (P | Q) geq Psi _ {Q} ^ {*} ( mu '_ {1} (P)),}

kde ${ displaystyle Psi _ {Q} ^ {*}}$ je rychlostní funkce, tj konvexní konjugát z kumulant -generační funkce, z ${ displaystyle Q}$ , a ${ displaystyle mu '_ {1} (P)}$ je první okamžik z ${ displaystyle P.}$

The Cramér – Rao vázán je důsledkem tohoto výsledku.

Důkaz

Nechat P a Q být rozdělení pravděpodobnosti (míry) na reálné linii, jejíž první okamžiky existují, a takové P<<Q. Zvažte přirozená exponenciální rodina z Q dána

{ displaystyle Q _ { theta} (A) = { frac { int _ {A} e ^ { theta x} Q (dx)} { int _ {- infty} ^ { infty} e ^ { theta x} Q (dx)}} = { frac {1} {M_ {Q} ( theta)}} int _ {A} e ^ { theta x} Q (dx)}

pro každou měřitelnou sadu A, kde ${ displaystyle M_ {Q}}$ je funkce generující momenty z Q. (Všimněte si, že Q₀=Q.) Pak

{ displaystyle D_ {KL} (P | Q) = D_ {KL} (P | Q _ { theta}) + int _ { mathrm {supp} P} left ( log { frac { mathrm {d} Q _ { theta}} { mathrm {d} Q}} doprava) mathrm {d} P.}

Podle Gibbsova nerovnost my máme ${ displaystyle D_ {KL} (P | Q _ { theta}) geq 0}$ aby

{ displaystyle D_ {KL} (P | Q) geq int _ { mathrm {supp} P} left ( log { frac { mathrm {d} Q _ { theta}} { mathrm { d} Q}} vpravo) mathrm {d} P = int _ { mathrm {supp} P} vlevo ( log { frac {e ^ { theta x}} {M_ {Q} ( theta)}} vpravo) P (dx)}

Zjednodušení pravé strany, máme pro každé skutečné θ kde ${ displaystyle M_ {Q} ( theta) < infty:}$

{ displaystyle D_ {KL} (P | Q) geq mu '_ {1} (P) theta - Psi _ {Q} ( theta),}

kde ${ displaystyle mu '_ {1} (P)}$ je první okamžik, nebo průměr, z P, a ${ displaystyle Psi _ {Q} = log M_ {Q}}$ se nazývá funkce generující kumulant. Převzetí suprema završuje proces konvexní konjugace a dává rychlostní funkce:

{ displaystyle D_ {KL} (P | Q) geq sup _ { theta} left { mu '_ {1} (P) theta - Psi _ {Q} ( theta) vpravo } = Psi _ {Q} ^ {*} ( mu '_ {1} (P)).}

Dodatek: svázán Cramér – Rao

Začněte s Kullbackovou nerovností

Nechat X_θ být rodinou rozdělení pravděpodobnosti na reálné linii indexované skutečným parametrem θ a splňující určité podmínky pravidelnosti. Pak

{ displaystyle lim _ {h rightarrow 0} { frac {D_ {KL} (X _ { theta + h} | X _ { theta})} {h ^ {2}}} geq lim _ {h rightarrow 0} { frac { Psi _ { theta} ^ {*} ( mu _ { theta + h})} {h ^ {2}}},}

kde ${ displaystyle Psi _ { theta} ^ {*}}$ je konvexní konjugát z funkce generující kumulant z ${ displaystyle X _ { theta}}$ a ${ displaystyle mu _ { theta + h}}$ je první okamžik ${ displaystyle X _ { theta + h}.}$

Levá strana

Levou stranu této nerovnosti lze zjednodušit takto:

{ displaystyle { begin {aligned} lim _ {h to 0} { frac {D_ {KL} (X _ { theta + h} | X _ { theta})} {h ^ {2}} } & = lim _ {h to 0} { frac {1} {h ^ {2}}} int _ {- infty} ^ { infty} log left ({ frac { mathrm {d} X _ { theta + h}} { mathrm {d} X _ { theta}}} right) mathrm {d} X _ { theta + h} & = - lim _ {h do 0} { frac {1} {h ^ {2}}} int _ {- infty} ^ { infty} log left ({ frac { mathrm {d} X _ { theta}} { mathrm {d} X _ { theta + h}}} vpravo) mathrm {d} X _ { theta + h} & = - lim _ {h na 0} { frac {1} {h ^ {2}}} int _ {- infty} ^ { infty} log left (1- left (1 - { frac { mathrm {d} X _ { theta}} { mathrm {d} X _ { theta + h}}} right) right) mathrm {d} X _ { theta + h} & = lim _ {h to 0} { frac {1} {h ^ {2}}} int _ {- infty} ^ { infty} left [ left (1 - { frac { mathrm {d} X _ { theta}} { mathrm {d} X _ { theta + h}}} right) + { frac {1} {2}} left (1 - { frac { mathrm {d} X _ { theta}} { mathrm {d} X_ { theta + h}}} right) ^ {2} + o left ( left (1 - { frac { mathrm {d} X _ { theta}} { mathrm {d} X _ { theta + h}}} right) ^ {2} right) right] mathrm {d} X _ { theta + h} && { text {Taylorova řada pro}} log (1-t) & = lim _ {h to 0} { frac {1} {h ^ {2}}} int _ {- infty} ^ { infty} left [ { frac {1} {2}} vlevo (1 - { frac { mathrm {d} X _ { theta}} { mathrm {d} X _ { theta + h}}} vpravo) ^ { 2} right] mathrm {d} X _ { theta + h} & = lim _ {h to 0} { frac {1} {h ^ {2}}} int _ {- infty} ^ { infty} left [{ frac {1} {2}} left ({ frac { mathrm {d} X _ { theta + h} - mathrm {d} X _ { theta} } { mathrm {d} X _ { theta + h}}} right) ^ {2} right] mathrm {d} X _ { theta + h} & = { frac {1} {2 }} { mathcal {I}} _ {X} ( theta) end {zarovnáno}}}

což je polovina Fisher informace parametru θ.

Pravá strana

Pravou stranu nerovnosti lze vyvinout následovně:

{ displaystyle lim _ {h rightarrow 0} { frac { Psi _ { theta} ^ {*} ( mu _ { theta + h})} {h ^ {2}}} = lim _ {h rightarrow 0} { frac {1} {h ^ {2}}} { sup _ {t} { mu _ { theta + h} t- Psi _ { theta} (t ) }}.}

Této nadřazenosti je dosaženo při hodnotě t= τ, kde je první derivace funkce generující kumulant ${ displaystyle Psi '_ { theta} ( tau) = mu _ { theta + h},}$ ale máme ${ displaystyle Psi '_ { theta} (0) = mu _ { theta},}$ aby