Hellingerova vzdálenost - Hellinger distance

v pravděpodobnost a statistika, Hellingerova vzdálenost (úzce souvisí, i když se liší od, Bhattacharyya vzdálenost ) se používá ke kvantifikaci podobnosti mezi dvěma rozdělení pravděpodobnosti. Je to typ F-divergence. Hellingerova vzdálenost je definována z hlediska Hellingerův integrál, který představil Ernst Hellinger v roce 1909.^[1]^[2]

Definice

Teorie měření

Definovat Hellingerovu vzdálenost z hlediska teorie míry, nechť P a Q označit dva pravděpodobnostní opatření to jsou absolutně kontinuální s ohledem na třetí míru pravděpodobnosti λ. Čtverec vzdálenosti Hellingerů mezi P a Q je definováno jako množství

{displaystyle H ^ {2} (P, Q) = {frac {1} {2}} displaystyle int left ({sqrt {frac {dP} {dlambda}}} - {sqrt {frac {dQ} {dlambda}} } ight) ^ {2} dlambda.}

Tady, dP / dλ a dQ / dλ jsou Deriváty radonu a nikodymu z P a Q resp. Tato definice nezávisí na λ, tedy Hellingerova vzdálenost mezi nimi P a Q se nemění, pokud je λ nahrazeno jiným měřítkem pravděpodobnosti, ve vztahu k němuž obě P a Q jsou naprosto spojité. Pro kompaktnost je výše uvedený vzorec často psán jako

{displaystyle H ^ {2} (P, Q) = {frac {1} {2}} int left ({sqrt {dP}} - {sqrt {dQ}} ight) ^ {2}.}

Teorie pravděpodobnosti pomocí Lebesgueovy míry

Abychom definovali Hellingerovu vzdálenost z hlediska teorie základní pravděpodobnosti, považujeme λ za Lebesgueovo opatření, aby dP / dλ a dQ / dλ jsou jednoduše funkce hustoty pravděpodobnosti. Pokud označíme hustoty jako F a Gdruhou mocninu Hellingerovy vzdálenosti lze vyjádřit jako standardní integrál kalkulu

{displaystyle H ^ {2} (f, g) = {frac {1} {2}} int left ({sqrt {f (x)}} - {sqrt {g (x)}} ight) ^ {2} , dx = 1-int {sqrt {f (x) g (x)}}, dx,}

kde druhou formu lze získat rozšířením čtverce a použitím skutečnosti, že integrál hustoty pravděpodobnosti přes jeho doménu se rovná 1.

Hellingerova vzdálenost H(P, Q) uspokojuje majetek (odvozitelný z Cauchy – Schwarzova nerovnost )

{displaystyle 0leq H (P, Q) leq 1.}

Diskrétní distribuce

Pro dvě diskrétní rozdělení pravděpodobnosti ${displaystyle P = (p_ {1}, ldots, p_ {k})}$ a ${displaystyle Q = (q_ {1}, ldots, q_ {k})}$ , jejich vzdálenost Hellinger je definována jako

{displaystyle H (P, Q) = {frac {1} {sqrt {2}}}; {sqrt {sum _ {i = 1} ^ {k} ({sqrt {p_ {i}}} - {sqrt { q_ {i}}}) ^ {2}}},}

který přímo souvisí s Euklidovská norma rozdílu vektorů druhé odmocniny, tj.

{displaystyle H (P, Q) = {frac {1} {sqrt {2}}}; {igl |} {sqrt {P}} - {sqrt {Q}} {igr |} _ {2}.}

Taky, ${displaystyle 1-H ^ {2} (P, Q) = součet _ {i = 1} ^ {k} {sqrt {p_ {i} q_ {i}}}.}$

Vlastnosti

Hellingerova vzdálenost tvoří a ohraničený metrický na prostor rozdělení pravděpodobnosti za dané pravděpodobnostní prostor.

Maximální vzdálenosti 1 je dosaženo, když P přiřadí každé sadě pravděpodobnost nula Q přiřadí kladnou pravděpodobnost a naopak.

Někdy je to faktor ${displaystyle 1 / {sqrt {2}}}$ před integrálem je vynechán, v takovém případě se Hellingerova vzdálenost pohybuje od nuly do druhé odmocniny dvou.

Vzdálenost Hellingerů souvisí s Bhattacharyya koeficient ${displaystyle BC (P, Q)}$ jak to lze definovat jako

{displaystyle H (P, Q) = {sqrt {1-BC (P, Q)}}.}

Hellingerovy vzdálenosti se používají v teorii sekvenční a asymptotické statistiky.^[3]^[4]

Na druhou Hellingerova vzdálenost mezi dvěma normální distribuce ${displaystyle scriptstyle P, sim, {mathcal {N}} (mu _ {1}, sigma _ {1} ^ {2})}$ a ${displaystyle scriptstyle Q, sim, {mathcal {N}} (mu _ {2}, sigma _ {2} ^ {2})}$ je:

{displaystyle H ^ {2} (P, Q) = 1- {sqrt {frac {2sigma _ {1} sigma _ {2}} {sigma _ {1} ^ {2} + sigma _ {2} ^ {2 }}}}, e ^ {- {frac {1} {4}} {frac {(mu _ {1} -mu _ {2}) ^ {2}} {sigma _ {1} ^ {2} + sigma _ {2} ^ {2}}}}.}

Na druhou Hellingerova vzdálenost mezi dvěma vícerozměrné normální rozdělení ${displaystyle scriptstyle P, sim, {mathcal {N}} (mu _ {1}, součet _ {1})}$ a ${displaystyle scriptstyle Q, sim, {mathcal {N}} (mu _ {2}, součet _ {2})}$ je

^[5]

{displaystyle H ^ {2} (P, Q) = 1- {frac {det (suma _ {1}) ^ {1/4} det (suma _ {2}) ^ {1/4}} {det vlevo ({frac {sum _ {1} + sum _ {2}} {2}} ight) ^ {1/2}}} exp vlevo {- {frac {1} {8}} (mu _ {1} - mu _ {2}) ^ {T} vlevo ({frac {sum _ {1} + sum _ {2}} {2}} ight) ^ {- 1} (mu _ {1} -mu _ {2} ) v noci}}

Na druhou Hellingerova vzdálenost mezi dvěma exponenciální distribuce ${displaystyle scriptstyle P, sim, {m {{Exp} (alfa)}}}$ a ${displaystyle scriptstyle Q, sim, {m {{Exp} (eta)}}}$ je:

{displaystyle H ^ {2} (P, Q) = 1- {frac {2 {sqrt {alpha eta}}} {alpha + eta}}.}

Na druhou Hellingerova vzdálenost mezi dvěma Weibullovy distribuce ${displaystyle scriptstyle P, sim, {m {{W} (k, alfa)}}}$ a ${displaystyle scriptstyle Q, sim, {m {{W} (k, eta)}}}$ (kde ${displaystyle k}$ je běžný tvarový parametr a ${displaystyle alpha ,, eta}$ jsou parametry měřítka):

{displaystyle H ^ {2} (P, Q) = 1- {frac {2 (alfa eta) ^ {k / 2}} {alpha ^ {k} + eta ^ {k}}}.}

Na druhou Hellingerova vzdálenost mezi dvěma Poissonovo rozdělení s parametry sazby ${displaystyle alpha}$ a ${displaystyle eta}$ , aby ${displaystyle scriptstyle P, sim, {m {{Poisson} (alfa)}}}$ a ${displaystyle scriptstyle Q, sim, {m {{Poisson} (eta)}}}$ , je:

{displaystyle H ^ {2} (P, Q) = 1-e ^ {- {frac {1} {2}} ({sqrt {alpha}} - {sqrt {eta}}) ^ {2}}.}

Na druhou Hellingerova vzdálenost mezi dvěma Beta distribuce ${displaystyle scriptstyle P, sim, {ext {Beta}} (a_ {1}, b_ {1})}$ a ${displaystyle scriptstyle Q, sim, {ext {Beta}} (a_ {2}, b_ {2})}$ je:

{displaystyle H ^ {2} (P, Q) = 1- {frac {Bleft ({frac {a_ {1} + a_ {2}} {2}}, {frac {b_ {1} + b_ {2} } {2}} ight)} {sqrt {B (a_ {1}, b_ {1}) B (a_ {2}, b_ {2})}}}}

kde ${displaystyle B}$ je Funkce Beta.

Spojení s celkovou variační vzdáleností

Hellingerova vzdálenost ${displaystyle H (P, Q)}$ a celková variační vzdálenost (nebo statistická vzdálenost) ${displaystyle delta (P, Q)}$ souvisí takto:^[6]

{displaystyle H ^ {2} (P, Q) leq delta (P, Q) leq {sqrt {2}} H (P, Q) ,.}

Tyto nerovnosti vyplývají okamžitě z nerovností mezi 1-norma a 2-norma.

Viz také

Poznámky

^ Nikulin, M.S. (2001) [1994], „Hellingerova vzdálenost“, Encyclopedia of Mathematics, Stiskněte EMS
^ Hellinger, Ernst (1909), „Neue Begründung der Theorie quadratischer Formen von unendlichvielen Veränderlichen“, Journal für die reine und angewandte Mathematik (v němčině), 136: 210–271, doi:10,1515 / crll.1909.136.210, JFM 40.0393.01
^ Torgerson, Erik (1991). "Porovnání statistických experimentů". Encyclopedia of Mathematics. 36. Cambridge University Press.
^ Liese, Friedrich; Miescke, Klaus-J. (2008). Teorie statistického rozhodování: Odhad, testování a výběr. Springer. ISBN 0-387-73193-8.
^ Pardo, L. (2006). Statistická inference založená na opatřeních divergence. New York: Chapman and Hall / CRC. str. 51. ISBN 1-58488-600-5.
^ Harsha, Prahladh (23. září 2011). „Přednášky o složitosti komunikace“ (PDF).

Reference

Yang, Grace Lo; Le Cam, Lucien M. (2000). Asymptotika ve statistice: Některé základní pojmy. Berlín: Springer. ISBN 0-387-95036-2.
Vaart, A. W. van der. Asymptotická statistika (Cambridge Series ve statistické a pravděpodobnostní matematice). Cambridge, Velká Británie: Cambridge University Press. ISBN 0-521-78450-6.
Pollard, David E. (2002). Uživatelská příručka k měření teoretické pravděpodobnosti. Cambridge, Velká Británie: Cambridge University Press. ISBN 0-521-00289-3.

[1] Nikulin, M.S. (2001) [1994], „Hellingerova vzdálenost“, Encyclopedia of Mathematics, Stiskněte EMS

[2] Hellinger, Ernst (1909), „Neue Begründung der Theorie quadratischer Formen von unendlichvielen Veränderlichen“, Journal für die reine und angewandte Mathematik (v němčině), 136: 210–271, doi:10,1515 / crll.1909.136.210, JFM 40.0393.01

[3] Torgerson, Erik (1991). "Porovnání statistických experimentů". Encyclopedia of Mathematics. 36. Cambridge University Press.

[4] Liese, Friedrich; Miescke, Klaus-J. (2008). Teorie statistického rozhodování: Odhad, testování a výběr. Springer. ISBN 0-387-73193-8.

[5] Pardo, L. (2006). Statistická inference založená na opatřeních divergence. New York: Chapman and Hall / CRC. str. 51. ISBN 1-58488-600-5.

[6] Harsha, Prahladh (23. září 2011). „Přednášky o složitosti komunikace“ (PDF).

[1]

[2]

[3]

[4]

[5]

[6]