Korelace vzdálenosti - Distance correlation

v statistika a v teorie pravděpodobnosti, korelace vzdálenosti nebo kovarianční vzdálenost je měřítkem závislost mezi dvěma spárovanými náhodné vektory libovolné, ne nutně stejné, dimenze. Korelační koeficient populační vzdálenosti je nulový právě tehdy, jsou-li náhodné vektory nezávislý. Vzdálená korelace tedy měří lineární i nelineární asociaci mezi dvěma náhodnými proměnnými nebo náhodnými vektory. To je v rozporu s Pearsonova korelace, který dokáže detekovat pouze lineární asociaci mezi dvěma náhodné proměnné.

Korelaci vzdálenosti lze použít k provedení a statistický test závislosti s a permutační test. Jeden nejprve vypočítá korelaci vzdálenosti (zahrnující přesměrování euklidovských distančních matic) mezi dvěma náhodnými vektory a poté porovná tuto hodnotu s korelacemi vzdáleností mnoha zamíchaných dat.

Několik sad (X, y) bodů s koeficientem korelace vzdálenosti o X a y pro každou sadu. Porovnejte s grafem na korelace

Pozadí

Klasická míra závislosti, Pearsonův korelační koeficient,^[1] je citlivý hlavně na lineární vztah mezi dvěma proměnnými. Korelaci vzdálenosti zavedla v roce 2005 společnost Gábor J. Székely na několika přednáškách k řešení tohoto Pearsonova nedostatku korelace, a sice, že pro závislé proměnné to může být snadno nula. Korelace = 0 (nekorelace) neznamená nezávislost, zatímco korelace vzdálenosti = 0 znamená nezávislost. První výsledky korelace vzdálenosti byly publikovány v letech 2007 a 2009.^[2][3] Bylo prokázáno, že kovariance vzdálenosti je stejná jako Brownianova kovariance.^[3] Tato opatření jsou příklady energetické vzdálenosti.

Korelace vzdálenosti je odvozena z řady dalších veličin, které se používají v její specifikaci, konkrétně: rozptyl vzdálenosti, směrodatná odchylka vzdálenosti, a kovarianční vzdálenost. Tato množství mají stejné role jako obyčejné momenty s odpovídajícími názvy ve specifikaci Pearsonův korelační koeficient produkt-moment.

Definice

Kovarianční vzdálenost

Začněme definicí kovariance vzdálenosti vzorku. Nechť (X_k, Y_k), k = 1, 2, ..., n být statistický vzorek z dvojice náhodných proměnných se skutečnou nebo vektorovou hodnotou (X, Y). Nejprve spočítejte n podle n distanční matice (A_{j, k}) a (b_{j, k}) obsahující všechny párové vzdálenosti

${ displaystyle { begin {zarovnáno} a_ {j, k} & = | X_ {j} -X_ {k} |, qquad j, k = 1,2, ldots, n, b_ { j, k} & = | Y_ {j} -Y_ {k} |, qquad j, k = 1,2, ldots, n, end {zarovnáno}}}$

kde || ⋅ || označuje Euklidovská norma. Pak vezměte všechny dvojnásobně vycentrované vzdálenosti

${ displaystyle A_ {j, k}: = a_ {j, k} - { overline {a}} _ {j cdot} - { overline {a}} _ { cdot k} + { overline { a}} _ { cdot cdot}, qquad B_ {j, k}: = b_ {j, k} - { overline {b}} _ {j cdot} - { overline {b}} _ { cdot k} + { overline {b}} _ { cdot cdot},}$

kde ${ displaystyle textstyle { overline {a}} _ {j cdot}}$ je j-tý řádek znamená, ${ displaystyle textstyle { overline {a}} _ { cdot k}}$ je k-tý sloupec znamená a ${ displaystyle textstyle { overline {a}} _ { cdot cdot}}$ je velký průměr matice vzdáleností X vzorek. Zápis je podobný pro b hodnoty. (V maticích centrovaných vzdáleností (A_{j, k}) a (B_j,k) všechny řádky a všechny sloupce se sčítají k nule.) Na druhou kovariance vzdálenosti vzorku (skalární) je jednoduše aritmetický průměr produktů A_{j, k} B_{j, k}:

${ displaystyle operatorname {dCov} _ {n} ^ {2} (X, Y): = { frac {1} {n ^ {2}}} součet _ {j = 1} ^ {n} součet _ {k = 1} ^ {n} A_ {j, k} , B_ {j, k}.}$

Statistika T_n = n dCov²_n(X, Y) určuje konzistentní vícerozměrný test nezávislosti náhodných vektorů v libovolných rozměrech. Implementace viz dcov.test funkce v energie balíček pro R.^[4]

Hodnota populace kovarianční vzdálenost lze definovat ve stejných liniích. Nechat X být náhodná proměnná, která bere hodnoty v a str-dimenzionální euklidovský prostor s distribucí pravděpodobnosti μ a nechte Y být náhodná proměnná, která bere hodnoty v a q-dimenzionální euklidovský prostor s distribucí pravděpodobnosti νa předpokládejme to X a Y mít konečná očekávání. Psát si

${ displaystyle a _ { mu} (x): = operatorname {E} [ | Xx |], quad D ( mu): = operatorname {E} [a _ { mu} (X)] , quad d _ { mu} (x, x '): = | x-x' | -a _ { mu} (x) -a _ { mu} (x ') + D ( mu). }$

Nakonec definujte populační hodnotu kovariance druhé mocniny vzdálenosti X a Y tak jako

${ displaystyle operatorname {dCov} ^ {2} (X, Y): = operatorname {E} { big [} d _ { mu} (X, X ') d _ { nu} (Y, Y' ) { big]}.}$

Lze ukázat, že to odpovídá následující definici:

${ displaystyle { begin {aligned} operatorname {dCov} ^ {2} (X, Y): = {} & operatorname {E} [ | X-X ' | , | Y-Y' |] + operatorname {E} [ | X-X ' |] , operatorname {E} [ | Y-Y' |] & qquad {} - operatorname {E} [ | X-X ' | , | Y-Y' ' |] - operatorname {E} [ | X-X' ' | , | Y-Y' |] = {} & operatorname {E} [ | X-X ' | , | Y-Y' |] + operatorname {E} [ | X-X ' |] , operatorname {E } [ | Y-Y ' |] & qquad {} -2 operatorname {E} [ | X-X' | , | Y-Y '' |], end { zarovnaný}}}$

kde E označuje očekávanou hodnotu a ${ displaystyle textstyle (X, Y),}$ ${ displaystyle textstyle (X ', Y'),}$ a ${ displaystyle textstyle (X '', Y '')}$ jsou nezávislé a identicky distribuované. Náhodné proměnné s aktivací ${ displaystyle textstyle (X ', Y')}$ a ${ displaystyle textstyle (X '', Y '')}$ označit nezávislé a identicky distribuované (iid) kopie proměnných ${ displaystyle X}$ a ${ displaystyle Y}$ a jsou podobně id. ^[5] Kovarianční vzdálenost lze vyjádřit pomocí klasických Pearsonových kovariance,cov, jak následuje:

${ displaystyle operatorname {dCov} ^ {2} (X, Y) = operatorname {cov} ( | X-X ' |, | Y-Y' |) -2 operatorname {cov} ( | X-X ' |, | Y-Y' ' |).}$

Tato identita ukazuje, že kovariance vzdálenosti není stejná jako kovariance vzdáleností, cov (||X − X' ||, ||Y − Y ' ||). To může být nula, i když X a Y nejsou nezávislí.

Alternativně lze kovarianci vzdálenosti definovat jako váženou L² norma vzdálenosti mezi spojem charakteristická funkce náhodných proměnných a součin jejich marginálních charakteristických funkcí:^[6]

${ displaystyle operatorname {dCov} ^ {2} (X, Y) = { frac {1} {c_ {p} c_ {q}}} int _ { mathbb {R} ^ {p + q} } { frac { left | varphi _ {X, Y} (s, t) - varphi _ {X} (s) varphi _ {Y} (t) right | ^ {2}} {| s | _ {p} ^ {1 + p} | t | _ {q} ^ {1 + q}}} , dt , ds}$

kde ${ displaystyle varphi _ {X, Y} (s, t)}$, ${ displaystyle varphi _ {X} (s)}$, a ${ displaystyle varphi _ {Y} (t)}$ jsou charakteristické funkce z (X, Y), X, a Y, respektive str, q označit euklidovskou dimenzi X a Y, a tedy o s a t, a C_str, C_q jsou konstanty. Funkce hmotnosti ${ displaystyle ({c_ {p} c_ {q}} {| s | _ {p} ^ {1 + p} | t | _ {q} ^ {1 + q}}) ^ {- 1}}$ je vybrán k vytvoření měřítka ekvivariantního a rotačního invariantního měřítka, které u závislých proměnných nedosáhne nuly.^[6][7] Jedna interpretace definice charakteristické funkce spočívá v tom, že proměnné E^isX a E^ITY jsou cyklická reprezentace X a Y s různými obdobími danými s a ta výraz ϕ_{X, Y}(s, t) − ϕ_X(s) ϕ_Y(t) v čitateli definice charakteristické funkce je vzdálenost kovariance jednoduše klasická kovariance E^isX a E^ITY. Definice charakteristické funkce jasně ukazuje, že dCov²(X, Y) = 0 pouze a jen tehdy X a Y jsou nezávislé.

Rozptyl vzdálenosti a směrodatná odchylka vzdálenosti

The rozptyl vzdálenosti je speciální případ kovariance vzdálenosti, když jsou obě proměnné identické. Populační hodnota rozptylu vzdálenosti je druhá odmocnina z

${ displaystyle operatorname {dVar} ^ {2} (X): = operatorname {E} [ | X-X ' | ^ {2}] + operatorname {E} ^ {2} [ | X -X ' |] -2 operatorname {E} [ | X-X' | , | X-X '' |],}$

kde ${ displaystyle operatorname {E}}$ označuje očekávanou hodnotu, ${ displaystyle X '}$ je nezávislá a identicky distribuovaná kopie ${ displaystyle X}$ a ${ displaystyle X ''}$ je nezávislý na ${ displaystyle X}$ a ${ displaystyle X '}$ a má stejnou distribuci jako ${ displaystyle X}$ a ${ displaystyle X '}$.

The rozptyl vzdálenosti vzorku je druhá odmocnina z

${ displaystyle operatorname {dVar} _ {n} ^ {2} (X): = operatorname {dCov} _ {n} ^ {2} (X, X) = { tfrac {1} {n ^ { 2}}} sum _ {k, ell} A_ {k, ell} ^ {2},}$

což je příbuzný Corrado Gini je průměrný rozdíl představen v roce 1912 (ale Gini nepracoval se středovými vzdálenostmi).^[8]

The směrodatná odchylka vzdálenosti je druhá odmocnina z rozptyl vzdálenosti.

Korelace vzdálenosti

The korelace vzdálenosti ^[2][3] dvou náhodných proměnných se získá dělením jejich kovarianční vzdálenost produktem jejich standardní směrodatné odchylky vzdálenosti. Korelace vzdálenosti je

${ displaystyle operatorname {dCor} (X, Y) = { frac { operatorname {dCov} (X, Y)} { sqrt { operatorname {dVar} (X) , operatorname {dVar} (Y )}}},}$

a korelace vzdálenosti vzorku je definována dosazením kovariance vzdálenosti vzorku a rozptylu vzdálenosti pro výše uvedené populační koeficienty.

Pro snadný výpočet korelace vzdálenosti vzorku viz dcor funkce v energie balíček pro R.^[4]

Vlastnosti

Korelace vzdálenosti

Kovarianční vzdálenost

Tato poslední vlastnost je nejdůležitějším efektem práce se středovými vzdálenostmi.

Statistika ${ displaystyle operatorname {dCov} _ {n} ^ {2} (X, Y)}$ je zkreslený odhadce ${ displaystyle operatorname {dCov} ^ {2} (X, Y)}$. Pod nezávislostí X a Y ^[9]

${ displaystyle { begin {aligned} operatorname {E} [ operatorname {dCov} _ {n} ^ {2} (X, Y)] & = { frac {n-1} {n ^ {2} }} left {(n-2) operatorname {dCov} ^ {2} (X, Y) + operatorname {E} [ | X-X ' |] , operatorname {E} [ | Y-Y ' |] right } [6pt] & = { frac {n-1} {n ^ {2}}} operatorname {E} [ | X-X' |] , operatorname {E} [ | Y-Y ' |]. end {zarovnáno}}}$

Nestranný odhad ${ displaystyle operatorname {dCov} ^ {2} (X, Y)}$ je dán Székely a Rizzo.^[10]

Rozptyl vzdálenosti

Rovnost platí v bodě (iv) právě tehdy, je-li jedna z náhodných proměnných X nebo Y je konstanta.

Zobecnění

Kovarianci vzdálenosti lze zobecnit tak, aby zahrnovala mocniny euklidovské vzdálenosti. Definovat

${ displaystyle { begin {aligned} operatorname {dCov} ^ {2} (X, Y; alpha): = {} & operatorname {E} [ | X-X ' | ^ { alpha} , | Y-Y ' | ^ { alpha}] + operatorname {E} [ | X-X' | ^ { alpha}] , operatorname {E} [ | Y-Y ' | ^ { alpha}] & qquad {} -2 operatorname {E} [ | X-X' | ^ { alpha} , | Y-Y '' | ^ { alpha}]. end {zarovnáno}}}$

Pak pro každého ${ displaystyle 0 < alpha <2}$, ${ displaystyle X}$ a ${ displaystyle Y}$ jsou nezávislé právě tehdy ${ displaystyle operatorname {dCov} ^ {2} (X, Y; alfa) = 0}$. Je důležité si uvědomit, že tato charakteristika neplatí pro exponenty ${ displaystyle alpha = 2}$; v tomto případě pro bivariate ${ displaystyle (X, Y)}$, ${ displaystyle operatorname {dCor} (X, Y; alfa = 2)}$ je deterministická funkce Pearsonovy korelace.^[2] Li ${ displaystyle a_ {k, ell}}$ a ${ displaystyle b_ {k, ell}}$ jsou ${ displaystyle alpha}$ pravomoci odpovídajících vzdáleností, ${ displaystyle 0 < alpha leq 2}$, pak ${ displaystyle alpha}$ kovarianci vzdálenosti vzorku lze definovat jako nezáporné číslo, pro které

${ displaystyle operatorname {dCov} _ {n} ^ {2} (X, Y; alpha): = { frac {1} {n ^ {2}}} sum _ {k, ell} A_ {k, ell} , B_ {k, ell}.}$

Jeden může prodloužit ${ displaystyle operatorname {dCov}}$ na metrický prostor -hodnota náhodné proměnné ${ displaystyle X}$ a ${ displaystyle Y}$: Pokud ${ displaystyle X}$ má zákon ${ displaystyle mu}$ v metrickém prostoru s metrickým ${ displaystyle d}$, pak definujte ${ displaystyle a _ { mu} (x): = operatorname {E} [d (X, x)]}$, ${ displaystyle D ( mu): = operatorname {E} [a _ { mu} (X)]}$, a (za předpokladu ${ displaystyle a _ { mu}}$ je konečný, tj. ${ displaystyle X}$ má konečný první okamžik), ${ displaystyle d _ { mu} (x, x '): = d (x, x') - a _ { mu} (x) -a _ { mu} (x ') + D ( mu)}$. Pak pokud ${ displaystyle Y}$ má zákon ${ displaystyle nu}$ (v možném jiném metrickém prostoru s konečným prvním okamžikem), definujte

${ displaystyle operatorname {dCov} ^ {2} (X, Y): = operatorname {E} { big [} d _ { mu} (X, X ') d _ { nu} (Y, Y' ) { big]}.}$

To není pro všechny takové nezáporné ${ displaystyle X, Y}$ pokud oba metrické prostory mají záporný typ.^[11] Tady, metrický prostor ${ displaystyle (M, d)}$ má negativní typ, pokud ${ displaystyle (M, d ^ {1/2})}$ je izometrické do podskupiny a Hilbertův prostor.^[12] Pokud mají oba metrické prostory silný negativní typ, pak ${ displaystyle operatorname {dCov} ^ {2} (X, Y) = 0}$ iff ${ displaystyle X, Y}$ jsou nezávislé.^[11]

Alternativní definice kovariance vzdálenosti

Originál kovarianční vzdálenost byl definován jako druhá odmocnina z ${ displaystyle operatorname {dCov} ^ {2} (X, Y)}$, spíše než samotný čtvercový koeficient. ${ displaystyle operatorname {dCov} (X, Y)}$ má vlastnost, že je energetická vzdálenost mezi společnou distribucí ${ displaystyle operatorname {X}, Y}$ a produkt jeho okrajů. Podle této definice se však rozptyl vzdálenosti spíše než směrodatná odchylka vzdálenosti měří ve stejných jednotkách jako ${ displaystyle operatorname {X}}$ vzdálenosti.

Alternativně by se dalo definovat kovarianční vzdálenost být druhou mocninou energetické vzdálenosti:${ displaystyle operatorname {dCov} ^ {2} (X, Y).}$ V tomto případě je směrodatná odchylka vzdálenosti ${ displaystyle X}$ se měří ve stejných jednotkách jako ${ displaystyle X}$ vzdálenost a existuje nezaujatý odhad pro kovarianci vzdálenosti populace.^[10]

Podle těchto alternativních definic je korelace vzdálenosti definována také jako čtverec ${ displaystyle operatorname {dCor} ^ {2} (X, Y)}$, spíše než druhá odmocnina.

Alternativní formulace: Brownova kovariance

Brownova kovariance je motivována zevšeobecněním pojmu kovariance ke stochastickým procesům. Čtverec kovariance náhodných proměnných X a Y lze zapsat v následující podobě:

${ displaystyle operatorname {cov} (X, Y) ^ {2} = operatorname {E} left [{ big (} X- operatorname {E} (X) { big)} { big ( } X ^ { mathrm {'}} - operatorname {E} (X ^ { mathrm {'}}) { big)} { big (} Y- operatorname {E} (Y) { big )} { big (} Y ^ { mathrm {'}} - operatorname {E} (Y ^ { mathrm {'}}) { big)} vpravo]}$

kde E označuje očekávaná hodnota a prvočíslo označuje nezávislé a identicky distribuované kopie. Potřebujeme následující zobecnění tohoto vzorce. Pokud U (s), V (t) jsou libovolné náhodné procesy definované pro všechna reálná s a t, pak definujte verzi X se středem U pomocí

${ displaystyle X_ {U}: = U (X) - operatorname {E} _ {X} vlevo [U (X) uprostřed vlevo {U (t) vpravo } vpravo)}$

kdykoli existuje odečtená podmíněná očekávaná hodnota a označuje se Y_PROTI verze Y na střed.^[3][13][14] Kovariance (U, V) (X, Y) je definována jako nezáporné číslo, jehož čtverec je

${ displaystyle operatorname {cov} _ {U, V} ^ {2} (X, Y): = operatorname {E} vlevo [X_ {U} X_ {U} ^ { mathrm {'}} Y_ {V} Y_ {V} ^ { mathrm {'}} vpravo]}$

kdykoli je pravá strana nezáporná a konečná. Nejdůležitějším příkladem je situace, kdy U a V jsou oboustranně nezávislé Brownovy pohyby /Wienerovy procesy s očekáváním nula a kovariancí |s| + |t| − |s − t| = 2 min (s,t) (pouze pro nezáporné s, t). (Jedná se o dvojnásobnou kovarianci oproti standardnímu Wienerovu procesu; zde faktor 2 zjednodušuje výpočty.) V tomto případě (U,PROTI) kovariance se nazývá Brownova kovariance a je označen

${ displaystyle operatorname {cov} _ {W} (X, Y).}$

Existuje překvapivá náhoda: Brownova kovariance je stejná jako kovariance vzdálenosti:

${ displaystyle operatorname {cov} _ { mathrm {W}} (X, Y) = operatorname {dCov} (X, Y),}$

a tudíž Brownova korelace je stejná jako korelace vzdálenosti.

Na druhou stranu, pokud nahradíme Brownův pohyb deterministickou funkcí identity id pak Cov_id(X,Y) je prostě absolutní hodnota klasického Pearsona kovariance,

${ displaystyle operatorname {cov} _ { mathrm {id}} (X, Y) = left vert operatorname {cov} (X, Y) right vert.}$

Související metriky

Lineární a nelineární interakce mohou detekovat i další korelační metriky, včetně korelačních metrik založených na jádře (například Hilbert-Schmidtovo kritérium nezávislosti nebo HSIC). Korelační vzdálenost a metriky založené na jádře lze použít v metodách, jako je kanonická korelační analýza a analýza nezávislých komponent výtěžek silnější statistická síla.

Viz také

• Koeficient RV
• Související statistiku třetího řádu viz Distanční šikmost.

Poznámky

Reference

• Bickel, Peter J .; Xu, Ying (2009). "Diskuse o: Brownianově vzdálenosti kovariance". Annals of Applied Statistics. 3 (4): 1266–1269. doi:10.1214 / 09-AOAS312A.CS1 maint: ref = harv (odkaz)
• Gini, C. (1912). Variabilità e Mutabilità. Bologna: Tipografia di Paolo Cuppini.CS1 maint: ref = harv (odkaz)
• Kosorok, Michael R. (2009). "Diskuse o: Brownianově vzdálenostní kovarianci". Annals of Applied Statistics. 3 (4): 1270–1278. arXiv:1010.0822. doi:10.1214 / 09-AOAS312B. S2CID  88518490.CS1 maint: ref = harv (odkaz)
• Pearson, K. (1895). "Poznámka o regrese a dědictví v případě dvou rodičů". Sborník Královské společnosti. 58: 240–242. Bibcode:1895RSPS ... 58..240P.CS1 maint: ref = harv (odkaz)
• Pearson, K. (1895). „Poznámky k historii korelace“. Biometrika. 13: 25–45. doi:10.1093 / biomet / 13.1.25.CS1 maint: ref = harv (odkaz)
• Székely, Gábor J .; Rizzo, Maria L. (2009a). „Brownianova kovariance vzdálenosti“. Annals of Applied Statistics. 3 (4): 1236–1265. doi:10.1214 / 09-AOAS312. PMC  2889501. PMID  20574547.CS1 maint: ref = harv (odkaz)
• Székely, Gábor J .; Rizzo, Maria L. (2009b). "Rejoinder: Brownianova vzdálenost kovariance". Annals of Applied Statistics. 3 (4): 1303–1308. doi:10.1214 / 09-AOAS312REJ.CS1 maint: ref = harv (odkaz)
• Székely, Gabor J .; Rizzo, Maria L. (2014). "Částečná korelace vzdálenosti s metodami odlišností". Annals of Statistics. 42 (6): 2382–2412. arXiv:1310.2926. Bibcode:2014arXiv1310.2926S. doi:10.1214 / 14-AOS1255. S2CID  55801702.CS1 maint: ref = harv (odkaz)

externí odkazy

• E-statistika (energetická statistika)