Kanonická korelace - Canonical correlation

v statistika, kanonicko-korelační analýza (CCA), také zvaný kanonické variace analýzy, je způsob, jak odvodit informace z křížové kovarianční matice. Pokud máme dva vektory X = (X₁, ..., X_n) a Y = (Y₁, ..., Y_m) z náhodné proměnné, a jsou korelace mezi proměnnými pak kanonicko-korelační analýza najde lineární kombinace X a Y které mají maximální vzájemnou korelaci.^[1] T. R. Knapp konstatuje, že „prakticky se setkáváme prakticky se všemi parametrické testy významnosti lze považovat za zvláštní případy kanonicko-korelační analýzy, což je obecný postup pro vyšetřování vztahů mezi dvěma sadami proměnných. “^[2] Metodu poprvé představil Harold Hotelling v roce 1936,^[3] i když v kontextu úhly mezi plochami matematický koncept publikoval Jordan v roce 1875.^[4]

Definice

Vzhledem k tomu dva vektory sloupců ${ displaystyle X = (x_ {1}, tečky, x_ {n}) '}$ a ${ displaystyle Y = (y_ {1}, tečky, y_ {m}) '}$ z náhodné proměnné s konečný druhé okamžiky, lze definovat křížová kovariance ${ displaystyle Sigma _ {XY} = operatorname {cov} (X, Y)}$ být ${ displaystyle n krát m}$ matice jehož ${ displaystyle (i, j)}$ položka je kovariance ${ displaystyle operatorname {cov} (x_ {i}, y_ {j})}$ . V praxi bychom odhadovali kovarianční matici na základě vzorkovaných dat z ${ displaystyle X}$ a ${ displaystyle Y}$ (tj. z dvojice datových matic).

Kanonicko-korelační analýza hledá vektory ${ displaystyle a}$ ( ${ displaystyle a in mathbb {R} ^ {n}}$ ) a ${ displaystyle b}$ ( ${ displaystyle b in mathbb {R} ^ {m}}$ ) takové, že náhodné proměnné ${ displaystyle a ^ {T} X}$ a ${ displaystyle b ^ {T} Y}$ maximalizovat korelace ${ displaystyle rho = operatorname {corr} (a ^ {T} X, b ^ {T} Y)}$ . Náhodné proměnné ${ displaystyle U = a ^ {T} X}$ a ${ displaystyle V = b ^ {T} Y}$ jsou první pár kanonických proměnných. Pak jeden hledá vektory maximalizující stejnou korelaci s výhradou omezení, že mají být nekorelované s první dvojicí kanonických proměnných; to dává druhá dvojice kanonických proměnných. Tento postup může pokračovat až do ${ displaystyle min {m, n }}$ krát.

{ displaystyle (a ', b') = { underset {a, b} { operatorname {argmax}}} operatorname {corr} (a ^ {T} X, b ^ {T} Y)}

Výpočet

Derivace

Nechat ${ displaystyle Sigma _ {UV}}$ být křížově kovarianční matice pro libovolné náhodné proměnné ${ displaystyle U}$ a ${ displaystyle V}$ . Parametr k maximalizaci je

{ displaystyle rho = { frac {a ^ {T} Sigma _ {XY} b} {{ sqrt {a ^ {T} Sigma _ {XX} a}} { sqrt {b ^ {T } Sigma _ {YY} b}}}}.}

Prvním krokem je definování a změna základny a definovat

{ displaystyle c = Sigma _ {XX} ^ {1/2} a,}

{ displaystyle d = Sigma _ {YY} ^ {1/2} b.}

A tak to máme

{ displaystyle rho = { frac {c ^ {T} Sigma _ {XX} ^ {- 1/2} Sigma _ {XY} Sigma _ {YY} ^ {- 1/2} d} { { sqrt {c ^ {T} c}} { sqrt {d ^ {T} d}}}}.}

Podle Cauchy – Schwarzova nerovnost, my máme

{ displaystyle left (c ^ {T} Sigma _ {XX} ^ {- 1/2} Sigma _ {XY} Sigma _ {YY} ^ {- 1/2} right) (d) leq left (c ^ {T} Sigma _ {XX} ^ {- 1/2} Sigma _ {XY} Sigma _ {YY} ^ {- 1/2} Sigma _ {YY} ^ {- 1/2} Sigma _ {YX} Sigma _ {XX} ^ {- 1/2} c doprava) ^ {1/2} doleva (d ^ {T} d doprava) ^ {1/2 },}

{ displaystyle rho leq { frac { vlevo (c ^ {T} Sigma _ {XX} ^ {- 1/2} Sigma _ {XY} Sigma _ {YY} ^ {- 1} Sigma _ {YX} Sigma _ {XX} ^ {- 1/2} c doprava) ^ {1/2}} { doleva (c ^ {T} c doprava) ^ {1/2}}} .}

Tam je rovnost, pokud vektory ${ displaystyle d}$ a ${ displaystyle Sigma _ {YY} ^ {- 1/2} Sigma _ {YX} Sigma _ {XX} ^ {- 1/2} c}$ jsou kolineární. Kromě toho je dosaženo maximální korelace, pokud ${ displaystyle c}$ je vlastní vektor s maximálním vlastním číslem pro matici ${ displaystyle Sigma _ {XX} ^ {- 1/2} Sigma _ {XY} Sigma _ {YY} ^ {- 1} Sigma _ {YX} Sigma _ {XX} ^ {- 1 / 2}}$ (vidět Rayleighův kvocient ). Následující páry jsou nalezeny pomocí vlastní čísla klesajících velikostí. Ortogonalita je zaručena symetrií korelačních matic.

Jiný způsob zobrazení tohoto výpočtu je ten ${ displaystyle c}$ a ${ displaystyle d}$ jsou levý a pravý singulární vektory korelační matice X a Y odpovídající nejvyšší singulární hodnotě.

Řešení

Řešení tedy je:

${ displaystyle c}$ je vlastní vektor ${ displaystyle Sigma _ {XX} ^ {- 1/2} Sigma _ {XY} Sigma _ {YY} ^ {- 1} Sigma _ {YX} Sigma _ {XX} ^ {- 1 / 2}}$
${ displaystyle d}$ je úměrný ${ displaystyle Sigma _ {YY} ^ {- 1/2} Sigma _ {YX} Sigma _ {XX} ^ {- 1/2} c}$

Recipročně existuje také:

${ displaystyle d}$ je vlastní vektor ${ displaystyle Sigma _ {YY} ^ {- 1/2} Sigma _ {YX} Sigma _ {XX} ^ {- 1} Sigma _ {XY} Sigma _ {YY} ^ {- 1 / 2}}$
${ displaystyle c}$ je úměrný ${ displaystyle Sigma _ {XX} ^ {- 1/2} Sigma _ {XY} Sigma _ {YY} ^ {- 1/2} d}$

Když obrátíme změnu souřadnic, máme to

${ displaystyle a}$ je vlastní vektor ${ displaystyle Sigma _ {XX} ^ {- 1} Sigma _ {XY} Sigma _ {YY} ^ {- 1} Sigma _ {YX}}$ ,
${ displaystyle b}$ je úměrný ${ displaystyle Sigma _ {YY} ^ {- 1} Sigma _ {YX} a;}$
${ displaystyle b}$ je vlastní vektor ${ displaystyle Sigma _ {YY} ^ {- 1} Sigma _ {YX} Sigma _ {XX} ^ {- 1} Sigma _ {XY},}$
${ displaystyle a}$ je úměrný ${ displaystyle Sigma _ {XX} ^ {- 1} Sigma _ {XY} b}$ .

Kanonické proměnné jsou definovány:

{ displaystyle U = c ' Sigma _ {XX} ^ {- 1/2} X = a'X}

{ displaystyle V = d ' Sigma _ {YY} ^ {- 1/2} Y = b'Y}

Implementace

CCA lze vypočítat pomocí rozklad singulární hodnoty na korelační matici.^[5] Je k dispozici jako funkce v^[6]

MATLAB tak jako canoncorr (taky v Oktáva )
R jako standardní funkce cancor a několik dalších balíčků, včetně CCA a vegan. CCP pro testování statistických hypotéz v kanonické korelační analýze.
SAS tak jako proc cancorr
Krajta v knihovně scikit-učit se, tak jako Křížový rozklad a v statsmodels, tak jako CanCorr.
SPSS jako makro CanCorr dodávané s hlavním softwarem
Julia (programovací jazyk) v MultivariateStats.jl balík.

Výpočet CCA pomocí rozklad singulární hodnoty na korelační matici souvisí s kosinus z úhly mezi plochami. The kosinus funkce je špatně podmíněný pro malé úhly, což vede k velmi nepřesnému výpočtu vysoce korelovaných hlavních vektorů v konečné podobě přesnost počítačová aritmetika. Na opravit tento problém, alternativní algoritmy^[7] jsou k dispozici v

SciPy tak jako funkce lineární algebry subspace_angles
MATLAB tak jako Funkce FileExchange subspacea

Testování hypotéz

Každý řádek lze testovat na význam pomocí následující metody. Protože jsou korelace řazeny, říká se ten řádek ${ displaystyle i}$ je nula znamená, že všechny další korelace jsou také nula. Pokud ano ${ displaystyle p}$ nezávislá pozorování ve vzorku a ${ displaystyle { widehat { rho}} _ {i}}$ je odhadovaná korelace pro ${ displaystyle i = 1, tečky, min {m, n }}$ . Pro ${ displaystyle i}$ v tomto řádku je statistika testu:

{ displaystyle chi ^ {2} = - vlevo (p-1 - { frac {1} {2}} (m + n + 1) vpravo) ln prod _ {j = i} ^ { min {m, n }} (1 - { widehat { rho}} _ {j} ^ {2}),}

který je asymptoticky distribuován jako a chi-kvadrát s ${ displaystyle (m-i + 1) (n-i + 1)}$ stupně svobody pro velké ${ displaystyle p}$ .^[8] Protože všechny korelace z ${ displaystyle min {m, n }}$ na ${ displaystyle p}$ jsou logicky nulové (a odhadují se také tímto způsobem) produkt pro výrazy po tomto bodě je irelevantní.

Všimněte si, že v malém limitu velikosti vzorku s ${ displaystyle p$ pak máme zaručeno, že vrchol ${ displaystyle m + n-p}$ korelace budou shodně 1, a proto je test bezvýznamný.^[9]

Praktické využití

Typickým použitím pro kanonickou korelaci v experimentálním kontextu je vzít dvě sady proměnných a zjistit, co je mezi těmito dvěma skupinami společné.^[10] Například v psychologických testech by člověk mohl vzít dva dobře zavedené multidimenzionální testy osobnosti tak jako Minnesota Multiphasic Personality Inventory (MMPI-2) a NEO. Když jsme viděli, jak faktory MMPI-2 souvisejí s faktory NEO, bylo by možné získat přehled o tom, jaké dimenze byly mezi testy běžné a kolik variací bylo sdíleno. Například by se dalo zjistit, že extraverze nebo neuroticismus dimenze představovala značné množství sdílené odchylky mezi těmito dvěma testy.

Lze také použít kanonicko-korelační analýzu k vytvoření modelové rovnice, která se týká dvou sad proměnných, například sady měřítek výkonu a sady vysvětlujících proměnných nebo sady výstupů a sady vstupů. Na takový model lze uvalit omezení, aby bylo zajištěno, že odráží teoretické požadavky nebo intuitivně zjevné podmínky. Tento typ modelu je znám jako model maximální korelace.^[11]

Vizualizace výsledků kanonické korelace je obvykle pomocí sloupcových grafů koeficientů dvou sad proměnných pro páry kanonických variací, které ukazují významnou korelaci. Někteří autoři naznačují, že je nejlepší je zobrazit tak, že je vykreslíme jako heliografy, kruhový formát s paprskovými pruhy, přičemž každá polovina představuje dvě sady proměnných.^[12]

Příklady

Nechat ${ displaystyle X = x_ {1}}$ s nulou očekávaná hodnota, tj., ${ displaystyle operatorname {E} (X) = 0}$ . Li ${ displaystyle Y = X}$ , tj., ${ displaystyle X}$ a ${ displaystyle Y}$ jsou dokonale korelované, pak např. ${ displaystyle a = 1}$ a ${ displaystyle b = 1}$ , takže první (a pouze v tomto příkladu) pár kanonických proměnných je ${ displaystyle U = X}$ a ${ displaystyle V = Y = X}$ . Li ${ displaystyle Y = -X}$ , tj., ${ displaystyle X}$ a ${ displaystyle Y}$ jsou dokonale antikorelující, pak např. ${ displaystyle a = 1}$ a ${ displaystyle b = -1}$ , takže první (a pouze v tomto příkladu) pár kanonických proměnných je ${ displaystyle U = X}$ a ${ displaystyle V = -Y = X}$ . Všimli jsme si, že v obou případech ${ displaystyle U = V}$ , což ukazuje, že kanonicko-korelační analýza zachází s korelovanými a antikorelačními proměnnými podobně.

Spojení s hlavními úhly

Za předpokladu, že ${ displaystyle X = (x_ {1}, tečky, x_ {n}) '}$ a ${ displaystyle Y = (y_ {1}, tečky, y_ {m}) '}$ mít nulu očekávané hodnoty, tj., ${ displaystyle operatorname {E} (X) = operatorname {E} (Y) = 0}$ , jejich kovariance matice ${ displaystyle Sigma _ {XX} = operatorname {Cov} (X, X) = operatorname {E} [XX ']}$ a ${ displaystyle Sigma _ {YY} = operatorname {Cov} (Y, Y) = operatorname {E} [YY ']}$ lze zobrazit jako Gramové matice v vnitřní produkt pro položky z ${ displaystyle X}$ a ${ displaystyle Y}$ odpovídajícím způsobem. V této interpretaci náhodné proměnné, položky ${ displaystyle x_ {i}}$ z ${ displaystyle X}$ a ${ displaystyle y_ {j}}$ z ${ displaystyle Y}$ jsou považovány za prvky vektorového prostoru s vnitřním součinem daným znakem kovariance ${ displaystyle operatorname {cov} (x_ {i}, y_ {j})}$ ; vidět Covariance # Vztah k vnitřním produktům.

Definice kanonických proměnných ${ displaystyle U}$ a ${ displaystyle V}$ je pak ekvivalentní definici hlavní vektory pro pár podprostorů překlenutých položkami ${ displaystyle X}$ a ${ displaystyle Y}$ s ohledem na to vnitřní produkt. Kanonické korelace ${ displaystyle operatorname {corr} (U, V)}$ se rovná kosinus z hlavní úhly.

Bělení a pravděpodobnostní kanonická korelační analýza

CCA lze také považovat za speciální bělící transformace kde náhodné vektory ${ displaystyle X}$ a ${ displaystyle Y}$ jsou současně transformovány takovým způsobem, že vzájemná korelace mezi bělenými vektory ${ displaystyle X ^ {CCA}}$ a ${ displaystyle Y ^ {CCA}}$ je úhlopříčka.^[13]Kanonické korelace jsou poté interpretovány jako spojovací regresní koeficienty ${ displaystyle X ^ {CCA}}$ a ${ displaystyle Y ^ {CCA}}$ a může být také negativní. Regresní pohled na CCA také poskytuje způsob konstrukce pravděpodobnostní generativní model latentní proměnné pro CCA, přičemž nekorelované skryté proměnné představují sdílenou a nesdílenou variabilitu.

Viz také

Reference

^ Härdle, Wolfgang; Simar, Léopold (2007). "Kanonická korelační analýza". Aplikovaná statistická analýza s více proměnnými. 321–330. CiteSeerX 10.1.1.324.403. doi:10.1007/978-3-540-72244-1_14. ISBN 978-3-540-72243-4.
^ Knapp, T. R. (1978). „Kanonická korelační analýza: Obecný parametrický systém testování významnosti“. Psychologický bulletin. 85 (2): 410–416. doi:10.1037/0033-2909.85.2.410.
^ Hotelling, H. (1936). "Vztahy mezi dvěma sadami variací". Biometrika. 28 (3–4): 321–377. doi:10.1093 / biomet / 28.3-4.321. JSTOR 2333955.
^ Jordan, C. (1875). „Essai sur la géométrie à ${ displaystyle n}$ rozměry". Býk. Soc. Matematika. Francie. 3: 103.
^ Hsu, D .; Kakade, S. M .; Zhang, T. (2012). „Spektrální algoritmus pro učení skrytých Markovových modelů“ (PDF). Journal of Computer and System Sciences. 78 (5): 1460. arXiv:0811.4413. doi:10.1016 / j.jcss.2011.12.025.
^ Huang, S. Y .; Lee, M. H .; Hsiao, C. K. (2009). „Nelineární míry asociace s kanonickou korelační analýzou a aplikacemi jádra“ (PDF). Journal of Statistical Planning and Inference. 139 (7): 2162. doi:10.1016 / j.jspi.2008.10.011.
^ Knyazev, A.V .; Argentati, M.E. (2002), „Hlavní úhly mezi podprostory ve skalárním produktu na bázi A: Algoritmy a odhady odchylek“, SIAM Journal on Scientific Computing, 23 (6): 2009–2041, CiteSeerX 10.1.1.73.2914, doi:10.1137 / S1064827500377332
^ Kanti V. Mardia, J. T. Kent a J. M. Bibby (1979). Vícerozměrná analýza. Akademický tisk.
^ Yang Song, Peter J. Schreier, David Ram´ırez a Tanuj Hasija Kanonická korelační analýza vysoce dimenzionálních dat s velmi malou podporou vzorků arXiv:1604.02047
^ Sieranoja, S .; Sahidullah, Md; Kinnunen, T .; Komulainen, J .; Hadid, A. (červenec 2018). „Detekce audiovizuální synchronizace s optimalizovanými zvukovými funkcemi“ (PDF). IEEE 3. Int. Konference o zpracování signálu a obrazu (ICSIP 2018).
^ Tofallis, C. (1999). "Vytváření modelů s více závislými proměnnými a omezeními". Journal of the Royal Statistical Society, Series D. 48 (3): 371–378. arXiv:1109.0725. doi:10.1111/1467-9884.00195.
^ Degani, A .; Shafto, M .; Olson, L. (2006). „Kanonická korelační analýza: Použití kompozitních heliografů pro reprezentaci více vzorů“ (PDF). Schematické znázornění a odvození. Přednášky z informatiky. 4045. str. 93. CiteSeerX 10.1.1.538.5217. doi:10.1007/11783183_11. ISBN 978-3-540-35623-3.
^ Jendoubi, T .; Strimmer, K. (2018). „Bělicí přístup k pravděpodobnostní kanonické korelační analýze pro integraci dat omics“. BMC bioinformatika. 20 (1): 15. arXiv:1802.03490. doi:10.1186 / s12859-018-2572-9. PMC 6327589. PMID 30626338.

externí odkazy

Diskriminační korelační analýza (DCA)^[1] (MATLAB )
Hardoon, D. R .; Szedmak, S .; Shawe-Taylor, J. (2004). "Kanonická korelační analýza: Přehled s využitím metod učení". Neurální výpočet. 16 (12): 2639–2664. CiteSeerX 10.1.1.14.6452. doi:10.1162/0899766042321814. PMID 15516276.
Poznámka k ordinální kanonicko-korelační analýze dvou sad hodnotících skóre (Také poskytuje FORTRAN program) - v Journal of Quantitative Economics 7 (2), 2009, s. 173–199
Analýza kanonické korelace s omezením reprezentace: Hybridizace kanonické korelace a analýzy hlavních komponent (Také poskytuje FORTRAN program) - v Journal of Applied Economic Sciences 4 (1), 2009, s. 115–124

^ Haghighat, Mohammad; Abdel-Mottaleb, Mohamed; Alhalabi, Wadee (2016). „Diskriminační korelační analýza: fúze úrovní funkcí v reálném čase pro multimodální biometrické rozpoznávání“. Transakce IEEE týkající se forenzní a bezpečnostní informace. 11 (9): 1984–1996. doi:10.1109 / TIFS.2016.2569061.

[1] Härdle, Wolfgang; Simar, Léopold (2007). "Kanonická korelační analýza". Aplikovaná statistická analýza s více proměnnými. 321–330. CiteSeerX 10.1.1.324.403. doi:10.1007/978-3-540-72244-1_14. ISBN 978-3-540-72243-4.

[2] Knapp, T. R. (1978). „Kanonická korelační analýza: Obecný parametrický systém testování významnosti“. Psychologický bulletin. 85 (2): 410–416. doi:10.1037/0033-2909.85.2.410.

[3] Hotelling, H. (1936). "Vztahy mezi dvěma sadami variací". Biometrika. 28 (3–4): 321–377. doi:10.1093 / biomet / 28.3-4.321. JSTOR 2333955.

[jordan-4] Jordan, C. (1875). „Essai sur la géométrie à ${ displaystyle n}$ rozměry". Býk. Soc. Matematika. Francie. 3: 103.

[5] Hsu, D .; Kakade, S. M .; Zhang, T. (2012). „Spektrální algoritmus pro učení skrytých Markovových modelů“ (PDF). Journal of Computer and System Sciences. 78 (5): 1460. arXiv:0811.4413. doi:10.1016 / j.jcss.2011.12.025.

[6] Huang, S. Y .; Lee, M. H .; Hsiao, C. K. (2009). „Nelineární míry asociace s kanonickou korelační analýzou a aplikacemi jádra“ (PDF). Journal of Statistical Planning and Inference. 139 (7): 2162. doi:10.1016 / j.jspi.2008.10.011.

[KA02-7] Knyazev, A.V .; Argentati, M.E. (2002), „Hlavní úhly mezi podprostory ve skalárním produktu na bázi A: Algoritmy a odhady odchylek“, SIAM Journal on Scientific Computing, 23 (6): 2009–2041, CiteSeerX 10.1.1.73.2914, doi:10.1137 / S1064827500377332

[8] Kanti V. Mardia, J. T. Kent a J. M. Bibby (1979). Vícerozměrná analýza. Akademický tisk.

[9] Yang Song, Peter J. Schreier, David Ram´ırez a Tanuj Hasija Kanonická korelační analýza vysoce dimenzionálních dat s velmi malou podporou vzorků arXiv:1604.02047

[10] Sieranoja, S .; Sahidullah, Md; Kinnunen, T .; Komulainen, J .; Hadid, A. (červenec 2018). „Detekce audiovizuální synchronizace s optimalizovanými zvukovými funkcemi“ (PDF). IEEE 3. Int. Konference o zpracování signálu a obrazu (ICSIP 2018).

[11] Tofallis, C. (1999). "Vytváření modelů s více závislými proměnnými a omezeními". Journal of the Royal Statistical Society, Series D. 48 (3): 371–378. arXiv:1109.0725. doi:10.1111/1467-9884.00195.

[12] Degani, A .; Shafto, M .; Olson, L. (2006). „Kanonická korelační analýza: Použití kompozitních heliografů pro reprezentaci více vzorů“ (PDF). Schematické znázornění a odvození. Přednášky z informatiky. 4045. str. 93. CiteSeerX 10.1.1.538.5217. doi:10.1007/11783183_11. ISBN 978-3-540-35623-3.

[13] Jendoubi, T .; Strimmer, K. (2018). „Bělicí přístup k pravděpodobnostní kanonické korelační analýze pro integraci dat omics“. BMC bioinformatika. 20 (1): 15. arXiv:1802.03490. doi:10.1186 / s12859-018-2572-9. PMC 6327589. PMID 30626338.

[dca-14] Haghighat, Mohammad; Abdel-Mottaleb, Mohamed; Alhalabi, Wadee (2016). „Diskriminační korelační analýza: fúze úrovní funkcí v reálném čase pro multimodální biometrické rozpoznávání“. Transakce IEEE týkající se forenzní a bezpečnostní informace. 11 (9): 1984–1996. doi:10.1109 / TIFS.2016.2569061.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[1]