Duální celková korelace - Dual total correlation - Wikipedia

tento článek poskytuje nedostatečný kontext osobám, které toto téma neznají. Prosím pomozte vylepšit článek podle poskytuje čtenáři více kontextu. (Únor 2012) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

v teorie informace, duální celková korelace (Han 1978), rychlost informací (Dubnov 2006), nadměrná entropie (Olbrich 2008), nebo závazné informace (Abdallah a Plumbley 2010) je jednou z několika známých nezáporných zobecnění vzájemné informace. Zatímco celková korelace je ohraničen souhrnnými entropiemi n prvků je duální celková korelace omezena společnou entropií n elementy. Ačkoliv se dobře chová, duální celkové korelaci se dostalo mnohem menší pozornosti než celkové korelaci. Míra známá jako „TSE-komplexita“ definuje kontinuum mezi celkovou korelací a duální celkovou korelací (Ay 2001).

Definice

Vennův diagram teoretických informací o třech proměnných x, yaz. Dvojitá celková korelace je reprezentována spojením tří vzájemných informací a je v diagramu zobrazena žlutou, purpurovou, azurovou a šedou oblastí.

Pro sadu n náhodné proměnné ${ displaystyle {X_ {1}, ldots, X_ {n} }}$, duální celková korelace ${ displaystyle D (X_ {1}, ldots, X_ {n})}$ darováno

${ displaystyle D (X_ {1}, ldots, X_ {n}) = H left (X_ {1}, ldots, X_ {n} right) - sum _ {i = 1} ^ {n } H left (X_ {i} mid X_ {1}, ldots, X_ {i-1}, X_ {i + 1}, ldots, X_ {n} right),}$

kde ${ displaystyle H (X_ {1}, ldots, X_ {n})}$ je společná entropie sady proměnných ${ displaystyle {X_ {1}, ldots, X_ {n} }}$ a ${ displaystyle H (X_ {i} mid cdots)}$ je podmíněná entropie proměnné ${ displaystyle X_ {i}}$, vzhledem k zbytku.

Normalizováno

Duální celková korelace normalizovaná mezi [0,1] je jednoduše duální celková korelace dělená maximální hodnotou ${ displaystyle H (X_ {1}, ldots, X_ {n})}$,

${ displaystyle ND (X_ {1}, ldots, X_ {n}) = { frac {D (X_ {1}, ldots, X_ {n})} {H (X_ {1}, ldots, X_ {n})}}.}$

Meze

Duální celková korelace je nezáporná a výše je ohraničena společnou entropií ${ displaystyle H (X_ {1}, ldots, X_ {n})}$.

${ displaystyle 0 leq D (X_ {1}, ldots, X_ {n}) leq H (X_ {1}, ldots, X_ {n}).}$

Zadruhé, duální celková korelace má úzký vztah s celkovou korelací, ${ displaystyle C (X_ {1}, ldots, X_ {n})}$. Zejména,

${ displaystyle { frac {C (X_ {1}, ldots, X_ {n})} {n-1}} leq D (X_ {1}, ldots, X_ {n}) leq (n -1) ; C (X_ {1}, ldots, X_ {n}).}$

Vztah k jiným veličinám

v teoretická míra termíny, podle definice dvojí celkové korelace:

${ displaystyle D (X_ {1}, ldots, X_ {n}) = mu left ( bigcup _ {i} { tilde {X}} _ {i} setminus left ( bigcup _ { j} { tilde {X}} _ {j} setminus bigcup _ {k neq j} { tilde {X}} _ {k}) right) right)}$

což se rovná spojení párových vzájemných informací:

${ displaystyle D (X_ {1}, ldots, X_ {n}) = mu left ( bigcup _ {i} bigcup _ {j neq i} left ({ tilde {X}} _ {i} cap { tilde {X}} _ {j} right) right)}$

Dějiny

Han (1978) původně definoval duální celkovou korelaci jako,

${ displaystyle { begin {aligned} & D (X_ {1}, ldots, X_ {n}) [10pt] equiv {} & left [ sum _ {i = 1} ^ {n} H (X_ {1}, ldots, X_ {i-1}, X_ {i + 1}, ldots, X_ {n}) right] - (n-1) ; H (X_ {1}, ldots, X_ {n}) ;. end {zarovnáno}}}$

Abdallah a Plumbley (2010) však prokázali svou rovnocennost s lépe srozumitelnou formou společné entropie minus součet podmíněných entropií pomocí následujícího:

${ displaystyle { begin {aligned} & D (X_ {1}, ldots, X_ {n}) [10pt] equiv {} & left [ sum _ {i = 1} ^ {n} H (X_ {1}, ldots, X_ {i-1}, X_ {i + 1}, ldots, X_ {n}) right] - (n-1) ; H (X_ {1}, ldots, X_ {n}) = {} & left [ sum _ {i = 1} ^ {n} H (X_ {1}, ldots, X_ {i-1}, X_ {i + 1 }, ldots, X_ {n}) right] + (1-n) ; H (X_ {1}, ldots, X_ {n}) = {} & H (X_ {1}, ldots , X_ {n}) + left [ sum _ {i = 1} ^ {n} H (X_ {1}, ldots, X_ {i-1}, X_ {i + 1}, ldots, X_ {n}) - H (X_ {1}, ldots, X_ {n}) right] = {} & H left (X_ {1}, ldots, X_ {n} right) - sum _ {i = 1} ^ {n} H left (X_ {i} mid X_ {1}, ldots, X_ {i-1}, X_ {i + 1}, ldots, X_ {n} vpravo) ;. end {zarovnáno}}}$

Viz také

• Vzájemné informace
• Celková korelace

Tento článek obsahuje a seznam doporučení, související čtení nebo externí odkazy, ale její zdroje zůstávají nejasné, protože jí chybí vložené citace. Prosím pomozte zlepšit tento článek představuji přesnější citace. (Červen 2011) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

Reference

• Han T. S. (1978). Nezáporné míry entropie vícerozměrných symetrických korelací, Informace a kontrola 36, 133–156.
• Fujishige Satoru (1978). Struktura polymatroidální závislosti sady náhodných proměnných, Informace a kontrola 39, 55–72. doi:10.1016 / S0019-9958 (78) 91063-X.
• Dubnov S. (2006). Spektrální očekávání, Počítačový hudební deník, 30(2):63–83.
• Olbrich, E. a Bertschinger, N. a Ay, N. a Jost, J. (2008). Jak by se měla složitost škálovat s velikostí systému ?, Evropský fyzický deník B - kondenzované látky a komplexní systémy. doi:10.1140 / epjb / e2008-00134-9.
• Abdallah S.A. a Plumbley, M. D. (2010). Míra statistické složitosti založená na prediktivních informacích, Elektronické výtisky ArXiv. arXiv:1012.1890v1.
• Nihat Ay, E. Olbrich, N. Bertschinger (2001). Sjednocující rámec pro míry složitosti konečných systémů. Evropská konference o komplexních systémech. pdf.