Maximální informační koeficient - Maximal information coefficient

Tento článek má několik problémů. Prosím pomozte vylepši to nebo diskutovat o těchto otázkách na internetu diskusní stránka. (Zjistěte, jak a kdy tyto zprávy ze šablony odebrat) tento článek vyžaduje pozornost odborníka na toto téma. Přidejte prosím důvod nebo a mluvit parametr k této šabloně pro vysvětlení problému s článkem. Při umisťování této značky zvažte přidružení této žádosti s WikiProject. (Leden 2012) tento článek příliš spoléhá na Reference na primární zdroje. Vylepšete to přidáním sekundární nebo terciární zdroje. (Květen 2012) (Zjistěte, jak a kdy odstranit tuto zprávu šablony) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

v statistika, maximální informační koeficient (MIC) je měřítkem síly lineární nebo nelineární asociace mezi dvěma proměnnými X aY.

MIC patří do třídy statistik s maximálním neparametrickým průzkumem založeným na informacích (MINE).^[1] V simulační studii MIC překonal některé vybrané testy nízké spotřeby,^[1] byly však vzneseny obavy ohledně snížení statistická síla při detekci některých asociací v nastavení s malou velikostí vzorku ve srovnání s výkonnými metodami, jako je korelace vzdálenosti a Heller – Heller – Gorfine (HHG).^[2] Srovnání s těmito metodami, u nichž MIC překonal výkon, byla provedena u Simona a Tibshiraniho^[3] a v Gorfine, Heller a Heller.^[4] To je nárokováno^[1] že MIC přibližně splňuje vlastnost nazvanou ekvitabilita což dokládají vybrané simulační studie.^[1] Později se ukázalo, že žádný netriviální koeficient nemůže přesně uspokojit ekvitabilita vlastnost definovaná Reshefem a kol.,^[1][5] ačkoli tento výsledek byl zpochybněn.^[6] Některými kritikami MIC se zabývají Reshef et al. v dalších studiích publikovaných na arXiv.^[7]

Přehled

Využívá maximální informační koeficient binning jako prostředek k podání žádosti vzájemné informace na spojitých náhodných proměnných. Binning se již nějakou dobu používá jako způsob aplikace vzájemných informací na kontinuální distribuce; k čemuž MIC navíc přispívá, je metodika pro výběr počtu košů a výběr maxima v mnoha možných sítích.

Důvodem je to, že přihrádky pro obě proměnné by měly být voleny takovým způsobem, aby vzájemná informace mezi proměnnými byla maximální. Toho je dosaženo kdykoli ${ displaystyle mathrm {H} vlevo (X_ {b} vpravo) = mathrm {H} vlevo (Y_ {b} vpravo) = mathrm {H} vlevo (X_ {b}, Y_ { Jasný)}$.^{[Poznámka 1]} Když je tedy vzájemná informace maximální přes binování dat, měli bychom očekávat, že následující dvě vlastnosti budou držet, stejně jako to umožňuje vlastní povaha dat. Za prvé, koše by měly zhruba stejnou velikost, protože entropie ${ displaystyle mathrm {H} (X_ {b})}$ a ${ displaystyle mathrm {H} (Y_ {b})}$ jsou maximalizovány binningem stejné velikosti. A za druhé, každý koš X bude zhruba odpovídat zásobníku v Y.

Vzhledem k tomu, že proměnné X a Y jsou reálné, je téměř vždy možné pro každou vytvořit přesně jeden koš (X,y) datový bod, a to by přineslo velmi vysokou hodnotu MI. Aby se zabránilo tvorbě tohoto druhu triviálního dělení, autoři článku navrhují použití řady košů ${ displaystyle n_ {x}}$ pro X a ${ displaystyle n_ {y}}$ jehož produkt je relativně malý ve srovnání s velikostí N vzorku dat. Konkrétně navrhují:

${ displaystyle n_ {x} krát n_ {y} leq mathrm {N} ^ {0,6}}$

V některých případech je možné dosáhnout dobré korespondence mezi ${ displaystyle X_ {b}}$ a ${ displaystyle Y_ {b}}$ s čísly tak nízkými jako ${ displaystyle n_ {x} = 2}$ a ${ displaystyle n_ {y} = 2}$, zatímco v ostatních případech může být počet požadovaných košů vyšší. Maximum pro ${ displaystyle mathrm {I} (X_ {b}; Y_ {b})}$ je určeno H (X), což je zase určeno počtem košů v každé ose, proto bude hodnota vzájemné informace záviset na počtu košů vybraných pro každou proměnnou. Aby bylo možné porovnat hodnoty vzájemných informací získané s oddíly různých velikostí, je hodnota vzájemných informací normalizována vydělením maximální dosažitelnou hodnotou pro danou velikost oddílu. Stojí za zmínku, že podobný postup adaptivního binování pro odhad vzájemných informací byl navržen již dříve.^[8]Entropie je maximalizována rovnoměrným rozdělením pravděpodobnosti, nebo v tomto případě přihrádkami se stejným počtem prvků. Rovněž entropie kloubu je minimalizována tím, že má vzájemnou korespondenci mezi zásobníky. Pokud takové hodnoty dosadíme do vzorce${ displaystyle I (X; Y) = H (X) + H (Y) -H (X, Y)}$, můžeme vidět, že maximální hodnota dosažitelná MI pro daný pár ${ displaystyle n_ {x}, n_ {y}}$ počtu košů je ${ displaystyle log min left (n_ {x}, n_ {y} right)}$. Tato hodnota se tedy používá jako normalizační dělitel pro každou dvojici počtů bin.

Nakonec normalizovaná maximální hodnota vzájemné informace pro různé kombinace ${ displaystyle n_ {x}}$ a ${ displaystyle n_ {y}}$ je uveden v tabulce a jako hodnota statistiky je vybrána maximální hodnota v tabulce.

Je důležité si uvědomit, že vyzkoušet všechna možná schémata binování, která uspokojí ${ displaystyle n_ {x} krát n_ {y} leq mathrm {N} ^ {0,6}}$ je výpočetně neproveditelné i pro malé n. V praxi proto autoři používají heuristiku, která může nebo nemusí najít skutečné maximum.

Poznámky

Reference