Vzájemné informace - Mutual information
Informační teorie |
---|
v teorie pravděpodobnosti a teorie informace, vzájemné informace (MI) ze dvou náhodné proměnné je mírou vzájemnosti závislost mezi těmito dvěma proměnnými. Přesněji kvantifikuje „množství informací“ (v%) Jednotky jako shannony, běžně nazývané bity) získané o jedné náhodné proměnné pozorováním druhé náhodné proměnné. Koncept vzájemné informace je úzce spojen s konceptem entropie náhodné proměnné, základního pojmu v teorii informací, který kvantifikuje očekávané "množství informací "uloženo v náhodné proměnné.
Není omezeno na reálné náhodné proměnné a lineární závislost jako korelační koeficient, MI je obecnější a určuje, jak odlišné společná distribuce dvojice je výsledkem mezních distribucí a . MI je očekávaná hodnota z bodová vzájemná informace (PMI).
Množství bylo definováno a analyzováno Claude Shannon v jeho památníku Matematická teorie komunikace, ačkoli to nenazval „vzájemná informace“. Tento termín byl vytvořen později Robert Fano.[1] Vzájemné informace jsou známé také jako zisk informací.
Definice
Nechat být dvojicí náhodných proměnných s hodnotami nad mezerou . Pokud je jejich společná distribuce a mezní rozdělení jsou a , je vzájemná informace definována jako
kde je Kullback – Leiblerova divergence.Poznámka, podle majetku Kullback – Leiblerova divergence, že se rovná nule přesně tehdy, když se společné rozdělení shoduje s produktem okrajů, tj. když a jsou nezávislé (a tedy pozorující nic ti neřekne ). Obecně je nezáporné, jedná se o měřítko ceny za kódování jako dvojice nezávislých náhodných proměnných, pokud ve skutečnosti nejsou.
Pokud jde o PMF pro diskrétní distribuce
Vzájemná informace dvou společně diskrétních náhodných proměnných a se počítá jako dvojnásobná částka:[2]:20
| (Rovnice 1) |
kde je společná pravděpodobnost Hmotnost funkce z a , a a jsou mezní pravděpodobnost hromadné funkce a resp.
Pokud jde o soubory PDF pro nepřetržitou distribuci
V případě společně spojitých náhodných proměnných je dvojitý součet nahrazen a dvojitý integrál:[2]:251
| (Rovnice 2) |
kde je nyní společná pravděpodobnost hustota funkce a , a a jsou funkce mezní hustoty pravděpodobnosti a resp.
Pokud logovací základna 2, jednotky vzájemné informace jsou bity.
Motivace
Vzájemná informace intuitivně měří informace, které a share: Měří, nakolik znalost jedné z těchto proměnných snižuje nejistotu ohledně druhé. Například pokud a jsou nezávislí, pak vědí neposkytuje žádné informace o a naopak, takže jejich vzájemné informace jsou nulové. Na druhém konci, pokud je deterministická funkce a je deterministická funkce pak všechny informace sdělené je sdílen s : vědět určuje hodnotu a naopak. Výsledkem je, že v tomto případě jsou vzájemné informace stejné jako nejistota obsažená v (nebo ) sám, konkrétně entropie z (nebo ). Tato vzájemná informace je navíc stejná jako entropie a jako entropie . (Velmi zvláštním případem je, když a jsou stejná náhodná proměnná.)
Vzájemná informace je měřítkem inherentní závislosti vyjádřené v společná distribuce z a vzhledem k meznímu rozdělení a za předpokladu nezávislosti. Vzájemné informace proto měří závislost v následujícím smyslu: kdyby a jen kdyby a jsou nezávislé náhodné proměnné. To je dobře vidět v jednom směru: pokud a jsou tedy nezávislé , a proto:
Kromě toho jsou vzájemné informace nezáporné (tj. viz níže) a symetrický (tj. viz. níže).
Vztah k jiným veličinám
Nezápornost
Použitím Jensenova nerovnost na definici vzájemné informace to můžeme ukázat je nezáporný, tj.[2]:28
Symetrie
Vztah k podmíněné a společné entropii
Vzájemné informace lze ekvivalentně vyjádřit jako:
kde a jsou okrajové entropie, a jsou podmíněné entropie, a je společná entropie z a .
Všimněte si analogie sjednocení, rozdílu a průniku dvou množin: v tomto ohledu jsou všechny výše uvedené vzorce patrné z Vennova diagramu uvedeného na začátku článku.
Pokud jde o komunikační kanál, ve kterém je výstup je hlučná verze vstupu , tyto vztahy jsou shrnuty na obrázku:
Protože není negativní, v důsledku toho, . Zde uvádíme podrobný odpočet pro případ společně diskrétních náhodných proměnných:
Důkazy ostatních výše uvedených identit jsou podobné. Důkaz obecného případu (nejen diskrétní) je podobný, přičemž součty nahrazují integrály.
Intuitivně, pokud entropie je tedy považováno za míru nejistoty ohledně náhodné proměnné je měřítkem čeho dělá ne řekni o . To je „množství nejistoty po je známo ", a tedy pravou stranu druhé z těchto rovností lze číst jako" množství nejistoty v , minus množství nejistoty v který zůstává po je známo ", což odpovídá" míře nejistoty v který je odstraněn vědomím To potvrzuje intuitivní význam vzájemných informací jako množství informací (tj. Snížení nejistoty), které znalost jedné proměnné poskytuje o druhé.
Všimněte si, že v samostatném případě a proto . Tím pádem , a lze formulovat základní princip, že proměnná obsahuje alespoň tolik informací o sobě, kolik může poskytnout jakákoli jiná proměnná.
Vztah ke Kullback – Leiblerově divergenci
Pro společně diskrétní nebo společně spojité páry , vzájemná informace je Kullback – Leiblerova divergence výrobku z mezní rozdělení, , od společná distribuce , to znamená,
Kromě toho být podmíněnou funkcí hmotnosti nebo hustoty. Pak máme identitu
Důkaz pro společně diskrétní náhodné proměnné je následující:
Podobně lze tuto identitu stanovit pro společně spojité náhodné proměnné.
Všimněte si, že zde Kullback – Leiblerova divergence zahrnuje integraci nad hodnotami náhodné proměnné pouze a výraz stále označuje náhodnou proměnnou, protože je náhodný. Vzájemnou informaci lze tedy chápat také jako očekávání Kullback – Leiblerovy divergence jednorozměrná distribuce z z podmíněné rozdělení z daný : čím odlišnější jsou distribuce a jsou v průměru, tím větší je zisk informací.
Bayesovský odhad vzájemných informací
Pokud jsou k dispozici vzorky ze společné distribuce, lze k odhadu vzájemných informací o této distribuci použít Bayesovský přístup. První práce, která to ukázala, která také ukázala, jak udělat Bayesiánský odhad mnoha dalších informačních teoretických vlastností kromě vzájemných informací, byla [3]. Následní vědci to znovu využili [4]a prodloužena [5]tuto analýzu. Vidět [6]pro nedávný dokument založený na předchozí specificky přizpůsobené odhadu vzájemných informací per se. Kromě toho nedávno metoda odhadu, která zohledňuje spojité a vícerozměrné výstupy, , bylo navrženo v [7].
Předpoklady nezávislosti
Formulace Kullback-Leiblerovy divergence vzájemných informací vychází z toho, že má zájem o srovnání na plně faktorizované vnější produkt . V mnoha problémech, jako např nezáporná maticová faktorizace, jednoho zajímají méně extrémní faktorizace; konkrétně si přejeme porovnat na aproximaci matice nízkého řádu v nějaké neznámé proměnné ; to znamená do jaké míry by člověk mohl mít
Alternativně by člověka mohlo zajímat, kolik dalších informací přenáší svou faktorizaci. V takovém případě přebytečné informace, že plná distribuce přenáší faktorizaci matice je dána Kullback-Leiblerovou divergencí
Konvenční definice vzájemné informace je obnovena v krajním případě procesu má pouze jednu hodnotu pro .
Variace
Bylo navrženo několik variant vzájemných informací, aby vyhovovaly různým potřebám. Mezi nimi jsou normalizované varianty a zobecnění na více než dvě proměnné.
Metrický
Mnoho aplikací vyžaduje a metrický, tj. míra vzdálenosti mezi dvojicemi bodů. Množství
splňuje vlastnosti metriky (nerovnost trojúhelníku, nezápornost, nerozeznatelnost a symetrie). Tato metrika vzdálenosti je také známá jako variace informací.
Li jsou diskrétní náhodné proměnné, pak jsou všechny entropické členy nezáporné, takže a lze definovat normalizovanou vzdálenost
Metrika je univerzální metrika v tom, že pokud se jedná o jiné místo pro měření vzdálenosti a zblízka, pak také je bude soudit blízko.[8][pochybný ]
Zapojení definic to ukazuje
V teoreticko-teoretické interpretaci informací (viz obrázek pro Podmíněná entropie ), to je ve skutečnosti Vzdálenost Jaccard mezi a .
Konečně,
je také metrika.
Podmíněné vzájemné informace
Někdy je užitečné vyjádřit vzájemnou informaci dvou náhodných proměnných podmíněných na třetí.
Pro společně diskrétní náhodné proměnné toto má podobu
které lze zjednodušit jako
Pro společně spojité náhodné proměnné toto má podobu
které lze zjednodušit jako
Podmíněnost třetí náhodné proměnné může vzájemnou informaci buď zvýšit nebo snížit, ale vždy platí
pro diskrétní, společně distribuované náhodné proměnné . Tento výsledek byl použit jako základní stavební kámen pro prokázání jiného nerovnosti v teorii informací.
Vícerozměrné vzájemné informace
Bylo navrženo několik zobecnění vzájemných informací na více než dvě náhodné proměnné, jako např celková korelace (nebo více informací) a informace o interakci. Vyjádření a studium vícerozměrných vzájemných informací vyššího stupně bylo dosaženo ve dvou zdánlivě nezávislých pracích: McGill (1954) [9] kdo tyto funkce nazval „interakčními informacemi“ a Hu Kuo Ting (1962) [10] kdo také nejprve dokázal možnou negativitu vzájemných informací pro stupně vyšší než 2 a algebraicky zdůvodnil intuitivní korespondenci s Vennovými diagramy [11]
a pro
kde (jak je uvedeno výše) definujeme
(Tato definice vícerozměrných vzájemných informací je stejná jako definice informace o interakci s výjimkou změny znaménka, když je počet náhodných proměnných lichý.)
Vícerozměrná statistická nezávislost
Funkce vícerozměrných vzájemných informací zobecňují případ párové nezávislosti, který to uvádí kdyby a jen kdyby , na libovolnou početnou proměnnou. n proměnných je vzájemně nezávislých právě tehdy, když funkce vzájemných informací zmizí s (věta 2 [11]). V tomto smyslu lze použít jako upřesněné kritérium statistické nezávislosti.
Aplikace
Pro 3 proměnné Brenner et al. aplikoval vícerozměrné vzájemné informace na neurální kódování a nazval jejich negativitu „synergií“ [12] a Watkinson et al. aplikoval to na genetické vyjádření [13]. Pro libovolné k proměnné Tapia et al. aplikoval vícerozměrné vzájemné informace na genovou expresi [14][11]). Může to být nula, kladné nebo záporné [15]. Pozitivita odpovídá vztahům zobecňujícím párové korelace, nulita odpovídá rafinovanému pojetí nezávislosti a negativita detekuje vysoce dimenzionální „vznikající“ vztahy a shluknuté datové body [14]).
Jedno vysoce dimenzionální generalizační schéma, které maximalizuje vzájemné informace mezi společnou distribucí a dalšími cílovými proměnnými, se ukázalo být užitečné v výběr funkcí.[16]
Vzájemné informace se také používají v oblasti zpracování signálu jako a míra podobnosti mezi dvěma signály. Například metrika FMI[17] je měřítko výkonu fúze obrazu, které využívá vzájemné informace k měření množství informací, které obsahuje fúzovaný obraz o zdrojových obrazech. The Matlab kód pro tuto metriku najdete na.[18]. K dispozici je balíček pythonu pro výpočet všech vícerozměrných vzájemných informací, podmíněné vzájemné informace, společné entropie, celkové korelace, vzdálenost informací v datové sadě n proměnných [19].
Řízené informace
Řízené informace, , měří množství informací, které z procesu plynou na , kde označuje vektor a označuje . Termín řízené informace byl vytvořen James Massey a je definován jako
- .
Všimněte si, že pokud , směrovaná informace se stává vzájemnou informací. Řízené informace mají mnoho aplikací v problémech, kde kauzalita hraje důležitou roli, jako např kapacita kanálu se zpětnou vazbou.[20][21]
Normalizované varianty
Normalizované varianty vzájemných informací poskytuje omezující koeficienty,[22] koeficient nejistoty[23] nebo odbornost:[24]
Dva koeficienty mají hodnotu v rozmezí [0, 1], ale nemusí být nutně stejné. V některých případech může být požadována symetrická míra, například následující nadbytek[Citace je zapotřebí ] opatření:
který dosahuje minima nuly, když jsou proměnné nezávislé, a maximální hodnotu
když se jedna proměnná stane zcela nadbytečnou se znalostí druhé. Viz také Redundance (informační teorie).
Dalším symetrickým měřítkem je symetrická nejistota (Witten & Frank 2005 ), dána
který představuje harmonický průměr ze dvou koeficientů nejistoty .[23]
Považujeme-li vzájemnou informaci za zvláštní případ celková korelace nebo duální celková korelace, normalizovaná verze jsou příslušně,
- a
Tato normalizovaná verze známá také jako Poměr kvality informací (IQR) který kvantifikuje množství informací proměnné na základě jiné proměnné proti celkové nejistotě:[25]
Existuje normalizace[26] který vychází z prvního uvažování o vzájemné informaci jako analogii k kovariance (tím pádem Shannonova entropie je analogický k rozptyl ). Pak se normalizovaná vzájemná informace vypočítá podobně jako Pearsonův korelační koeficient,
Vážené varianty
V tradiční formulaci vzájemné informace
každý událost nebo objekt specifikováno je vážena odpovídající pravděpodobností . To předpokládá, že všechny objekty nebo události jsou ekvivalentní na rozdíl od jejich pravděpodobnost výskytu. V některých aplikacích však může nastat situace, že určitých objektů nebo událostí je více významný než ostatní, nebo že určité vzorce asociace jsou sémanticky důležitější než jiné.
Například deterministické mapování lze považovat za silnější než deterministické mapování , ačkoli tyto vztahy by přinesly stejné vzájemné informace. Je to proto, že vzájemné informace nejsou vůbec citlivé na jakékoli inherentní řazení v hodnotách proměnných (Cronbach 1954, Coombs, Dawes & Tversky 1970, Lockhead 1970 ), a proto není vůbec citlivý na formulář relačního mapování mezi přidruženými proměnnými. Pokud je žádoucí, aby bývalý vztah - ukazující shodu na všech hodnotách proměnných - byl posuzován silnější než pozdější vztah, je možné použít následující vážené vzájemné informace (Guiasu 1977 ).
který váží na pravděpodobnosti každého společného výskytu proměnné hodnoty, . To umožňuje, že určité pravděpodobnosti mohou mít větší či menší význam než jiné, což umožňuje kvantifikaci relevantní holistický nebo Prägnanz faktory. Ve výše uvedeném příkladu použití větších relativních vah pro , , a by mělo za následek větší hodnocení informativnost pro vztah než pro vztah , což může být žádoucí v některých případech rozpoznávání vzorů apod. Tato vážená vzájemná informace je formou vážené KL-divergence, o které je známo, že u některých vstupů má záporné hodnoty,[27] a existují příklady, kdy vážená vzájemná informace má také záporné hodnoty.[28]
Upravené vzájemné informace
Na rozdělení pravděpodobnosti lze pohlížet jako na oddíl sady. Potom se můžeme zeptat: kdyby byla množina náhodně rozdělena, jaké by bylo rozdělení pravděpodobností? Jaká by byla očekávaná hodnota vzájemné informace? The upravená vzájemná informace nebo AMI odečte očekávanou hodnotu MI, takže AMI je nula, když jsou dvě různá rozdělení náhodná, a jedna, když jsou dvě rozdělení stejná. AMI je definován analogicky k upravený Randův index dvou různých oddílů sady.
Absolutní vzájemná informace
S využitím myšlenek Kolmogorovova složitost lze uvažovat o vzájemné informaci dvou sekvencí nezávislé na jakémkoli rozdělení pravděpodobnosti:
Chcete-li zjistit, že toto množství je symetrické až do logaritmického faktoru () jeden vyžaduje řetězové pravidlo pro Kolmogorovovu složitost (Li & Vitányi 1997 ). Aproximace tohoto množství prostřednictvím komprese lze použít k definování a měření vzdálenosti provést a hierarchické shlukování sekvencí bez jakýchkoli znalost domény sekvencí (Cilibrasi & Vitányi 2005 ).
Lineární korelace
Na rozdíl od korelačních koeficientů, jako je například korelační koeficient momentu produktu, vzájemné informace obsahují informace o veškeré závislosti - lineární i nelineární - a nejen lineární závislost jako měřítko korelačního koeficientu. V úzkém případě, že společná distribuce pro a je rozdělit normální rozdělení (z čehož vyplývá zejména to, že obě marginální distribuce jsou normálně distribuovány), existuje přesný vztah mezi nimi a korelační koeficient (Gel'fand & Yaglom 1957 ).
Výše uvedenou rovnici lze pro dvojrozměrnou Gaussian odvodit následovně:
Proto,
Pro diskrétní data
Když a jsou omezeny na diskrétní počet stavů, data pozorování jsou shrnuta v a pohotovostní tabulka, s proměnnou řádku (nebo ) a proměnná sloupce (nebo ). Vzájemné informace jsou jedním z opatření sdružení nebo korelace mezi řádkovými a sloupcovými proměnnými. Mezi další opatření sdružení patří Pearsonův test chí-kvadrát statistika, G-test statistiky atd. Ve skutečnosti se vzájemné informace rovnají G-test statistika děleno , kde je velikost vzorku.
Aplikace
V mnoha aplikacích chce člověk maximalizovat vzájemné informace (čímž zvyšuje závislosti), což je často ekvivalentní minimalizaci podmíněná entropie. Mezi příklady patří:
- v technologie vyhledávacích strojů se jako funkce pro používá vzájemná informace mezi frázemi a kontexty k-znamená shlukování objevit sémantické klastry (koncepty).[29] Například vzájemné informace o bigramu lze vypočítat jako:
- kde je počet případů, kdy se bigram xy objeví v korpusu, je počet, kolikrát se unigram x objeví v korpusu, B je celkový počet bigramů a U je celkový počet unigramů.[29]
- v telekomunikace, kapacita kanálu se rovná vzájemné informaci, maximalizované ve všech vstupních distribucích.
- Diskriminační trénink postupy pro skryté Markovovy modely byly navrženy na základě maximální vzájemná informace (MMI).
- Sekundární struktura RNA předpověď z a vícenásobné zarovnání sekvence.
- Fylogenetické profilování predikce z párové přítomnosti a zániku funkčně vazby geny.
- Vzájemné informace byly použity jako kritérium pro výběr funkcí a transformace funkcí ve Windows strojové učení. Lze jej použít k charakterizaci relevance a redundance proměnných, jako je výběr minimální funkce redundance.
- Vzájemné informace se používají při určování podobnosti dvou různých shlukování datové sady. Jako takový poskytuje oproti tradičnímu některé výhody Randův index.
- Vzájemná informace slov se často používá jako funkce významnosti pro výpočet kolokace v korpusová lingvistika. To má přidanou složitost, že žádná instance slova není instancí dvou různých slov; spíše se počítají případy, kdy se 2 slova vyskytují v sousedství nebo v těsné blízkosti; to mírně komplikuje výpočet, protože očekávaná pravděpodobnost výskytu jednoho slova uvnitř slova jiného, jde nahoru .
- Vzájemné informace se používají v lékařské zobrazování pro registrace obrázku. Vzhledem k referenčnímu obrázku (například skenování mozku) a druhému obrazu, který je třeba vložit do stejného souřadnicový systém jako referenční obraz je tento obraz deformován, dokud není maximalizována vzájemná informace mezi ním a referenčním obrazem.
- Detekce fázová synchronizace v časové řady analýza
- V infomax metoda pro neuronovou síť a další strojové učení, včetně infomaxu Analýza nezávislých komponent algoritmus
- Průměrné vzájemné informace v věta o zpoždění vložení se používá pro stanovení vložení zpoždění parametr.
- Vzájemné informace mezi geny v expresní microarray data jsou používána algoritmem ARACNE pro rekonstrukci genové sítě.
- v statistická mechanika, Loschmidtův paradox mohou být vyjádřeny ve smyslu vzájemné informace.[30][31] Loschmidt poznamenal, že musí být nemožné určit fyzikální zákon, který chybí symetrie obrácení času (např druhý zákon termodynamiky ) pouze z fyzikálních zákonů, které mají tuto symetrii. Poukázal na to, že H-věta z Boltzmann učinil předpoklad, že rychlosti částic v plynu byly trvale nekorelované, což odstranilo časovou symetrii vlastní H-teorému. Je možné ukázat, že pokud je systém popsán hustotou pravděpodobnosti v fázový prostor, pak Liouvilleova věta znamená, že společná informace (negativní společné entropie) distribuce zůstává v čase konstantní. Společná informace se rovná vzájemné informaci plus součet všech okrajových informací (záporných mezních entropií) pro každou souřadnici částic. Boltzmannův předpoklad se rovná ignorování vzájemné informace při výpočtu entropie, která vede k termodynamické entropii (děleno Boltzmannovou konstantou).
- Vzájemné informace se používají k osvojení struktury Bayesovské sítě /dynamické Bayesovské sítě, o kterém se předpokládá, že vysvětluje kauzální vztah mezi náhodnými proměnnými, jak dokládá soubor nástrojů GlobalMIT:[32] učení se globálně optimální dynamické Bayesovské síti s kritériem testu vzájemných informací.
- Populární nákladová funkce v učení rozhodovacího stromu.
- Vzájemné informace se používají v kosmologie otestovat vliv rozsáhlých prostředí na vlastnosti galaxií v Galaxy Zoo.
- Vzájemné informace byly použity v Sluneční fyzika odvodit sluneční energii diferenciální rotace profil, mapa odchylek času a času pro sluneční skvrny a diagram času a vzdálenosti z měření klidného Slunce[33]
- Používá se v Invariant Information Clustering k automatickému trénování klasifikátorů neuronových sítí a segmentátorů obrázků, které nemají žádná označená data.[34]
Viz také
Poznámky
- ^ Kreer, J. G. (1957). "Otázka terminologie". Transakce IRE na teorii informací. 3 (3): 208. doi:10.1109 / TIT.1957.1057418.
- ^ A b C Cover, T.M .; Thomas, J.A. (1991). Základy teorie informace (Wiley ed.). ISBN 978-0-471-24195-9.
- ^ Wolpert, D.H .; Wolf, D.R. (1995). Msgstr "Odhad funkcí rozdělení pravděpodobnosti z konečné sady vzorků". Fyzický přehled E. 52 (6): 6841–6854. Bibcode:1995PhRvE..52,6841W. CiteSeerX 10.1.1.55.7122. doi:10.1103 / PhysRevE.52.6841. PMID 9964199.
- ^ Hutter, M. (2001). "Distribuce vzájemných informací". Pokroky v systémech zpracování neurálních informací 2001.
- ^ Archer, E .; Park, I.M .; Polštář, J. (2013). „Bayesiánské a kvazi-Bayesovské odhady pro vzájemné informace z diskrétních dat“. Entropie. 15 (12): 1738–1755. Bibcode:2013Entrp..15.1738A. CiteSeerX 10.1.1.294.4690. doi:10,3390 / e15051738.
- ^ Wolpert, D.H .; DeDeo, S. (2013). Msgstr "Odhad funkcí distribucí definovaných na prostorech neznámé velikosti". Entropie. 15 (12): 4668–4699. arXiv:1311.4548. Bibcode:2013Entrp..15.4668W. doi:10,3390 / e15114668. S2CID 2737117.
- ^ Tomasz Jetka; Karol Nienaltowski; Tomasz Winarski; Slawomir Blonski; Michal Komorowski (2019), „Informační-teoretická analýza vícerozměrných jednobuněčných signálních odpovědí“, PLOS výpočetní biologie, 15 (7): e1007132, arXiv:1808.05581, Bibcode:2019PLSCB..15E7132J, doi:10.1371 / journal.pcbi.1007132, PMC 6655862, PMID 31299056
- ^ Kraskov, Alexander; Stögbauer, Harald; Andrzejak, Ralph G .; Grassberger, Peter (2003). "Hierarchické shlukování založené na vzájemných informacích". arXiv:q-bio / 0311039. Bibcode:2003q.bio .... 11039K. Citovat deník vyžaduje
| deník =
(Pomoc) - ^ McGill, W. (1954). "Vícerozměrný přenos informací". Psychometrika. 19 (1): 97–116. doi:10.1007 / BF02289159. S2CID 126431489.
- ^ Hu, K.T. (1962). "O množství informací". Teorie Probab. Appl. 7 (4): 439–447. doi:10.1137/1107041.
- ^ A b C Baudot, P .; Tapia, M .; Bennequin, D .; Goaillard, J.M. (2019). "Topologická informační analýza dat". Entropie. 21 (9). 869. arXiv:1907.04242. Bibcode:2019Entrp..21..869B. doi:10,3390 / e21090869. S2CID 195848308.
- ^ Brenner, N .; Strong, S .; Koberle, R .; Bialek, W. (2000). „Synergie v neurálním kódu“. Neural Comput. 12 (7): 1531–1552. doi:10.1162/089976600300015259. PMID 10935917. S2CID 600528.
- ^ Watkinson, J .; Liang, K .; Wang, X .; Zheng, T .; Anastassiou, D. (2009). „Odvození regulačních genových interakcí z údajů o expresi pomocí třícestných vzájemných informací“. Výzva Syst. Biol. Ann. N. Y. Acad. Sci. 1158 (1): 302–313. Bibcode:2009NYASA1158..302W. doi:10.1111/j.1749-6632.2008.03757.x. PMID 19348651. S2CID 8846229.
- ^ A b Tapia, M.; Baudot, P.; Formizano-Treziny, C.; Dufour, M.; Goaillard, J.M. (2018). "Neurotransmitter identity and electrophysiological phenotype are genetically coupled in midbrain dopaminergic neurons". Sci. Rep. 8 (1): 13637. Bibcode:2018NatSR...813637T. doi:10.1038/s41598-018-31765-z. PMC 6134142. PMID 30206240.
- ^ Hu, K.T. (1962). "On the Amount of Information". Teorie Probab. Appl. 7 (4): 439–447. doi:10.1137/1107041.
- ^ Christopher D. Manning; Prabhakar Raghavan; Hinrich Schütze (2008). An Introduction to Information Retrieval. Cambridge University Press. ISBN 978-0-521-86571-5.
- ^ Haghighat, M. B. A.; Aghagolzadeh, A.; Seyedarabi, H. (2011). "A non-reference image fusion metric based on mutual information of image features". Počítače a elektrotechnika. 37 (5): 744–756. doi:10.1016/j.compeleceng.2011.07.012.
- ^ "Feature Mutual Information (FMI) metric for non-reference image fusion - File Exchange - MATLAB Central". www.mathworks.com. Citováno 4. dubna 2018.
- ^ "InfoTopo: Topological Information Data Analysis. Deep statistical unsupervised and supervised learning - File Exchange - Github". github.com/pierrebaudot/infotopopy/. Citováno 26. září 2020.
- ^ Massey, James (1990). "Causality, Feedback And Directed Informatio". Proc. 1990 Intl. Symp. na Info. Čt. and its Applications, Waikiki, Hawaii, Nov. 27-30, 1990. CiteSeerX 10.1.1.36.5688.
- ^ Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (February 2009). "Finite State Channels With Time-Invariant Deterministic Feedback". Transakce IEEE na teorii informací. 55 (2): 644–662. arXiv:cs/0608070. doi:10.1109/TIT.2008.2009849. S2CID 13178.
- ^ Coombs, Dawes & Tversky 1970.
- ^ A b Stiskněte, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP (2007). "Section 14.7.3. Conditional Entropy and Mutual Information". Numerické recepty: Umění vědecké práce na počítači (3. vyd.). New York: Cambridge University Press. ISBN 978-0-521-88068-8.
- ^ White, Jim; Steingold, Sam; Fournelle, Connie. Performance Metrics for Group-Detection Algorithms (PDF). Interface 2004.
- ^ Wijaya, Dedy Rahman; Sarno, Riyanarto; Zulaika, Enny (2017). "Information Quality Ratio as a novel metric for mother wavelet selection". Chemometrie a inteligentní laboratorní systémy. 160: 59–71. doi:10.1016/j.chemolab.2016.11.012.
- ^ Strehl, Alexander; Ghosh, Joydeep (2003). "Cluster Ensembles – A Knowledge Reuse Framework for Combining Multiple Partitions" (PDF). The Journal of Machine Learning Research. 3: 583–617. doi:10.1162/153244303321897735.
- ^ Kvålseth, T. O. (1991). "The relative useful information measure: some comments". Informační vědy. 56 (1): 35–38. doi:10.1016/0020-0255(91)90022-m.
- ^ Pocock, A. (2012). Feature Selection Via Joint Likelihood (PDF) (Teze).
- ^ A b Parsing a Natural Language Using Mutual Information Statistics by David M. Magerman and Mitchell P. Marcus
- ^ Hugh Everett Theory of the Universal Wavefunction, Thesis, Princeton University, (1956, 1973), pp 1–140 (page 30)
- ^ Everett, Hugh (1957). "Relative State Formulation of Quantum Mechanics". Recenze moderní fyziky. 29 (3): 454–462. Bibcode:1957RvMP...29..454E. doi:10.1103/revmodphys.29.454. Archivovány od originál dne 2011-10-27. Citováno 2012-07-16.
- ^ GlobalMIT na Google Code
- ^ Keys, Dustin; Kholikov, Shukur; Pevtsov, Alexei A. (February 2015). "Application of Mutual Information Methods in Time Distance Helioseismology". Sluneční fyzika. 290 (3): 659–671. arXiv:1501.05597. Bibcode:2015SoPh..290..659K. doi:10.1007/s11207-015-0650-y. S2CID 118472242.
- ^ Invariant Information Clustering for Unsupervised Image Classification and Segmentation by Xu Ji, Joao Henriques and Andrea Vedaldi
Reference
- Baudot, P.; Tapia, M.; Bennequin, D.; Goaillard, J.M. (2019). "Topological Information Data Analysis". Entropie. 21 (9). 869. arXiv:1907.04242. Bibcode:2019Entrp..21..869B. doi:10.3390/e21090869. S2CID 195848308.
- Cilibrasi, R.; Vitányi, Paul (2005). "Clustering by compression" (PDF). Transakce IEEE na teorii informací. 51 (4): 1523–1545. arXiv:cs/0312044. doi:10.1109/TIT.2005.844059. S2CID 911.
- Cronbach, L. J. (1954). "On the non-rational application of information measures in psychology". v Quastler, Henry (vyd.). Information Theory in Psychology: Problems and Methods. Glencoe, Illinois: Free Press. str. 14–30.
- Coombs, C. H.; Dawes, R. M.; Tversky, A. (1970). Mathematical Psychology: An Elementary Introduction. Englewood Cliffs, New Jersey: Prentice-Hall.
- Kostel, Kenneth Ward; Hanks, Patrick (1989). „Normy asociace slov, vzájemné informace a lexikografie“. Proceedings of the 27th Annual Meeting of the Association for Computational Linguistics: 76–83. doi:10.3115/981623.981633.
- Gel'fand, I.M.; Yaglom, A.M. (1957). "Calculation of amount of information about a random function contained in another such function". American Mathematical Society Translations: Series 2. 12: 199–246. doi:10.1090/trans2/012/09. ISBN 9780821817124. English translation of original in Uspekhi Matematicheskikh Nauk 12 (1): 3-52.
- Guiasu, Silviu (1977). Information Theory with Applications. McGraw-Hill, New York. ISBN 978-0-07-025109-0.
- Li, Ming; Vitányi, Paul (February 1997). An introduction to Kolmogorov complexity and its applications. New York: Springer-Verlag. ISBN 978-0-387-94868-3.
- Lockhead, G. R. (1970). "Identification and the form of multidimensional discrimination space". Journal of Experimental Psychology. 85 (1): 1–10. doi:10.1037/h0029508. PMID 5458322.
- David J. C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1 (available free online)
- Haghighat, M. B. A.; Aghagolzadeh, A.; Seyedarabi, H. (2011). "A non-reference image fusion metric based on mutual information of image features". Počítače a elektrotechnika. 37 (5): 744–756. doi:10.1016/j.compeleceng.2011.07.012.
- Athanasios Papoulis. Pravděpodobnost, náhodné proměnné a stochastické procesy, druhé vydání. New York: McGraw-Hill, 1984. (See Chapter 15.)
- Witten, Ian H. & Frank, Eibe (2005). Data Mining: Practical Machine Learning Tools and Techniques. Morgan Kaufmann, Amsterdam. ISBN 978-0-12-374856-0.
- Peng, H.C.; Long, F. & Ding, C. (2005). "Feature selection based on mutual information: criteria of max-dependency, max-relevance, and min-redundancy". Transakce IEEE na analýze vzorů a strojové inteligenci. 27 (8): 1226–1238. CiteSeerX 10.1.1.63.5765. doi:10.1109/tpami.2005.159. PMID 16119262. S2CID 206764015.
- Andre S. Ribeiro; Stuart A. Kauffman; Jason Lloyd-Price; Bjorn Samuelsson & Joshua Socolar (2008). "Mutual Information in Random Boolean models of regulatory networks". Fyzický přehled E. 77 (1): 011901. arXiv:0707.3642. Bibcode:2008PhRvE..77a1901R. doi:10.1103/physreve.77.011901. PMID 18351870. S2CID 15232112.
- Wells, W.M. III; Viola, P.; Atsumi, H.; Nakajima, S .; Kikinis, R. (1996). "Multi-modal volume registration by maximization of mutual information" (PDF). Medical Image Analysis. 1 (1): 35–51. doi:10.1016/S1361-8415(01)80004-9. PMID 9873920. Archivovány od originál (PDF) dne 06.09.2008. Citováno 2010-08-05.
- Pandey, Biswajit; Sarkar, Suman (2017). "How much a galaxy knows about its large-scale environment?: An information theoretic perspective". Měsíční oznámení dopisů Královské astronomické společnosti. 467 (1): L6. arXiv:1611.00283. Bibcode:2017MNRAS.467L...6P. doi:10.1093/mnrasl/slw250. S2CID 119095496.