Informace o interakci - Interaction information

The informace o interakci (McGill 1954), nebo množství informací (Hu Kuo Ting, 1962) nebo společné informace (Bell 2003), je jednou z několika zobecnění vzájemné informace.

Informace o interakci vyjadřují informace o množství (redundanci nebo synergii) vázané v sadě proměnných, mimo to, co je přítomné v jakékoli podmnožině těchto proměnných. Na rozdíl od vzájemné informace mohou být informace o interakci buď pozitivní, nebo negativní. Tato matoucí vlastnost pravděpodobně zpomalila její širší přijetí jako informační opatření v roce strojové učení a kognitivní věda. Tyto funkce, jejich negativita a minima mají přímou interpretaci algebraická topologie (Baudot & Bennequin, 2015).

Případ tří proměnných

Pro tři proměnné ${displaystyle {X, Y, Z}}$ , informace o interakci ${displaystyle I (X; Y; Z)}$ darováno

{displaystyle {egin {matrix} I (X; Y; Z) & = & I (X; Y) -I (X; Y | Z) & = & I (X; Z) -I (X; Z | Y) & = & I (Y; Z) -I (Y; Z | X) konec {matice}}}

kde například ${displaystyle I (X; Y)}$ je vzájemná informace mezi proměnnými ${displaystyle X}$ a ${displaystyle Y}$ , a ${displaystyle I (X; Y | Z)}$ je podmíněné vzájemné informace mezi proměnnými ${displaystyle X}$ a ${displaystyle Y}$ daný ${displaystyle Z}$ . Formálně,

{displaystyle {egin {zarovnáno} I (X; Y | Z) & = H (X | Z) + H (Y | Z) -H (X, Y | Z) & = H (X | Z) -H (X | Y, Z) & = H (X, Z) + H (Y, Z) -H (Z) -H (X, Y, Z), konec {zarovnáno}}}

a

{displaystyle {egin {aligned} I (X; Y) & = H (X) + H (Y) -H (X, Y) .end {aligned}}}

Z toho tedy vyplývá

{displaystyle {egin {alignedat} {3} I (X; Y; Z) = & quad && [H (X) + H (Y) + H (Z)] & - && [H (X, Y) + H (X, Z) + H (Y, Z)] & + && H (X, Y, Z) end {alignedat}}}

V případě tří proměnných informace o interakci ${displaystyle I (X; Y; Z)}$ je rozdíl mezi informacemi sdílenými ${displaystyle {Y, X}}$ když ${displaystyle Z}$ byl opraven a kdy ${displaystyle Z}$ nebyl opraven. (Viz také Fanovu učebnici z roku 1961.) Informace o interakci měří vliv proměnné ${displaystyle Z}$ o množství informací sdílených mezi ${displaystyle {Y, X}}$ . Protože termín ${displaystyle I (X; Y | Z)}$ může být větší než ${displaystyle I (X; Y)}$ - například když oba ${displaystyle X}$ a ${displaystyle Y}$ mít společný účinek na ${displaystyle Z}$ ale jsou na sobě nezávislí, aniž by o tom věděli ${displaystyle Z}$ , informace o interakci mohou být negativní i pozitivní. Pozitivní informace o interakci označuje tuto proměnnou ${displaystyle Z}$ inhibuje (tj. účty pro nebo vysvětluje některé z) korelace mezi ${displaystyle {Y, X}}$ , zatímco negativní informace o interakci označuje tuto proměnnou ${displaystyle Z}$ usnadňuje nebo zvyšuje korelaci mezi ${displaystyle {Y, X}}$ .

Informace o interakci jsou omezené. Ve třech proměnných případech je ohraničen (Yeung 91)

{displaystyle -min {I (X; Y | Z), I (Y; Z | X), I (X; Z | Y)} leq I (X; Y; Z) leq min {I (X; Y) , I (Y; Z), I (X; Z)}}

Příklad informací o pozitivní interakci

Informace o pozitivní interakci se jeví mnohem přirozenější než informace o negativní interakci v tom smyslu, že takové vysvětlující účinky jsou typické pro struktury běžné příčiny. Například mraky způsobují déšť a také blokují slunce; proto je korelace mezi deštěm a tmou částečně způsobena přítomností mraků, ${displaystyle I (déšť; tma | mrak)$ . Výsledkem jsou informace o pozitivní interakci ${displaystyle I (déšť; tma; mrak)}$ .

Příklad informací o negativní interakci

Případ informací o negativní interakci se zdá být o něco méně přirozený. Prototypický příklad negativu ${displaystyle I (X; Y; Z)}$ má ${displaystyle X}$ jako výstup brány XOR, ke které ${displaystyle Y}$ a ${displaystyle Z}$ jsou nezávislé náhodné vstupy. V tomto případě ${displaystyle I (Y; Z)}$ bude nula, ale ${displaystyle I (Y; Z | X)}$ bude pozitivní (1 bit ) od jednoho výstupu ${displaystyle X}$ je známa hodnota na vstupu ${displaystyle Y}$ zcela určuje hodnotu na vstupu ${displaystyle Z}$ . Od té doby ${displaystyle I (Y; Z | X)> I (Y; Z)}$ , výsledkem jsou negativní informace o interakci ${displaystyle I (X; Y; Z)}$ . Může se zdát, že tento příklad se opírá o zvláštní uspořádání ${displaystyle X, Y, Z}$ získat negativní interakci, ale symetrii definice pro ${displaystyle I (X; Y; Z)}$ označuje, že výsledky stejné negativní informace o interakci bez ohledu na to, kterou proměnnou považujeme za vetřelec nebo podmíněná proměnná. Například vstup ${displaystyle Y}$ a výstup ${displaystyle X}$ jsou také nezávislé až do vstupu ${displaystyle Z}$ je pevná, kdy jsou zcela závislí (samozřejmě) a máme stejné negativní informace o interakci jako dříve, ${displaystyle I (X; Y; Z) = I (X; Y) -I (X; Y | Z)}$ .

Tato situace je příkladem, kdy oprava společný efekt ${displaystyle X}$ příčin ${displaystyle Y}$ a ${displaystyle Z}$ vyvolává závislost mezi příčinami, které dříve neexistovaly. Toto chování se hovorově označuje jako vysvětlovat pryč a je důkladně diskutována v Bayesian Network literatura (např. Pearl 1988). Příkladem Pearl je automatická diagnostika: Nastartování motoru automobilu může selhat ${displaystyle (X)}$ kvůli vybité baterii ${displaystyle (Y)}$ nebo kvůli zablokovanému palivovému čerpadlu ${displaystyle (Z)}$ . Obvykle předpokládáme, že smrt baterie a zablokování palivového čerpadla jsou nezávislé události, kvůli zásadní modularitě takových automobilových systémů. Při absenci dalších informací nám tedy znalost toho, zda je baterie vybitá, neposkytuje žádné informace o tom, zda je či není blokováno palivové čerpadlo. Pokud však víme, že se auto nespustí (tj. Opravíme společný efekt ${displaystyle X}$ ), tato informace vyvolává závislost mezi těmito dvěma příčinami smrt baterie a zablokování paliva. Pokud tedy při prohlídce zjistíte, že je baterie v dobrém zdravotním stavu, nelze nastartovat, můžeme dojít k závěru, že palivové čerpadlo musí být zablokováno.

Smrt baterie a zablokování paliva jsou tedy závislé, podmíněné společným účinkem startování auta. Výše uvedená diskuse naznačuje, že zjevná směrovost v grafu společných efektů popírá hlubokou informační symetrii: Pokud podmínění společného efektu zvýší závislost mezi jeho dvěma původními příčinami, podmínění jednou z příčin musí vytvořit stejné zvýšení závislosti. mezi druhou příčinou a společným následkem. V automobilovém příkladu Pearl, pokud je klimatizace zapnutá auto nastartuje indukuje ${displaystyle I (X; Y; Z)}$ bity závislosti mezi těmito dvěma příčinami vybitá baterie a palivo zablokováno, pak kondicionování zapnutopalivo zablokováno musí vyvolat ${displaystyle I (X; Y; Z)}$ bity závislosti mezi vybitá baterie a auto nastartuje. To se může zdát divné, protože vybitá baterie a auto nastartuje se již řídí implikací vybitá baterie ${displaystyle ightarrow}$ auto nestartuje. Tyto proměnné však stále nejsou zcela korelované, protože obrácení není pravdivé. Podmínka na palivo zablokováno odstraňuje hlavní alternativní příčinu neúspěšného spuštění a posiluje konverzní vztah, a tedy i asociaci mezi vybitá baterie a auto nastartuje. Příspěvek Tsujishita (1995) se hlouběji zaměřuje na vzájemné informace třetího řádu.

Pozitivita pro Markovovy řetězce

Pokud tři proměnné tvoří Markovův řetězec ${displaystyle X o Y o Z}$ , pak ${displaystyle I (X; Z | Y) = 0}$ , ale ${displaystyle I (X; Z) geq 0}$ . Proto jsme to dospěli k závěru

{displaystyle I (X; Y; Z) = I (X; Z) -I (X; Z | Y) = I (X; Z) geq 0.}

[1] "InfoTopo: Analýza dat topologické informace. Hluboké statistické učení bez dozoru a pod dohledem - Výměna souborů - Github". github.com/pierrebaudot/infotopopy/. Citováno 26. září 2020.

[1]

Informace o interakci - Interaction information

Obsah

Případ tří proměnných

Příklad informací o pozitivní interakci

Příklad informací o negativní interakci

Pozitivita pro Markovovy řetězce

Čtyři proměnné případy

The n-variační případ

Problémy s interpretací informací o interakci

Použití

Reference