Bodová vzájemná informace - Pointwise mutual information

tento článek poskytuje nedostatečný kontext pro ty, kteří danému tématu nejsou obeznámeni. Prosím pomozte vylepšit článek podle poskytuje čtenáři více kontextu. (Únor 2012) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

Bodová vzájemná informace (PMI),^[1] nebo bodová vzájemná informace, je měřítkem sdružení použito v teorie informace a statistika. Na rozdíl od vzájemné informace (MI), který staví na PMI, odkazuje na jednotlivé události, zatímco MI odkazuje na průměr všech možných událostí.

Definice

PMI dvojice výsledky X a y patřící diskrétní náhodné proměnné X a Y kvantifikuje rozpor mezi pravděpodobností jejich shody vzhledem k jejich společná distribuce a jejich individuální rozdělení, za předpokladu nezávislost. Matematicky:

${displaystyle operatorname {pmi} (x; y) ekviv log {frac {p (x, y)} {p (x) p (y)}} = log {frac {p (x | y)} {p (x )}} = log {frac {p (y | x)} {p (y)}}.}$

The vzájemné informace (MI) náhodných proměnných X a Y je očekávaná hodnota PMI (přes všechny možné výsledky).

Míra je symetrická (${displaystyle operatorname {pmi} (x; y) = operatorname {pmi} (y; x)}$). Může nabývat kladných nebo záporných hodnot, ale je nula, pokud X a Y jsou nezávislý. Všimněte si, že i když PMI může být negativní nebo pozitivní, jeho očekávaný výsledek za všechny společné události (MI) je pozitivní. PMI se maximalizuje, když X a Y jsou dokonale spojeny (tj. ${displaystyle p (x | y)}$ nebo ${displaystyle p (y | x) = 1}$), čímž se získá následující hranice:

${displaystyle -infty leq operatorname {pmi} (x; y) leq min left [-log p (x), - log p (y) ight].}$

Konečně, ${displaystyle operatorname {pmi} (x; y)}$ se zvýší, pokud ${displaystyle p (x | y)}$ je opraven, ale ${displaystyle p (x)}$ klesá.

Zde je příklad pro ilustraci:

Pomocí této tabulky můžeme marginalizovat získat následující doplňkovou tabulku pro jednotlivé distribuce:

V tomto příkladu můžeme vypočítat čtyři hodnoty pro ${displaystyle pmi (x; y)}$. Pomocí logaritmů base-2:

(Pro informaci, vzájemné informace ${displaystyle operatorname {I} (X; Y)}$ by pak bylo 0,2141709)

Podobnosti se vzájemnými informacemi

Vzájemné informace Pointwise má mnoho stejných vztahů jako vzájemné informace. Zejména,

${displaystyle {egin {aligned} operatorname {pmi} (x; y) & = & h (x) + h (y) -h (x, y) & = & h (x) -h (x | y) & = & h (y) -h (y | x) konec {zarovnáno}}}$

Kde ${displaystyle h (x)}$ je vlastní informace nebo ${displaystyle -log _ {2} p (X = x)}$.

Normalizované bodové vzájemné informace (NPMI)

Bodové vzájemné informace mohou být normalizovány mezi [-1, + 1], což má za následek -1 (v limitu) pro nikdy se nevyskytující společně, 0 pro nezávislost a +1 pro úplnost společný výskyt.^[2]

${displaystyle operatorname {npmi} (x; y) = {frac {operatorname {pmi} (x; y)} {h (x, y)}}}$

Kde ${displaystyle h (x, y)}$ je kloub vlastní informace, který se odhaduje na ${displaystyle -log _ {2} p (X = x, Y = y)}$.

Varianty PMI

Kromě výše uvedeného npmi má PMI mnoho dalších zajímavých variant. Srovnávací studie těchto variant lze nalézt v ^[3]

Řetězové pravidlo pro pmi

Jako vzájemné informace,^[4] bodová vzájemná informace následuje řetězové pravidlo, to znamená,

${displaystyle operatorname {pmi} (x; yz) = operatorname {pmi} (x; y) + operatorname {pmi} (x; z | y)}$

To lze snadno dokázat:

${displaystyle {egin {aligned} operatorname {pmi} (x; y) + operatorname {pmi} (x; z | y) & {} = log {frac {p (x, y)} {p (x) p ( y)}} + přihlásit {frac {p (x, z | y)} {p (x | y) p (z | y)}} & {} = přihlásit vlevo [{frac {p (x, y) } {p (x) p (y)}} {frac {p (x, z | y)} {p (x | y) p (z | y)}} ight] & {} = log {frac { p (x | y) p (y) p (x, z | y)} {p (x) p (y) p (x | y) p (z | y)}} & {} = log {frac {p (x, yz)} {p (x) p (yz)}} & {} = operatorname {pmi} (x; yz) konec {zarovnáno}}}$

Aplikace

v výpočetní lingvistika, PMI byl použit pro hledání kolokace a asociace mezi slovy. Například, počítání výskytů a společné výskyty slov v a textový korpus lze použít k přiblížení pravděpodobností ${displaystyle p (x)}$ a ${displaystyle p (x, y)}$ resp. Následující tabulka ukazuje počty párů slov, které získaly nejvíce a nejméně skóre PMI v prvních 50 milionech slov na Wikipedii (výpis z října 2015) filtrované podle 1000 nebo více společných výskytů. Frekvenci každého počtu lze získat vydělením jeho hodnoty 50 000 952. (Poznámka: Pro výpočet hodnot PMI se v tomto příkladu používá namísto základny protokolu 2 přirozený protokol.)

Dobré kolokační páry mají vysoké PMI, protože pravděpodobnost společného výskytu je jen o málo nižší než pravděpodobnost výskytu každého slova. Naopak dvojice slov, jejichž pravděpodobnost výskytu je podstatně vyšší než pravděpodobnost společného výskytu, získá malé skóre PMI.

Reference

• Fano, RM (1961). "Kapitola 2". Přenos informací: Statistická teorie komunikace. MIT Press, Cambridge, MA. ISBN  978-0262561693.

externí odkazy

• Demo na serveru Rensselaer MSR (Hodnoty PMI normalizovány tak, aby byly mezi 0 a 1)