Bodový vzájemný výskyt společného výskytu druhého řádu - Second-order co-occurrence pointwise mutual information

Tento článek má několik problémů. Prosím pomozte vylepši to nebo diskutovat o těchto problémech na internetu diskusní stránka. (Zjistěte, jak a kdy tyto zprávy ze šablony odebrat) tento článek může být pro většinu čtenářů příliš technická na to, aby je pochopili. Prosím pomozte to vylepšit na aby to bylo srozumitelné pro neodborníky, aniž by byly odstraněny technické podrobnosti. (Leden 2016) (Zjistěte, jak a kdy odstranit tuto zprávu šablony) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

v výpočetní lingvistika, společný výskyt druhého řádu bodová vzájemná informace je sémantická podobnost opatření. Posoudit stupeň sdružení mezi dvěma danými slovy, používá bodová vzájemná informace (PMI) seřadí seznam důležitých sousedních slov dvou cílových slov z velkého korpus.

Dějiny

Metoda PMI-IR^{[je zapotřebí objasnění ]} použitý AltaVista Vypočítat syntaxi dotazu Advanced Search pravděpodobnosti. Pamatujte, že vyhledávací operátor „NEAR“ AltaVista je základním operátorem v metodě PMI-IR.^{[Citace je zapotřebí ]} V AltaVista se však již nepoužívá; to znamená, že z hlediska implementace není možné v nových systémech použít metodu PMI-IR ve stejné formě. V každém případě je z hlediska algoritmu výhodou použití SOC-PMI to, že dokáže vypočítat podobnost mezi dvěma slovy, která se vyskytují společně často, protože se vyskytují společně se stejnými sousedními slovy. Například Britský národní korpus (BNC) se používá jako zdroj frekvencí a kontextů.

Metodologie

Metoda bere v úvahu slova, která jsou běžná v obou seznamech, a agreguje jejich hodnoty PMI (z opačného seznamu) pro výpočet relativní sémantické podobnosti. Definujeme bodová vzájemná informace funkce pouze pro ta slova, která mají ${ displaystyle f ^ {b} (t_ {i}, w)> 0}$,

${ displaystyle f ^ { text {pmi}} (t_ {i}, w) = log _ {2} { frac {f ^ {b} (t_ {i}, w) krát m} {f ^ {t} (t_ {i}) f ^ {t} (w)}},}$

kde ${ displaystyle f ^ {t} (t_ {i})}$ nám říká, kolikrát ten typ ${ displaystyle t_ {i}}$ objevil se v celém korpusu, ${ displaystyle f ^ {b} (t_ {i}, w)}$ nám říká, kolikrát slovo ${ displaystyle t_ {i}}$ objevil se slovem ${ displaystyle w}$ v kontextovém okně a ${ displaystyle m}$ je celkový počet žetonů v korpusu. Nyní, slovo ${ displaystyle w}$, definujeme množinu slov, ${ displaystyle X ^ {w}}$, seřazeno sestupně podle jejich hodnot PMI s ${ displaystyle w}$ a vzal si nejvyšší ${ displaystyle beta}$ slova mající ${ displaystyle f ^ { text {pmi}} (t_ {i}, w)> 0}$.

Sada ${ displaystyle X ^ {w}}$, obsahuje slova ${ displaystyle X_ {i} ^ {w}}$,

${ displaystyle X ^ {w} = {X_ {i} ^ {w} }}$, kde ${ displaystyle i = 1,2, ldots, beta}$ a

${ displaystyle f ^ { text {pmi}} (X_ {1} ^ {w}, w) geq f ^ { text {pmi}} (X_ {2} ^ {w}, w) geq cdots f ^ { text {pmi}} (X _ { beta -1} ^ {w}, w) geq f ^ { text {pmi}} (X _ { beta} ^ {w}, w)}$

A pravidlo se používá k výběru hodnoty ${ displaystyle beta}$. The ${ displaystyle beta}$-PMI součet funkce slova je definována s ohledem na jiné slovo. Pro slovo ${ displaystyle w_ {1}}$ s ohledem na slovo ${ displaystyle w_ {2}}$ to je:

${ displaystyle f (w_ {1}, w_ {2}, beta) = součet _ {i = 1} ^ { beta} (f ^ { text {pmi}} (X_ {i} ^ {w_ {1}}, w_ {2})) ^ { gamma}}$

kde ${ displaystyle f ^ { text {pmi}} (X_ {i} ^ {w_ {1}}, w_ {2})> 0}$ který shrnuje všechny kladné hodnoty PMI slov v sadě ${ displaystyle X ^ {w_ {2}}}$ společné také pro slova v sadě ${ displaystyle X ^ {w_ {1}}}$. Jinými slovy, tato funkce ve skutečnosti agreguje kladné hodnoty PMI všech sémanticky blízkých slov ${ displaystyle w_ {2}}$ které jsou také běžné v ${ displaystyle w_ {1}}$seznam. ${ displaystyle gamma}$ by měl mít hodnotu větší než 1. Takže ${ displaystyle beta}$-PMI součet funkce pro slovo ${ displaystyle w_ {1}}$ s ohledem na slovo ${ displaystyle w_ {2}}$ mít ${ displaystyle beta = beta _ {1}}$ a ${ displaystyle beta}$-PMI součet funkce pro slovo ${ displaystyle w_ {2}}$ s ohledem na slovo ${ displaystyle w_ {1}}$ mít ${ displaystyle beta = beta _ {2}}$ jsou

${ displaystyle f (w_ {1}, w_ {2}, beta _ {1}) = součet _ {i = 1} ^ { beta _ {1}} (f ^ { text {pmi}} (X_ {i} ^ {w_ {1}}, w_ {2})) ^ { gamma}}$

a

${ displaystyle f (w_ {2}, w_ {1}, beta _ {2}) = součet _ {i = 1} ^ { beta _ {2}} (f ^ { text {pmi}} (X_ {i} ^ {w_ {2}}, w_ {1})) ^ { gamma}}$

resp.

Nakonec sémantická podobnost PMI funkce mezi dvěma slovy, ${ displaystyle w_ {1}}$ a ${ displaystyle w_ {2}}$, je definován jako

${ displaystyle mathrm {Sim} (w_ {1}, w_ {2}) = { frac {f (w_ {1}, w_ {2}, beta _ {1})}} beta _ {1 }}} + { frac {f (w_ {2}, w_ {1}, beta _ {2})} { beta _ {2}}}.}$

Sémantická podobnost slova je normalizována, takže poskytuje skóre podobnosti mezi ${ displaystyle 0}$ a ${ displaystyle 1}$ inkluzivně. Normalizace algoritmu sémantické podobnosti vrací normalizované skóre podobnosti mezi dvěma slovy. Jako argument to bere dvě slova, ${ displaystyle r_ {i}}$ a ${ displaystyle s_ {j}}$a maximální hodnota, ${ displaystyle lambda}$, která je vrácena funkcí sémantické podobnosti, Sim (). Vrátí skóre podobnosti mezi 0 a 1 včetně. Například algoritmus vrátí 0,986 pro slova hřbitov a hřbitov s ${ displaystyle lambda = 20}$ (pro metodu SOC-PMI).

Reference

• Islam, A. a Inkpen, D. (2008). Sémantická podobnost textu využívající podobnost slov založenou na korpusu a podobnost řetězců. ACM Trans. Knowl. Discov. Data 2, 2 (červenec 2008), 1–25.
• Islam, A. a Inkpen, D. (2006). Společný výskyt PMI druhého řádu pro stanovení sémantické podobnosti slov, Ve sborníku z Mezinárodní konference o jazykových zdrojích a hodnocení (LREC 2006), Janov, Itálie, s. 1033–1038.