Statistická sémantika - Statistical semantics

Bylo navrženo, aby tento článek byl sloučeny do Distribuční sémantika. (Diskutujte) Navrhováno od srpna 2020.

v lingvistika, statistická sémantika aplikuje metody statistika k problému určování významu slov nebo frází, nejlépe prostřednictvím neřízené učení, s mírou přesnosti alespoň dostatečnou pro účely vyhledávání informací.

Dějiny

Termín statistická sémantika byl poprvé použit Warren Weaver ve své známé práci na strojový překlad.^[1] Tvrdil to slovní smysl disambiguation pro strojový překlad by měl vycházet z společný výskyt frekvence kontextových slov poblíž daného cílového slova. Základní předpoklad, že „slovo je charakterizováno společností, kterou udržuje“, prosazoval J.R. Firth.^[2] Tento předpoklad je známý v lingvistika jako distribuční hypotéza.^[3] Emile Delavenay definován statistická sémantika jako „statistická studie významů slov a jejich četnosti a pořadí opakování“.^[4] "Furnas et al. 1983 “je často uváděn jako základní příspěvek ke statistické sémantice.^[5] Časný úspěch v této oblasti byl latentní sémantická analýza.

Aplikace

Výzkum statistické sémantiky vyústil v širokou škálu algoritmů, které používají distribuční hypotézu k objevení mnoha aspektů sémantika použitím statistických technik na velké korpusy:

• Měření podobnost ve významech slov^[6][7][8][9]
• Měření podobnosti ve slovních vztazích ^[10]
• Modelování zobecnění založené na podobnosti^[11]
• Objevování slov s daným vztahem^[12]
• Klasifikace vztahů mezi slovy^[13]
• Extrahování klíčových slov z dokumentů^[14][15]
• Měření soudržnosti textu^[16]
• Objevování různých smyslů slov^[17]
• Rozlišování různých smyslů slov^[18]
• Subkognitivní aspekty slov^[19]
• Rozlišování chvály od kritiky^[20]

Související pole

Statistická sémantika se na rozdíl od nich zaměřuje na významy běžných slov a na vztahy mezi běžnými slovy dolování textu, která má tendenci se soustředit na celé dokumenty, sbírky dokumentů nebo pojmenované entity (jména osob, míst a organizací). Statistická sémantika je dílčím polem výpočetní sémantika, což je zase podpole o výpočetní lingvistika a zpracování přirozeného jazyka.

Mnoho aplikací statistické sémantiky (uvedených výše) lze také řešit pomocí Lexikon algoritmy založené na korpus algoritmy statistické sémantiky. Jednou z výhod algoritmů založených na korpusu je, že obvykle nejsou tak náročné na pracovní sílu jako algoritmy založené na lexikonu. Další výhodou je, že se obvykle snáze přizpůsobují novým jazykům než algoritmy založené na lexikonu. Nejlepšího výkonu aplikace se však často dosahuje kombinací těchto dvou přístupů.^[21]

Viz také

Reference

Zdroje