Identifikace jazyka - Language identification

Identifikátory jazyků viz Kód jazyka.
Pomoc s identifikací jazyků pro účely Wikipedie viz Wikipedia: Tabulka rozpoznávání jazyků.

v zpracování přirozeného jazyka, jazyková identifikace nebo hádání jazyka je problém určit který přirozený jazyk daný obsah je v. Výpočtové přístupy k tomuto problému jej považují za zvláštní případ kategorizace textu, vyřešen různými statistický metody.

Přehled

Existuje několik statistických přístupů k identifikaci jazyka pomocí různých technik pro klasifikaci dat. Jednou z technik je porovnat stlačitelnost textu se stlačitelností textů v sadě známých jazyků. Tento přístup je znám jako vzájemná informace založená na měření vzdálenosti. Stejnou technikou lze také empiricky konstruovat rodokmeny jazyků, které úzce odpovídají stromům konstruovaným pomocí historických metod.[Citace je zapotřebí ] Vzájemné měření vzdálenosti založené na informacích je v podstatě ekvivalentní konvenčnějším metodám založeným na modelech a obecně se nepovažuje za nové nebo lepší než jednodušší techniky.

Další technikou, kterou popsali Cavnar a Trenkle (1994) a Dunning (1994), je vytvoření jazyka n-gram model z „cvičného textu“ pro každý z jazyků. Tyto modely mohou být založeny na postavách (Cavnar a Trenkle) nebo kódovaných bajtech (Dunning); v druhém případě identifikace jazyka a detekce kódování znaků jsou integrovány. Poté se pro jakýkoli kus textu, který je třeba identifikovat, vytvoří podobný model a tento model se porovná s každým uloženým jazykovým modelem. Nejpravděpodobnějším jazykem je jazyk s modelem, který je nejvíce podobný modelu z textu, který je třeba identifikovat. Tento přístup může být problematický, pokud je vstupní text v jazyce, pro který neexistuje žádný model. V takovém případě může metoda jako výsledek vrátit jiný „nejpodobnější“ jazyk. Problematické pro jakýkoli přístup jsou také části vstupního textu, které jsou složeny z několika jazyků, jak je to běžné na webu.

Novější metodu viz Řehůřek a Kolkus (2009). Tato metoda dokáže detekovat více jazyků v nestrukturovaném textu a robustně pracuje na krátkých textech s několika málo slovy: něco, co n-gram přístupy bojují s.

Starší statistická metoda Grefenstette byla založena na prevalenci určitých funkční slova (např. „the“ v angličtině).

Identifikace podobných jazyků

Jedním z největších překážek systémů identifikace jazyků je rozlišování mezi úzce souvisejícími jazyky. Podobné jazyky jako srbština a chorvatský nebo indonéština a Malajština představují významné lexikální a strukturální překrývání, což ztěžuje systémy mezi nimi rozlišovat.

V roce 2014 sdílel DSL úkol[1] byla organizována a poskytuje datový soubor (Tan et al., 2014) obsahující 13 různých jazyků (a jazykových variant) v šesti jazykových skupinách: skupina A (bosenština, chorvatština, srbština), skupina B (indonéština, malajština), skupina C (čeština , Slovenský), skupina D (brazilská portugalština, evropská portugalština), skupina E (poloostrovní španělština, argentinská španělština), skupina F (americká angličtina, britská angličtina). Nejlepší systém dosáhl výkonu přes 95% výsledků (Goutte et al., 2014). Výsledky sdílené úlohy DSL jsou popsány v Zampieri et al. 2014.

Software

  • Apache OpenNLP zahrnuje statistický detektor založený na char n-gramech a přichází s modelem, který dokáže rozlišit 103 jazyků
  • Apache Tika obsahuje detektor jazyků pro 18 jazyků

Reference

Viz také

Reference

  1. ^ „VarDial Workshop @ COLING 2014“.