Jazykový model - Language model

Statistický jazykový model je rozdělení pravděpodobnosti přes posloupnosti slov. Vzhledem k takové posloupnosti, řekněme o délce m, přiřadí pravděpodobnost ${ displaystyle P (w_ {1}, ldots, w_ {m})}$ na celou sekvenci.

Jazykový model poskytuje kontext rozlišovat mezi slovy a frázemi, které znějí podobně. Například v americká angličtina „Fráze„ rozpoznat řeč “a„ zničit pěknou pláž “zní podobně, ale znamenají různé věci.

Sparita dat je hlavním problémem při vytváření jazykových modelů. Většina možných posloupností slov není při tréninku dodržována. Jedním z řešení je vytvořit předpoklad, že pravděpodobnost slova závisí pouze na předchozím n slova. Toto je známé jako n-gram model nebo unigram model, když n = 1. Unigramový model je také známý jako pytel slov.

Odhad relativní pravděpodobnost různých frází je užitečný v mnoha zpracování přirozeného jazyka aplikace, zejména ty, které generují text jako výstup. Jazykové modelování se používá v rozpoznávání řeči,^[1] strojový překlad,^[2] značení části řeči, analýza,^[2] Optické rozpoznávání znaků, rozpoznávání rukopisu,^[3] vyhledávání informací a další aplikace.

Při rozpoznávání řeči se zvuky shodují se sekvencemi slov. Nejasnosti lze snáze vyřešit, když jsou důkazy z jazykového modelu integrovány s modelem výslovnosti a an akustický model.

Jazykové modely se používají při získávání informací v systému model pravděpodobnosti dotazu. Tam je ke každému přidružen samostatný jazykový model dokument ve sbírce. Dokumenty jsou seřazeny podle pravděpodobnosti dotazu Q v jazykovém modelu dokumentu ${ displaystyle M_ {d}}$: ${ displaystyle P (Q mid M_ {d})}$. Obyčejně unigram pro tento účel se používá jazykový model.

Typy modelů

Unigram

Unigramový model lze považovat za kombinaci několika jednostupňových konečné automaty.^[4] Rozděluje pravděpodobnosti různých pojmů v kontextu, např. z

${ displaystyle P (t_ {1} t_ {2} t_ {3}) = P (t_ {1}) P (t_ {2} mid t_ {1}) P (t_ {3} mid t_ {1 } t_ {2})}$

na

${ displaystyle P _ { text {uni}} (t_ {1} t_ {2} t_ {3}) = P (t_ {1}) P (t_ {2}) P (t_ {3}).}$

V tomto modelu pravděpodobnost každého slova závisí pouze na vlastní pravděpodobnosti daného slova v dokumentu, takže jako jednotky máme pouze jednostupňové konečné automaty. Samotný automat má rozdělení pravděpodobnosti po celé slovní zásobě modelu se součtem k 1. Následuje ukázka unigramového modelu dokumentu.

${ displaystyle sum _ { text {výraz v dokumentu}} P ({ text {výraz}}) = 1}$

Pravděpodobnost generovaná pro konkrétní dotaz se počítá jako

${ displaystyle P ({ text {query}}) = prod _ { text {výraz v dotazu}} P ({ text {term}})}$

Různé dokumenty mají unigramové modely s různou pravděpodobností zásahu slov. Distribuce pravděpodobnosti z různých dokumentů se používají ke generování pravděpodobností zásahu pro každý dotaz. Dokumenty lze pro dotaz řadit podle pravděpodobností. Příklad unigramových modelů dvou dokumentů:

V kontextech načítání informací jsou unigramové jazykové modely často vyhlazovány, aby se zabránilo případům, kdy P(termín) = 0. Běžným přístupem je generování modelu maximální pravděpodobnosti pro celou kolekci a lineárně interpolovat model kolekce s modelem maximální pravděpodobnosti pro každý dokument k vyhlazení modelu.^[5]

n-gram

V n-gramový model, pravděpodobnost ${ displaystyle P (w_ {1}, ldots, w_ {m})}$ dodržování věty ${ displaystyle w_ {1}, ldots, w_ {m}}$ je aproximován jako

${ displaystyle P (w_ {1}, ldots, w_ {m}) = prod _ {i = 1} ^ {m} P (w_ {i} mid w_ {1}, ldots, w_ {i -1}) přibližně prod _ {i = 1} ^ {m} P (w_ {i} mid w_ {i- (n-1)}, ldots, w_ {i-1})}$

Předpokládá se, že pravděpodobnost pozorování i^th slovo w_i v kontextu předchozí historie i - 1 slova lze aproximovat pravděpodobností jeho pozorování ve zkrácené kontextové historii předchozího n - 1 slov (n^th objednat Majetek Markov ).

Podmíněnou pravděpodobnost lze vypočítat z npočet gramů modelu v gramech:

${ displaystyle P (w_ {i} mid w_ {i- (n-1)}, ldots, w_ {i-1}) = { frac { mathrm {count} (w_ {i- (n- 1)}, ldots, w_ {i-1}, w_ {i})} { mathrm {count} (w_ {i- (n-1)}, ldots, w_ {i-1})}} }$

Podmínky bigram a trigram jazykové modely označují n-gramové modely s n = 2 a n = 3.^[6]

Typicky nPravděpodobnosti modelu v gramech nejsou odvozeny přímo z počtu kmitočtů, protože takto odvozené modely mají při konfrontaci s jakýmkoli vážné problémy n-gramy, které ještě nebyly výslovně vidět. Místo toho je nutná nějaká forma vyhlazení, přiřadit část celkové pravděpodobnostní hmotnosti neviditelným slovům nebo n-gramy. Používají se různé metody, od jednoduchého vyhlazení typu „add-one“ (přiřadit počet 1 k neviditelnému n-gramy, jako neinformativní předchozí ) k sofistikovanějším modelům, jako je Good-Turing diskontování nebo back-off modely.

Obousměrný

Podmínka obousměrné reprezentace ve všech vrstvách před a po kontextu (např. Slova).^[7]

Příklad

Ve bigramu (n = 2) jazykový model, pravděpodobnost věty Viděl jsem červený dům je aproximován jako

${ displaystyle P ({ text {Já, viděl, ten, červený, dům}}) přibližně P ({ text {I}} střední langle s rangle) P ({ text {viděl}} mid { text {I}}) P ({ text {the}} mid { text {saw}}) P ({ text {red}} mid { text {the}}) P ({ text {house}} mid { text {red}}) P ( langle / s rangle mid { text {house}})}$

zatímco v trigramu (n = 3) jazykový model, aproximace je

${ displaystyle P ({ text {Já, viděl, ta, červená, dům}}) přibližně P ({ text {I}} střední langle s rangle, langle s rangle) P ({ text {saw}} mid langle s rangle, I) P ({ text {the}} mid { text {I, saw}}) P ({ text {red}} mid { text {saw, the}}) P ({ text {house}} mid { text {the, red}}) P ( langle / s rangle mid { text {red, house}})}$

Všimněte si, že kontext prvního n – 1 n-grams je naplněn značkami začátku věty, obvykle označenými .

Navíc, bez značky konce věty, pravděpodobnost ungrammatical sekvence *Viděl jsem bude vždy vyšší než u delší věty Viděl jsem červený dům.

Exponenciální

Maximální entropie jazykové modely kódují vztah mezi slovem a historií n-gramů pomocí funkcí funkcí. Rovnice je

${ displaystyle P (w_ {m} | w_ {1}, ldots, w_ {m-1}) = { frac {1} {Z (w_ {1}, ldots, w_ {m-1}) }} exp (a ^ {T} f (w_ {1}, ldots, w_ {m}))}$

kde ${ displaystyle Z (w_ {1}, ldots, w_ {m-1})}$ je funkce oddílu, ${ displaystyle a}$ je vektor parametru a ${ displaystyle f (w_ {1}, ldots, w_ {m})}$ je funkce funkce. V nejjednodušším případě je funkce funkce pouze indikátorem přítomnosti určitého n-gramu. Je užitečné použít předchozí verzi ${ displaystyle a}$ nebo nějaká forma regularizace.

Log-bilineární model je dalším příkladem modelu exponenciálního jazyka.

Nervová síť

Neurální jazykové modely (nebo jazykové modely spojitého prostoru) používat spojitá vyjádření nebo vkládání slov dělat své předpovědi.^[8] Tyto modely využívají Neuronové sítě.

Kontinuální vkládání prostoru pomáhá zmírnit prokletí dimenzionality v jazykovém modelování: protože jazykové modely jsou trénovány na větších a větších textech, zvyšuje se počet jedinečných slov (slovní zásoby).^[A] Počet možných posloupností slov se zvyšuje exponenciálně s velikostí slovníku, což způsobuje problém s řídkostí dat kvůli exponenciálně mnoha sekvencím. Pro správný odhad pravděpodobností jsou tedy zapotřebí statistiky. Neuronové sítě se tomuto problému vyhnou reprezentací slov v a distribuováno způsobem, jako nelineární kombinace vah v neurální síti.^[9] Alternativní popis je, že neurální síť se blíží jazykové funkci. Architektura neurální sítě může být dopředu nebo opakující se, a zatímco první je jednodušší, druhá je častější.^{[potřebný příklad ][Citace je zapotřebí ]}

Typicky jsou jazykové modely neuronových sítí konstruovány a trénovány jako pravděpodobnostní klasifikátory které se učí předpovídat rozdělení pravděpodobnosti

${ displaystyle P (w_ {t} | mathrm {kontext}) , pro všechny t ve V}$.

Tzn. Síť je vycvičena k předpovídání rozdělení pravděpodobnosti ve slovníku vzhledem k určitému jazykovému kontextu. To se provádí pomocí standardních výcvikových algoritmů neuronové sítě, jako je stochastický gradient s zpětná propagace.^[9] Kontext může být okno s pevnou velikostí předchozích slov, takže síť předpovídá

${ displaystyle P (w_ {t} | w_ {t-k}, tečky, w_ {t-1})}$

od a vektor funkcí představující předchozí k slova.^[9] Další možností je použít slova „budoucí“ i „minulá“ jako funkce, aby byla odhadovaná pravděpodobnost

${ displaystyle P (w_ {t} | w_ {t-k}, dots, w_ {t-1}, w_ {t + 1}, dots, w_ {t + k})}$.

Tomu se říká a pytel slov Modelka. Když vektory funkcí protože slova v kontextu jsou kombinována nepřetržitým provozem, tento model se označuje jako architektura průběžného pytle slov (CBOW).^[10]

Třetí možností, která trénuje pomaleji než CBOW, ale má o něco lepší výkon, je invertovat předchozí problém a donutit neurální síť naučit se kontext, dané slovo.^[10] Více formálně, vzhledem k posloupnosti cvičných slov ${ displaystyle w_ {1}, w_ {2}, w_ {3}, tečky, w_ {T}}$, jeden maximalizuje průměrnou log-pravděpodobnost

${ displaystyle { frac {1} {T}} součet _ {t = 1} ^ {T} součet _ {- k leq j leq k, j neq 0} log P (w_ {t + j} | w_ {t})}$

kde k, velikost tréninkového kontextu, může být funkcí středového slova ${ displaystyle w_ {t}}$. Tomu se říká a přeskočit gram jazykový model.^[11] Bag-of-slova a skip-gram modely jsou základem word2vec program.^[12]

Namísto použití jazykových modelů neurální sítě k vytvoření skutečných pravděpodobností je běžné místo toho použít distribuovanou reprezentaci zakódovanou ve „skrytých“ vrstvách sítí jako reprezentaci slov; každé slovo je poté mapováno na n-dimenzionální reálný vektor zvaný vkládání slov, kde n je velikost vrstvy těsně před výstupní vrstvou. Reprezentace v modelech přeskočených gramů mají zřetelnou charakteristiku, že modelují sémantické vztahy mezi slovy jako lineární kombinace, zachycující formu kompozičnost. Například v některých takových modelech, pokud proti je funkce, která mapuje slovo w k jeho n-d vektorové znázornění

${ displaystyle v ( mathrm {král}) -v ( mathrm {muž}) + v ( mathrm {žena}) přibližně v ( mathrm {královna})}$

kde ≈ je upřesněno stanovením, že jeho pravá strana musí být nejbližší soused hodnoty levé strany.^[10][11]

jiný

Poziční jazykový model^[13] hodnotí pravděpodobnost, že se daná slova v textu vyskytnou blízko sebe, nemusí nutně bezprostředně sousedit. Podobně modely konceptů^[14] využít sémantiku spojenou s víceslovnými výrazy, jako je buy_christmas_ současnosti, i když jsou použity ve větách bohatých na informace jako „dnes jsem koupil spoustu velmi pěkných vánočních dárků“.

Navzdory omezeným úspěchům při používání neuronových sítí^[15] autoři uznávají potřebu dalších technik při modelování znakových jazyků.

Srovnávací hodnoty

Pro vyhodnocení systémů pro zpracování jazyků byly vyvinuty různé datové soubory.^[7] Tyto zahrnují:

• Korpus jazykové přijatelnosti^[16]
• GLUE měřítko^[17]
• Korpus Microsoft Research Paraphrase^[18]
• Vícežánrový odvození přirozeného jazyka
• Otázka odvození přirozeného jazyka
• Páry otázek Quora^[19]
• Rozpoznávání textového obohacení^[20]
• Referenční hodnota sémantické textové podobnosti
• Test odpovědi na otázku SQuAD^[21]
• Stanfordský sentiment Treebank^[22]
• Winograd NLI

Viz také

Poznámky

Reference

Citace

Zdroje

externí odkazy

Software

• BERT - Obousměrné reprezentace kodéru od transformátorů
• CSLM - Sada nástrojů zdarma pro dopředný nervový jazykové modely
• DALM - Rychlý a bezplatný software pro dotazy jazykových modelů
• Generativní předem vyškolený transformátor
• IRSTLM na SourceForge.net - Zdarma software pro jazykové modelování
• Kylm (Kyoto Language Modeling Toolkit) - bezplatná sada nástrojů pro modelování jazyků v Javě
• KenLM - Rychlý a bezplatný software pro jazykové modelování
• LMSharp - Sada jazykových modelů zdarma pro Windows Kneser – Ney vyhlazený n-gramové modely a rekurentní neuronová síť modely
• MITLM - Sada nástrojů pro jazykové modelování MIT. Svobodný software
• NPLM - Sada nástrojů zdarma pro dopředný nervový jazykové modely
• OpenGrm NGram knihovna - bezplatný software pro jazykové modelování. Postaveno na OpenFst.
• OxLM - Sada nástrojů zdarma pro dopředný nervový jazykové modely
• Poziční jazykový model
• RandLM na SourceForge.net - Bezplatný software pro randomizované modelování jazyků
• RNNLM - Volný, uvolnit rekurentní neuronová síť sada jazykových modelů
• SRILM - Vlastní software pro jazykové modelování
• VariKN - Bezplatný software pro vytváření, pěstování a prořezávání Kneser-Ney vyhlazen n-gramové modely.
• Jazykové modely trénované na datech z NewsWire