Katzs back-off model - Katzs back-off model - Wikipedia

Katz ustoupil je generativní n-gram jazykový model který odhaduje podmíněná pravděpodobnost slova vzhledem k jeho historii v n-gram. Dosahuje tohoto odhadu couvání prostřednictvím postupně kratších modelů historie za určitých podmínek.^[1] Tímto způsobem se k dosažení lepších výsledků používá model s nejspolehlivějšími informacemi o dané historii.

Model představil v roce 1987 Slava M. Katz. Před tím byly jazykové modely n-gram konstruovány trénováním jednotlivých modelů pro různé objednávky n-gram pomocí odhadu maximální pravděpodobnosti a jejich následnou interpolací.

Metoda

Rovnice pro Katzův back-off model je: ^[2]

${ displaystyle { begin {aligned} & P_ {bo} (w_ {i} mid w_ {i-n + 1} cdots w_ {i-1}) [4pt] = {} & { begin { případy} d_ {w_ {i-n + 1} cdots w_ {i}} { dfrac {C (w_ {i-n + 1} cdots w_ {i-1} w_ {i})}} C w_ {i-n + 1} cdots w_ {i-1})}} & { text {if}} C (w_ {i-n + 1} cdots w_ {i})> k [10 bodů ] alpha _ {w_ {i-n + 1} cdots w_ {i-1}} P_ {bo} (w_ {i} mid w_ {i-n + 2} cdots w_ {i-1}) & { text {jinak}} end {cases}} end {zarovnáno}}}$

kde

C(X) = počet opakování X se objeví v tréninku

w_i = ito slovo v daném kontextu

V zásadě to znamená, že pokud n-gram bylo viděno více než k krát v tréninku je podmíněná pravděpodobnost slova vzhledem k jeho historii úměrná maximální pravděpodobnost odhad toho n-gram. Jinak se podmíněná pravděpodobnost rovná podmíněné pravděpodobnosti back-off (n - 1) gram.

Složitější částí je stanovení hodnot pro k, d aα.

${ displaystyle k}$ je nejméně důležitý z parametrů. Obvykle je zvoleno 0. Empirické testování však může najít lepší hodnoty pro k.

${ displaystyle d}$ je obvykle částka slevy zjištěná Dobrý – Turing odhad. Jinými slovy, pokud odhadne Good-Turing ${ displaystyle C}$ tak jako ${ displaystyle C ^ {*}}$, pak ${ displaystyle d = { frac {C ^ {*}} {C}}}$

Vypočítat ${ displaystyle alpha}$, je užitečné nejprve definovat veličinu β, což je zbylá pravděpodobnostní hmotnost pro (n - 1) -gram:

${ displaystyle beta _ {w_ {i-n + 1} cdots w_ {i-1}} = 1- součet _ { {w_ {i}: C (w_ {i-n + 1} cdots w_ {i})> k }} d_ {w_ {i-n + 1} cdots w_ {i}} { frac {C (w_ {i-n + 1} cdots w_ {i-1} w_ {i})} {C (w_ {i-n + 1} cdots w_ {i-1})}}}$

Poté se vypočítá zpětná hmotnost α takto:

${ displaystyle alpha _ {w_ {i-n + 1} cdots w_ {i-1}} = { frac { beta _ {w_ {i-n + 1} cdots w_ {i-1}} } { sum _ { {w_ {i}: C (w_ {i-n + 1} cdots w_ {i}) leq k }} P_ {bo} (w_ {i} mid w_ {i -n + 2} cdots w_ {i-1})}}}$

Výše uvedený vzorec platí pouze v případě, že existují údaje pro „(n - 1) -gram ". Pokud ne, algoritmus přeskočí n-1 úplně a použije Katzův odhad pro n-2. (A tak dále, dokud nebude nalezen n-gram s daty)

Diskuse

Tento model v praxi obecně funguje dobře, ale za určitých okolností selže. Předpokládejme například, že bigram „a b“ a unigram „c“ jsou velmi běžné, ale trigram „a b c“ nikdy nevidíme. Protože „a b“ a „c“ jsou velmi běžná, může být významné (tj. Nikoli náhodou), že „a b c“ nikdy není vidět. Pravidla gramatiky to možná neumožňují. Místo přiřazení vhodnější hodnoty 0 se metoda vrátí zpět k bigramu a odhadu P(C | b), který může být příliš vysoký.^[3]

Reference