Algoritmus uvnitř - venku - Inside–outside algorithm

v počítačová věda, algoritmus uvnitř - venku je způsob přehodnocení pravděpodobnosti výroby v a pravděpodobnostní bezkontextová gramatika. To bylo představeno James K. Baker v roce 1979 jako zobecnění algoritmus dopředu-dozadu pro odhad parametrů na skryté Markovovy modely na stochastické bezkontextové gramatiky. Používá se k výpočtu očekávání, například jako součást algoritmus očekávání – maximalizace (algoritmus učení bez dozoru).

Pravděpodobnosti uvnitř i vně

Pravděpodobnost uvnitř ${displaystyle eta _ {j} (p, q)}$ je celková pravděpodobnost generování slov ${displaystyle w_ {p} cdots w_ {q}}$ , vzhledem k kořenovému neterminálu ${displaystyle N ^ {j}}$ a gramatiku ${displaystyle G}$ :^[1]

{displaystyle eta _ {j} (p, q) = P (w_ {pq} | N_ {pq} ^ {j}, G)}

Vnější pravděpodobnost ${displaystyle alpha _ {j} (p, q)}$ je celková pravděpodobnost začátku počátečním symbolem ${displaystyle N ^ {1}}$ a generování neterminálu ${displaystyle N_ {pq} ^ {j}}$ a všechna ta slova venku ${displaystyle w_ {p} cdots w_ {q}}$ , dostal gramatiku ${displaystyle G}$ :^[1]

{displaystyle alpha _ {j} (p, q) = P (w_ {1 (p-1)}, N_ {pq} ^ {j}, w _ {(q + 1) m} | G)}

Výpočet vnitřních pravděpodobností

Základní případ:

${displaystyle eta _ {j} (p, p) = P (w_ {p} | N ^ {j}, G)}$

Obecný případ:

Předpokládejme, že existuje pravidlo ${displaystyle N_ {j} ightarrow N_ {r} N_ {s}}$ v gramatice pak pravděpodobnost generování ${displaystyle w_ {p} cdots w_ {q}}$ počínaje podstromem zakořeněným v ${displaystyle N_ {j}}$ je:

${displaystyle sum _ {k = p} ^ {k = q-1} P (N_ {j} ightarrow N_ {r} N_ {s}) eta _ {r} (p, k) eta _ {s} (k + 1, q)}$

Pravděpodobnost uvnitř ${displaystyle eta _ {j} (p, q)}$ je jen součet za všechna taková možná pravidla:

${displaystyle eta _ {j} (p, q) = součet _ {N_ {r}, N_ {s}} součet _ {k = p} ^ {k = q-1} P (N_ {j} ightarrow N_ { r} N_ {s}) eta _ {r} (p, k) eta _ {s} (k + 1, q)}$

Výpočet vnějších pravděpodobností

Základní případ:

${displaystyle alpha _ {j} (1, n) = {egin {cases} 1 & {mbox {if}} j = 1 0 & {mbox {else}} end {cases}}}$

Zde je počáteční symbol ${displaystyle N_ {1}}$ .

Obecný případ:

Předpokládejme, že existuje pravidlo ${displaystyle N_ {r} ightarrow N_ {j} N_ {s}}$ v gramatice, která generuje ${displaystyle N_ {j}}$ .Potom vlevo, odjet příspěvek tohoto pravidla k vnější pravděpodobnosti ${displaystyle alpha _ {j} (p, q)}$ je:

${displaystyle sum _ {k = q + 1} ^ {k = n} P (N_ {r} ightarrow N_ {j} N_ {s}) alpha _ {r} (p, k) eta _ {s} (q + 1, k)}$

Nyní předpokládejme, že existuje pravidlo ${displaystyle N_ {r} ightarrow N_ {s} N_ {j}}$ v gramatice. Pak že jopříspěvek tohoto pravidla k vnější pravděpodobnosti ${displaystyle alpha _ {j} (p, q)}$ je:

${displaystyle sum _ {k = 1} ^ {k = p-1} P (N_ {r} ightarrow N_ {s} N_ {j}) alpha _ {r} (k, q) eta _ {s} (k , p-1)}$

Vnější pravděpodobnost ${displaystyle alpha _ {j} (p, q)}$ je součet příspěvků vlevo a vpravo ve všech těchto pravidlech:

${displaystyle alpha _ {j} (p, q) = součet _ {N_ {r}, N_ {s}} součet _ {k = q + 1} ^ {k = n} P (N_ {r} ightarrow N_ { j} N_ {s}) alpha _ {r} (p, k) eta _ {s} (q + 1, k) + součet _ {N_ {r}, N_ {s}} součet _ {k = 1} ^ {k = p-1} P (N_ {r} ightarrow N_ {s} N_ {j}) alfa _ {r} (k, q) eta _ {s} (k, p-1)}$

Reference

^ ^A ^b Manning, Christopher D .; Hinrich Schütze (1999). Základy statistického zpracování přirozeného jazyka. Cambridge, MA, USA: MIT Press. str.388 –402. ISBN 0-262-13360-1.

J. Baker (1979): Cvičitelné gramatiky pro rozpoznávání řeči. V J. J. Wolf a D. H. Klatt, redaktoři, Projekty řečové komunikace představené na 97. zasedání Acoustical Society of America, strany 547–550, Cambridge, MA, červen 1979. MIT.
Karim Lari, Steve J. Young (1990): Odhad stochastických bezkontextových gramatik pomocí algoritmu inside-outside. Počítačová řeč a jazyk, 4:35–56.
Karim Lari, Steve J. Young (1991): Aplikace stochastických bezkontextových gramatik s využitím algoritmu Inside – Outside. Počítačová řeč a jazyk, 5:237–257.
Fernando Pereira, Yves Schabes (1992): Znovu a zevnitř odhady z částečně zalomených korpusů. Sborník z 30. výročního zasedání o Sdružení pro výpočetní lingvistiku, Sdružení pro výpočetní lingvistiku, 128–135.

externí odkazy

[manning-schuetze1999-1] A ^b Manning, Christopher D .; Hinrich Schütze (1999). Základy statistického zpracování přirozeného jazyka. Cambridge, MA, USA: MIT Press. str.388 –402. ISBN 0-262-13360-1.

[1]