Dynamický tematický model - Dynamic topic model - Wikipedia

tento článek poskytuje nedostatečný kontext pro ty, kteří danému tématu nejsou obeznámeni. Prosím pomozte vylepšit článek podle poskytuje čtenáři více kontextu. (Březen 2012) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

Dynamické tematické modely jsou generativní modely které lze použít k analýze vývoje (nepozorovaných) témat sbírky dokumentů v průběhu času. Tuto rodinu modelů navrhl David Blei a John Lafferty a je rozšířením Přidělení latentní dirichlet (LDA), který dokáže zpracovat sekvenční dokumenty.^[1]

V LDA je model v pořadí, v jakém se slova objevují v dokumentu, i v pořadí, v jakém se dokumenty objevují v korpusu. Zatímco slova se stále považují za vyměnitelné, v dynamickém tematickém modelu hraje zásadní roli pořadí dokumentů. Přesněji řečeno, dokumenty jsou seskupeny podle časového úseku (např .: let) a předpokládá se, že dokumenty každé skupiny pocházejí ze sady témat, která se vyvinula ze sady předchozího řezu.

Témata

Podobně jako LDA a pLSA V dynamickém modelu tématu je každý dokument považován za směs nezjištěných témat. Každé téma dále definuje a multinomiální distribuce přes sadu termínů. Pro každé slovo každého dokumentu je tedy ze směsi čerpáno téma a následně je z multinomické distribuce odpovídající danému tématu čerpán termín.

Témata se však časem vyvíjejí. Například dva nejpravděpodobnější termíny tématu v daném čase t mohou být „network“ a „Zipf“ (v sestupném pořadí), zatímco ty nejpravděpodobnější v čase t + 1 mohou být „Zipf“ a „perkolace“ (v sestupném pořadí).

Modelka

Definovat

${ displaystyle alpha _ {t}}$ jako distribuce témat na jednotlivé dokumenty v čase t.

${ displaystyle beta _ {t, k}}$ jako distribuce slova tématu k v čase t.

${ displaystyle eta _ {t, d}}$ jako distribuce tématu dokumentu d včas t,

${ displaystyle z_ {t, d, n}}$ jako téma pro nth slovo v dokumentu d včas t, a

${ displaystyle w_ {t, d, n}}$ jako konkrétní slovo.

V tomto modelu jsou multinomické distribuce ${ displaystyle alpha _ {t + 1}}$ a ${ displaystyle beta _ {t + 1, k}}$ jsou generovány z ${ displaystyle alpha _ {t}}$ a ${ displaystyle beta _ {t, k}}$Ačkoli multinomické distribuce jsou obvykle psány z hlediska průměrných parametrů, jejich reprezentace z hlediska přirozených parametrů je lepší v kontextu dynamických tematických modelů.

První zastoupení má některé nevýhody kvůli skutečnosti, že parametry jsou omezeny na nezáporné a součet k jedné.^[2] Při definování vývoje těchto distribucí by bylo třeba zajistit, aby byla tato omezení splněna. Protože obě distribuce jsou v exponenciální rodina, jedním z řešení tohoto problému je reprezentovat je z hlediska přirozených parametrů, které mohou nabývat jakékoli skutečné hodnoty a lze je individuálně měnit.

Při použití přirozené parametrizace je dynamika tematického modelu dána vztahem

${ displaystyle beta _ {t, k} | beta _ {t-1, k} sim N ( beta _ {t-1, k}, sigma ^ {2} I)}$

a

${ displaystyle alpha _ {t} | alpha _ {t-1} sim N ( alpha _ {t-1}, delta ^ {2} I)}$.

Generativní proces v časovém řezu 't' je tedy:

1. Nakreslete témata ${ displaystyle beta _ {t, k} | beta _ {t-1, k} sim N ( beta _ {t-1, k}, sigma ^ {2} I) forall k}$
2. Nakreslete model směsi ${ displaystyle alpha _ {t} | alpha _ {t-1} sim N ( alpha _ {t-1}, delta ^ {2} I)}$
3. Pro každý dokument:
   1. Kreslit ${ displaystyle eta _ {t, d} sim N ( alpha _ {t}, a ^ {2} I)}$
   2. Pro každé slovo:
      1. Nakreslete téma ${ displaystyle Z_ {t, d, n} sim { textrm {Mult}} ( pi ( eta _ {t, d}))}$
      2. Nakreslete slovo ${ displaystyle W_ {t, d, n} sim { textrm {Mult}} ( pi ( beta _ {t, Z_ {t, d, n}}))}$

kde ${ displaystyle pi (x)}$ je mapování z přirozené parametrizace X na střední parametrizaci, jmenovitě

${ displaystyle pi (x_ {i}) = { frac { exp (x_ {i})} { součet _ {i} exp (x_ {i})}}}$.

Odvození

Pouze v modelu dynamického tématu ${ displaystyle W_ {t, d, n}}$ je pozorovatelný. Naučení dalších parametrů představuje problém odvození. Blei a Lafferty tvrdí, že to platí Gibbsův odběr vzorků odvodit v tomto modelu je obtížnější než ve statických modelech, kvůli nekonjugaci Gaussova a multinomického rozdělení. Navrhují použití variační metody zejména Variační Kalmanovo filtrování a Variační vlnková regrese.

Aplikace

V původním článku je dynamický tematický model aplikován na korpus vědeckých článků publikovaných v letech 1881 až 1999, jejichž cílem je ukázat, že tuto metodu lze použít k analýze trendů používání slov uvnitř témat.^[1] Autoři také ukazují, že model vyškolený pomocí minulých dokumentů je schopen přizpůsobit dokumenty nadcházejícího roku lépe než LDA.

Kontinuální dynamický tematický model vyvinuli Wang et al. a použije se k předpovědi časového razítka dokumentů.^[3]

Nad rámec textových dokumentů byly dynamické modely témat použity ke studiu hudebního vlivu tím, že se učili hudební témata a jak se vyvíjejí v nedávné historii.^[4]

Reference