Pravděpodobnostní latentní sémantická analýza - Probabilistic latent semantic analysis

Pravděpodobnostní latentní sémantická analýza (PLSA), také známý jako pravděpodobnostní latentní sémantické indexování (PLSI, zejména v kruzích vyhledávání informací) je a statistická technika pro analýzu údajů o dvou režimech a společném výskytu. Ve skutečnosti lze odvodit nízkodimenzionální zastoupení pozorovaných proměnných z hlediska jejich afinity k určitým skrytým proměnným, stejně jako v latentní sémantická analýza, ze kterého se vyvinula PLSA.

Ve srovnání se standardem latentní sémantická analýza ze kterého pochází lineární algebra a zmenšuje tabulky výskytů (obvykle prostřednictvím a rozklad singulární hodnoty ), pravděpodobnostní latentní sémantická analýza je založena na směsném rozkladu odvozeném z a model latentní třídy.

Modelka

Desková notace představující model PLSA („asymetrická“ formulace). ${ displaystyle d}$ je proměnná indexu dokumentu, ${ displaystyle c}$ je téma slova čerpané z distribuce témat dokumentu, ${ displaystyle P (c | d)}$, a ${ displaystyle w}$ je slovo čerpané ze slovní distribuce tématu tohoto slova, ${ displaystyle P (w | c)}$ . The ${ displaystyle d}$ a ${ displaystyle w}$ jsou pozorovatelné proměnné, téma ${ displaystyle c}$ je latentní proměnná.

Zvažování pozorování ve formě společných výskytů ${ displaystyle (w, d)}$ slov a dokumentů, PLSA modeluje pravděpodobnost každého společného výskytu jako směs podmíněně nezávislých multinomické distribuce:

${ Displaystyle P (w, d) = součet _ {c} P (c) P (d | c) P (w | c) = P (d) součet _ {c} P (c | d) P (w | c)}$

přičemž „c“ jsou slova. Všimněte si, že počet témat je hyperparametr, který je nutné zvolit předem a není odhadnut z údajů. První formulace je symetrický formulace, kde ${ displaystyle w}$ a ${ displaystyle d}$ jsou oba generovány z latentní třídy ${ displaystyle c}$ podobnými způsoby (pomocí podmíněných pravděpodobností ${ displaystyle P (d | c)}$ a ${ displaystyle P (w | c)}$), zatímco druhá formulace je asymetrický formulace, kde pro každý dokument ${ displaystyle d}$, je podmíněně vybrána latentní třída dokumentu podle ${ displaystyle P (c | d)}$a z této třídy se potom vygeneruje slovo podle ${ displaystyle P (w | c)}$. I když jsme v tomto příkladu použili slova a dokumenty, společný výskyt libovolné dvojice diskrétních proměnných lze modelovat přesně stejným způsobem.

Takže počet parametrů se rovná ${ displaystyle cd + wc}$. Počet parametrů roste lineárně s počtem dokumentů. Navíc, i když PLSA je generativní model dokumentů ve sbírce, na kterou se odhaduje, nejedná se o generativní model nových dokumentů.

Jejich parametry se učí pomocí EM algoritmus.

aplikace

PLSA lze použít v diskriminačním prostředí prostřednictvím Fisherova jádra.^[1]

PLSA má aplikace v vyhledávání informací a filtrování, zpracování přirozeného jazyka, strojové učení z textu a souvisejících oblastí.

Uvádí se, že aspektový model použitý v pravděpodobnostní latentní sémantické analýze je vážný nadměrné vybavení problémy.^[2]

Rozšíření

• Hierarchická rozšíření:
  • Asymetrická: MASHA („Multinomial ASymmetric Hierarchical Analysis“)^[3]
  • Symetrické: HPLSA („Hierarchická pravděpodobnostní latentní sémantická analýza“)^[4]

• Generativní modely: Následující modely byly vyvinuty s cílem řešit často kritizovaný nedostatek PLSA, konkrétně že se nejedná o vhodný generativní model pro nové dokumenty.
  • Latentní Dirichletova alokace - přidává a Dirichlet před distribucí témat na jednotlivé dokumenty
• Data vyššího řádu: I když je to ve vědecké literatuře zřídka diskutováno, PLSA se přirozeně rozšiřuje na data vyššího řádu (tři režimy a vyšší), tj. Může modelovat společné výskyty přes tři nebo více proměnných. Ve výše uvedené symetrické formulaci se to provádí jednoduše přidáním podmíněného rozdělení pravděpodobnosti pro tyto další proměnné. Toto je pravděpodobnostní analogie nezáporné tenzorové faktorizace.

Dějiny

Toto je příklad a model latentní třídy (viz tam uvedené odkazy) a souvisí to^[5][6] na nezáporná maticová faktorizace. Současnou terminologii vytvořil v roce 1999 Thomas Hofmann.^[7]

Viz také

• Zpracování složených termínů
• Pachinko alokace
• Vektorový prostorový model

Odkazy a poznámky

externí odkazy

• Pravděpodobnostní latentní sémantická analýza
• Vyplňte PLSA DEMO v C #