Zobecněné filtrování

Zobecněné filtrování je obecný Bayesovské filtrování schéma pro nelineární stavové modely.^[1] Je založen na a variační princip nejmenší akce, formulované do zobecněných souřadnic.^[2] Všimněte si, že koncept "zobecněných souřadnic", jak se zde používá, se liší od konceptu zobecněné souřadnice pohybu, jak se používá při (vícebodové) dynamické analýze systémů. Zobecněná filtrace poskytuje zadní hustoty nad skrytými stavy (a parametry) a generuje pozorovaná data pomocí generalizovaného gradientního sestupu na variační volnou energii pod Laplaceův předpoklad. Na rozdíl od klasických (např. Kalman-Bucy nebo částice ) filtrování, generalizované filtrování se vyhýbá markovským předpokladům o náhodných výkyvech. Kromě toho funguje online a asimiluje data, aby se aproximovala zadní hustota nad neznámými veličinami, aniž by bylo nutné provádět zpětný průchod. Zvláštní případy zahrnují variační filtrování,^[3] maximalizace dynamického očekávání^[4] a zobecněné prediktivní kódování.

Definice

Definice: Obecné filtrování spočívá na n-tice ${ displaystyle ( Omega, U, X, S, p, q)}$ :

Ukázkový prostor ${ displaystyle Omega}$ z toho náhodné výkyvy ${ displaystyle omega v Omega}$ Jsou kresleny
Kontrolní stavy ${ displaystyle U in mathbb {R}}$ - které působí jako vnější příčiny, vstupy nebo vynucené výrazy
Skryté stavy ${ displaystyle X: X krát U krát Omega až mathbb {R}}$ - které způsobují stavy snímače a závisí na stavech řízení
Stavy senzoru ${ displaystyle S: X krát U krát Omega až mathbb {R}}$ - pravděpodobnostní mapování ze skrytých a kontrolních stavů
Generativní hustota ${ displaystyle p ({ tilde {s}}, { tilde {x}}, { tilde {u}} mid m)}$ - přes smyslové, skryté a kontrolní stavy podle generativního modelu ${ displaystyle m}$
Variační hustota ${ displaystyle q ({ tilde {x}}, { tilde {u}} mid { tilde { mu}})}$ - přes skryté a kontrolní stavy se střední hodnotou ${ displaystyle { tilde { mu}} v mathbb {R}}$

Zde ~ označuje proměnnou v obecných souřadnicích pohybu: ${ displaystyle { tilde {u}} = [u, u ', u' ', ldots] ^ {T}}$

Cílem je aproximovat zadní hustotu nad skrytými a kontrolními stavy, danými stavy senzorů a generativním modelem - a odhadnout (integrál cesty) modelový důkaz ${ displaystyle p ({ tilde {s}} (t) vert m)}$ porovnat různé modely. To obecně zahrnuje neřešitelnou marginalizaci nad skrytými stavy, takže modelové důkazy (nebo mezní pravděpodobnost) jsou nahrazeny variačně vázanou volnou energií.^[5] Vzhledem k následujícím definicím:

{ displaystyle { tilde { mu}} (t) = { podmnožina { tilde { mu}} { operatorname {arg , min}}} {F ({ tilde {s}} (t ), { tilde { mu}}) }}

{ displaystyle G ({ tilde {s}}, { tilde {x}}, { tilde {u}}) = - ln p ({ tilde {s}}, { tilde {x}} , { tilde {u}} vert m)}

Označte Shannonova entropie hustoty ${ displaystyle q}$ podle ${ displaystyle H [q] = E_ {q} [- log (q)]}$ . Potom můžeme napsat variační volnou energii dvěma způsoby:

{ displaystyle F ({ tilde {s}}, { tilde { mu}}) = E_ {q} [G ({ tilde {s}}, { tilde {x}}, { tilde { u}})] - H [q ({ tilde {x}}, { tilde {u}} vert { tilde { mu}})] = - ln p ({ tilde {s}} vert m) + D_ {KL} [q ({ tilde {x}}, { tilde {u}} vert { tilde { mu}}) vert vert p ({ tilde {x} }, { tilde {u}} vert { tilde {s}}, m)]}

Druhá rovnost ukazuje, že minimalizace variační volné energie (i) minimalizuje Kullback-Leiblerova divergence mezi variační a skutečnou zadní hustotou a (ii) činí variační volnou energii (vázanou aproximaci) negativním logickým důkazem (protože divergence nikdy nemůže být menší než nula).^[6] Podle Laplaceova předpokladu ${ displaystyle q ({ tilde {x}}, { tilde {u}} mid { tilde { mu}}) = { mathcal {N}} ({ tilde { mu}}, C )}$ variační hustota je Gaussova a přesnost, která minimalizuje volnou energii, je ${ displaystyle C ^ {- 1} = Pi = částečné _ {{ tilde { mu}} { tilde { mu}}} G ({ tilde { mu}})}$ . To znamená, že volnou energii lze vyjádřit pomocí variačního průměru ^[7] (vynechání konstant):

{ displaystyle F = G ({ tilde { mu}}) + textový styl {1 nad 2} ln vert částečný _ {{ tilde { mu}} { tilde { mu}}} G ({ tilde { mu}}) vert}

Variační prostředky, které minimalizují (dráhový integrál) volné energie, lze nyní získat řešením zobecněného filtru:

{ displaystyle { dot { tilde { mu}}} = D { tilde { mu}} - částečný _ { tilde { mu}} F ({ tilde {s}}, { tilde { mu}})}

kde ${ displaystyle D}$ je operátor derivace blokové matice identifikačních matic takový, že ${ displaystyle D { tilde {u}} = [u ', u' ', ldots] ^ {T}}$

Variační základ

Zobecněné filtrování je založeno na následujícím lemmatu: Samo-konzistentní řešení ${ displaystyle { dot { tilde { mu}}} = D { tilde { mu}} - částečný _ { tilde { mu}} F (s, { tilde { mu}}) }$ vyhovuje variačnímu princip stacionární činnosti kde akce je dráha integrální variační volné energie

{ displaystyle S = int dt , F ({ tilde {s}} (t), { tilde { mu}} (t))}

Důkaz: konzistence sebe sama vyžaduje, aby pohyb průměru byl prostředkem pohybu a (podle základní lemma variačního počtu )

{ displaystyle { dot { tilde { mu}}} = D { tilde { mu}} Leftrightarrow částečný _ { tilde { mu}} F ({ tilde {s}}, { tilde { mu}}) = 0 Leftrightarrow delta _ { tilde { mu}} S = 0}

Zjednodušeně řečeno, malé poruchy na dráze průměru nemění variační volnou energii a má nejmenší účinek ze všech možných (místních) cest.

Poznámky: Heuristicky generalizované filtrování provádí gradientní sestup na variační volnou energii v pohyblivém referenčním rámci: ${ displaystyle { dot { tilde { mu}}} - D { tilde { mu}} = - částečný _ { tilde { mu}} F (s, { tilde { mu}} )}$ , kde samotný rám minimalizuje variační volnou energii. Související příklad ve statistické fyzice viz Kerr a Graham ^[8] kteří používají dynamiku souboru v zobecněných souřadnicích k poskytnutí zobecněné verze Langevina ve fázovém prostoru a souvisejících Fokker-Planckových rovnic.

V praxi se používá zobecněné filtrování místní linearizace ^[9] v intervalech ${ displaystyle Delta t}$ obnovit diskrétní aktualizace

{ displaystyle { begin {zarovnaný} Delta { tilde { mu}} & = ( exp ( Delta t cdot J) -I) J ^ {- 1} { dot { tilde { mu }}} J & = částečné _ { tilde { mu}} { dot { tilde { mu}}} = D- částečné _ {{ tilde { mu}} { tilde { mu}}} F ({ tilde {s}}, { tilde { mu}}) end {zarovnáno}}}

Tím se aktualizují prostředky skrytých proměnných v každém intervalu (obvykle interval mezi pozorováními).

Generativní modely (stavový prostor) v zobecněných souřadnicích

Obvykle je generativní hustota nebo model specifikován jako nelineární model vstup-stav-výstup s kontinuálními nelineárními funkcemi:

{ displaystyle { begin {aligned} s & = g (x, u) + omega _ {s} { dot {x}} & = f (x, u) + omega _ {x} end {zarovnaný}}}

Odpovídající zobecněný model (za místních předpokladů linearity) získá z pravidla řetězu

{ displaystyle { begin {aligned} { tilde {s}} & = { tilde {g}} ({ tilde {x}}, { tilde {u}}) + { tilde { omega} } _ {s} s & = g (x, u) + omega _ {s} s '& = částečné _ {x} g cdot x' + částečné _ {u} g cdot u '+ omega' _ {s} s '& = částečné _ {x} g cdot x' '+ částečné _ {u} g cdot u' '+ omega' '_ { s} & vdots end {aligned}} qquad { begin {aligned} { dot { tilde {x}}} & = { tilde {f}} ({ tilde {x} }, { tilde {u}}) + { tilde { omega}} _ {x} { dot {x}} & = f (x, u) + omega _ {x} { dot {x}} '& = částečný _ {x} f cdot x' + částečný _ {u} f cdot u '+ omega' _ {x} { dot {x} } '' & = částečné _ {x} f cdot x '' + částečné _ {u} f cdot u '' + omega '' _ {x} & vdots end {zarovnáno}} }

Gaussovské předpoklady o náhodných výkyvech ${ displaystyle omega}$ poté předepíšete pravděpodobnost a empirické priority pohybu skrytých stavů

{ displaystyle { begin {aligned} p left ({ tilde {s}}, { tilde {x}}, { tilde {u}} vert m right) & = p left ({ tilde {s}} vert { tilde {x}}, { tilde {u}}, m right) p left ({D { tilde {x}} vert x, { tilde {u} }, m} vpravo) p (x vert m) p ({ tilde {u}} vert m) p left ({ tilde {s}} vert { tilde {x}}, { tilde {u}}, m right) & = { mathcal {N}} ({ tilde {g}} ({ tilde {x}}, { tilde {u}}), { tilde { Sigma}} ({ tilde {x}}, { tilde {u}}) _ {s}) p left ({D { tilde {x}} vert x, { tilde { u}}, m} vpravo) & = { mathcal {N}} ({ tilde {f}} ({ tilde {x}}, { tilde {u}}), { tilde { Sigma }} ({ tilde {x}}, { tilde {u}}) _ {x}) end {zarovnáno}}}

Kovariáty ${ displaystyle { tilde { Sigma}} = V otimes Sigma}$ faktorizovat do kovariance mezi proměnnými a korelacemi ${ displaystyle V}$ mezi zobecněné fluktuace, které kódují jejich autokorelace:

{ displaystyle V = { begin {bmatrix} 1 & 0 & { ddot { rho}} (0) & cdots 0 & - { ddot { rho}} (0) & 0 & { ddot { rho}} (0) & 0 & { ddot { ddot { rho}}} (0) & vdots & & & ddots end {bmatrix} }}

Tady, ${ displaystyle { ddot { rho}} (0)}$ je druhá derivace autokorelační funkce vyhodnocená na nulu. Toto je všudypřítomná míra drsnosti v teorii stochastické procesy.^[10] Rozhodující je, že přesnost (inverzní rozptyl) derivátů vysokého řádu klesá na nulu poměrně rychle, což znamená, že pro jakoukoli danou nebo parametrizovanou autokorelační funkci je nutné pouze modelovat generalizovaný pohyb relativně nízkého řádu (obvykle mezi dvěma a osmi).

Speciální případy

Filtrování diskrétních časových řad

Když jsou časové řady pozorovány jako diskrétní posloupnost ${ displaystyle N}$ pozorování, je implicitní vzorkování považováno za součást generativního procesu, kde (pomocí Taylorova věta )

{ displaystyle [s_ {1}, dots, s_ {N}] ^ {T} = (E otimes I) cdot { tilde {s}} (t): qquad E_ {ij} = { frac {(it) ^ {(j-1)}} {(j-1)!}}}

V zásadě lze celou sekvenci použít k odhadu skrytých proměnných v každém časovém okamžiku. Přesnost vzorků v minulosti i budoucnosti však rychle klesá a lze ji ignorovat. To umožňuje schématu asimilovat data online pomocí místních pozorování kolem každého časového bodu (obvykle mezi dvěma a osmi).

Zobecněné filtrování a parametry modelu

Pro všechny pomalu se měnící parametry modelu pohybových rovnic ${ displaystyle f (x, u, theta)}$ nebo přesnost ${ displaystyle { tilde { Pi}} (x, u, theta)}$ zobecněné filtrování má následující formu (kde ${ displaystyle mu}$ odpovídá variačnímu průměru parametrů)

{ displaystyle { begin {aligned} { dot { mu}} & = mu ' { dot { mu'}} & = - částečné _ { mu} F ({ tilde {s }}, mu) - kappa mu ' end {zarovnáno}}}

Zde řešení ${ displaystyle { dot { tilde { mu}}} = 0}$ minimalizuje variační volnou energii, když je pohyb střední hodnoty malý. To lze vidět na poznámce ${ displaystyle { dot { mu}} = { dot { mu}} '= 0 Rightarrow částečný _ { mu} F = 0 Rightarrow delta _ { mu} S = 0}$ . Je jednoduché ukázat, že toto řešení odpovídá klasice Newtonova aktualizace.^[11]

Vztah k Bayesiánské filtraci a prediktivnímu kódování

Zobecněné filtrování a Kalmanovo filtrování

Klasické filtrování podle Markovianových nebo Wienerových předpokladů je ekvivalentní předpokladu, že přesnost pohybu náhodných fluktuací je nulová. V tomto omezujícím případě je třeba vzít v úvahu pouze stavy a jejich první derivaci ${ displaystyle { tilde { mu}} = ( mu, { mu} ')}$ . To znamená, že zobecněné filtrování má formu Kalman-Bucyho filtru s predikčními a opravnými výrazy:

{ displaystyle { begin {aligned} { dot { mu}} & = mu '- částečný _ { mu} F (s, { tilde { mu}}) { dot { mu '}} & = - částečné _ { mu'} F (s, { tilde { mu}}) end {zarovnáno}}}

Nahrazení tohoto filtrování prvního řádu do výše uvedeného schématu diskrétní aktualizace poskytuje ekvivalent (rozšířeného) Kalmanova filtrování.^[12]

Zobecněná filtrace a filtrace částic

Filtrování částic je schéma založené na vzorkování, které uvolňuje předpoklady o formě variační nebo přibližné zadní hustoty. Volá se odpovídající zobecněné filtrační schéma variační filtrování.^[3] Při variační filtraci soubor částic difunduje přes krajinu volné energie v referenčním rámci, který se pohybuje s očekávaným (zobecněným) pohybem souboru. To poskytuje relativně jednoduché schéma, které se vyhýbá gaussovským (unimodálním) předpokladům. Na rozdíl od filtrování částic nevyžaduje hustotu nabídky - ani eliminaci nebo tvorbu částic.

Zobecněné filtrování a variační Bayes

Variační Bayes spočívá na středním rozdělení pole variační hustoty:

{ displaystyle q ({ tilde {x}}, { tilde {u}}, theta dots vert { tilde { mu}}, mu) = q ({ tilde {x}}, { tilde {u}} vert { tilde { mu}}) q ( theta vert mu) dots}

Tento oddíl indukuje variační aktualizaci nebo krok pro každou mezní hustotu - který je obvykle řešen analyticky pomocí předřazených konjugátů. Při generalizovaném filtrování to vede k maximalizace dynamického očekávání.^[4] který zahrnuje D-krok, který optimalizuje dostatečnou statistiku neznámých stavů, E-krok pro parametry a M-krok pro přesnost.

Zobecněné filtrování a prediktivní kódování

Zobecněné filtrování se obvykle používá k invertování hierarchických modelů následujícího formuláře

{ displaystyle { begin {aligned} { tilde {s}} & = { tilde {g}} ^ {1} ({ tilde {x}} ^ {1}, { tilde {u}} ^ {(1)}) + { tilde { omega}} _ {s} ^ {(1)} { dot { tilde {x}}} ^ {(1)} & = { tilde { f}} ^ {(1)} ({ tilde {x}} ^ {(1)}, { tilde {u}} ^ {(1)}) + { tilde { omega}} _ {x } ^ {(1)} vdots { tilde {u}} ^ {(i-1)} & = { tilde {g}} ^ {(i)} ({ tilde {x} } ^ {(i)}, { tilde {u}} ^ {(i)}) + { tilde { omega}} _ {u} ^ {(i)} { dot { tilde { x}}} ^ {(i)} & = { tilde {f}} ^ {(i)} ({ tilde {x}} ^ {(i)}, { tilde {u}} ^ {( i)}) + { tilde { omega}} _ {x} ^ {(i)} vdots end {zarovnáno}}}

Následný zobecněný gradientní sestup na volnou energii lze potom kompaktně vyjádřit pomocí chyb predikce, kde (s vynecháním výrazů vyššího řádu):

{ displaystyle { begin {aligned} { dot { tilde { mu}}} _ {u} ^ {(i)} & = D { tilde { mu}} ^ {(u, i)} - částečné _ {u} { tilde { varepsilon}} ^ {(i)} cdot Pi ^ {(i)} { tilde { varepsilon}} ^ {(i)} - Pi ^ { (i + 1)} { tilde { varepsilon}} _ {u} ^ {(i + 1)} { dot { tilde { mu}}} _ {x} ^ {(i)} & = D { tilde { mu}} ^ {(x, i)} - částečný _ {x} { tilde { varepsilon}} ^ {(i)} cdot Pi ^ {(i)} { tilde { varepsilon}} ^ {(i)} { tilde { varepsilon}} _ {u} ^ {(i)} & = { tilde { mu}} _ {u} ^ {(i-1)} - { tilde {g}} ^ {(i)} { tilde { varepsilon}} _ {x} ^ {(i)} & = D { tilde { mu}} _ {x} ^ {(i)} - { tilde {f}} ^ {(i)} end {zarovnáno}}}

Tady, ${ displaystyle Pi ^ {(i)}}$ je přesnost náhodných výkyvů na i-tá úroveň. Toto je známé jako zobecněné prediktivní kódování [11], s lineární prediktivní kódování jako zvláštní případ.

Aplikace

Zobecněné filtrování bylo primárně aplikováno na biologická časosérie - zejména funkční zobrazování magnetickou rezonancí a elektrofyziologická data. To je obvykle v kontextu dynamické kauzální modelování dělat závěry o základních architekturách (neuronových) systémů generujících data.^[13] Používá se také k simulaci závěrů z hlediska zobecněného (hierarchického) prediktivního kódování v mozku.^[14]

Viz také

Reference

^ K. Friston, K. Stephan, B. Li a J. Daunizeau, "Zobecněné filtrování," Matematické problémy ve strojírenství, sv. sv. 2010, s. 621670, 2010.
^ B Balaji a K Friston, “Bayesovský odhad stavu pomocí zobecněných souřadnic „Proc. SPIE, s. 80501Y, 2011
^ ^A ^b K J Friston, “Variační filtrování „Neuroimage, sv. 41, č. 3, str. 747-66, 2008.
^ ^A ^b K. J. Friston, N. Trujillo-Barreto a J. Daunizeau, "DEM: Variační zpracování dynamických systémů „Neuroimage, sv. 41, č. 3, str. 849-85, 2008
^ R P Feynman, statistická mechanika. Čtení MA: Benjamin, 1972
^ M J Beal, “Variační algoritmy pro přibližnou Bayesovu inference „PhD. Práce, University College London, 2003.
^ K. Friston, J. Mattout, N. Trujillo-Barreto, J. Ashburner a W. Penny, "Variační volná energie a Laplaceova aproximace „NeuroImage, sv. 34, č. 1, str. 220-34, 2007
^ W C Kerr a A J Graham, “Zobecněná verze Langevinových rovnic a souvisejících Fokker-Planckových rovnic ve fázovém prostoru "Eur. Phys. J. B., sv. 15, str. 305-11, 2000.
^ T Ozaki, "Most mezi nelineárními modely časových řad a nelineárními stochastickými dynamickými systémy: přístup lokální linearizace „Statistica Sin., Sv. 2, str. 113-135, 1992
^ D R Cox a H D Miller, Teorie stochastických procesů. London: Methuen, 1965.
^ K. Friston, K. Stephan, B. Li a J. Daunizeau, „Generalized Filtering“, Mathematical Problems in Engineering, sv. sv. 2010, s. 621670, 2010.
^ K. J. Friston, N. Trujillo-Barreto a J. Daunizeau, „DEM: Variační zpracování dynamických systémů“, Neuroimage, sv. 41, č. 3, str. 849-85, 2008
^ J. Daunizeau, ó Davide, a K. E. Stephan, "Dynamické kauzální modelování: kritický přehled biofyzikálních a statistických základů Archivováno 2012-12-07 na Wayback Machine „Neuroimage, sv. 58, č. 2, str. 312-22, 2011
^ K. Friston, “Hierarchické modely v mozku „PLoS Comput. Biol., Sv. 4, č. 11, s. E1000211, 2008.

externí odkazy

software demonstrace a aplikace jsou k dispozici jako akademický freeware (jako kód Matlab) v sadě nástrojů DEM programu SPM
doklady sbírka technických a aplikačních papírů

[1] K. Friston, K. Stephan, B. Li a J. Daunizeau, "Zobecněné filtrování," Matematické problémy ve strojírenství, sv. sv. 2010, s. 621670, 2010.

[2] B Balaji a K Friston, “Bayesovský odhad stavu pomocí zobecněných souřadnic „Proc. SPIE, s. 80501Y, 2011

[:0-3] A ^b K J Friston, “Variační filtrování „Neuroimage, sv. 41, č. 3, str. 747-66, 2008.

[:1-4] A ^b K. J. Friston, N. Trujillo-Barreto a J. Daunizeau, "DEM: Variační zpracování dynamických systémů „Neuroimage, sv. 41, č. 3, str. 849-85, 2008

[5] R P Feynman, statistická mechanika. Čtení MA: Benjamin, 1972

[6] M J Beal, “Variační algoritmy pro přibližnou Bayesovu inference „PhD. Práce, University College London, 2003.

[7] K. Friston, J. Mattout, N. Trujillo-Barreto, J. Ashburner a W. Penny, "Variační volná energie a Laplaceova aproximace „NeuroImage, sv. 34, č. 1, str. 220-34, 2007

[8] W C Kerr a A J Graham, “Zobecněná verze Langevinových rovnic a souvisejících Fokker-Planckových rovnic ve fázovém prostoru "Eur. Phys. J. B., sv. 15, str. 305-11, 2000.

[9] T Ozaki, "Most mezi nelineárními modely časových řad a nelineárními stochastickými dynamickými systémy: přístup lokální linearizace „Statistica Sin., Sv. 2, str. 113-135, 1992

[10] D R Cox a H D Miller, Teorie stochastických procesů. London: Methuen, 1965.

[11] K. Friston, K. Stephan, B. Li a J. Daunizeau, „Generalized Filtering“, Mathematical Problems in Engineering, sv. sv. 2010, s. 621670, 2010.

[12] K. J. Friston, N. Trujillo-Barreto a J. Daunizeau, „DEM: Variační zpracování dynamických systémů“, Neuroimage, sv. 41, č. 3, str. 849-85, 2008

[13] J. Daunizeau, ó Davide, a K. E. Stephan, "Dynamické kauzální modelování: kritický přehled biofyzikálních a statistických základů Archivováno 2012-12-07 na Wayback Machine „Neuroimage, sv. 58, č. 2, str. 312-22, 2011

[14] K. Friston, “Hierarchické modely v mozku „PLoS Comput. Biol., Sv. 4, č. 11, s. E1000211, 2008.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]