Informační projekce - Information projection - Wikipedia

v teorie informace, informační projekce nebo I-projekce a rozdělení pravděpodobnosti q na sadu distribucí P je

${ displaystyle p ^ {*} = { podmnožina {p in P} { arg min}} operatorname {D} _ { mathrm {KL}} (p || q)}$

kde ${ displaystyle D _ { mathrm {KL}}}$ je Kullback – Leiblerova divergence z q na p. Při pohledu na Kullback – Leiblerovu divergenci jako míru vzdálenosti, I-projekci ${ displaystyle p ^ {*}}$ je "nejbližší" distribuce q všech distribucí v P.

I-projekce je užitečná při nastavování informační geometrie, zejména z důvodu následující nerovnosti, platné, když P je konvexní:^[1]

${ displaystyle operatorname {D} _ { mathrm {KL}} (p || q) geq operatorname {D} _ { mathrm {KL}} (p || p ^ {*}) + operatorname {D} _ { mathrm {KL}} (p ^ {*} || q)}$

Tuto nerovnost lze interpretovat jako informační geometrickou verzi Pythagorovy věty o nerovnosti trojúhelníků, kde se na divergenci KL pohlíží jako na druhou v euklidovském prostoru.

Stojí za povšimnutí, že od té doby ${ displaystyle operatorname {D} _ { mathrm {KL}} (p || q) geq 0}$ a kontinuální v p, pokud P je uzavřený a neprázdný, pak existuje alespoň jeden minimalizátor optimalizačního problému uvedeného výše. Kromě toho, pokud P je konvexní, pak je optimální distribuce jedinečná.

Zpětná I-projekce známá také jako momentová projekce nebo M-projekce je

${ displaystyle p ^ {*} = { podmnožina {p in P} { arg min}} operatorname {D} _ { mathrm {KL}} (q || p)}$

Protože divergence KL není symetrická ve svých argumentech, I-projekce a M-projekce budou vykazovat odlišné chování. Pro I-projekci, ${ displaystyle p (x)}$ bude obvykle pod-odhadovat podporu ${ displaystyle q (x)}$ a zamkne se na jeden ze svých režimů. To je způsobeno ${ displaystyle p (x) = 0}$kdykoli ${ displaystyle q (x) = 0}$ aby se zajistilo, že divergence KL zůstane konečná. Pro M-projekci ${ displaystyle p (x)}$ obvykle nadhodnocuje podporu ${ displaystyle q (x)}$. To je způsobeno ${ displaystyle p (x)> 0}$ kdykoli ${ displaystyle q (x)> 0}$ aby se zajistilo, že divergence KL zůstane konečná.

Koncept projekce informací lze rozšířit na libovolné statistické f-divergence a další divergence.^[2]

Viz také

• Sanovova věta

Reference

• K. Murphy, „Strojové učení: pravděpodobnostní perspektiva“, MIT Press, 2012.
• F. Nielsen, „Co je ... informační projekce?“, AMS Notices, (65) 3, s. 321–324, 2018

Tento pravděpodobnost související článek je a pahýl. Wikipedii můžete pomoci pomocí rozšiřovat to.