Nerovnost zpracování dat - Data processing inequality

The Nerovnost zpracování dat je teoretická informace koncept, který uvádí, že informační obsah signálu nelze zvýšit pomocí místní fyzické operace. Lze to stručně vyjádřit, protože „následné zpracování nemůže zvýšit informace“.^[1]

Definice

Nechť tři náhodné proměnné tvoří Markovův řetězec ${ displaystyle X rightarrow Y rightarrow Z}$, což znamená, že podmíněné rozdělení ${ displaystyle Z}$ záleží jen na ${ displaystyle Y}$ a je podmíněně nezávislý z ${ displaystyle X}$. Konkrétně máme takový Markovův řetězec, pokud lze společnou pravděpodobnostní hromadnou funkci zapsat jako

${ Displaystyle p (x, y, z) = p (x) p (y | x) p (z | y)}$

V tomto nastavení žádné zpracování Y, deterministické nebo náhodné, nemůže zvýšit informace, které Y obsahuje o X. Pomocí vzájemné informace, lze to napsat jako:

${ displaystyle I (X; Y) geqslant I (X; Z)}$

S rovností ${ displaystyle I (X; Y) = I (X; Z)}$ kdyby a jen kdyby ${ displaystyle I (X; Y | Z) = 0}$, tj. ${ displaystyle Z}$ a ${ displaystyle Y}$ obsahují stejné informace o ${ displaystyle X}$, a ${ displaystyle X rightarrow Z rightarrow Y}$ také tvoří markovský řetězec.^[2]

Viz také

• Odpadky dovnitř, odpadky ven

Reference

externí odkazy

• http://www.scholarpedia.org/article/Mutual_information

Tento počítačová věda článek je a pahýl. Wikipedii můžete pomoci pomocí rozšiřovat to.