Podmíněná entropie - Conditional entropy

Vennův diagram různé aditivní a subtraktivní vztahy informační opatření spojené s korelovanými proměnnými

{ displaystyle X}

a

{ displaystyle Y}

. Oblast obsažená v obou kruzích je společná entropie

{ displaystyle mathrm {H} (X, Y)}

. Kruh vlevo (červený a fialový) je individuální entropie

{ displaystyle mathrm {H} (X)}

, přičemž červená je podmíněná entropie

{ displaystyle mathrm {H} (X | Y)}

. Kruh vpravo (modrý a fialový) je

{ displaystyle mathrm {H} (Y)}

s modrou bytostí

{ displaystyle mathrm {H} (Y | X)}

. Fialová je vzájemné informace

{ displaystyle operatorname {I} (X; Y)}

.

v teorie informace, podmíněná entropie kvantifikuje množství informací potřebných k popisu výsledku a náhodná proměnná ${ displaystyle Y}$ vzhledem k tomu, že hodnota jiné náhodné proměnné ${ displaystyle X}$ je známo. Zde se měří informace shannony, nats nebo Hartley. The entropie ${ displaystyle Y}$ podmíněno ${ displaystyle X}$ je psán jako ${ displaystyle mathrm {H} (Y | X)}$ .

Definice

Podmíněná entropie ${ displaystyle Y}$ daný ${ displaystyle X}$ je definován jako

{ displaystyle mathrm {H} (Y | X) = - součet _ {x v { mathcal {X}}, y v { mathcal {Y}}} p (x, y) log { frac {p (x, y)} {p (x)}}}

(Rovnice 1)

kde ${ displaystyle { mathcal {X}}}$ a ${ displaystyle { mathcal {Y}}}$ označit podpůrné sady z ${ displaystyle X}$ a ${ displaystyle Y}$ .

Poznámka: Je obvyklé, že výrazy ${ displaystyle 0 log 0}$ a ${ displaystyle 0 log c / 0}$ pro pevné ${ displaystyle c> 0}$ by mělo být považováno za rovno nule. To je proto, že ${ displaystyle lim _ { theta až 0 ^ {+}} theta , log , c / theta = 0}$ a ${ displaystyle lim _ { theta až 0 ^ {+}} theta , log theta = 0}$ ^[1]

Intuitivní vysvětlení definice: Podle definice ${ displaystyle displaystyle H (Y | X) = mathbb {E} ( f (X, Y) )}$ kde ${ displaystyle displaystyle f: (x, y) rightarrow - log ( p (y | x) ).}$ ${ displaystyle displaystyle f}$ spolupracovníci ${ displaystyle displaystyle (x, y)}$ informační obsah ${ displaystyle displaystyle (Y = y)}$ daný ${ displaystyle displaystyle (X = x)}$ , což je množství informací potřebných k popisu události ${ displaystyle displaystyle (Y = y)}$ daný ${ displaystyle (X = x)}$ . Podle zákona velkého počtu ${ displaystyle displaystyle H (Y | X)}$ je aritmetický průměr velkého počtu nezávislých realizací ${ displaystyle displaystyle f (X, Y)}$ .

Motivace

Nechat ${ displaystyle mathrm {H} (Y | X = x)}$ být entropie diskrétní náhodné proměnné ${ displaystyle Y}$ podmíněné diskrétní náhodnou proměnnou ${ displaystyle X}$ s určitou hodnotou ${ displaystyle x}$ . Označte podpůrné sady ${ displaystyle X}$ a ${ displaystyle Y}$ podle ${ displaystyle { mathcal {X}}}$ a ${ displaystyle { mathcal {Y}}}$ . Nechat ${ displaystyle Y}$ mít funkce pravděpodobnostní hmotnosti ${ displaystyle p_ {Y} {(y)}}$ . Bezpodmínečná entropie ${ displaystyle Y}$ se počítá jako ${ displaystyle mathrm {H} (Y): = mathbb {E} [ operatorname {I} (Y)]}$ , tj.

{ displaystyle mathrm {H} (Y) = součet _ {y v { mathcal {Y}}} { mathrm {Pr} (Y = y) , mathrm {I} (y)} = - sum _ {y in { mathcal {Y}}} {p_ {Y} (y) log _ {2} {p_ {Y} (y)}},}

kde ${ displaystyle operatorname {I} (y_ {i})}$ je informační obsah z výsledek z ${ displaystyle Y}$ brát hodnotu ${ displaystyle y_ {i}}$ . Entropie ${ displaystyle Y}$ podmíněno ${ displaystyle X}$ brát hodnotu ${ displaystyle x}$ je definován analogicky podmíněné očekávání:

{ displaystyle mathrm {H} (Y | X = x) = - součet _ {y v { mathcal {Y}}} { Pr (Y = y | X = x) log _ {2} { Pr (Y = y | X = x)}}.}

Všimněte si, že ${ displaystyle mathrm {H} (Y | X)}$ je výsledkem průměrování ${ displaystyle mathrm {H} (Y | X = x)}$ přes všechny možné hodnoty ${ displaystyle x}$ že ${ displaystyle X}$ může trvat. Také pokud je výše uvedený součet převzat vzorek ${ displaystyle y_ {1}, tečky, y_ {n}}$ , očekávaná hodnota ${ displaystyle E_ {X} [ mathrm {H} (y_ {1}, tečky, y_ {n} střední X = x)]}$ je v některých doménách znám jako dvojsmyslnost.^[2]

Dáno diskrétní náhodné proměnné ${ displaystyle X}$ s obrázkem ${ displaystyle { mathcal {X}}}$ a ${ displaystyle Y}$ s obrázkem ${ displaystyle { mathcal {Y}}}$ podmíněná entropie ${ displaystyle Y}$ daný ${ displaystyle X}$ je definován jako vážený součet ${ displaystyle mathrm {H} (Y | X = x)}$ pro každou možnou hodnotu ${ displaystyle x}$ , použitím ${ displaystyle p (x)}$ jako váhy:^[3]^:15

{ displaystyle { begin {zarovnáno} mathrm {H} (Y | X) & equiv sum _ {x v { mathcal {X}}} , p (x) , mathrm {H } (Y | X = x) & = - sum _ {x in { mathcal {X}}} p (x) sum _ {y in { mathcal {Y}}} , p (y | x) , log , p (y | x) & = - sum _ {x in { mathcal {X}}} sum _ {y in { mathcal {Y} }} , p (x, y) , log , p (y | x) & = - součet _ {x v { mathcal {X}}, y v { mathcal {Y }}} p (x, y) log , p (y | x) & = - sum _ {x in { mathcal {X}}, y in { mathcal {Y}}} p (x, y) log { frac {p (x, y)} {p (x)}}. & = sum _ {x in { mathcal {X}}, y in { mathcal {Y}}} p (x, y) log { frac {p (x)} {p (x, y)}}. end {zarovnáno}}}

Vlastnosti

Podmíněná entropie se rovná nule

${ displaystyle mathrm {H} (Y | X) = 0}$ právě tehdy, pokud je hodnota ${ displaystyle Y}$ je zcela určena hodnotou ${ displaystyle X}$ .

Podmíněná entropie nezávislých náhodných proměnných

Naopak, ${ displaystyle mathrm {H} (Y | X) = mathrm {H} (Y)}$ kdyby a jen kdyby ${ displaystyle Y}$ a ${ displaystyle X}$ jsou nezávislé náhodné proměnné.

Řetězové pravidlo

Předpokládejme, že kombinovaný systém je určen dvěma náhodnými proměnnými ${ displaystyle X}$ a ${ displaystyle Y}$ má společná entropie ${ displaystyle mathrm {H} (X, Y)}$ , to znamená, že potřebujeme ${ displaystyle mathrm {H} (X, Y)}$ v průměru kousky informace k popisu jejich přesného stavu. Teď, když se nejprve naučíme hodnotu ${ displaystyle X}$ , získali jsme ${ displaystyle mathrm {H} (X)}$ kousky informací. Jednou ${ displaystyle X}$ je známo, my jen potřebujeme ${ displaystyle mathrm {H} (X, Y) - mathrm {H} (X)}$ bity k popisu stavu celého systému. Toto množství je přesně ${ displaystyle mathrm {H} (Y | X)}$ , což dává řetězové pravidlo podmíněné entropie:

{ displaystyle mathrm {H} (Y | X) , = , mathrm {H} (X, Y) - mathrm {H} (X).}

^[3]^:17

Pravidlo řetězu vyplývá z výše uvedené definice podmíněné entropie:

{ displaystyle { begin {aligned} mathrm {H} (Y | X) & = sum _ {x in { mathcal {X}}, y in { mathcal {Y}}} p (x , y) log left ({ frac {p (x)} {p (x, y)}} right) [4pt] & = sum _ {x in { mathcal {X}} , y in { mathcal {Y}}} p (x, y) ( log (p (x)) - log (p (x, y))) [4pt] & = - sum _ {x in { mathcal {X}}, y in { mathcal {Y}}} p (x, y) log (p (x, y)) + sum _ {x in { mathcal {X}}, y in { mathcal {Y}}} {p (x, y) log (p (x))} [4pt] & = mathrm {H} (X, Y) + sum _ {x in { mathcal {X}}} p (x) log (p (x)) [4pt] & = mathrm {H} (X, Y) - mathrm {H} (X). End {zarovnáno}}}

Obecně platí pravidlo řetězu pro více náhodných proměnných:

{ displaystyle mathrm {H} (X_ {1}, X_ {2}, ldots, X_ {n}) = sum _ {i = 1} ^ {n} mathrm {H} (X_ {i} | X_ {1}, ldots, X_ {i-1})}

^[3]^:22

Má podobnou podobu jako řetězové pravidlo v teorii pravděpodobnosti, kromě toho, že místo násobení se používá sčítání.

Bayesovo pravidlo

Bayesovo pravidlo pro podmíněné stavy entropie

{ displaystyle mathrm {H} (Y | X) , = , mathrm {H} (X | Y) - mathrm {H} (X) + mathrm {H} (Y).}

Důkaz. ${ displaystyle mathrm {H} (Y | X) = mathrm {H} (X, Y) - mathrm {H} (X)}$ a ${ displaystyle mathrm {H} (X | Y) = mathrm {H} (Y, X) - mathrm {H} (Y)}$ . Symetrie znamená ${ displaystyle mathrm {H} (X, Y) = mathrm {H} (Y, X)}$ . Odečtení dvou rovnic implikuje Bayesovo pravidlo.

Li ${ displaystyle Y}$ je podmíněně nezávislý z ${ displaystyle Z}$ daný ${ displaystyle X}$ my máme:

{ displaystyle mathrm {H} (Y | X, Z) , = , mathrm {H} (Y | X).}

Další vlastnosti

Pro všechny ${ displaystyle X}$ a ${ displaystyle Y}$ :

{ displaystyle { begin {aligned} mathrm {H} (Y | X) & leq mathrm {H} (Y) , mathrm {H} (X, Y) & = mathrm {H } (X | Y) + mathrm {H} (Y | X) + operatorname {I} (X; Y), qquad mathrm {H} (X, Y) & = mathrm {H} (X) + mathrm {H} (Y) - operatorname {I} (X; Y), , operatorname {I} (X; Y) & leq mathrm {H} (X), , end {zarovnáno}}}

kde ${ displaystyle operatorname {I} (X; Y)}$ je vzájemné informace mezi ${ displaystyle X}$ a ${ displaystyle Y}$ .

Pro nezávislé ${ displaystyle X}$ a ${ displaystyle Y}$ :

{ displaystyle mathrm {H} (Y | X) = mathrm {H} (Y)}

a

{ displaystyle mathrm {H} (X | Y) = mathrm {H} (X) ,}

Ačkoli specifická podmíněná entropie ${ displaystyle mathrm {H} (X | Y = y)}$ může být menší nebo větší než ${ displaystyle mathrm {H} (X)}$ za dané náhodné variace ${ displaystyle y}$ z ${ displaystyle Y}$ , ${ displaystyle mathrm {H} (X | Y)}$ nikdy nemůže překročit ${ displaystyle mathrm {H} (X)}$ .

Podmíněná diferenciální entropie

Definice

Výše uvedená definice platí pro diskrétní náhodné proměnné. Spojitá verze diskrétní podmíněné entropie se nazývá podmíněná diferenciální (nebo kontinuální) entropie. Nechat ${ displaystyle X}$ a ${ displaystyle Y}$ být spojitá náhodná proměnná s a funkce hustoty pravděpodobnosti kloubu ${ displaystyle f (x, y)}$ . Diferenciální podmíněná entropie ${ displaystyle h (X | Y)}$ je definován jako^[3]^:249

{ displaystyle h (X | Y) = - int _ {{ mathcal {X}}, { mathcal {Y}}} f (x, y) log f (x | y) , dxdy}

(Rovnice 2)

Vlastnosti

Na rozdíl od podmíněné entropie pro diskrétní náhodné proměnné může být podmíněná diferenciální entropie záporná.

Stejně jako v diskrétním případě existuje pravidlo diferenciální entropie:

{ displaystyle h (Y | X) , = , h (X, Y) -h (X)}

^[3]^:253

Všimněte si však, že toto pravidlo nemusí být pravdivé, pokud příslušné rozdílné entropie neexistují nebo jsou nekonečné.

Společná diferenciální entropie se také používá při definici vzájemné informace mezi spojitými náhodnými proměnnými:

{ displaystyle operatorname {I} (X, Y) = h (X) -h (X | Y) = h (Y) -h (Y | X)}

${ displaystyle h (X | Y) leq h (X)}$ s rovností právě tehdy ${ displaystyle X}$ a ${ displaystyle Y}$ jsou nezávislé.^[3]^:253

Vztah k chybě odhadce

Podmíněná diferenciální entropie poskytuje dolní mez očekávané čtvercové chyby AN odhadce. Pro libovolnou náhodnou proměnnou ${ displaystyle X}$ pozorování ${ displaystyle Y}$ a odhadce ${ displaystyle { widehat {X}}}$ platí:^[3]^:255

{ displaystyle mathbb {E} left [{ bigl (} X - { widehat {X}} {(Y)} { bigr)} ^ {2} right] geq { frac {1} {2 pi e}} e ^ {2h (X | Y)}}

To souvisí s princip nejistoty z kvantová mechanika.

Zobecnění na kvantovou teorii

v teorie kvantové informace, podmíněná entropie je zobecněna na podmíněná kvantová entropie. Ten může na rozdíl od svého klasického protějšku nabývat záporné hodnoty.

Viz také

Reference

^ „David MacKay: Teorie informací, rozpoznávání vzorů a neuronové sítě: Kniha“. www.inference.org.uk. Citováno 2019-10-25.
^ Hellman, M .; Raviv, J. (1970). "Pravděpodobnost chyby, nejednoznačnosti a černoffské vazby". Transakce IEEE na teorii informací. 16 (4): 368–372.
^ ^A ^b ^C ^d ^E ^F ^G T. Cover; J. Thomas (1991). Základy teorie informace. ISBN 0-471-06259-6.

[1] „David MacKay: Teorie informací, rozpoznávání vzorů a neuronové sítě: Kniha“. www.inference.org.uk. Citováno 2019-10-25.

[2] Hellman, M .; Raviv, J. (1970). "Pravděpodobnost chyby, nejednoznačnosti a černoffské vazby". Transakce IEEE na teorii informací. 16 (4): 368–372.

[cover1991-3] A ^b ^C ^d ^E ^F ^G T. Cover; J. Thomas (1991). Základy teorie informace. ISBN 0-471-06259-6.

[1]

[2]

[3]