Rényiho entropie - Rényi entropy

v teorie informace, Rényiho entropie zobecňuje Hartleyova entropie, Shannonova entropie, kolizní entropie a min. entropie. Entropie kvantifikují rozmanitost, nejistotu nebo náhodnost systému. Entropie je pojmenována po Alfréd Rényi.^[1] V kontextu fraktální dimenze odhad, Rényiho entropie tvoří základ konceptu zobecněné rozměry.^[2]

Rényiho entropie je důležitá v ekologii a statistice index rozmanitosti. Rényiho entropie je také důležitá v kvantová informace, kde jej lze použít jako měřítko zapletení. V modelu spinového řetězce Heisenberg XY je Rényiho entropie jako funkce α lze vypočítat výslovně na základě skutečnosti, že se jedná o automatická funkce s ohledem na konkrétní podskupinu EU modulární skupina.^[3][4] v teoretická informatika, min-entropie se používá v kontextu extraktory náhodnosti.

Definice

Rényiho entropie řádu ${ displaystyle alpha}$, kde ${ displaystyle alpha geq 0}$ a ${ displaystyle alpha neq 1}$, je definován jako

${ displaystyle mathrm {H} _ { alpha} (X) = { frac {1} {1- alpha}} log { Bigg (} sum _ {i = 1} ^ {n} p_ {i} ^ { alpha} { Bigg)}}$ .^[1]

Tady, ${ displaystyle X}$ je diskrétní náhodná proměnná s možnými výsledky ${ displaystyle 1,2, ..., n}$ a odpovídající pravděpodobnosti ${ Displaystyle p_ {i} doteq Pr (X = i)}$ pro ${ displaystyle i = 1, tečky, n}$. The logaritmus se běžně považuje za základnu 2, zejména v kontextu teorie informace kde bity Pokud jsou pravděpodobnosti ${ displaystyle p_ {i} = 1 / n}$ pro všechny ${ displaystyle i = 1, tečky, n}$, pak jsou všechny Rényiho entropie distribuce stejné: ${ displaystyle mathrm {H} _ { alpha} (X) = log n}$Obecně platí, že pro všechny diskrétní náhodné proměnné ${ displaystyle X}$, ${ displaystyle mathrm {H} _ { alpha} (X)}$ je nerostoucí funkce v ${ displaystyle alpha}$.

Aplikace často využívají následující vztah mezi Rényiho entropií a p-norma vektoru pravděpodobností:

${ displaystyle mathrm {H} _ { alpha} (X) = { frac { alpha} {1- alpha}} log left ( | P | _ { alpha} right)}$ .

Zde diskrétní rozdělení pravděpodobnosti ${ displaystyle P = (p_ {1}, tečky, p_ {n})}$ je interpretován jako vektor v ${ displaystyle mathbb {R} ^ {n}}$ s ${ displaystyle p_ {i} geq 0}$ a ${ displaystyle sum _ {i = 1} ^ {n} p_ {i} = 1}$.

Rényiho entropie pro všechny ${ displaystyle alpha geq 0}$ je Schur konkávní.

Speciální případy

Rényiho entropie náhodné proměnné se dvěma možnými výsledky proti p₁, kde P = (p₁, 1 − p₁). Zobrazené jsou H₀, H₁, H₂ a H_∞v jednotkách shannony.

Tak jako α blíží se nule, Rényiho entropie stále více váží všechny možné události rovnoměrněji, bez ohledu na jejich pravděpodobnost. V limitu pro α → 0, Rényiho entropie je pouze logaritmem velikosti podpory X. Limit pro α → 1 je Shannonova entropie. Tak jako α blíží nekonečno, Rényiho entropie je stále více určována událostmi s nejvyšší pravděpodobností.

Hartley nebo max-entropie

Pokud jsou pravděpodobnosti nenulové,^[5] ${ displaystyle mathrm {H} _ {0}}$ je logaritmus mohutnost z X, někdy nazývaný Hartleyova entropie z X,

${ displaystyle mathrm {H} _ {0} (X) = log n = log | X |. ,}$

Shannonova entropie

Mezní hodnota ${ displaystyle mathrm {H} _ { alpha}}$ tak jako α → 1 je Shannonova entropie:^[6]

${ displaystyle mathrm {H} _ {1} (X) equiv lim _ { alpha až 1} mathrm {H} _ { alpha} (X) = - součet _ {i = 1} ^ {n} p_ {i} log p_ {i}.}$

Kolizní entropie

Kolizní entropie, někdy jen nazývaný „Rényiho entropie“, odkazuje na případ α = 2,

${ displaystyle mathrm {H} _ {2} (X) = - log sum _ {i = 1} ^ {n} p_ {i} ^ {2} = - log P (X = Y), }$

kde X a Y jsou nezávislé a identicky distribuované.

Min. Entropie

V limitu jako ${ displaystyle alpha rightarrow infty}$, Rényiho entropie ${ displaystyle mathrm {H} _ { alpha}}$ konverguje k min. entropie ${ displaystyle mathrm {H} _ { infty}}$:

${ displaystyle mathrm {H} _ { infty} (X) doteq min _ {i} (- log p_ {i}) = - ( max _ {i} log p_ {i}) = - log max _ {i} p_ {i} ,.}$

Ekvivalentně, min-entropie ${ displaystyle mathrm {H} _ { infty} (X)}$ je největší reálné číslo b tak, že všechny události nastanou s největší pravděpodobností ${ displaystyle 2 ^ {- b}}$.

Název min. entropie vyplývá ze skutečnosti, že se jedná o nejmenší míru entropie v rodině Rényiho entropií. v tomto smyslu jde o nejsilnější způsob měření informačního obsahu diskrétní náhodné proměnné. Zejména min-entropie nikdy není větší než Shannonova entropie.

Min-entropie má důležité aplikace pro extraktory náhodnosti v teoretická informatika: Extraktoři jsou schopni extrahovat náhodnost z náhodných zdrojů, které mají velkou min-entropii; jen mít velký Shannonova entropie pro tento úkol nestačí.

Nerovnosti mezi různými hodnotami α

Že ${ displaystyle mathrm {H} _ { alpha}}$ v roce neroste ${ displaystyle alpha}$ pro jakékoli dané rozdělení pravděpodobností ${ displaystyle p_ {i}}$, což lze prokázat diferenciací,^[7] tak jako

${ displaystyle - { frac {d mathrm {H} _ { alpha}} {d alpha}} = { frac {1} {(1- alpha) ^ {2}}} součet _ { i = 1} ^ {n} z_ {i} log (z_ {i} / p_ {i}),}$

což je úměrné Kullback – Leiblerova divergence (což je vždy nezáporné), kde${ displaystyle z_ {i} = p_ {i} ^ { alpha} / sum _ {j = 1} ^ {n} p_ {j} ^ { alpha}}$.

V konkrétních případech může nerovnost prokázat také Jensenova nerovnost:^[8][9]

${ displaystyle log n = mathrm {H} _ {0} geq mathrm {H} _ {1} geq mathrm {H} _ {2} geq mathrm {H} _ { infty} .}$

Pro hodnoty ${ displaystyle alpha> 1}$, platí také nerovnosti v opačném směru. Zejména máme^{[10][Citace je zapotřebí ]}

${ displaystyle mathrm {H} _ {2} leq 2 mathrm {H} _ { infty}.}$

Na druhou stranu Shannonova entropie ${ displaystyle mathrm {H} _ {1}}$ může být libovolně vysoká pro náhodnou proměnnou ${ displaystyle X}$ která má danou min-entropii.^{[Citace je zapotřebí ]}

Rényiho divergence

Kromě absolutních Rényiho entropií definoval Rényi také spektrum divergenčních opatření zobecňujících Kullback – Leiblerova divergence.^[11]

The Rényiho divergence řádu α nebo alfa-divergence distribuce P z distribuce Q je definován jako

${ displaystyle D _ { alpha} (P | Q) = { frac {1} { alpha -1}} log { Bigg (} sum _ {i = 1} ^ {n} { frac {p_ {i} ^ { alpha}} {q_ {i} ^ { alpha -1}}} { Bigg)} ,}$

když 0 < α < ∞ a α ≠ 1. Můžeme definovat Rényiho divergenci pro speciální hodnoty α = 0, 1, ∞ přijetím limitu, zejména limitu α → 1 dává divergenci Kullback-Leibler.

Některé speciální případy:

${ displaystyle D_ {0} (P | Q) = - log Q ( {i: p_ {i}> 0 })}$ : minus pravděpodobnost protokolu pod Q že p_i > 0;

${ displaystyle D_ {1/2} (P | Q) = - 2 log sum _ {i = 1} ^ {n} { sqrt {p_ {i} q_ {i}}}}$ : mínus dvojnásobek logaritmu Bhattacharyya koeficient; (Nielsen & Boltz (2010) )

${ displaystyle D_ {1} (P | Q) = součet _ {i = 1} ^ {n} p_ {i} log { frac {p_ {i}} {q_ {i}}}}$ : Kullback – Leiblerova divergence;

${ displaystyle D_ {2} (P | Q) = log { Big langle} { frac {p_ {i}} {q_ {i}}} { Big rangle}}$ : protokol očekávaného poměru pravděpodobností;

${ displaystyle D _ { infty} (P | Q) = log sup _ {i} { frac {p_ {i}} {q_ {i}}}}$ : protokol maximálního poměru pravděpodobností.

Rényiho divergence je skutečně divergence, což znamená jednoduše to ${ displaystyle D _ { alpha} (P | Q)}$ je větší než nebo rovno nule a nula pouze když P = Q. Pro jakékoli pevné distribuce P a Q, Rényiho divergence neklesá jako funkce jejího řádu α, a je kontinuální na množině α pro které je konečný.^[11]

Finanční interpretace

Na dvojici rozdělení pravděpodobnosti lze pohlížet jako na hazardní hru, ve které jedno z rozdělení definuje oficiální pravděpodobnost a druhé obsahuje skutečné pravděpodobnosti. Znalost skutečných pravděpodobností umožňuje hráči těžit ze hry. Očekávaná míra zisku souvisí s Rényiho divergencí následovně^[12]

${ displaystyle { rm {ExpectedRate}} = { frac {1} {R}} , D_ {1} (b | m) + { frac {R-1} {R}} , D_ { 1 / P} (b | m) ,,}$

kde ${ displaystyle m}$ je distribuce definující oficiální kurzy (tj. „trh“) pro hru, ${ displaystyle b}$ je investorem věřená distribuce a ${ displaystyle R}$ je averze k riziku investora (relativní averze k riziku Arrow-Pratt).

Pokud je skutečná distribuce ${ displaystyle p}$ (nemusí se nutně shodovat s vírou investora ${ displaystyle b}$), dlouhodobá realizovaná míra konverguje ke skutečnému očekávání, které má podobnou matematickou strukturu^[13]

${ displaystyle { rm {RealizedRate}} = { frac {1} {R}} , { Big (} D_ {1} (p | m) -D_ {1} (p | b) { Big)} + { frac {R-1} {R}} , D_ {1 / R} (b | m) ,.}$

Proč α = 1 je zvláštní

Hodnota α = 1, což dává Shannonova entropie a Kullback – Leiblerova divergence, je zvláštní, protože je pouze na α = 1 že řetězové pravidlo podmíněné pravděpodobnosti platí přesně:

${ displaystyle mathrm {H} (A, X) = mathrm {H} (A) + mathbb {E} _ {a sim A} { big [} mathrm {H} (X | A = velký ]}}$

pro absolutní entropie a

${ displaystyle D _ { mathrm {KL}} (p (x | a) p (a) | m (x, a)) = D _ { mathrm {KL}} (p (a) | m (a )) + mathbb {E} _ {p (a)} {D _ { mathrm {KL}} (p (x | a) | m (x | a)) },}$

pro relativní entropie.

To zejména znamená, že pokud hledáme distribuci p(X, A) což minimalizuje odchylku od nějakého základního předchozího opatření m(X, A), a získáváme nové informace, které mají vliv pouze na distribuci A, pak distribuce p(X|A) Zůstává m(X|A), beze změny.

Ostatní Rényiho divergence splňují kritéria kladnosti a kontinuity; být invariantní při transformacích souřadnic 1: 1; a aditivní kombinace, když A a X jsou nezávislé, takže pokud p(A, X) = p(A)p(X), pak

${ displaystyle mathrm {H} _ { alpha} (A, X) = mathrm {H} _ { alpha} (A) + mathrm {H} _ { alpha} (X) ;}$

a

${ displaystyle D _ { alpha} (P (A) P (X) | Q (A) Q (X)) = D _ { alpha} (P (A) | Q (A)) + D _ { alpha} (P (X) | Q (X)).}$

Silnější vlastnosti α = 1 množství, která umožňují definici podmíněné informace a vzájemné informace z teorie komunikace, může být v jiných aplikacích velmi důležitý nebo zcela nedůležitý v závislosti na požadavcích těchto aplikací.

Exponenciální rodiny

Rényi entropie a divergence pro exponenciální rodina připustit jednoduché výrazy^[14]

${ displaystyle mathrm {H} _ { alpha} (p_ {F} (x; theta)) = { frac {1} {1- alpha}} vlevo (F ( alpha theta) - alpha F ( theta) + log E_ {p} [e ^ {( alpha -1) k (x)}] right)}$

a

${ displaystyle D _ { alpha} (p: q) = { frac {J_ {F, alpha} ( theta: theta ')} {1- alpha}}}$

kde

${ displaystyle J_ {F, alpha} ( theta: theta ') = alpha F ( theta) + (1- alpha) F ( theta') -F ( alpha theta + (1- alpha) theta ')}$

je Jensenův rozdíl divergence.

Fyzický význam

Rényiho entropie v kvantové fyzice se nepovažuje za pozorovatelný, kvůli jeho nelineární závislosti na matici hustoty. (Tato nelineární závislost platí i ve zvláštním případě Shannonovy entropie.) Může jí však být dán provozní význam prostřednictvím dvojnásobných měření (také známých jako statistika úplného počítání) přenosů energie.

Hranice Rényiho entropie as ${ displaystyle alpha na 1}$ je von Neumannova entropie.

Viz také

• Indexy rozmanitosti
• Tsallisova entropie
• Zobecněný index entropie

Poznámky

Reference