Gibbsova nerovnost - Gibbs inequality - Wikipedia

v teorie informace, Gibbsova nerovnost je prohlášení o informační entropie diskrétní rozdělení pravděpodobnosti. Několik dalších hranic entropie rozdělení pravděpodobnosti je odvozeno od Gibbsovy nerovnosti, včetně Fanova nerovnost Poprvé to představil J. Willard Gibbs v 19. století.
Gibbsova nerovnost
Předpokládejme to
je rozdělení pravděpodobnosti. Pak pro jakékoli jiné rozdělení pravděpodobnosti
následující nerovnost mezi kladnými veličinami (od stri a qi jsou mezi nulou a jednou) platí:[1]:68
s rovností právě tehdy
pro všechny i. Řečeno slovy, informační entropie distribuce P je menší nebo rovna jeho křížová entropie s jakoukoli jinou distribucí Q.
Rozdíl mezi těmito dvěma veličinami je Kullback – Leiblerova divergence nebo relativní entropie, takže nerovnost lze také napsat:[2]:34
Všimněte si, že použití base-2 logaritmy je nepovinné a umožňuje člověku odkazovat na množství na každé straně nerovnosti jako na „průměr překvapení "měřeno v bity.
Důkaz
Pro zjednodušení dokazujeme tvrzení pomocí přirozeného logaritmu (ln), protože
konkrétní logaritmus, který zvolíme, pouze změní měřítko vztahu.
Nechat označit množinu všech pro který pi je nenulová. Pak od té doby pro všechny x> 0, s rovností právě tehdy x = 1, my máme:
Poslední nerovnost je důsledkem pi a qi být součástí rozdělení pravděpodobnosti. Konkrétně je součet všech nenulových hodnot 1. Některé nenulové qi, však mohly být vyloučeny, protože výběr indexů je podmíněn pi být nenulový. Proto součet qi může být menší než 1.
Zatím přes sadu indexů , my máme:
- ,
nebo ekvivalentně
- .
Obě částky lze rozšířit na všechny , tj. včetně , tím, že připomíná, že výraz má tendenci k 0 jako má tendenci k 0 a má sklony k tak jako má sklon k 0. Dorazíme k
Aby rovnost platila, požadujeme
- pro všechny aby rovnost drží,
- a což znamená -li , to znamená, -li .
To se může stát právě tehdy pro .
Alternativní důkazy
Výsledek lze alternativně prokázat pomocí Jensenova nerovnost, nerovnost log součtu, nebo skutečnost, že Kullback-Leiblerova divergence je formou Bregmanova divergence. Níže uvádíme důkaz založený na Jensenově nerovnosti:
Protože log je konkávní funkce, máme to:
Kde první nerovnost je způsobena Jensenovou nerovností a poslední rovnost je způsobena stejným důvodem uvedeným ve výše uvedeném důkazu.
Kromě toho od je přísně konkávní, podmínkou rovnosti Jensenovy nerovnosti dostaneme rovnost, když
a
Předpokládejme, že tento poměr je , pak tu máme
Kde použijeme skutečnost, že jsou rozdělení pravděpodobnosti. K rovnosti tedy dochází, když .
Důsledek
The entropie z je omezen:[1]:68
Důkaz je triviální - jednoduše nastaven pro všechny i.
Viz také
Reference
- ^ A b Pierre Bremaud (6. prosince 2012). Úvod do pravděpodobnostního modelování. Springer Science & Business Media. ISBN 978-1-4612-1046-7.
- ^ David J. C. MacKay. Informační teorie, odvození a výukové algoritmy. Cambridge University Press. ISBN 978-0-521-64298-9.