Protokol nerovnost součtu - Log sum inequality
The nerovnost log součtu se používá k prokázání vět v teorie informace.
Prohlášení
Nechat a být záporná čísla. Označte součet všech s od a součet všech s od . To říká nerovnost součtu protokolu
s rovností právě tehdy jsou stejné pro všechny , jinými slovy pro všechny .[1]
(Vzít být -li a -li . Jedná se o mezní hodnoty získané, jak má tendenci mít relevantní číslo .)[1]
Důkaz
Všimněte si, že po nastavení my máme
odkud vyplývá nerovnost Jensenova nerovnost od té doby , , a je konvexní.[1]
Zobecnění
Nerovnost zůstává platná pro pokud a .[Citace je zapotřebí ]Výše uvedený důkaz platí pro jakoukoli funkci takhle je konvexní, například všechny spojité neklesající funkce. Zobecnění na neklesající funkce jiné než logaritmus uvádí Csisz 谩r, 2004.
Aplikace
Nerovnost log součtu lze použít k prokázání nerovností v teorii informací. Gibbsova nerovnost uvádí, že Kullback-Leiblerova divergence je nezáporný a rovný nule, pokud jsou jeho argumenty stejné.[2] Jeden důkaz používá nerovnost log součtu.
Důkaz[1] Nechat a být PMFS. V nerovnosti log součtu nahraďte , a dostat s rovností právě tehdy pro všechny i (jako obojí a součet 1).
Nerovnost může také prokázat konvexnost Kullback-Leiblerovy divergence.[3]
Poznámky
- ^ A b C d Cover & Thomas (1991), str. 29.
- ^ MacKay (2003), str. 34.
- ^ Cover & Thomas (1991), str. 30.
Reference
- Thomas M. Cover; Joy A. Thomas (1991). Základy teorie informace. Hoboken, New Jersey: Wiley. ISBN 978-0-471-24195-9.
- Csisz 谩 r, I.; Shields, P. (2004). „Informační teorie a statistika: výuka“ (PDF). Základy a trendy v teorii komunikace a informací. 1 (4): 417–528. doi:10.1561/0100000004. Citováno 2009-06-14.
- T.S. Han, K. Kobayashi, Matematika informací a kódování. Americká matematická společnost, 2001. ISBN 0-8218-0534-7.
- Materiály ke kurzu Informační teorie, Utah State University [1]. Citováno 2009-06-14.
- MacKay, David J.C. (2003). Informační teorie, odvození a výukové algoritmy. Cambridge University Press. ISBN 0-521-64298-1.