Teorie informace a teorie míry - Information theory and measure theory
Tento článek pojednává o tom, jak teorie informace (obor matematiky, který studuje přenos, zpracování a uchovávání informace ) je spojen s teorie míry (obor matematiky související s integrace a pravděpodobnost ).
Opatření v teorii informací
Mnoho konceptů v teorii informací má samostatné definice a vzorce pro kontinuální a oddělený případech. Například, entropie je obvykle definován pro diskrétní náhodné proměnné, zatímco pro spojité náhodné proměnné související koncept diferenciální entropie, psaný se používá (viz Cover a Thomas, 2006, kapitola 8). Oba tyto pojmy jsou matematické očekávání, ale očekávání je definováno pomocí integrální pro spojitý případ a součet pro diskrétní případ.
Tyto samostatné definice mohou být z hlediska teorie míry. U diskrétních náhodných proměnných lze funkce pravděpodobnostní hmotnosti považovat za funkce hustoty s ohledem na míru počítání. Myšlení integrálu i součtu jako integrace v prostoru míry umožňuje jednotné zacházení.
Uvažujme vzorec pro diferenciální entropii spojitosti náhodná proměnná s rozsahem a funkce hustoty pravděpodobnosti :
To lze obvykle interpretovat následovně Riemann – Stieltjesův integrál:
kde je Lebesgueovo opatření.
Pokud místo toho je diskrétní, s rozsahem konečná množina, je funkce pravděpodobnostní hmotnosti na , a je počítání opatření na , můžeme psát:
Integrální výraz a obecný koncept jsou v spojitém případě identické; jediným rozdílem je použité opatření. V obou případech funkce hustoty pravděpodobnosti je Derivát Radon – Nikodym z míra pravděpodobnosti s ohledem na opatření, proti kterému se integrál přijme.
Li je míra pravděpodobnosti vyvolaná , pak integrál lze také vzít přímo s ohledem na :
Pokud namísto základní míry μ použijeme další míru pravděpodobnosti jsme vedeni k Kullback – Leiblerova divergence: nechte a být míra pravděpodobnosti ve stejném prostoru. Pak pokud je absolutně kontinuální s ohledem na , psaný the Derivát Radon – Nikodym existuje a divergenci Kullback – Leibler lze vyjádřit v celé své obecnosti:
kde integrál přejíždí přes Podpěra, podpora z Všimněte si, že jsme zrušili záporné znaménko: divergence Kullback – Leibler je vždy nezáporná kvůli Gibbsova nerovnost.
Entropie jako „míra“

![]() | Tato sekce potřebuje další citace pro ověření.Dubna 2017) (Zjistěte, jak a kdy odstranit tuto zprávu šablony) ( |

Mezi tím existuje analogie Shannon základníopatření "z informace obsah náhodných proměnných a opatření přes sady. Jmenovitě společná entropie, podmíněná entropie, a vzájemné informace lze považovat za míru a nastavit unii, nastavený rozdíl, a nastavit křižovatku (Reza, str. 106–108).
Pokud si spojíme existenci abstraktu sady a na libovolné oddělený náhodné proměnné X a Y, nějakým způsobem zastupující informace nese X a Ytak, že:
- kdykoli X a Y jsou bezpodmínečně nezávislý, a
- kdykoli X a Y jsou takové, že jeden je zcela určen druhým (tj. bijekcí);
kde je podepsané opatření přes tyto sady a my nastavíme:
najdeme to Shannon "Míra" informačního obsahu splňuje všechny postuláty a základní vlastnosti formálního podepsané opatření přes sady, jak je běžně ilustrováno v informační diagram. To umožňuje zapsat součet dvou měr:
a analog Bayesova věta () umožňuje zapsat rozdíl dvou měr:
To může být užitečné mnemotechnická pomůcka v některých situacích, např.
Mějte na paměti, že míry (očekávané hodnoty logaritmu) skutečných pravděpodobností se nazývají „entropie“ a obecně se představují písmenem H, zatímco jiná opatření se často označují jako „informace“ nebo „korelace“ a obecně se vyjadřují v dopise Já. Pro jednoduchost zápisu písmeno Já se někdy používá pro všechna opatření.
Vícerozměrné vzájemné informace
Pro řešení tohoto problému jsou nezbytná určitá rozšíření definic Shannonových základních měr informací σ-algebra generované množinami, které by byly spojeny se třemi nebo více libovolnými náhodnými proměnnými. (Neformální, ale spíše úplnou diskusi viz Reza str. 106–108.) Totiž je třeba definovat zřejmým způsobem jako entropii společného rozdělení a vícerozměrný vzájemné informace definovány vhodným způsobem, abychom mohli nastavit:
za účelem definování (podepsané) míry přes celou σ-algebru. Neexistuje jednotná všeobecně přijímaná definice vzájemně se měnících vzájemných informací, ale ta, která zde odpovídá míře množiny křižovatky, je způsobena Fanem (1966: s. 57-59). Definice je rekurzivní. Jako základní případ je vzájemná informace jedné náhodné proměnné definována jako její entropie: . Pak pro jsme si stanovili
Kde podmíněné vzájemné informace je definován jako
První krok rekurze přináší Shannonovu definici Vícerozměrné vzájemné informace (stejné jako informace o interakci ale pro změnu znaménka) tří nebo více náhodných proměnných může být záporných i kladných: Let X a Y být dvěma nezávislými výběry férových mincí a nechat Z být jejich exkluzivní nebo. Pak bit.
Pro tři nebo více náhodných proměnných je možné mnoho dalších variant: například je vzájemná informace o společné distribuci X a Y ve vztahu k Z, a lze jej interpretovat jako Tímto způsobem lze vytvořit mnoho složitějších výrazů a stále mají význam, např. nebo
Reference
- Thomas M. Cover a Joy A. Thomas. Základy teorie informace, druhé vydání, 2006. New Jersey: Wiley and Sons. ISBN 978-0-471-24195-9.
- Fazlollah M. Reza. Úvod do teorie informace. New York: McGraw – Hill 1961. New York: Dover 1994. ISBN 0-486-68210-2
- Fano, R. M. (1966), Přenos informací: statistická teorie komunikace, MIT Stiskněte, ISBN 978-0-262-56169-3, OCLC 804123877
- R. W. Yeung, „O entropii, informační nerovnosti a skupinách.“ PS