Dějiny teorie informace - History of information theory

Rozhodující událost, která stanovila disciplínu teorie informace, a přivedl ji k okamžité celosvětové pozornosti, bylo vydání Claude E. Shannon klasický papír "Matematická teorie komunikace "v Technický deník Bell System v červenci a říjnu 1948.

V tomto revolučním a průkopnickém příspěvku, který Shannon do konce roku 1944 v Bellových laboratořích podstatně dokončil, Shannon poprvé představil kvalitativní a kvantitativní model komunikace jako statistický proces, který je základem informační teorie, přičemž se začalo s tvrzením, že

„Zásadním problémem komunikace je reprodukce zprávy v jednom bodě, buď přesně, nebo přibližně, vybrané v jiném bodě.“

S tím přišly myšlenky

Před rokem 1948

Časné telekomunikace

Některé z nejstarších metod telekomunikace implicitně použít mnoho myšlenek, které by později byly kvantifikovány v teorii informací. Moderní telegrafie, od 30. let 19. století, používán Morseova abeceda, ve kterém běžnější písmena (jako „E“, která je vyjádřena jako jedna „tečka“) jsou přenášeny rychleji než méně běžná písmena (jako „J“, která je vyjádřena jednou „tečkou“ následovanou třemi „pomlčkami“). Myšlenka kódování informací tímto způsobem je základním kamenem bezztrátová komprese dat. O sto let později frekvenční modulace to ilustroval šířka pásma lze považovat pouze za další stupeň svobody. The vokodér, který je nyní z velké části považován za zvukovou inženýrskou zvědavost, byl původně navržen v roce 1939 tak, aby používal menší šířku pásma než původní zpráva, a to stejným způsobem, jako mobilní telefony nyní vyměňte kvalitu hlasu se šířkou pásma.

Kvantitativní představy o informacích

Nejpřímějším předchůdcem Shannonovy práce byly dva příspěvky publikované ve 20. letech 20. století Harry Nyquist a Ralph Hartley, kdy byli oba vedoucími výzkumu v laboratořích Bell Labs, když Shannon přišel na počátku 40. let.

Nyquistův článek z roku 1924 „Určité faktory ovlivňující rychlost telegrafu“ se většinou týká některých podrobných technických aspektů telegrafních signálů. Teoretičtější část ale pojednává o kvantifikaci „inteligence“ a „rychlosti linky“, při které ji může komunikační systém přenášet, což dává vztah

kde Ž je rychlost přenosu inteligence, m je počet různých úrovní napětí, ze kterých si můžete vybrat v každém časovém kroku, a K. je konstanta.

Papír Hartley z roku 1928, nazývaný jednoduše „Přenos informací“, šel dále používáním tohoto slova informace (v technickém smyslu) a výslovně objasnit, že informace v tomto kontextu byly měřitelné množství, což odráží pouze schopnost příjemce rozlišit, že jedna posloupnost symbolů byla zamýšlena odesílatelem spíše než kterákoli jiná - zcela bez ohledu na jakýkoli související význam nebo jiný psychologický nebo sémantický aspekt, který symboly mohou představovat. Toto množství informací kvantifikoval jako

kde S byl počet možných symbolů a n počet symbolů v přenosu. Přirozenou jednotkou informací byla proto desetinná číslice, mnohem později přejmenovaná na Hartley na jeho počest jako jednotka nebo měřítko nebo míra informace. The Hartley informace, H0, se stále používá jako veličina pro logaritmus celkového počtu možností.

Podobná jednotka protokolu10 pravděpodobnost zákaza jeho odvozená jednotka deciban (jedna desetina zákazu), byly zavedeny Alan Turing v roce 1940 jako součást statistické analýzy přerušení německé druhé světové války Hádanka cyphers. The decibannage představovalo snížení (logaritmu) celkového počtu možností (podobné změně v Hartleyových informacích); a také log-likelihood ratio (nebo změna v váha důkazů ), které lze odvodit pro jednu hypotézu před druhou z řady pozorování. Očekávaná změna váhy důkazů je ekvivalentní té, která se později nazvala Kullback informace o diskriminaci.

Ale základem tohoto pojmu byla stále myšlenka rovných apriorních pravděpodobností, spíše než informační obsah událostí nerovnoměrné pravděpodobnosti; ani dosud žádný základní obraz otázek týkajících se komunikace o tak odlišných výsledcích.

Entropie ve statistické mechanice

Jednou z oblastí, kde byly skutečně známy nerovné pravděpodobnosti, byla statistická mechanika, kde Ludwig Boltzmann měl v kontextu svého H-věta z roku 1872, poprvé představil množství

jako měřítko šíření stavů dostupných jedné částice v plynu podobných částic, kde F představoval příbuzného rozdělení frekvence každého možného stavu. Boltzmann matematicky tvrdil, že účinek srážek mezi částicemi způsobí H- funkce se nevyhnutelně zvyšuje z jakékoli počáteční konfigurace, dokud nebude dosaženo rovnováhy; a dále jej identifikoval jako základní mikroskopické zdůvodnění makroskopického termodynamická entropie z Clausius.

Boltzmannova definice byla brzy přepracována americkým matematickým fyzikem J. Willard Gibbs do obecného vzorce pro statisticko-mechanickou entropii, která již nevyžaduje identické a neinteragující částice, ale vychází z rozdělení pravděpodobnosti pi pro kompletní microstate i celkového systému:

Tuto (Gibbsovu) entropii ze statistické mechaniky lze přímo shledat jako Clausiovu klasickou termodynamiku definice.

Samotný Shannon si zjevně nebyl zvlášť vědom blízká podobnost mezi jeho novým měřítkem a dřívější prací v termodynamice, ale John von Neumann byl. Říká se, že když se Shannon rozhodoval, co nazvat jeho novým opatřením a obával se, že pojem „informace“ již byl nadměrně používán, von Neumann mu pevně řekl: „Měli byste to nazvat entropií ze dvou důvodů. funkce neurčitosti byla ve statistické mechanice použita pod tímto názvem, takže již má název. Zadruhé, a co je důležitější, nikdo neví, co entropie ve skutečnosti je, takže v debatě budete mít vždy tu výhodu. “

(Spojení mezi informační teoretickou entropií a termodynamickou entropií, včetně důležitých příspěvků od Rolf Landauer v šedesátých letech jsou v článku dále prozkoumány Entropie v termodynamice a teorii informací ).

Vývoj od roku 1948

Publikace Shannonovy práce z roku 1948, “Matematická teorie komunikace ", v Technický deník Bell System bylo založením informační teorie, jak ji známe dnes. Od té doby došlo k mnoha vývojům a aplikacím teorie, díky nimž bylo vyrobeno mnoho moderních zařízení datová komunikace a skladování jako např CD-ROM a mobilní telefony možný.

Pozoruhodný pozdější vývoj je uveden v a časová osa teorie informace, počítaje v to:

Viz také

Reference

  1. ^ Gray, Robert M. (2010). „Historie digitální řeči v reálném čase v paketových sítích: část II lineárního prediktivního kódování a internetového protokolu“ (PDF). Nalezeno. Trendy procesu signálu. 3 (4): 203–303. doi:10.1561/2000000036. ISSN  1932-8346.
  2. ^ Ahmed, Nasire (Leden 1991). „Jak jsem přišel s diskrétní kosinovou transformací“. Zpracování digitálních signálů. 1 (1): 4–5. doi:10.1016 / 1051-2004 (91) 90086-Z.
  3. ^ Ghanbari, Mohammed (2003). Standardní kodeky: komprese obrazu až po pokročilé kódování videa. Instituce inženýrství a technologie. s. 1–2. ISBN  9780852967102.
  4. ^ „T.81 - DIGITÁLNÍ STLAČENÍ A KÓDOVÁNÍ STÁLÝCH OBRAZŮ S NEPŘETRŽITÝMI TÓNY - POŽADAVKY A POKYNY“ (PDF). CCITT. Září 1992. Citováno 12. července 2019.
  5. ^ Guckert, John (jaro 2012). „Použití FFT a MDCT při kompresi zvuku MP3“ (PDF). University of Utah. Citováno 14. července 2019.
  6. ^ Brandenburg, Karlheinz (1999). „Vysvětlení MP3 a AAC“ (PDF). Archivováno (PDF) od originálu na 2017-02-13.
  7. ^ Jindal, Renuka P. (2009). „Od milibitů po terabity za sekundu a dále - více než 60 let inovací“. 2009 2. mezinárodní workshop o elektronových zařízeních a polovodičových technologiích: 1–6. doi:10.1109 / EDST.2009.5166093.