Princip maximální entropie - Principle of maximum entropy

Tento článek obsahuje seznam obecných Reference, ale zůstává z velké části neověřený, protože postrádá dostatečné odpovídající vložené citace. Prosím pomozte zlepšit tento článek představuji přesnější citace. (Září 2008) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

Část série na
Bayesovské statistiky
Teorie
Pravidlo přípustného rozhodnutí Bayesiánská účinnost Bayesovská pravděpodobnost Výklady pravděpodobnosti Bayesova věta Bayesův faktor Bayesovský závěr Bayesovská síť Prior Zadní Pravděpodobnost Konjugujte před Zadní prediktivní Hyperparametr Hyperprior Princip lhostejnosti Princip maximální entropie Empirická Bayesova metoda Cromwellova vláda Věta Bernstein – von Mises Schwarzovo kritérium Důvěryhodný interval Maximální a posteriori odhad Radikální pravděpodobnost
Techniky
Bayesiánská lineární regrese Bayesovský odhad Přibližný Bayesiánský výpočet Markovský řetězec Monte Carlo
Matematický portál

The princip maximální entropie uvádí, že rozdělení pravděpodobnosti který nejlépe odpovídá současnému stavu poznání, je ten s největším entropie, v kontextu přesně uvedených dřívějších údajů (např. a tvrzení který vyjadřuje testovatelné informace ).

Další způsob, jak to uvést: Vezměte přesně uvedená předchozí data nebo testovatelné informace o funkci rozdělení pravděpodobnosti. Zvažte sadu všech distribucí pravděpodobnosti pokusu, která by kódovala předchozí data. Podle tohoto principu je distribuce s maximem informační entropie je nejlepší volba.

Vzhledem k tomu, že distribuce s maximální entropií je ta, která činí nejméně předpokladů o skutečné distribuci dat, lze princip maximální entropie považovat za aplikaci Occamova břitva.

Dějiny

Princip byl poprvé vysvětlen pomocí E. T. Jaynes ve dvou dokumentech v roce 1957^[1][2] kde zdůrazňoval přirozenou korespondenci mezi statistická mechanika a teorie informace. Jaynes nabídl zejména nové a velmi obecné zdůvodnění, proč funguje gibbsovská metoda statistické mechaniky. Tvrdil, že entropie statistické mechaniky a informační entropie z teorie informace jsou v podstatě to samé. Tudíž, statistická mechanika je třeba chápat jen jako konkrétní aplikaci obecného nástroje logiky odvození a informační teorie.

Přehled

Ve většině praktických případů jsou uvedená předchozí data nebo testovatelné informace dány souborem konzervovaná množství (průměrné hodnoty některých momentových funkcí), spojené s rozdělení pravděpodobnosti v otázce. To je způsob, jakým se nejčastěji používá princip maximální entropie statistická termodynamika. Další možností je předepsat některé symetrie rozdělení pravděpodobnosti. Rovnocennost mezi konzervovaná množství a odpovídající skupiny symetrie implikuje podobnou ekvivalenci pro tyto dva způsoby určení testovatelných informací v metodě maximální entropie.

Princip maximální entropie je také potřebný k zajištění jedinečnosti a konzistence přiřazení pravděpodobnosti získaných různými metodami, statistická mechanika a logický závěr zejména.

Princip maximální entropie výslovně vysvětluje naši svobodu při používání různých forem předchozí údaje. Jako zvláštní případ uniforma předchozí pravděpodobnost hustota (Laplaceova princip lhostejnosti, někdy nazývaný princip nedostatečného důvodu), mohou být přijaty. Princip maximální entropie tedy není pouze alternativním způsobem pohledu na obvyklé metody odvozování klasické statistiky, ale představuje významné koncepční zobecnění těchto metod.

Tato tvrzení však neznamená, že nemusí být prokázáno, že termodynamické systémy jsou ergodický ospravedlnit léčbu jako statistický soubor.

V běžném jazyce lze o principu maximální entropie říci, že vyjadřuje požadavek epistemické skromnosti nebo maximální nevědomosti. Vybraná distribuce je ta, která má nejmenší nárok na to, aby byla informována nad rámec uvedených předchozích údajů, to znamená ta, která připouští největší neznalost nad rámec uvedených předchozích údajů.

Testovatelné informace

Princip maximální entropie je užitečný výslovně pouze tehdy, když je aplikován na testovatelné informace. Testovatelné informace jsou výroky o rozdělení pravděpodobnosti, jejichž pravda nebo nepravda je dobře definována. Například prohlášení

the očekávání proměnné ${ displaystyle x}$ je 2,87

a

${ displaystyle p_ {2} + p_ {3}> 0,6}$

(kde ${ displaystyle p_ {2}}$ a ${ displaystyle p_ {3}}$ jsou pravděpodobnosti událostí) jsou prohlášení o testovatelných informacích.

Vzhledem k testovatelným informacím spočívá postup maximální entropie v hledání rozdělení pravděpodobnosti který maximalizuje informační entropie, s výhradou omezení informací. Tento omezený optimalizační problém je obvykle vyřešen pomocí metody Lagrangeovy multiplikátory.

Maximalizace entropie bez testovatelných informací respektuje univerzální „omezení“, že součet pravděpodobností je jedna. Pod tímto omezením je maximální diskrétní rozdělení entropie pravděpodobnosti rovnoměrné rozdělení,

${ displaystyle p_ {i} = { frac {1} {n}} { rm {for all}} i in {, 1, dots, n , }.}$

Aplikace

Princip maximální entropie se běžně aplikuje dvěma způsoby na inferenční problémy:

Předchozí pravděpodobnosti

K získání se často používá princip maximální entropie předchozí rozdělení pravděpodobnosti pro Bayesovský závěr. Jaynes byl silným zastáncem tohoto přístupu a tvrdil, že maximální distribuce entropie představuje nejméně informativní distribuci.^[3]Velké množství literatury je nyní věnováno vyvolávání maximálních entropických priorit a vazeb s nimi kódování kanálu.^[4][5][6][7]

Zadní pravděpodobnosti

Maximální entropie je dostatečné aktualizační pravidlo pro radikální pravděpodobnost. Richard Jeffrey je kinematika pravděpodobnosti je speciální případ maximální entropické inference. Maximální entropie však není zobecněním všech takových dostatečných pravidel aktualizace.^[8]

Modely s maximální entropií

Alternativně se pro specifikaci modelu často používá princip: v tomto případě se pozorovaná data považují za testovatelnou informaci. Takové modely jsou široce používány v zpracování přirozeného jazyka. Příkladem takového modelu je logistická regrese, což odpovídá maximálnímu klasifikátoru entropie pro nezávislá pozorování.

Odhad hustoty pravděpodobnosti

Jedna z hlavních aplikací principu maximální entropie je diskrétní a spojitá odhad hustoty.^[9][10]Podobný podporovat vektorový stroj odhady, princip maximální entropie může vyžadovat řešení a kvadratické programování a tak poskytnout model řídké směsi jako optimální odhad hustoty. Jednou důležitou výhodou metody je schopnost zahrnout předchozí informace do odhadu hustoty.^[11]

Obecné řešení pro maximální distribuci entropie s lineárními omezeními

Diskrétní případ

Máme několik ověřitelných informací Já o množství X brát hodnoty v {X₁, X₂,..., X_n}. Předpokládáme, že tyto informace mají formu m omezení očekávání funkcí F_k; to znamená, že požadujeme naše rozdělení pravděpodobnosti, abychom uspokojili omezení momentální nerovnosti / rovnosti:

${ displaystyle sum _ {i = 1} ^ {n} Pr (x_ {i}) f_ {k} (x_ {i}) geq F_ {k} qquad k = 1, ldots, m. }$

Kde ${ displaystyle F_ {k}}$ jsou pozorovatelní. Rovněž požadujeme, aby hustota pravděpodobnosti byla součtem jedné, což lze považovat za primitivní omezení funkce identity a pozorovatelnou rovnou 1, která dává omezení

${ displaystyle sum _ {i = 1} ^ {n} Pr (x_ {i}) = 1.}$

Distribuce pravděpodobnosti s maximální informační entropií, která podléhá těmto omezením nerovnosti / rovnosti, má formu:^[9]

${ displaystyle Pr (x_ {i}) = { frac {1} {Z ( lambda _ {1}, ldots, lambda _ {m})}} exp left [ lambda _ {1 } f_ {1} (x_ {i}) + cdots + lambda _ {m} f_ {m} (x_ {i}) right],}$

pro některé ${ displaystyle lambda _ {1}, ldots, lambda _ {m}}$. Někdy se tomu říká Gibbsova distribuce. Normalizační konstanta je určena:

${ displaystyle Z ( lambda _ {1}, ldots, lambda _ {m}) = součet _ {i = 1} ^ {n} exp left [ lambda _ {1} f_ {1} (x_ {i}) + cdots + lambda _ {m} f_ {m} (x_ {i}) right],}$

a je běžně nazýván funkce oddílu. (The Pitman – Koopmanova věta uvádí, že je nezbytná a dostatečná podmínka pro přiznání rozdělení vzorků dostatečné statistiky omezené dimenze je to, že má obecnou formu maximálního rozložení entropie.)

Λ_k parametry jsou Lagrangeovy multiplikátory. V případě omezení rovnosti jsou jejich hodnoty určeny z řešení nelineárních rovnic

${ displaystyle F_ {k} = { frac { částečné} { částečné lambda _ {k}}} log Z ( lambda _ {1}, ldots, lambda _ {m}).}$

V případě omezení nerovnosti jsou Lagrangeovy multiplikátory určeny z řešení a konvexní optimalizace program s lineárními omezeními.^[9] V obou případech neexistuje uzavřená forma řešení a výpočet Lagrangeových multiplikátorů obvykle vyžaduje numerické metody.

Kontinuální případ

Pro spojité distribuce, Shannonovu entropii nelze použít, protože je definována pouze pro diskrétní pravděpodobnostní prostory. Namísto Edwin Jaynes (1963, 1968, 2003) dal následující vzorec, který úzce souvisí s relativní entropie (viz také diferenciální entropie ).

${ displaystyle H_ {c} = - int p (x) log { frac {p (x)} {q (x)}} , dx}$

kde q(X), kterou Jaynes nazval „invariantní mírou“, je úměrná mezní hustota diskrétních bodů. Prozatím to předpokládáme q je známo; budeme o tom diskutovat dále po zadání rovnic řešení.

Úzce související veličina, relativní entropie, je obvykle definována jako Kullback – Leiblerova divergence z str z q (i když je to někdy matoucí, definováno jako negativ tohoto). Princip odvození minimalizace tohoto, kvůli Kullbackovi, je známý jako Zásada informací o minimální diskriminaci.

Máme několik ověřitelných informací Já o množství X který v některých bere hodnoty interval z reálná čísla (všechny níže uvedené integrály přesahují tento interval). Předpokládáme, že tyto informace mají formu m omezení očekávání funkcí F_k, tj. požadujeme naši funkci hustoty pravděpodobnosti, abychom uspokojili momentová omezení nerovnosti (nebo čistě rovnosti):

${ displaystyle int p (x) f_ {k} (x) , dx geq F_ {k} qquad k = 1, dotsc, m.}$

Kde ${ displaystyle F_ {k}}$ jsou pozorovatelní. Rovněž požadujeme hustotu pravděpodobnosti pro integraci do jedné, kterou lze považovat za primitivní omezení funkce identity a pozorovatelnou rovnou 1, která dává omezení

${ displaystyle int p (x) , dx = 1.}$

Funkce hustoty pravděpodobnosti s maximem H_C s výhradou těchto omezení je:^[10]

${ displaystyle p (x) = { frac {1} {Z ( lambda _ {1}, dotsc, lambda _ {m})}} q (x) exp left [ lambda _ {1 } f_ {1} (x) + dotsb + lambda _ {m} f_ {m} (x) right]}$

s funkce oddílu určeno

${ displaystyle Z ( lambda _ {1}, dotsc, lambda _ {m}) = int q (x) exp left [ lambda _ {1} f_ {1} (x) + dotsb + lambda _ {m} f_ {m} (x) right] , dx.}$

Stejně jako v diskrétním případě platí, že v případě, kdy jsou všechna momentová omezení stejná, hodnoty hodnoty ${ displaystyle lambda _ {k}}$ parametry jsou určeny soustavou nelineárních rovnic:

${ displaystyle F_ {k} = { frac { částečné} { částečné lambda _ {k}}} log Z ( lambda _ {1}, dotsc, lambda _ {m}).}$

V případě omezení momentu nerovnosti jsou Lagrangeovy multiplikátory určeny z řešení a konvexní optimalizace program.^[10]

Funkce invariantní míry q(X) lze nejlépe pochopit, pokud to předpokládáme X je známo, že bere hodnoty pouze v ohraničený interval (A, b) a že nejsou uvedeny žádné další informace. Pak je funkce maximální hustoty pravděpodobnosti entropie

${ displaystyle p (x) = A cdot q (x), qquad a$

kde A je normalizační konstanta. Funkce invariantního měření je ve skutečnosti předchozí funkcí hustoty kódující „nedostatek příslušných informací“. Nelze ji určit na základě principu maximální entropie a musí být určena jinou logickou metodou, například princip transformačních skupin nebo teorie marginalizace.

Příklady

Několik příkladů maximálního rozdělení entropie najdete v článku maximální rozdělení pravděpodobnosti entropie.

Odůvodnění zásady maximální entropie

Zastánci principu maximální entropie ospravedlňují jeho použití při přiřazování pravděpodobností několika způsoby, včetně následujících dvou argumentů. Tyto argumenty využívají Bayesovská pravděpodobnost jak je uvedeno, a podléhají tedy stejným postulátům.

Informační entropie jako míra „neinformativnosti“

Zvažte a diskrétní rozdělení pravděpodobnosti mezi ${ displaystyle m}$ vzájemně se vylučující propozice. Nejinformativnější distribuce by nastala, kdyby bylo známo, že jeden z návrhů je pravdivý. V takovém případě by se informační entropie rovnala nule. Nejméně informativní distribuce by nastala, pokud není důvod upřednostňovat některý z návrhů před ostatními. V takovém případě by jediné rozumné rozdělení pravděpodobnosti bylo jednotné a pak by se informační entropie rovnala jeho maximální možné hodnotě, ${ displaystyle log m}$. Na entropii informací lze tedy pohlížet jako na číselnou míru, která popisuje, jak neinformativní je konkrétní rozdělení pravděpodobnosti, od nuly (zcela informativní) do ${ displaystyle log m}$ (zcela neinformativní).

Tím, že se rozhodneme použít distribuci s maximální entropií povolenou našimi informacemi, argument jde, volíme nejinformativnější možnou distribuci. Zvolit distribuci s nižší entropií by znamenalo předpokládat informace, které nemáme. Maximální distribuce entropie je tedy jediným rozumným rozdělením. The závislost řešení na dominujícím opatření představovaném ${ displaystyle m (x)}$ je však zdrojem kritiky tohoto přístupu, protože toto dominující opatření je v pořádku svévolné.^[12]

Wallisova derivace

Následující argument je výsledkem návrhu od Graham Wallis E. T. Jaynesovi v roce 1962.^[13] Je to v podstatě stejný matematický argument, jaký byl použit pro Statistiky Maxwell – Boltzmann v statistická mechanika, i když koncepční důraz je zcela odlišný. Výhodou je, že má striktně kombinatorickou povahu a neodkazuje na informační entropii jako na měřítko „nejistoty“, „neinformativnosti“ nebo jiného nepřesně definovaného pojmu. Funkce entropie informace se nepředpokládá a priori, ale spíše se nachází v průběhu hádky; a argument přirozeně vede k postupu maximalizace informační entropie, místo aby s ní zacházelo jiným způsobem.

Předpokládejme, že si jednotlivec přeje určit pravděpodobnostní přiřazení ${ displaystyle m}$ vzájemně se vylučující propozice. Má několik ověřitelných informací, ale není si jistý, jak tyto informace zahrnout do svého posouzení pravděpodobnosti. Představuje si tedy následující náhodný experiment. Bude rozdávat ${ displaystyle N}$ kvantita pravděpodobnosti (každá hodnota ${ displaystyle 1 / N}$) náhodně mezi ${ displaystyle m}$ možnosti. (Dalo by se představit, že bude házet ${ displaystyle N}$ koule do ${ displaystyle m}$ kbelíky se zavázanýma očima. Aby byl co nejspravedlivější, musí být každý hod nezávislý na jakémkoli jiném a každý kbelík musí mít stejnou velikost.) Jakmile je experiment proveden, zkontroluje, zda takto získané přiřazení pravděpodobnosti odpovídá jeho informacím . (Aby byl tento krok úspěšný, musí informace představovat omezení dané otevřenou množinou v prostoru pravděpodobnostních opatření). Pokud to není v souladu, odmítne to a zkusí to znovu. Pokud bude konzistentní, bude jeho posouzení

${ displaystyle p_ {i} = { frac {n_ {i}} {N}}}$

kde ${ displaystyle p_ {i}}$ je pravděpodobnost ${ displaystyle i}$^th návrh, zatímco n_i je počet kvant, které byly přiděleny ${ displaystyle i}$^th propozice (tj. počet míčků, které skončily v kbelíku ${ displaystyle i}$).

Nyní, aby se snížila „zrnitost“ přiřazení pravděpodobnosti, bude nutné použít poměrně velké množství kvantit pravděpodobnosti. Spíše než aby provedl a možná musel opakovat poměrně dlouhý náhodný experiment, rozhodne se protagonista jednoduše vypočítat a použít nejpravděpodobnější výsledek. Pravděpodobnost konkrétního výsledku je multinomiální distribuce,

${ displaystyle Pr ( mathbf {p}) = W cdot m ^ {- N}}$

kde

${ displaystyle W = { frac {N!} {n_ {1}! , n_ {2}! , dotsb , n_ {m}!}}}$

je někdy známá jako multiplicita výsledku.

Nejpravděpodobnějším výsledkem je ten, který maximalizuje multiplicitu ${ displaystyle W}$. Spíše než maximalizovat ${ displaystyle W}$ přímo mohl protagonista ekvivalentně maximalizovat jakoukoli monotónní rostoucí funkci ${ displaystyle W}$. Rozhodne se maximalizovat

${ displaystyle { begin {aligned} { frac {1} {N}} log W & = { frac {1} {N}} log { frac {N!} {n_ {1}! , n_ {2}! , dotsb , n_ {m}!}} [6pt] & = { frac {1} {N}} log { frac {N!} {(Np_ ​​{1} )! , (Np_ {2})! , Dotsb , (Np_ {m})!}} [6pt] & = { frac {1} {N}} left ( log N! - sum _ {i = 1} ^ {m} log ((Np_ {i})!) right). end {zarovnáno}}}$

V tomto bodě, aby se zjednodušil výraz, protagonista bere limit jako ${ displaystyle N až infty}$, tj. protože úrovně pravděpodobnosti přecházejí od zrnitých diskrétních hodnot k plynulým spojitým hodnotám. Použitím Stirlingova aproximace, najde

${ displaystyle { begin {aligned} lim _ {N to infty} left ({ frac {1} {N}} log W right) & = { frac {1} {N}} left (N log N- sum _ {i = 1} ^ {m} Np_ {i} log (Np_ {i}) right) [6pt] & = log N- sum _ { i = 1} ^ {m} p_ {i} log (Np_ {i}) [6pt] & = log N- log N sum _ {i = 1} ^ {m} p_ {i} - sum _ {i = 1} ^ {m} p_ {i} log p_ {i} [6pt] & = left (1- sum _ {i = 1} ^ {m} p_ {i } right) log N- sum _ {i = 1} ^ {m} p_ {i} log p_ {i} [6pt] & = - sum _ {i = 1} ^ {m} p_ {i} log p_ {i} [6pt] & = H ( mathbf {p}). end {zarovnáno}}}$

Protagonistovi zbývá jen maximalizovat entropii pod omezeními jeho testovatelných informací. Zjistil, že maximální distribuce entropie je nejpravděpodobnější ze všech „spravedlivých“ náhodných distribucí, a to v limitu, protože úrovně pravděpodobnosti přecházejí z diskrétního do spojitého.

Kompatibilita s Bayesovou větou

Giffin a Caticha (2007) to tvrdí Bayesova věta a princip maximální entropie jsou zcela kompatibilní a lze je považovat za zvláštní případy „metody maximální relativní entropie“. Tvrdí, že tato metoda reprodukuje všechny aspekty ortodoxních bayesovských odvozovacích metod. Kromě toho tato nová metoda otevírá dveře řešení problémů, které nemohly být řešeny ani principem maximální entropie, ani ortodoxními bayesovskými metodami jednotlivě. Kromě toho nedávné příspěvky (Lazar 2003 a Schennach 2005) ukazují, že časté přístupy založené na relativní entropii (např. empirická pravděpodobnost a exponenciálně nakloněná empirická pravděpodobnost - viz např. Owen 2001 a Kitamura 2006) lze kombinovat s předchozími informacemi k provedení bayesovské zadní analýzy.

Jaynes uvedl, že Bayesova věta je způsob, jak vypočítat pravděpodobnost, zatímco maximální entropie je způsob, jak přiřadit předchozí rozdělení pravděpodobnosti.^[14]

V koncepci je však možné řešit zadní distribuci přímo z uvedené předchozí distribuce pomocí princip minimální křížové entropie (nebo Princip maximální entropie jako zvláštní případ použití a rovnoměrné rozdělení jak je uvedeno výše), nezávisle na jakýchkoli Bayesianových úvahách formálním zpracováním problému jako omezeného optimalizačního problému, přičemž entropická funkce je objektivní funkcí. V případě daných průměrných hodnot jako testovatelné informace (zprůměrované přes hledané rozdělení pravděpodobnosti) je hledané rozdělení formálně Gibbsova (nebo Boltzmannova) distribuce jejichž parametry musí být vyřešeny, aby se dosáhlo minimální křížové entropie a vyhovělo dané testovatelné informaci.

Relevance pro fyziku

Princip maximální entropie má vztah ke klíčovému předpokladu kinetická teorie plynů známý jako molekulární chaos nebo Stosszahlansatz. Toto potvrzuje, že distribuční funkce charakterizující částice vstupující do srážky může být faktorizována. Ačkoli lze toto tvrzení chápat jako přísně fyzickou hypotézu, lze jej také interpretovat jako heuristickou hypotézu týkající se nejpravděpodobnější konfigurace částic před srážkou.^[15]

Viz také

• Informační kritérium Akaike
• Ztráta
• Maximalizace entropie
• Informační metriky
• Klasifikátor maximální entropie
• Maximální rozdělení pravděpodobnosti entropie
• Spektrální odhad maximální entropie
• Maximální termodynamika entropie
• Princip maximálního kalibru
• Termodynamická rovnováha
• Molekulární chaos

Poznámky

Reference

• Bajková, A. T. (1992). Msgstr "Zobecnění metody maximální entropie pro rekonstrukci komplexních funkcí". Astronomické a astrofyzikální transakce. 1 (4): 313–320. Bibcode:1992A & AT .... 1..313B. doi:10.1080/10556799208230532.
• Fornalski, K.W .; Parzych, G .; Pylak, M .; Satuła, D .; Dobrzyński, L. (2010). „Aplikace Bayesiánského uvažování a metody maximální entropie na některé problémy s rekonstrukcí“ (PDF). Acta Physica Polonica A. 117 (6): 892–899. doi:10.12693 / APhysPolA.117.892.
• Giffin, A. a Caticha, A., 2007, Aktualizace pravděpodobností pomocí dat a okamžiků
• Guiasu, S .; Shenitzer, A. (1985). "Princip maximální entropie". Matematický zpravodaj. 7 (1): 42–48. doi:10.1007 / bf03023004.
• Harremoës, P .; Topsøe (2001). „Základy maximální entropie“. Entropie. 3 (3): 191–226. Bibcode:2001Entrp ... 3..191H. doi:10,3390 / e3030191.
• Jaynes, E. T. (1963). "Teorie informace a statistická mechanika". Ford, K. (ed.). Statistická fyzika. New York: Benjamin. str. 181.
• Jaynes, E. T., 1986 (nová verze online z roku 1996), "Opice, klokani a N ", v Maximum-entropie a Bayesovské metody v aplikované statistice„J.H. Justice (ed.), Cambridge University Press, Cambridge, str. 26.
• Kapur, J. N .; a Kesavan, H. K., 1992, Principy optimalizace entropie s aplikacemi, Boston: Academic Press. ISBN  0-12-397670-7
• Kitamura, Y., 2006, Empirické metody pravděpodobnosti v ekonometrii: teorie a praxe „Cowles Foundation Discussion Papers 1569, Cowles Foundation, Yale University.
• Lazar, N (2003). „Bayesiánská empirická pravděpodobnost“. Biometrika. 90 (2): 319–326. doi:10.1093 / biomet / 90.2.319.
• Owen, A. B., 2001, Empirická pravděpodobnost, Chapman and Hall / CRC. ISBN  1-58-488071-6.
• Schennach, S. M. (2005). "Bayesiánská exponenciálně nakloněná empirická pravděpodobnost". Biometrika. 92 (1): 31–46. doi:10.1093 / biomet / 92.1.31.
• Uffink, Jos (1995). „Lze princip maximální entropie vysvětlit jako požadavek konzistence?“ (PDF). Studium v ​​historii a filozofii moderní fyziky. 26B (3): 223–261. CiteSeerX  10.1.1.27.6392. doi:10.1016/1355-2198(95)00015-1. Archivovány od originál (PDF) dne 2006-06-03.

Další čtení

• Boyd, Stephen; Lieven Vandenberghe (2004). Konvexní optimalizace (PDF). Cambridge University Press. str. 362. ISBN  0-521-83378-7. Citováno 2008-08-24.
• Ratnaparkhi A. (1997) „Jednoduchý úvod do modelů maximální entropie pro zpracování přirozeného jazyka“ Technická zpráva 97-08, Institute for Research in Cognitive Science, University of Pennsylvania. Snadno čitelný úvod do metod maximální entropie v kontextu zpracování přirozeného jazyka.
• Tang, A .; Jackson, D .; Hobbs, J .; Chen, W .; Smith, J.L .; Patel, H .; Prieto, A .; Petrusca, D .; Grivich, M. I .; Sher, A .; Hottowy, P .; Dabrowski, W .; Litke, A. M .; Beggs, J. M. (2008). „Model maximální entropie aplikovaný na prostorové a časové korelace z kortikálních sítí in Vitro“. Journal of Neuroscience. 28 (2): 505–518. doi:10.1523 / JNEUROSCI.3359-07.2008. PMID  18184793. Článek s otevřeným přístupem obsahující ukazatele na různé dokumenty a softwarové implementace modelu Maximum Entropy Model na síti.