Pravděpodobnost protokolu - Log probability
![]() | tento článek ne uvést žádný Zdroje.Květen 2011) (Zjistěte, jak a kdy odstranit tuto zprávu šablony) ( |
v teorie pravděpodobnosti a počítačová věda, a pravděpodobnost záznamu je prostě a logaritmus a pravděpodobnost. Použití pravděpodobností protokolu znamená reprezentování pravděpodobností na a logaritmická stupnice, místo standardu jednotkový interval.
Protože pravděpodobnost nezávislý Události vynásobte a logaritmy převádějte násobení na sčítání, přidejte pravděpodobnosti nezávislých událostí. Pravděpodobnosti protokolu jsou tedy pro výpočty praktické a mají intuitivní výklad, pokud jde o teorie informace: záporem průměrné pravděpodobnosti logu je informační entropie události. Podobně, pravděpodobnosti jsou často transformovány na logaritmickou stupnici a odpovídající log-likelihood lze interpretovat jako míru, do jaké událost podporuje a statistický model. Pravděpodobnost logu je široce používána při implementaci výpočtů s pravděpodobností a je studována jako samostatný koncept v některých aplikacích teorie informací, jako je zpracování přirozeného jazyka.
Motivace
Reprezentace pravděpodobností tímto způsobem má několik praktických výhod:
- Rychlost. Protože násobení je více drahý než navíc, přijetí produktu s velkým počtem pravděpodobností je často rychlejší, pokud jsou zastoupeny ve formě protokolu. (Převod do logovací formy je drahý, ale nastává pouze jednou.) Násobení vzniká výpočtem pravděpodobnosti, že dojde k více nezávislým událostem: pravděpodobnost, že dojde ke všem nezávislým zájmovým událostem, je výsledkem pravděpodobností všech těchto událostí.
- Přesnost. Využití pravděpodobností protokolu se zlepšuje numerická stabilita, když jsou pravděpodobnosti velmi malé, kvůli způsobu, jakým počítače přibližná reálná čísla.
- Jednoduchost. Mnoho rozdělení pravděpodobnosti má exponenciální tvar. Pořízení protokolu těchto distribucí eliminuje exponenciální funkci a rozbalí exponent. Například logaritmická pravděpodobnost normálního rozdělení funkce hustoty pravděpodobnosti je namísto . Pravděpodobnosti logu usnadňují provádění některých matematických manipulací.
Problémy se zastupováním
Funkce logaritmu není definována pro nulu, takže pravděpodobnosti protokolu mohou představovat pouze nenulové pravděpodobnosti. Od logaritmu čísla v interval je záporný, často se používají negativní pravděpodobnosti protokolu. V takovém případě by pravděpodobnosti protokolu v následujících vzorcích byly obráceně.
Pro logaritmus lze vybrat libovolnou základnu.
Základní manipulace
Produkt pravděpodobností odpovídá sčítání v logaritmickém prostoru.
- .
The součet pravděpodobností je o něco více zapojen do výpočtu v logaritmickém prostoru, což vyžaduje výpočet jednoho exponenta a jednoho logaritmu.
V mnoha aplikacích se však násobení pravděpodobností (udávající pravděpodobnost výskytu všech nezávislých událostí) používá častěji než jejich sčítání (udávající pravděpodobnost výskytu alespoň jedné z nich). Navíc se v některých situacích lze vyhnout nákladům na výpočet přidání jednoduše použitím nejvyšší pravděpodobnosti jako aproximace. Jelikož jsou pravděpodobnosti nezáporné, dává to dolní mez. Tato aproximace se používá obráceně k získání a spojitá aproximace maximální funkce.
Přidání do prostoru protokolu
Výše uvedený vzorec je přesnější než , za předpokladu, že jeden využívá asymetrie v adičním vzorci. by měl být větší (nejméně záporný) ze dvou operandů. To také vytváří správné chování, pokud je jeden z operandů plovoucí bod negativní nekonečno, což odpovídá pravděpodobnosti nula.
Samotný výše uvedený vzorec nesprávně způsobí neurčitý výsledek v případě, že jsou oba argumenty . To by mělo být zkontrolováno samostatně pro návrat .
Z numerických důvodů je třeba použít funkci, která počítá (log1p ) přímo.