Kontinuální distribuce Bernoulli - Continuous Bernoulli distribution

Kontinuální distribuce Bernoulli

Funkce hustoty pravděpodobnosti
Zápis	${ displaystyle { mathcal {CB}} ( lambda)}$
Parametry	${ displaystyle lambda v (0,1)}$
Podpěra, podpora	${ displaystyle x v [0,1]}$
PDF	${ displaystyle C ( lambda) lambda ^ {x} (1- lambda) ^ {1-x} !}$ kde ${ displaystyle C ( lambda) = { begin {cases} { frac {2 tanh ^ {- 1} (1-2 lambda)} {1-2 lambda}} & { text {if} } lambda neq { frac {1} {2}} 2 & { text {jinak}} end {případy}}}$
CDF	${ displaystyle { begin {cases} { frac { lambda ^ {x} (1- lambda) ^ {1-x} + lambda -1} {2 lambda -1}} & { text { if}} lambda neq { frac {1} {2}} x & { text {jinak}} end {případy}} !}$
Znamenat	${ displaystyle operatorname {E} [X] = { begin {cases} { frac { lambda} {2 lambda -1}} + { frac {1} {2 tanh ^ {- 1} ( 1-2 lambda)}} & { text {if}} lambda neq { frac {1} {2}} { frac {1} {2}} & { text {jinak}} end {cases}} !}$
Rozptyl	${ displaystyle operatorname {var} [X] = { begin {cases} { frac {(1- lambda) lambda} {(1-2 lambda) ^ {2}}} + { frac { 1} {(2 tanh ^ {- 1} (1-2 lambda)) ^ {2}}} & { text {if}} lambda neq { frac {1} {2}} { frac {1} {12}} & { text {jinak}} end {případy}} !}$

v teorie pravděpodobnosti, statistika, a strojové učení, kontinuální Bernoulliho distribuce^[1][2][3] je rodina kontinuální rozdělení pravděpodobnosti parametrizováno jediným parametr tvaru ${ displaystyle lambda v (0,1)}$, definované na jednotkovém intervalu ${ displaystyle x v [0,1]}$, od:

${ displaystyle p (x | lambda) propto lambda ^ {x} (1- lambda) ^ {1-x}.}$

Kontinuální Bernoulliho distribuce vzniká v hluboké učení a počítačové vidění, konkrétně v kontextu variační autoenkodéry,^[4][5] pro modelování intenzity pixelů přirozených obrazů. Jako takový definuje vhodný pravděpodobnostní protějšek pro běžně používaný binární soubor křížová entropie ztráta, která se často aplikuje na průběžné, ${ displaystyle [0,1]}$-hodnota dat.^[6][7][8][9] Tato praxe se rovná ignorování normalizační konstanty spojité Bernoulliho distribuce, protože ztráta binární křížové entropie definuje pouze skutečnou logaritmickou pravděpodobnost pro diskrétní, ${ displaystyle {0,1 }}$-hodnota dat.

Kontinuální Bernoulli také definuje exponenciální rodina distribucí. Psaní ${ displaystyle eta = log left ( lambda / (1- lambda) right)}$ pro přirozený parametr, hustotu lze přepsat do kanonické podoby:${ displaystyle p (x | eta) propto exp ( eta x)}$.

Související distribuce

Bernoulliho distribuce

Kontinuální Bernoulli lze považovat za nepřetržitou relaxaci Bernoulliho distribuce, který je definován na diskrétní množině ${ displaystyle {0,1 }}$ podle funkce pravděpodobnostní hmotnosti:

${ displaystyle p (x) = p ^ {x} (1-p) ^ {1-x},}$

kde ${ displaystyle p}$ je skalární parametr mezi 0 a 1. Použití stejné funkční formy na spojitý interval ${ displaystyle [0,1]}$ vede k nepřetržitému Bernoulli funkce hustoty pravděpodobnosti, až do normalizační konstanty.

Distribuce beta

The Distribuce beta má funkci hustoty:

${ displaystyle p (x) propto x ^ { alpha -1} (1-x) ^ { beta -1},}$

které lze přepsat jako:

${ displaystyle p (x) propto x_ {1} ^ { alpha _ {1} -1} x_ {2} ^ { alpha _ {2} -1},}$

kde ${ displaystyle alpha _ {1}, alpha _ {2}}$ jsou kladné skalární parametry a ${ displaystyle (x_ {1}, x_ {2})}$ představuje libovolný bod uvnitř 1-simplexní, ${ displaystyle Delta ^ {1} = {(x_ {1}, x_ {2}): x_ {1}> 0, x_ {2}> 0, x_ {1} + x_ {2} = 1 }}$. Přepnutím role parametru a argumentu v této hustotní funkci získáme:

${ displaystyle p (x) propto alpha _ {1} ^ {x_ {1}} alpha _ {2} ^ {x_ {2}}.}$

Tato rodina je pouze identifikovatelný až do lineárního omezení ${ displaystyle alpha _ {1} + alpha _ {2} = 1}$, odkud získáváme:

${ displaystyle p (x) propto lambda ^ {x_ {1}} (1- lambda) ^ {x_ {2}},}$

což odpovídá přesně spojité Bernoulliho hustotě.

Exponenciální rozdělení

An exponenciální rozdělení omezeno na jednotkový interval je ekvivalentní spojité Bernoulliho distribuci s příslušným parametrem.

Kontinuální kategorické rozdělení

Vícerozměrné zobecnění spojitého Bernoulliho se nazývá kontinuální kategorické.^[10]

Reference