Rozdělení pravděpodobnosti extrémních bodů vídeňského stochastického procesu - Probability distribution of extreme points of a Wiener stochastic process

V matematické teorii pravděpodobnosti se Wienerův proces, pojmenoval podle Norbert Wiener, je stochastický proces používané při modelování různých jevů, včetně Brownův pohyb a fluktuace na finančních trzích. Vzorec pro podmíněné rozdělení pravděpodobnosti extrému Wienerova procesu a náčrt jeho důkazu se objeví v díle H. J. Kushera (dodatek 3, strana 106) publikovaném v roce 1964.^[1] podrobný konstruktivní důkaz se objevuje v práci Daria Ballabia v roce 1978.^[2] Tento výsledek byl vyvinut v rámci výzkumného projektu o Bayesovská optimalizace algoritmy.

V některých problémech s globální optimalizací není analytická definice objektivní funkce známa a je možné získat hodnoty pouze v pevných bodech. Existují objektivní funkce, u nichž jsou náklady na hodnocení velmi vysoké, například když je hodnocení výsledkem experimentu nebo obzvláště obtížného měření. V těchto případech lze hledání globálního extrému (maximálního nebo minimálního) provést pomocí metodiky s názvem „Bayesovská optimalizace ", které mají tendenci a priori získat nejlepší možný výsledek s předem stanoveným počtem hodnocení. Souhrnně se předpokládá, že mimo body, ve kterých již byla hodnocena, má objektivní funkce vzor, který může být reprezentován stochastickým procesem s patřičnými charakteristikami. Stochastický proces je považován za model objektivní funkce za předpokladu, že rozdělení pravděpodobnosti jejích extrémů dává nejlepší indikaci extrémů objektivní funkce. V nejjednodušším případě jednorozměrné optimalizace, vzhledem k tomu, že objektivní funkce byla hodnocena v řadě bodů, je problém zvolit, ve kterém z takto identifikovaných intervalů je vhodnější investovat do dalšího hodnocení. Pokud je jako model objektivní funkce zvolen Wienerův stochastický proces, je možné vypočítat rozdělení pravděpodobnosti extrémních bodů modelu uvnitř každého intervalu, podmíněné známými hodnotami na inte hranice rval. Porovnání získaných distribucí poskytuje kritérium pro výběr intervalu, ve kterém by měl být proces iterován. Jako kritérium zastavení lze použít hodnotu pravděpodobnosti identifikace intervalu, ve kterém spadne bod globálního extrému objektivní funkce. Bayesiánská optimalizace není efektivní metodou pro přesné vyhledávání lokálních extrémů, takže jakmile je rozsah vyhledávání omezen, v závislosti na charakteristikách problému lze použít konkrétní metodu místní optimalizace.

Tvrzení

Nechat ${ displaystyle X (t)}$ být Wiener stochastický proces v intervalu ${ displaystyle [a, b]}$ s počáteční hodnotou ${ displaystyle X (a) = X_ {a}.}$

Podle definice Wienerův proces, přírůstky mají normální rozdělení:

{ displaystyle { text {pro}} a leq t_ {1}

Nechat

{ Displaystyle F (z) = Pr ( min _ {a leq t leq b} X (t) leq z mid X (b) = X_ {b})}

být funkce distribuce kumulativní pravděpodobnosti minimální hodnoty ${ displaystyle X (t)}$ funkce na intervalu ${ displaystyle [a, b]}$ podmíněné podle hodnoty ${ displaystyle X (b) = X_ {b}.}$

Ukazuje se, že:^[1]^[3]^{[poznámka 1]}

{ displaystyle F (z) = { begin {cases} 1 & { text {for}} z geq min {X_ {a}, X_ {b} }, exp left (-2 { dfrac {(z-X_ {b}) (z-X_ {a})} { sigma ^ {2} (ba)}} right) & { text {for}} z < min (X_ {a}, X_ {b}). end {cases}}}

Konstruktivní důkaz

Případ ${ displaystyle z geq min (X_ {a}, X_ {b})}$ je bezprostředním důsledkem minimální definice, v následujícím se bude vždy předpokládat ${ displaystyle z < min (X_ {a}, X_ {b})}$ .

Předpokládejme ${ displaystyle X (t)}$ definováno v konečném počtu bodů ${ displaystyle t_ {k} v [a, b], 0 leq k leq n, t_ {0} = a}$ .

Nechat ${ displaystyle T_ {n} { přesahující { podmnožina { mathrm {def}} {}} {=}} {{t_ {k}, 0 leq k leq n, } }$ změnou celého čísla ${ displaystyle n}$ být posloupností množin ${ displaystyle {T_ {n} }}$ takhle ${ displaystyle T_ {n} podmnožina T_ {n + 1}}$ a ${ displaystyle bigcup _ {n = 0} ^ {+ infty} T_ {n}}$ být hustá sada v ${ displaystyle [a, b]}$ ,

tedy každý sousedství každého bodu v ${ displaystyle [a, b]}$ obsahuje prvek jedné ze sad ${ displaystyle T_ {n}}$ .

Pojďme ${ displaystyle Delta z}$ být skutečné kladné číslo takové, že ${ displaystyle z + Delta z < min (X_ {a}, X_ {b}).}$

Nech událost ${ displaystyle E}$ být definován jako: ${ displaystyle E { přesahující { podmnožina { mathrm {def}} {}} {=}} ( min _ {a leq t leq b} X (t)$ ${ displaystyle Longleftrightarrow}$ ${ displaystyle ( existuje , t v [a, b]: X (t)$ .

Nechat ${ displaystyle E_ {n}, n = 0,1,2, ldots}$ jsou události definované jako: ${ displaystyle E_ {n} { přesahující { podmnožina { mathrm {def}} {}} {=}} ( existuje , t_ {k} v T_ {n}: z$ a nechte ${ displaystyle nu}$ být první k mezi ${ displaystyle t_ {k} v T_ {n}}$ které definují ${ displaystyle E_ {n}}$ .

Od té doby ${ displaystyle T_ {n} podmnožina T_ {n + 1}}$ je to evidentně ${ displaystyle E_ {n} podmnožina E_ {n + 1}}$ . Nyní rovnice (2.1) bude prokázáno.

(2.1) ${ displaystyle E = velký pohár _ {n = 0} ^ {+ infty} E_ {n}}$

Podle ${ displaystyle E_ {n}}$ definice událostí, ${ displaystyle forall , n E_ {n} Rightarrow E}$ , proto ${ displaystyle bigcup _ {n = 0} ^ {+ infty} E_ {n} podmnožina E}$ . Nyní bude vztah ověřen ${ displaystyle E podmnožina velký pohár _ {n = 0} ^ {+ infty} E_ {n}}$ proto (2.1) bude prokázáno.

Definice ${ displaystyle E}$ kontinuita ${ displaystyle X (t)}$ a hypotéza ${ displaystyle z$ naznačují tím, že věta o střední hodnotě, ${ displaystyle ( existuje , { bar {t}} v [a, b]: z$ .

Kontinuitou ${ displaystyle X (t)}$ a hypotéza, že ${ displaystyle bigcup _ {n = 0} ^ {+ infty} T_ {n}}$ je hustá v ${ displaystyle [a, b]}$ odečte se to ${ displaystyle existuje , { bar {n}}}$ takové, že pro ${ displaystyle t _ { nu} v T _ { bar {n}}}$ to musí být ${ displaystyle z$ ,

proto ${ displaystyle E podmnožina E _ { bar {n}} podmnožina bigcup _ {n = 0} ^ {+ infty} E_ {n}}$ z čehož vyplývá (2.1).

(2.2) ${ displaystyle P (E) = lim _ {n rightarrow + infty} P (E_ {n})}$

(2.2) se odečte od (2.1), vezmeme-li v úvahu, že ${ displaystyle E_ {n} Rightarrow E_ {n + 1}}$ znamená, že posloupnost pravděpodobností ${ displaystyle P (E_ {n})}$ je monotónní neklesající, a proto konverguje ke svému supremum. Definice událostí ${ displaystyle E_ {n}}$ naznačuje ${ displaystyle forall n P (E_ {n})> 0 Rightarrow P (E_ {n}) = P (E _ { nu})}$ a (2.2) naznačuje ${ displaystyle P (E) = P (E _ { nu})}$ .

Od té doby ${ displaystyle X (t)}$ má normální distribuci, to je jistě ${ displaystyle P (E)> 0}$ . V následujícím bude vždy předpokládáno ${ displaystyle n geq nu}$ , tak ${ displaystyle t _ { nu}}$ je dobře definován.

(2.3) ${ Displaystyle P (X (b) leqslant -X_ {b} + 2z) leqslant P (X (b) -X (t _ { nu}) <- X_ {b} + z)}$

Ve skutečnosti, podle definice ${ displaystyle E_ {n}}$ to je ${ displaystyle z$ , tak ${ displaystyle (X (b) leqslant -X_ {b} + 2z) Rightarrow (X (b) -X (t _ { nu}) <- X_ {b} + z)}$ .

Podobným způsobem, protože podle definice ${ displaystyle E_ {n}}$ to je ${ displaystyle z$ , (2.4) je platný:

(2.4) ${ displaystyle P (X (b) -X (t _ { nu})> X_ {b} -z) leqslant P (X (b)> X_ {b})}$

(2.5) ${ displaystyle P (X (b) -X (t _ { nu}) <- X_ {b} + z) = P (X (b) -X (t _ { nu})> X_ { B z)}$

Výše uvedené je vysvětleno skutečností, že náhodná proměnná ${ displaystyle (X (b) -X (t _ { nu})) thicksim N ( varnothing; sigma ^ {2} (b-t _ { nu}))}$ má symetrickou hustotu pravděpodobnosti ve srovnání s jeho průměrem, který je nula.

Použitím v sekvenčních vztazích (2.3), (2.5) a (2.4) dostaneme (2.6) :

(2.6) ${ displaystyle P (X (b) leqslant -X_ {b} + 2z) leqslant P (X (b)> X_ {b})}$

Stejným postupem, jaký byl použit k získání (2.3), (2.4) a (2.5) tentokrát využít vztah ${ displaystyle X (t _ { nu})$ dostaneme (2.7):

(2.7) ${ Displaystyle P (X (b)> X_ {b}) leqslant P (X (b) -X (t _ { nu})> X_ {b} -z- Delta z) }$ ${ Displaystyle = P (X (b) -X (t _ { nu}) <- X_ {b} + z + Delta z) leqslant P (X (b) <- X_ {b} + 2z + 2 Delta z)}$

Postupnou aplikací (2.6) a (2.7) dostaneme:

(2.8) ${ Displaystyle P (X (b) leqslant -X_ {b} + 2z) leqslant P (X (b)> X_ {b})}$ ${ displaystyle leqslant P (X (b) <- X_ {b} + 2z + 2 Delta z)}$

Z ${ displaystyle X_ {b}> z + Delta z> z}$ , s ohledem na kontinuitu ${ displaystyle X (t)}$ a věta o střední hodnotě dostaneme ${ displaystyle X (b)> X_ {b}> z + Delta z> z Rightarrow E_ {n}}$ ,

z čehož vyplývá ${ displaystyle P (X (b)> X_ {b}) = P (E_ {n}, X (b)> X_ {b})}$ .

Výměna výše uvedeného v (2.8) a předání limitům: ${ displaystyle lim _ {n rightarrow + infty} E_ {n} ( Delta z) rightarrow E ( Delta z)}$ a pro ${ displaystyle Delta z rightarrow 0}$ , událost ${ displaystyle E ( Delta z)}$ konverguje k ${ displaystyle min _ {a leq t leq b} X (t) leqslant z}$

(2.9) ${ displaystyle P (X (b) leqslant -X_ {b} + 2z) =}$ ${ Displaystyle P ( min _ {a leq t leq b} X (t) leqslant z, X (b)> X_ {b})}$

${ displaystyle forall , dX_ {b}> 0}$ , nahrazením ${ displaystyle (X_ {b})}$ s ${ displaystyle (X_ {b} -dX_ {b})}$ v (2.9) dostaneme ekvivalentní vztah:

(2.10) ${ displaystyle P (X (b) leqslant -X_ {b} + 2z + dX_ {b}) =}$ ${ displaystyle P ( min _ {a leq t leq b} X (t) leqslant z, X (b)> X_ {b} -dX_ {b})}$

Uplatnění Bayesova věta na společnou akci ${ displaystyle ( min _ {a leq t leq b} X (t) leqslant z, X_ {b} -dX_ {b}$

(2.11) ${ displaystyle P ( min _ {a leq t leq b} X (t) leqslant z mid X_ {b} -dX_ {b}$ ${ displaystyle P ( min _ {a leq t leq b} X (t) leqslant z, X_ {b} -dX_ {b}$ ${ displaystyle / P (X_ {b} -dX_ {b}$

Nechat ${ displaystyle B { nadměrné { podskupiny { mathrm {def}} {}} {=}} {X (b) leq X_ {b} }, C { nadměrné { podskupiny { mathrm {def}} {}} {=}} {X_ {b} -dX_ {b} X_ {b} }, A { overset { underset { mathrm {def}} {}} {=} } { min _ {a leq t leq b} X (t) leqslant z }}$ ; z těchto definic vyplývá:

${ displaystyle doplněk D = B šálek C Rightarrow P (A, doplněk D) = P (A, B cup C) = P (A, B) + P (A, C) Rightarrow P ( A, C) = P (A, doplněk D) -P (A, B)}$

(2.12) ${ displaystyle P (A, C) = P (A, doplněk D) -P (A, B)}$

Střídání (2.12) do (2.11), dostaneme ekvivalent:

(2.13) ${ displaystyle P ( min _ {a leq t leq b} X (t) leqslant z mid X_ {b} -dX_ {b} X_ {b} -dX_ {b}) - P ( min _ {a leqslant t leqslant b} X (t) leq z, X (b)> X_ {b})) / P (X_ {b} -dX_ {b}$

Střídání (2.9) a (2.10) do (2.13):

(2.14) ${ Displaystyle P ( min _ {a leq t leq b} X (t) leqslant z mid X_ {b} -dX_ {b}$ ${ displaystyle (P (X (b) leqslant -X_ {b} + 2z + dX_ {b}) - P (X (b) leqslant -X_ {b} + 2z)}$ ${ displaystyle / P (X_ {b} -dX_ {b}$

Lze pozorovat, že u druhého člena (2.14) se objeví rozdělení pravděpodobnosti náhodné proměnné ${ displaystyle X (b)}$ , normální se střední hodnotou ${ displaystyle X_ {a}}$ e rozptyl ${ displaystyle sigma ^ {2} (b-a)}$ .

Realizace ${ displaystyle X_ {b}}$ a ${ displaystyle -X_ {b} + 2z}$ náhodné proměnné ${ displaystyle X (b)}$ odpovídat hustotám pravděpodobnosti:

(2.15) ${ displaystyle P (X_ {b}) , dX_ {b} = { frac {1} { sigma { sqrt {2 pi (ba)}}}} exp { biggl ( } - { frac {1} {2}} { frac {(X_ {b} -X_ {a}) ^ {2}} { sigma ^ {2} (ba)}} { biggr)} , dX_ {b}}$

(2.16) ${ displaystyle P (-X_ {b} + 2z) , dX_ {b} = { frac {1} { sigma { sqrt {2 pi (ba)}}}} exp { biggl (} - { frac {1} {2}} { frac {(-X_ {b} + 2z-X_ {a}) ^ {2}} { sigma ^ {2} (ba)}} { biggr)} , dX_ {b}}$

Střídání (2.15) E (2.16) do (2.14) a brát limit pro ${ displaystyle dX_ {b} rightarrow 0}$ práce je prokázána:

${ Displaystyle F (z) = P ( min _ {a leq t leq b} X (t) leq z | X (b) = X_ {b}) =}$

${ displaystyle = { frac {1} { sigma { sqrt {2 pi (ba)}}}} exp { biggl (} - { frac {1} {2}} { frac {( -X_ {b} + 2z-X_ {a}) ^ {2}} { sigma ^ {2} (ba)}} { biggr)} , dX_ {b}}$ ${ displaystyle diagup { frac {1} { sigma { sqrt {2 pi (ba)}}}} exp { biggl (} - { frac {1} {2}} { frac {(X_ {b} -X_ {a}) ^ {2}} { sigma ^ {2} (ba)}} { biggr)} , dX_ {b} =}$

${ displaystyle = exp { biggl (} - { frac {1} {2}} { frac {(-X_ {b} + 2z-X_ {a}) ^ {2} - (X_ {b} -X_ {a}) ^ {2}} { sigma ^ {2} (ba)}} { biggr)} =}$ ${ displaystyle exp { biggl (} -2 { frac {(z-X_ {b}) (z-X_ {a})} { sigma ^ {2} (ba)}} { biggr)}}$

Bibliografie

Všestranný stochastický model funkce neznámé a časově proměnlivé formy - Harold J Kushner - Journal of Mathematical Analysis and Applications Volume 5, Issue 1, August 1962, Pages 150-167.
Aplikace Bayesiánských metod při hledání extrému - J. Mockus, J. Tiesis, A. Zilinskas - Kongres IFIP 1977, 8. - 12. srpna v Torontu.

Viz také

Poznámky

^ Věta, jak je uvedena a ukázána pro případ minima Wienerova procesu, platí také pro maximum.

Reference

^ ^A ^b H. J. Kushner, „Nová metoda lokalizace maximálního bodu libovolné multipeakové křivky za přítomnosti šumu“, J. Basic Eng 86 (1), 97–106 (1. března 1964).
^ Dario Ballabio, „Una nuova classe di algoritmi stocastici per l'ottimizzazione globale“ (Nová třída stochastických algoritmů pro globální optimalizaci), Milánská univerzita, Matematický ústav, disertační práce prezentovaná 12. července 1978, s. 29–33.
^ János D. Pintér, Global Optimization in Action: Continuous and Lipschitz Optimization, 1996 Springer Science & Business Media, strana 57.

[4] Věta, jak je uvedena a ukázána pro případ minima Wienerova procesu, platí také pro maximum.

[:0-1] A ^b H. J. Kushner, „Nová metoda lokalizace maximálního bodu libovolné multipeakové křivky za přítomnosti šumu“, J. Basic Eng 86 (1), 97–106 (1. března 1964).

[:1-2] Dario Ballabio, „Una nuova classe di algoritmi stocastici per l'ottimizzazione globale“ (Nová třída stochastických algoritmů pro globální optimalizaci), Milánská univerzita, Matematický ústav, disertační práce prezentovaná 12. července 1978, s. 29–33.

[3] János D. Pintér, Global Optimization in Action: Continuous and Lipschitz Optimization, 1996 Springer Science & Business Media, strana 57.

[1]

[2]

[3]

[poznámka 1]