Hodnotová funkce - Value function - Wikipedia

The funkce hodnoty z optimalizační problém dává hodnota dosažené Objektivní funkce na řešení, i když pouze v závislosti na parametry problému.^[1]^[2] V kontrolované dynamický systém, hodnotová funkce představuje optimální výplatu systému v daném intervalu [t, t₁] když začal v té době-t stavová proměnná x (t) = x.^[3] Pokud objektivní funkce představuje určité náklady, které mají být minimalizovány, lze hodnotovou funkci interpretovat jako náklady na dokončení optimálního programu, a proto se označuje jako „funkce nákladů“.^[4]^[5] V ekonomickém kontextu, kde objektivní funkce obvykle představuje nástroj, hodnotová funkce je koncepčně ekvivalentní s nepřímá užitková funkce.^[6]^[7]

V problému optimální ovládání, hodnotová funkce je definována jako supremum objektivní funkce převzal soubor přípustných kontrol. Dáno ${ displaystyle (t_ {0}, x_ {0}) v [0, t_ {1}] krát mathbb {R} ^ {d}}$ , typickým problémem optimální kontroly je

{ displaystyle { text {maximize}} quad J (t_ {0}, x_ {0}; u) = int _ {t_ {0}} ^ {t_ {1}} I (t, x (t ), u (t)) , mathrm {d} t + phi (x (t_ {1}))}

podléhá

{ displaystyle { frac { mathrm {d} x (t)} { mathrm {d} t}} = f (t, x (t), u (t))}

s proměnnou počátečního stavu ${ displaystyle x (t_ {0}) = x_ {0}}$ .^[8] Objektivní funkce ${ displaystyle J (t_ {0}, x_ {0}; u)}$ je třeba maximalizovat u všech přípustných kontrol ${ displaystyle u in U [t_ {0}, t_ {1}]}$ , kde ${ displaystyle u}$ je Lebesgueova měřitelná funkce z ${ displaystyle [t_ {0}, t_ {1}]}$ na nějaký předepsaný libovolný soubor v ${ displaystyle mathbb {R} ^ {m}}$ . Hodnotová funkce je poté definována jako

${ Displaystyle V (t, X (t)) = max _ {u in U} int _ {t} ^ {t_ {1}} I ( tau, x ( tau), u ( tau )) , mathrm {d} tau + phi (x (t_ {1}))}$

s ${ displaystyle V (t_ {1}, x (t_ {1})) = phi (x (t_ {1}))}$ , kde ${ displaystyle phi (x (t_ {1}))}$ je šrot hodnota. Pokud je optimální dvojice trajektorií řízení a stavu ${ displaystyle (x ^ { ast}, u ^ { ast})}$ , pak ${ displaystyle V (t_ {0}, x_ {0}) = J (t_ {0}, x_ {0}; u ^ { ast})}$ . Funkce ${ displaystyle h}$ který poskytuje optimální kontrolu ${ displaystyle u ^ { ast}}$ na základě aktuálního stavu ${ displaystyle x}$ se nazývá politika zpětné vazby,^[4] nebo jednoduše politická funkce.^[9]

Bellmanova zásada optimality zhruba uvádí, že každá optimální politika v čase ${ displaystyle t}$ , ${ displaystyle t_ {0} leq t leq t_ {1}}$ současný stav ${ displaystyle x (t)}$ protože „nová“ počáteční podmínka musí být pro zbývající problém optimální. Pokud se stane, že hodnotová funkce bude průběžně diferencovatelné,^[10] to dává vzniknout důležitému parciální diferenciální rovnice známý jako Hamilton – Jacobi – Bellmanova rovnice,

{ displaystyle - { frac { částečné V (t, x)} { částečné t}} = max _ {u} vlevo {I (t, x, u) + { frac { částečné V (t, x)} { částečné x}} f (t, x, u) doprava }}

Kde maximand na pravé straně lze přepsat také jako Hamiltonian, ${ Displaystyle H left (t, X, u, lambda right) = I (t, x, u) + lambda f (t, x, u)}$ , tak jako

{ displaystyle - { frac { částečné V (t, x)} { částečné t}} = max _ {u} H (t, x, u, lambda)}

s ${ displaystyle částečné V (t, x) / částečné x = lambda (t)}$ hraje roli nákladné proměnné.^[11] Vzhledem k této definici máme dále ${ displaystyle mathrm {d} lambda (t) / mathrm {d} t = částečné ^ {2} V (t, x) / částečné x částečné t + částečné ^ {2} V (t, x) / částečné x ^ {2} cdot f (x)}$ , a po rozlišení obou stran HJB rovnice s ohledem na ${ displaystyle x}$ ,

{ displaystyle - { frac { částečné ^ {2} V (t, x)} { částečné t částečné x}} = { frac { částečné I} { částečné x}} + { frac { částečné ^ {2} V (t, x)} { částečné x ^ {2}}} f (x) + { frac { částečné V (t, x)} { částečné x}} { frac { částečné f (x)} { částečné x}}}

který po nahrazení příslušných podmínek obnoví nákladná rovnice

{ displaystyle - { dot { lambda}} (t) = { frac { částečné I} { částečné x}} + lambda (t) { frac { částečné f (x)} { částečné x}} = { frac { částečné H} { částečné x}}}

kde ${ displaystyle { dot { lambda}} (t)}$ je Newtonova notace pro derivát s ohledem na čas.

Hodnotová funkce je a roztok viskozity k rovnici Hamilton – Jacobi – Bellman.^[12] V online uzavřená smyčka přibližná optimální regulace, hodnotová funkce je také a Lyapunovova funkce která stanoví globální asymptotickou stabilitu systému s uzavřenou smyčkou.^[13]

Reference

^ Fleming, Wendell H.; Rishel, Raymond W. (1975). Deterministická a stochastická optimální kontrola. New York: Springer. 81–83. ISBN 0-387-90155-8.
^ Caputo, Michael R. (2005). Základy dynamické ekonomické analýzy: teorie optimálního řízení a aplikace. New York: Cambridge University Press. str. 185. ISBN 0-521-60368-4.
^ Weber, Thomas A. (2011). Teorie optimálního řízení: s aplikacemi v ekonomii. Cambridge: MIT Press. str. 82. ISBN 978-0-262-01573-8.
^ ^A ^b Bertsekas, Dimitri P .; Tsitsiklis, John N. (1996). Neuro-dynamické programování. Belmont: Athena Scientific. str. 2. ISBN 1-886529-10-8.
^ "EE365: Dynamické programování" (PDF).
^ Mas-Colell, Andreu; Whinston, Michael D.; Green, Jerry R. (1995). Mikroekonomická teorie. New York: Oxford University Press. str. 964. ISBN 0-19-507340-1.
^ Corbae, Dean; Stinchcombe, Maxwell B .; Zeman, Juraj (2009). Úvod do matematické analýzy pro ekonomickou teorii a ekonometrii. Princeton University Press. str. 145. ISBN 978-0-691-11867-3.
^ Kamien, Morton I.; Schwartz, Nancy L. (1991). Dynamická optimalizace: Variační počet a optimální řízení v ekonomice a managementu (2. vyd.). Amsterdam: Severní Holandsko. str. 259. ISBN 0-444-01609-0.
^ Ljungqvist, Larsi; Sargent, Thomas J. (2018). Rekurzivní makroekonomická teorie (Čtvrté vydání). Cambridge: MIT Press. str. 106. ISBN 978-0-262-03866-9.
^ Benveniste a Scheinkman vytvořili dostatečné podmínky pro rozlišitelnost hodnotové funkce, což zase umožňuje použití věta o obálce viz Benveniste, L. M .; Scheinkman, J. A. (1979). „O rozlišitelnosti hodnotové funkce v dynamických modelech ekonomiky“. Econometrica. 47 (3): 727–732. doi:10.2307/1910417. JSTOR 1910417. Viz také Seierstad, Atle (1982). "Vlastnosti rozlišitelnosti funkce optimální hodnoty v teorii řízení". Journal of Economic Dynamics and Control. 4: 303–310. doi:10.1016/0165-1889(82)90019-7.
^ Kirk, Donald E. (1970). Teorie optimální kontroly. Englewood Cliffs, NJ: Prentice-Hall. str. 88. ISBN 0-13-638098-0.
^ Zhou, X. Y. (1990). "Maximální princip, dynamické programování a jejich spojení v deterministickém řízení". Journal of Optimization Theory and Applications. 65 (2): 363–373. doi:10.1007 / BF01102352. S2CID 122333807.
^ Kamalapurkar, Rushikesh; Walters, Patrick; Rosenfeld, Joel; Dixon, Warren (2018). „Optimální ovládání a stabilita Lyapunova“. Výuka posílení pro optimální kontrolu zpětné vazby: přístup založený na Lyapunově. Berlín: Springer. 26–27. ISBN 978-3-319-78383-3.

Další čtení

Caputo, Michael R. (2005). „Nezbytné a dostatečné podmínky pro izoperimetrické problémy“. Základy dynamické ekonomické analýzy: teorie optimálního řízení a aplikace. New York: Cambridge University Press. 174–210. ISBN 0-521-60368-4.
Clarke, Frank H .; Loewen, Philip D. (1986). "Hodnotová funkce v optimálním řízení: citlivost, ovladatelnost a časová optimalita". SIAM Journal on Control and Optimization. 24 (2): 243–263. doi:10.1137/0324014.
LaFrance, Jeffrey T .; Barney, L. Dwayne (1991). „Věta obálky v dynamické optimalizaci“ (PDF). Journal of Economic Dynamics and Control. 15 (2): 355–385. doi:10.1016 / 0165-1889 (91) 90018-V.
Stengel, Robert F. (1994). „Podmínky pro optimalitu“. Optimální řízení a odhad. New York: Dover. 201–222. ISBN 0-486-68200-5.

[1] Fleming, Wendell H.; Rishel, Raymond W. (1975). Deterministická a stochastická optimální kontrola. New York: Springer. 81–83. ISBN 0-387-90155-8.

[2] Caputo, Michael R. (2005). Základy dynamické ekonomické analýzy: teorie optimálního řízení a aplikace. New York: Cambridge University Press. str. 185. ISBN 0-521-60368-4.

[3] Weber, Thomas A. (2011). Teorie optimálního řízení: s aplikacemi v ekonomii. Cambridge: MIT Press. str. 82. ISBN 978-0-262-01573-8.

[Bertsekas_Tsitsiklis-4] A ^b Bertsekas, Dimitri P .; Tsitsiklis, John N. (1996). Neuro-dynamické programování. Belmont: Athena Scientific. str. 2. ISBN 1-886529-10-8.

[5] "EE365: Dynamické programování" (PDF).

[6] Mas-Colell, Andreu; Whinston, Michael D.; Green, Jerry R. (1995). Mikroekonomická teorie. New York: Oxford University Press. str. 964. ISBN 0-19-507340-1.

[7] Corbae, Dean; Stinchcombe, Maxwell B .; Zeman, Juraj (2009). Úvod do matematické analýzy pro ekonomickou teorii a ekonometrii. Princeton University Press. str. 145. ISBN 978-0-691-11867-3.

[8] Kamien, Morton I.; Schwartz, Nancy L. (1991). Dynamická optimalizace: Variační počet a optimální řízení v ekonomice a managementu (2. vyd.). Amsterdam: Severní Holandsko. str. 259. ISBN 0-444-01609-0.

[9] Ljungqvist, Larsi; Sargent, Thomas J. (2018). Rekurzivní makroekonomická teorie (Čtvrté vydání). Cambridge: MIT Press. str. 106. ISBN 978-0-262-03866-9.

[10] Benveniste a Scheinkman vytvořili dostatečné podmínky pro rozlišitelnost hodnotové funkce, což zase umožňuje použití věta o obálce viz Benveniste, L. M .; Scheinkman, J. A. (1979). „O rozlišitelnosti hodnotové funkce v dynamických modelech ekonomiky“. Econometrica. 47 (3): 727–732. doi:10.2307/1910417. JSTOR 1910417. Viz také Seierstad, Atle (1982). "Vlastnosti rozlišitelnosti funkce optimální hodnoty v teorii řízení". Journal of Economic Dynamics and Control. 4: 303–310. doi:10.1016/0165-1889(82)90019-7.

[11] Kirk, Donald E. (1970). Teorie optimální kontroly. Englewood Cliffs, NJ: Prentice-Hall. str. 88. ISBN 0-13-638098-0.

[12] Zhou, X. Y. (1990). "Maximální princip, dynamické programování a jejich spojení v deterministickém řízení". Journal of Optimization Theory and Applications. 65 (2): 363–373. doi:10.1007 / BF01102352. S2CID 122333807.

[13] Kamalapurkar, Rushikesh; Walters, Patrick; Rosenfeld, Joel; Dixon, Warren (2018). „Optimální ovládání a stabilita Lyapunova“. Výuka posílení pro optimální kontrolu zpětné vazby: přístup založený na Lyapunově. Berlín: Springer. 26–27. ISBN 978-3-319-78383-3.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]