Markovův model odměny - Markov reward model

v teorie pravděpodobnosti, a Markovův model odměny nebo Markovův proces odměňování je stochastický proces, který rozšiřuje buď a Markovův řetězec nebo Markovův řetězec v nepřetržitém čase přidáním odměny ke každému státu. Další proměnná zaznamenává odměnu nahromaděnou až do aktuálního času.[1] Mezi zajímavosti modelu patří očekávaná odměna v daném čase a očekávaný čas k akumulaci dané odměny.[2] Model se objeví v Ronald A. Howard kniha.[3] Modely jsou často studovány v kontextu Markovovy rozhodovací procesy kde může rozhodovací strategie ovlivnit získané odměny.

The Kontrola modelů odměn Markov nástroj lze použít k numerickému výpočtu přechodných a stacionárních vlastností Markovových modelů odměn.

Markovův řetězec

Vidět Markovův řetězec

Vidět Markovský řetězec Monte Carlo

Markovský řetězec kontinuálního času

Kumulovaná odměna najednou t lze vypočítat numericky v časové oblasti nebo hodnocením lineárního hyperbolického systému rovnic, které popisují akumulovanou odměnu pomocí transformačních metod nebo metod konečných rozdílů.[4]

Reference

  1. ^ Begain, K .; Bolch, G .; Herold, H. (2001). "Teoretické základy". Praktické modelování výkonu. str.9. doi:10.1007/978-1-4615-1387-2_2. ISBN  978-1-4613-5528-1.
  2. ^ Li, Q. L. (2010). „Markovské odměnové procesy“. Konstruktivní výpočet ve stochastických modelech s aplikacemi. 526–573. doi:10.1007/978-3-642-11492-2_10. ISBN  978-3-642-11491-5.
  3. ^ Howard, R.A. (1971). Dynamické pravděpodobnostní systémy, svazek II: Semi-Markov a rozhodovací procesy. New York: Wiley. ISBN  0471416657.
  4. ^ Reibman, A .; Smith, R .; Trivedi, K. (1989). „Přechodná analýza Markovova a Markovova modelu odměny: Přehled numerických přístupů“ (PDF). Evropský žurnál operačního výzkumu. 40 (2): 257. doi:10.1016/0377-2217(89)90335-4.