Časové rozdílové učení - Temporal difference learning

Časový rozdíl (TD) učení se odkazuje na třídu bez modelu posilování učení metody, které se učí bootstrapping ze současného odhadu hodnotové funkce. Tyto metody vzorkují z prostředí, jako Metody Monte Carlo a provádět aktualizace na základě aktuálních odhadů, například dynamické programování metody.^[1]

Zatímco metody Monte Carlo upravují své odhady až poté, co je znám konečný výsledek, metody TD upravují předpovědi tak, aby odpovídaly pozdějším, přesnějším předpovědím o budoucnosti před tím, než bude znám konečný výsledek.^[2] Toto je forma bootstrapping, jak je znázorněno v následujícím příkladu:

„Předpokládejme, že chcete předpovědět počasí na sobotu, a máte nějaký model, který předpovídá sobotní počasí vzhledem k počasí každého dne v týdnu. Ve standardním případě byste počkali do soboty a poté upravili všechny své modely. když je například pátek, měli byste mít docela dobrou představu o tom, jaké bude počasí v sobotu - a tedy být schopni změnit, řekněme, sobotní model před příjezdem soboty. “^[2]

Metody časových rozdílů souvisí s modelem časových rozdílů učení zvířat.^[3]^[4]^[5]^[6]^[7]

Matematická formulace

Tabulková metoda TD (0) je jednou z nejjednodušších metod TD. Jde o speciální případ obecnějších stochastických aproximačních metod. Odhaduje funkce stavu hodnoty konečného stavu Markovův rozhodovací proces (MDP) v rámci politiky ${ displaystyle pi}$ . Nechat ${ displaystyle V ^ { pi}}$ označte funkci stavu hodnoty MDP se stavy ${ displaystyle (s_ {t}) _ {t in mathbb {N}}}$ , odměny ${ displaystyle (r_ {t}) _ {t in mathbb {N}}}$ a diskontní sazba^[8] ${ displaystyle gamma}$ podle této politiky ${ displaystyle pi}$ :

{ displaystyle V ^ { pi} (s) = E_ {a sim pi} vlevo { součet _ {t = 0} ^ { infty} gamma ^ {t} r_ {t} (a_ {t}) { Bigg |} s_ {0} = s doprava }.}

Kvůli pohodlí upustíme od pojmu. ${ displaystyle V ^ { pi}}$ uspokojuje Hamilton-Jacobi-Bellman rovnice:

{ displaystyle V ^ { pi} (s) = E _ { pi} {r_ {0} + gamma V ^ { pi} (s_ {1}) | s_ {0} = s },}

tak ${ displaystyle r_ {0} + gamma V ^ { pi} (s_ {1})}$ je nestranný odhad pro ${ displaystyle V ^ { pi} (y)}$ . Toto pozorování motivuje následující algoritmus pro odhad ${ displaystyle V ^ { pi}}$ .

Algoritmus začíná inicializací tabulky ${ displaystyle V (s)}$ libovolně, s jednou hodnotou pro každý stav MDP. Pozitivní míra učení ${ displaystyle alpha}$ je vybrán.

Poté politiku opakovaně vyhodnocujeme ${ displaystyle pi}$ , získat odměnu ${ displaystyle r}$ a aktualizujte hodnotovou funkci pro starý stát pomocí pravidla:^[9]

{ displaystyle V (s) leftarrow V (s) + alpha ( overbrace {r + gamma V (s ')} ^ { text {cíl TD}} - V (s))}

kde ${ displaystyle s}$ a ${ displaystyle s '}$ jsou starý a nový stát. Hodnota ${ displaystyle r + gamma V (s ')}$ je známý jako TD cíl.

TD-Lambda

TD-Lambda je učební algoritmus, který vynalezl Richard S. Sutton založené na dřívější práci na učení se o časových rozdílech od Arthur Samuel.^[1] Tento algoritmus skvěle použil Gerald Tesauro vytvořit TD-Gammon, program, který se naučil hrát hru vrhcáby na úrovni zkušených lidských hráčů.^[10]

Lambda ( ${ displaystyle lambda}$ ) parametr odkazuje na parametr sledování rozpadu, s ${ displaystyle 0 leqslant lambda leqslant 1}$ . Vyšší nastavení vede k déle trvajícím stopám; to znamená, že větší část kreditu z odměny lze udělit vzdálenějším státům a akcím, když ${ displaystyle lambda}$ je vyšší, s ${ displaystyle lambda = 1}$ produkující paralelní učení k algoritmům Monte Carlo RL.

Algoritmus TD v neurovědě

TD algoritmus také věnoval pozornost v oblasti neurovědy. Vědci zjistili, že rychlost střelby z dopamin neurony v ventrální tegmentální oblast (VTA) a substantia nigra (SNc) napodobují chybovou funkci v algoritmu.^[3]^[4]^[5]^[6]^[7] Chybová funkce hlásí rozdíl mezi odhadovanou odměnou v kterémkoli daném stavu nebo časovém kroku a skutečnou obdrženou odměnou. Čím větší je chybová funkce, tím větší je rozdíl mezi očekávanou a skutečnou odměnou. Pokud je toto spárováno se stimulem, který přesně odráží budoucí odměnu, lze chybu použít k přiřazení stimulu k budoucnosti odměna.

Dopamin buňky se chovají podobně. V jednom experimentu byla prováděna měření dopaminových buněk při tréninku opice, aby spojila stimul s odměnou šťávy.^[11] Zpočátku dopaminové buňky zvýšily rychlost střelby, když opice dostala šťávu, což naznačuje rozdíl v očekávaných a skutečných odměnách. Postupem času se toto zvýšení zpětné palby rozšířilo na nejdříve spolehlivý stimul pro odměnu. Jakmile byla opice plně vycvičena, po předpovědi předpokládané odměny nedošlo ke zvýšení rychlosti střelby. Když se nedosáhla očekávaná odměna, rychlost vypalování dopaminových buněk klesala pod normální aktivaci. To velmi napodobuje způsob, jakým se používá chybová funkce v TD posilování učení.

Vztah mezi modelem a potenciální neurologickou funkcí přinesl výzkum, který se pokouší použít TD k vysvětlení mnoha aspektů výzkumu chování.^[12] Používá se také ke studiu podmínek, jako je schizofrenie nebo důsledky farmakologických manipulací dopaminu na učení.^[13]

Viz také

Poznámky

^ ^A ^b Richard Sutton a Andrew Barto (1998). Posílení učení. MIT Stiskněte. ISBN 978-0-585-02445-5. Archivovány od originál dne 30. 3. 2017.
^ ^A ^b Richard Sutton (1988). „Naučit se předpovídat metodami časových rozdílů“. Strojové učení. 3 (1): 9–44. doi:10.1007 / BF00115009. (Revidovaná verze je k dispozici na webu Stránka publikace Richarda Suttona Archivováno 2017-03-30 na Wayback Machine )
^ ^A ^b Schultz, W, Dayan, P & Montague, PR. (1997). "Neurální substrát predikce a odměny". Věda. 275 (5306): 1593–1599. CiteSeerX 10.1.1.133.6176. doi:10.1126 / science.275.5306.1593. PMID 9054347.CS1 maint: více jmen: seznam autorů (odkaz)
^ ^A ^b Montague, P. R .; Dayan, P .; Sejnowski, T. J. (01.03.1996). „Rámec pro mezencefalické dopaminové systémy založený na prediktivním hebbickém učení“ (PDF). The Journal of Neuroscience. 16 (5): 1936–1947. doi:10.1523 / JNEUROSCI.16-05-01936.1996. ISSN 0270-6474. PMC 6578666. PMID 8774460.
^ ^A ^b Montague, P.R .; Dayan, P .; Nowlan, S.J .; Pouget, A .; Sejnowski, T.J. (1993). „Používání neperiodického posilování pro řízenou samoorganizaci“ (PDF). Pokroky v systémech zpracování neurálních informací. 5: 969–976.
^ ^A ^b Montague, P. R .; Sejnowski, T. J. (1994). "Prediktivní mozek: časová náhoda a časové pořadí v synaptických mechanismech učení". Učení a paměť. 1 (1): 1–33. ISSN 1072-0502. PMID 10467583.
^ ^A ^b Sejnowski, T.J .; Dayan, P .; Montague, P.R. (1995). „Prediktivní hebbovské učení“ (PDF). Sborník příspěvků z osmé konference ACM o teorii výpočetního učení: 15–18. doi:10.1145/225298.225300.
^ Parametr diskontní sazby umožňuje a časové preference směrem k okamžitějším odměnám a od vzdálených budoucích odměn
^ Výuka posilování: Úvod (PDF). str. 130. Archivovány od originál (PDF) dne 12.7.2017.
^ Tesauro, Gerald (březen 1995). „Temporal Difference Learning and TD-Gammon“. Komunikace ACM. 38 (3): 58–68. doi:10.1145/203330.203343. Citováno 2010-02-08.
^ Schultz, W. (1998). "Prediktivní signál odměny dopaminových neuronů". Journal of Neurophysiology. 80 (1): 1–27. CiteSeerX 10.1.1.408.5994. doi:10.1152 / jn.1998.80.1.1. PMID 9658025.
^ Dayan, P. (2001). „Motivované posilování učení“ (PDF). Pokroky v systémech zpracování neurálních informací. MIT Stiskněte. 14: 11–18.
^ Smith, A., Li, M., Becker, S. a Kapur, S. (2006). „Dopamin, chyba predikce a asociativní učení: účet založený na modelu“. Síť: Výpočet v neuronových systémech. 17 (1): 61–84. doi:10.1080/09548980500361624. PMID 16613795.CS1 maint: více jmen: seznam autorů (odkaz)

Bibliografie

Sutton, R. S., Barto A.G. (1990). „Časově derivativní modely pavlovovské výztuže“ (PDF). Učení a výpočetní neurověda: Základy adaptivních sítí: 497–537.CS1 maint: více jmen: seznam autorů (odkaz)
Gerald Tesauro (březen 1995). „Temporal Difference Learning and TD-Gammon“. Komunikace ACM. 38 (3): 58–68. doi:10.1145/203330.203343.
Imran Ghory. Učení o posílení v deskových hrách.
S. P. Meyn, 2007. Řídicí techniky pro složité sítě, Cambridge University Press, 2007. Viz závěrečná kapitola a dodatek se zkráceným textem Meyn a Tweedie.

externí odkazy

Scholarpedia Časový rozdíl Učení
TD-Gammon
TD-Networks Research Group
Připojte čtyři TDGravity Applet (+ verze pro mobilní telefony) - samoučící se pomocí metody TD-Leaf (kombinace TD-Lambda s vyhledáváním mělkého stromu)
Self Learning Meta-Tic-Tac-Toe Ukázková webová aplikace ukazující, jak lze pomocí učení dočasného rozdílu naučit konstanty vyhodnocení stavu pro minimax AI při hraní jednoduché deskové hry.
Problém učení výztuže, dokument vysvětlující, jak lze učení časového rozdílu využít k urychlení Q-učení
TD-Simulator Simulátor dočasného rozdílu pro klasické kondicionování

[RSutton-1998-1] A ^b Richard Sutton a Andrew Barto (1998). Posílení učení. MIT Stiskněte. ISBN 978-0-585-02445-5. Archivovány od originál dne 30. 3. 2017.

[RSutton-1988-2] A ^b Richard Sutton (1988). „Naučit se předpovídat metodami časových rozdílů“. Strojové učení. 3 (1): 9–44. doi:10.1007 / BF00115009. (Revidovaná verze je k dispozici na webu Stránka publikace Richarda Suttona Archivováno 2017-03-30 na Wayback Machine )

[WSchultz-1997-3] A ^b Schultz, W, Dayan, P & Montague, PR. (1997). "Neurální substrát predikce a odměny". Věda. 275 (5306): 1593–1599. CiteSeerX 10.1.1.133.6176. doi:10.1126 / science.275.5306.1593. PMID 9054347.CS1 maint: více jmen: seznam autorů (odkaz)

[:0-4] A ^b Montague, P. R .; Dayan, P .; Sejnowski, T. J. (01.03.1996). „Rámec pro mezencefalické dopaminové systémy založený na prediktivním hebbickém učení“ (PDF). The Journal of Neuroscience. 16 (5): 1936–1947. doi:10.1523 / JNEUROSCI.16-05-01936.1996. ISSN 0270-6474. PMC 6578666. PMID 8774460.

[:1-5] A ^b Montague, P.R .; Dayan, P .; Nowlan, S.J .; Pouget, A .; Sejnowski, T.J. (1993). „Používání neperiodického posilování pro řízenou samoorganizaci“ (PDF). Pokroky v systémech zpracování neurálních informací. 5: 969–976.

[:2-6] A ^b Montague, P. R .; Sejnowski, T. J. (1994). "Prediktivní mozek: časová náhoda a časové pořadí v synaptických mechanismech učení". Učení a paměť. 1 (1): 1–33. ISSN 1072-0502. PMID 10467583.

[:3-7] A ^b Sejnowski, T.J .; Dayan, P .; Montague, P.R. (1995). „Prediktivní hebbovské učení“ (PDF). Sborník příspěvků z osmé konference ACM o teorii výpočetního učení: 15–18. doi:10.1145/225298.225300.

[8] Parametr diskontní sazby umožňuje a časové preference směrem k okamžitějším odměnám a od vzdálených budoucích odměn

[9] Výuka posilování: Úvod (PDF). str. 130. Archivovány od originál (PDF) dne 12.7.2017.

[CACM-10] Tesauro, Gerald (březen 1995). „Temporal Difference Learning and TD-Gammon“. Komunikace ACM. 38 (3): 58–68. doi:10.1145/203330.203343. Citováno 2010-02-08.

[WSchultz-1998-11] Schultz, W. (1998). "Prediktivní signál odměny dopaminových neuronů". Journal of Neurophysiology. 80 (1): 1–27. CiteSeerX 10.1.1.408.5994. doi:10.1152 / jn.1998.80.1.1. PMID 9658025.

[PDayan-2001-12] Dayan, P. (2001). „Motivované posilování učení“ (PDF). Pokroky v systémech zpracování neurálních informací. MIT Stiskněte. 14: 11–18.

[ASmith-2006-13] Smith, A., Li, M., Becker, S. a Kapur, S. (2006). „Dopamin, chyba predikce a asociativní učení: účet založený na modelu“. Síť: Výpočet v neuronových systémech. 17 (1): 61–84. doi:10.1080/09548980500361624. PMID 16613795.CS1 maint: více jmen: seznam autorů (odkaz)

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]