Výběr založený na odměnách - Reward-based selection

Výběr založený na odměnách je technika používaná v evoluční algoritmy pro výběr potenciálně užitečných řešení pro rekombinaci. Pravděpodobnost, že bude vybrán pro jednotlivce, je úměrná kumulativní odměně získané jednotlivcem. Kumulativní odměnu lze vypočítat jako součet individuální odměny a odměny zděděné od rodičů.

Popis

V rámci lze použít výběr založený na odměnách Multi-ozbrojený bandita rámec pro Vícecílová optimalizace získat lepší aproximaci Pareto vpředu.^[1]

Novorozenec ${ displaystyle a '^ {(g + 1)}}$ a jeho rodiče dostávají odměnu ${ displaystyle r ^ {(g)}}$ , pokud ${ displaystyle a '^ {(g + 1)}}$ byl vybrán pro novou populaci ${ displaystyle Q ^ {(g + 1)}}$ , jinak je odměna nulová. Existuje několik definic odměn:

1. ${ displaystyle r ^ {(g)} = 1}$ , pokud je novorozený jedinec ${ displaystyle a '^ {(g + 1)}}$ byl vybrán pro novou populaci ${ displaystyle Q ^ {(g + 1)}}$ .
2. ${ displaystyle r ^ {(g)} = 1 - { frac {hodnost (a '^ {(g + 1)})} { mu}} { mbox {if}} a' ^ {(g + 1)} v Q ^ {(g + 1)}}$ , kde ${ displaystyle pozice (a '^ {(g + 1)})}$ je hodnost nově vloženého jedince v populaci ${ displaystyle mu}$ Jednotlivci. Pořadí lze vypočítat pomocí známého nedominované třídění postup.^[2]
3. ${ displaystyle r ^ {(g)} = součet _ {a v Q ^ {(g + 1)}} Delta {H} (a, Q ^ {(g + 1)}) - součet _ {a in Q ^ {(g)}} Delta {H} (a, Q ^ {(g)})}$ , kde ${ displaystyle Delta {H} (a, Q ^ {(g)})}$ je indikátor hypervolume příspěvek jednotlivce ${ displaystyle a}$ obyvatelstvu ${ displaystyle Q ^ {(g)}}$ . Odměna ${ displaystyle r ^ {(g)}> 0}$ pokud nově vložený jedinec zlepší kvalitu populace, což se měří jako jeho hypervolumový příspěvek v objektivním prostoru.
4. Uvolnění výše uvedené odměny, zahrnující penalizaci podle bodů za body za ${ displaystyle k}$ - dominuje Paretova fronta: ${ displaystyle r ^ {(g)} = { frac {1} {2 ^ {k-1}}} left ( sum _ {ndom_ {k} (Q ^ {(g + 1)})} Delta {H} (a, ndom_ {k} (Q ^ {(g + 1)})) - sum _ {ndom_ {k} (Q ^ {(g)})} Delta {H} (a , ndom_ {k} (Q ^ {(g)})) right)}$

Výběr založený na odměnách může rychle identifikovat nejplodnější směry vyhledávání maximalizací kumulativní odměny jednotlivců.

Viz také

Reference

^ Loshchilov, I .; M. Schoenauer; M. Sebag (2011). „Ne všichni rodiče jsou si rovni pro MO-CMA-ES“ (PDF). Evoluční multikriteriální optimalizace 2011 (EMO 2011). Springer Verlag, LNCS 6576. str. 31–45. Archivovány od originál (PDF) dne 04.06.2012.
^ Deb, K .; Pratap, A .; Agarwal, S .; Meyarivan, T. (2002). "Rychlý a elitářský víceobjektový genetický algoritmus: NSGA-II". Transakce IEEE na evolučním výpočtu. 6 (2): 182–197. CiteSeerX 10.1.1.17.7771. doi:10.1109/4235.996017.

[1] Loshchilov, I .; M. Schoenauer; M. Sebag (2011). „Ne všichni rodiče jsou si rovni pro MO-CMA-ES“ (PDF). Evoluční multikriteriální optimalizace 2011 (EMO 2011). Springer Verlag, LNCS 6576. str. 31–45. Archivovány od originál (PDF) dne 04.06.2012.

[2] Deb, K .; Pratap, A .; Agarwal, S .; Meyarivan, T. (2002). "Rychlý a elitářský víceobjektový genetický algoritmus: NSGA-II". Transakce IEEE na evolučním výpočtu. 6 (2): 182–197. CiteSeerX 10.1.1.17.7771. doi:10.1109/4235.996017.

[1]

[2]