Výběr akce - Action selection

Výběr akce je způsob charakterizace nejzákladnějšího problému inteligentních systémů: co dělat dál. v umělá inteligence a výpočetní kognitivní věda, „problém s výběrem akce“ je obvykle spojen s inteligentní agenti a animáty — Umělé systémy, které vykazují komplexní chování v prostředí agenta. Termín je také někdy používán v etologie nebo chování zvířat.

Jedním problémem pro pochopení výběru akce je stanovení úrovně abstrakce použité pro specifikaci „aktu“. Na nejzákladnější úrovni abstrakce by atomový akt mohl být čímkoli kontrakce svalové buňky na vyprovokování války. Typicky pro jakýkoli mechanismus výběru akcí je sada možných akcí předdefinována a opravena.

Většina výzkumných pracovníků pracujících v této oblasti klade vysoké nároky na své agenty:

  • Hraní činidlo obvykle musí vybrat svou akci v dynamický a nepředvídatelné prostředí.
  • Agenti obvykle jednají reálný čas; proto musí činit rozhodnutí včas.
  • Agenti jsou obvykle vytvořeni k provádění několika různých úkolů. Tyto úkoly mohou být v rozporu s přidělováním prostředků (např. Může agent uhasit oheň a současně dodat šálek kávy?)
  • Prostředí, ve kterém agenti pracují, může zahrnovat lidé, který může agentovi věci ztížit (ať už úmyslně, nebo pokusem o pomoc.)
  • Samotní agenti jsou často zamýšleni Modelka zvířata nebo lidé a zvíře / člověk chování je docela komplikované.

Z těchto důvodů není výběr akcí triviální a přitahuje hodně výzkumu.

Charakteristika problému výběru akce

Hlavním problémem při výběru akce je složitost. Protože všichni výpočet zabere čas i prostor (v paměti), agenti nemohou uvažovat o všech dostupných možnostech, které mají k dispozici v každém okamžiku. Proto tedy musí být předpojatý, a nějakým způsobem omezit jejich hledání. U AI je otázka výběru akce jaký je nejlepší způsob, jak omezit toto hledání? Otázkou je biologie a etologie jak různé druhy zvířat omezují jejich hledání? Používají všechna zvířata stejný přístup? Proč používají ty, které dělají?

Jedna zásadní otázka týkající se výběru akce je, zda pro agenta vůbec existuje problém, nebo zda jde pouze o popis vznikající vlastnost chování inteligentního agenta. Pokud však vezmeme v úvahu, jak budeme budovat inteligentního agenta, je zřejmé, že to musí být nějaký mechanismus pro výběr akce. Tento mechanismus může být vysoce distribuovaný (jako v případě distribuovaných organismů, jako je sociální hmyz kolonie nebo slizová forma ) nebo se může jednat o modul pro speciální účely.

Mechanismus výběru akcí (ASM) určuje nejen akce agenta z hlediska dopadu na svět, ale také řídí jeho vnímání Pozornost a aktualizuje své Paměť. Tyto egocentrický druhy akcí mohou zase vést k úpravě základních schopností chování agenta, zejména v tom, že aktualizace paměti implikuje nějakou formu strojové učení je možné. V ideálním případě by samotný výběr akcí měl být také schopen se učit a přizpůsobovat, ale existuje mnoho problémů kombinatorická složitost a výpočetní přitažlivost to může vyžadovat omezení prostoru pro vyhledávání pro učení.

V AI se ASM někdy také označuje jako architektura agentů nebo o ní bylo uvažováno jako o její podstatné části.

Mechanismy AI

Mechanismy pro výběr umělých akcí lze obecně rozdělit do několika kategorií: systémy založené na symbolech někdy známé jako klasické plánování, distribuovaná řešení a reaktivní nebo dynamické plánování. Některé přístupy nespadají úhledně do žádné z těchto kategorií. Jiným jde spíše o poskytování vědecké modely než praktické ovládání AI; tyto poslední jsou popsány dále v následující části.

Symbolické přístupy

Hlavní článek: Automatické plánování a plánování

Brzy v historie umělé inteligence, předpokládalo se, že nejlepším způsobem, jak si agent zvolit, co bude dělat dál, bude výpočet a pravděpodobně optimální naplánovat a poté tento plán provést. To vedlo k systém fyzických symbolů hypotéza, že fyzikální agent, který může manipulovat se symboly, je nezbytné a dostatečné pro inteligenci. Mnoho softwaroví agenti stále používejte tento přístup pro výběr akce. Normálně to vyžaduje popsat všechna čtení senzorů, svět, všechny akce a všechny cíle někoho v nějaké formě predikátová logika. Kritici tohoto přístupu si stěžují, že je příliš pomalý na plánování v reálném čase a že navzdory důkazům je stále nepravděpodobné, že vytvoří optimální plány, protože redukce popisů reality na logiku je proces náchylný k chybám.

Spokojený je rozhodovací strategie, která se pokouší splnit kritéria přiměřenosti, místo aby určila optimální řešení. Uspokojivá strategie může být ve skutečnosti často (téměř) optimální, pokud jsou ve výsledném počtu zohledněny náklady na samotný proces rozhodování, jako jsou náklady na získání úplných informací.

Cílové architektury - V těchto symbolický architektury je chování agenta obvykle popsáno souborem cílů. Každého cíle lze dosáhnout procesem nebo aktivitou, která je popsána předepsaným plánem. Agent musí pouze rozhodnout, který proces bude pokračovat k dosažení daného cíle. Plán se může rozšířit na dílčí cíle, díky čemuž je proces mírně rekurzivní. Technicky, více či méně, plány využívají podmínková pravidla. Tyto architektury jsou reaktivní nebo hybridní. Klasickými příklady architektur řízených cílem jsou implementovatelná vylepšení záměr víry-touhy architektura jako DŽEM nebo IVE.

Distribuované přístupy

Na rozdíl od symbolického přístupu distribuované systémy výběru akcí ve skutečnosti nemají v agentovi žádné „políčko“, které rozhoduje o další akci. Alespoň v jejich idealizované podobě mají distribuované systémy mnoho moduly běží paralelně a určuje nejlepší akci na základě místních zkušeností. V těchto idealizovaných systémech se očekává, že se nějak objeví celková soudržnost, možná pečlivým návrhem interagujících komponent. Tento přístup je často inspirován umělé neuronové sítě výzkum. V praxi je téměř vždy nějaký centralizovaný systém určující, který modul je „nejaktivnější“ nebo má největší význam. Existují důkazy, že takové mají i skutečné biologické mozky výkonné rozhodovací systémy které hodnotí, který z konkurenčních systémů si zaslouží nejvíce Pozornost, nebo přesněji, má požadované akce disinhibited.

  • ASMO je architektura založená na pozornosti vyvinutá Rony Novianto.[1] Organizuje rozmanitost modulárních distribuovaných procesů, které mohou pomocí svých vlastních reprezentací a technik vnímat prostředí, zpracovávat informace, plánovat akce a navrhovat akce k provedení.
  • Různé typy vítěz bere vše architektury, ve kterých jediná vybraná akce převezme plnou kontrolu nad motorovým systémem
  • Šíření aktivace počítaje v to Maes Nets (ANA)
  • Rozšířená Rosenblatt & Payton je šířící se aktivační architektura vyvinutá Tobym Tyrrellem v roce 1993. Chování agenta je uloženo ve formě hierarchické konekcionismus síť, kterou Tyrrell nazval hierarchií volného toku. Nedávno využíváno například uživatelem de Sevin & Thalmann (2005) nebo Kadleček (2001).
  • Chování založené na AI, byla reakce na pomalou rychlost robotů využívajících techniky výběru symbolických akcí. V této formě samostatné moduly reagují na různé podněty a generují své vlastní odpovědi. V původní podobě subsumpční architektura, tyto sestávaly z různých vrstev, které mohly navzájem monitorovat a potlačovat vstupy a výstupy.
  • Tvorové jsou virtuální mazlíčci z počítačové hry poháněné třívrstvými nervová síť, který je adaptivní. Jejich mechanismus je reaktivní, protože síť v každém kroku určuje úkol, který musí domácí zvíře provést. Síť je dobře popsána v příspěvku Grand et al. (1997) a v Zdroje pro vývojáře tvorů. Viz také Tvorové Wiki.

Přístupy dynamického plánování

Vzhledem k tomu, že je obtížné postavit čistě distribuované systémy, mnoho vědců se rozhodlo použít explicitní pevně zakódované plány k určení priorit svého systému.

Dynamický nebo reaktivní plánování metody vypočítají pouze jednu další akci v každém okamžiku na základě aktuálního kontextu a předskriptovaných plánů. Na rozdíl od klasických metod plánování neutrpí reaktivní ani dynamické přístupy kombinatorická exploze. Na druhou stranu jsou někdy považováni za příliš rigidní, než aby se o nich dalo uvažovat silná AI, protože plány jsou kódovány předem. Současně může být přirozená inteligence v některých kontextech rigidní, i když je tekutá a v jiných se dokáže přizpůsobit.

Mezi příklady dynamických plánovacích mechanismů patří:

  • Konečné stavové stroje Tyto jsou reaktivní architektury používané většinou pro agenty počítačových her, zejména pro střílečky z pohledu první osoby roboti, nebo pro virtuální filmové herce. Stavové automaty jsou obvykle hierarchické. Konkrétní příklady her viz Papír Halo 2 roboty autor: Damian Isla (2005) nebo diplomová práce o robotech Quake III Jan Paul van Waveren (2001). Příklad filmu viz Softimage.
  • jiný strukturované reaktivní plány mají tendenci vypadat trochu víc jako konvenční plány, často se způsoby, jak je reprezentovat hierarchický a sekvenční struktura. Některé, například „akty“ PRS, mají podporu pro dílčí plány.[2] Mnoho architektur agentů z poloviny 90. let obsahovalo takové plány jako „střední vrstvu“, která poskytovala organizaci na nízké úrovni moduly chování zatímco je řízen plánovačem v reálném čase na vyšší úrovni. Navzdory tomu se předpokládalo interoperabilita s automatizovanými plánovači je většina strukturovaných reaktivních plánů ručně kódována (Bryson 2001, kap. 3). Mezi příklady strukturovaných reaktivních plánů patří James Firby je RAP Systém a Nils Nilsson je Teleo-reaktivní plány. PRS, RAP a TRP již nejsou vyvíjeny ani podporovány. Jeden stále aktivní (od roku 2006) potomek tohoto přístupu je paralelně zakořeněný Ordered Slip-stack Hierarchical (nebo NÓBL ) systém pro výběr akcí, který je součástí Joanna Bryson's Behavior Oriented Design.

Někdy se k pokusu o řešení vnímané nepružnosti dynamického plánování používají hybridní techniky. V těchto případech konvenčnější plánovací systém AI hledá nové plány, když má agent volný čas, a aktualizuje knihovnu dynamických plánů, když najde dobré řešení. Důležitým aspektem každého takového systému je, že když agent potřebuje vybrat akci, existuje nějaké řešení, které lze okamžitě použít (viz dále kdykoli algoritmus ).

Ostatní

  • CogniTAO je rozhodovací motor, na kterém je založen BDI (víra-touha-záměr), zahrnuje vestavěné schopnosti týmové práce.
  • Stoupat je symbolický kognitivní architektura. Je založen na pravidlech podmíněné akce známých jako produkce. Programátoři mohou použít vývojovou sadu Soar pro vývoj reaktivních i plánovacích agentů nebo jakýkoli kompromis mezi těmito dvěma extrémy.
  • Excalibur byl výzkumný projekt vedený Alexandrem Nareyekem, který představoval agenty pro plánování počítačových her. Architektura je založena na strukturální omezení spokojenosti, což je pokročilý umělá inteligence technika.
  • ACT-R je podobný jako Soar. Zahrnuje a Bayesian učební systém, který pomáhá upřednostňovat produkce.
  • ABL / Hap
  • Fuzzy architektury The Fuzzy přístup při výběru akce vytváří plynulejší chování, než jaké mohou vytvořit architektury využívající logická pravidla podmínky a akce (jako Soar nebo POSH). Tyto architektury jsou většinou reaktivní a symbolický.

Teorie výběru akcí v přírodě

Mnoho dynamických modelů výběru umělé akce bylo původně inspirováno výzkumem v etologie. Zejména, Konrad Lorenz a Nikolaas Tinbergen za předpokladu, že myšlenka vrozený uvolňovací mechanismus vysvětlit instinktivní chování (pevné akční vzory ). Ovlivněn myšlenkami William McDougall, Lorenz to vyvinul do „psychohydraulický "model motivace chování. V etologii měly tyto myšlenky vliv v šedesátých letech, ale nyní jsou považovány za zastaralé kvůli jejich použití tok energie metafora; the nervový systém a s ovládáním chování se nyní běžně zachází jako s přenosem informací spíše než s tokem energie. Dynamické plány a neuronové sítě jsou více podobné přenosu informací, zatímco šíření aktivace je více podobné rozptýlené kontrole emočních / hormonálních systémů.

Stan Franklin to navrhl výběr akce je správná perspektiva pro pochopení role a vývoje mysl. Podívejte se na jeho stránku na paradigma výběru akce.

AI modely výběru neurální akce

Někteří vědci vytvářejí komplikované modely výběru neurální akce. Viz například:

Viz také

Reference

  1. ^ Samsonovich, A. V. "Pozornost v kognitivní architektuře ASMO „Biologically Inspired Cognitive Architectures (2010): 98.
  2. ^ Karen L. Myers. "PRS-CL: Procedurální systém uvažování". Centrum umělé inteligence. SRI International. Citováno 2013-06-13.

Další čtení

externí odkazy