Loebnerova cena - Loebner Prize
The Loebnerova cena je každoroční soutěž v umělá inteligence který uděluje ceny počítačové programy považována soudci za nejvíce podobnou člověku. Formát soutěže je standardní Turingův test. V každém kole lidský soudce současně vede textové rozhovory s počítačovým programem a lidskou bytost prostřednictvím počítače. Na základě odpovědí musí soudce rozhodnout, která je která.
Soutěž zahájila v roce 1990 Hugh Loebner ve spojení s Cambridge Center for Behavioral Studies, Massachusetts, Spojené státy. Od roku 2014[1] to bylo organizováno AISB na Bletchley Park.[2]Bylo také spojeno s Flinders University, Dartmouth College, Muzeum vědy v Londýn, University of Reading a Ulsterská univerzita, Kampus Magee, Derry, Britské město kultury V letech 2004 a 2005 se konala v Loebnerově bytě v New York City. V oblasti umělé inteligence je Loebnerova cena poněkud kontroverzní; nejvýznamnější kritik, Marvin Minsky, označil to za reklamní kousek, který poli nepomáhá.[3]
V roce 2019 se změnil formát soutěže. Již nebude existovat porota. Místo toho budou chatboty posouzeni veřejností a nebudou zde žádní lidští konkurenti. [4]
Ceny
Původně bylo 2 000 $ uděleno za nejvíce lidsky vypadající program v soutěži. Cena byla 3 000 $ v roce 2005 a 2 250 $ v roce 2006. V roce 2008 bylo uděleno 3 000 $.
Kromě toho existují dvě jednorázové ceny, které nikdy nebyly uděleny. 25 000 $ se nabízí za první program, který soudci nedokážou odlišit od skutečného člověka a který může soudce přesvědčit, že člověk je počítačový program. 100 000 $ je odměnou za první program, který soudci nedokážou odlišit od skutečného člověka v Turingově testu, který zahrnuje dešifrování a porozumění textu, vizuálnímu a sluchovému vstupu. Jakmile je toho dosaženo, roční soutěž skončí.
Pravidla a omezení hospodářské soutěže
Pravidla se v průběhu let lišila a rané soutěže obsahovaly Turingovy testy omezené konverzace[5] ale od roku 1995 je diskuse neomezená.
U tří přihlášených v roce 2007, Robert Medeksza, Noah Duncan a Rollo Carpenter,[6] zadavatel použil k hodnocení stavu technologie několik základních „screeningových otázek“. Jednalo se o jednoduché otázky o čase, o jaké kolo soutěže jde atd .; obecné znalosti („K čemu je kladivo?“); srovnání („Což je rychlejší, vlak nebo letadlo?“); a otázky ukazující paměť na předchozí části stejné konverzace. „Všechna podstatná jména, přídavná jména a slovesa pocházejí ze slovníku vhodného pro děti nebo dospívající do 12 let.“ Přihlášky nemusejí odpovídat „inteligentně“ na otázky, které mají být přijaty.
Poprvé v roce 2008 zadavatel umožnil zavedení přípravné fáze soutěže, která otevřela soutěž dříve nepovoleným webovým vstupům posuzovaným řadou pozvaných vyšetřovatelů. Dostupná pravidla neuvádějí, jak jsou vyšetřovatelé vybíráni nebo poučováni. Vyšetřovatelé (kteří posuzují systémy) mají omezený čas: 5 minut na entitu v soutěži 2003, 20+ na pár v soutěžích 2004–2007, 5 minut na vedení simultánní konverzace s člověkem a programem v letech 2008-2009 se od roku 2010 zvýšila na 25 minut souběžné konverzace.
Kritiky
Cenu dlouho opovrhovali odborníci v oboru,[7] z různých důvodů.
Mnozí to považují za reklamní kousek.[8][9] Marvin Minsky kousavě nabídl „cenu“ každému, kdo mohl soutěž zastavit. Loebner odpověděl vtipným podotknutím, že díky Minskému, který nabídl cenu za zastavení soutěže, se stal spolusponzorem.[10]
Pravidla soutěže povzbudila špatně kvalifikované soudce k rychlému posouzení. Interakce mezi rozhodčími a soutěžícími byla původně velmi krátká, například efektivně 2,5 minuty výslechu, což umožňovalo pouze několik otázek.[8] Dotazování bylo původně omezeno na „rozmarnou konverzaci“,[7] doména vyhovující standardním trikům chatbotu.[11]
Účastníci soutěže se nezaměřují na porozumění nebo inteligenci, ale uchylují se k základním ELIZA stylové triky,[8][12] a úspěšní účastníci najdou podvod a předstírání je odměněno.[13]
Hlášení o každoroční soutěži často matou imitace test s inteligencí,[14] typickým příkladem je úvod Briana Christiana k jeho článku „Mind vs. Machine“ v Atlantiku, březen 2011,[15] s uvedením, že "v závodě na stavbu počítačů může myslet jako lidé, důkazem je Turingův test “.
Soutěže
2006
V roce 2006 soutěž pořádal Tim Child (Generální ředitel společnosti Televirtual) a Huma Shah.[16][17] Dne 30. srpna byli vyhlášeni čtyři finalisté:
- Rollo Carpenter
- Richard Churchill a Marie-Claire Jenkins
- Noah Duncan
- Robert Medeksza
Soutěž se konala 17. září v divadle VR v areálu Torrington Place University College v Londýně. Porotci zahrnovali University of Reading's kybernetika profesor, Kevin Warwick, profesor umělé inteligence, John Barnden (specialista na metaforický výzkum na University of Birmingham ), advokát, Victoria Butler-Cole a novinář, Graham Duncan-Rowe. Zkušenost s touto událostí najdete v článku v Recenze technologie.[18][19] Vítězem se stala „Joan“ na základě Jabberwacky, oba vytvořil Rollo Carpenter.
2007
Soutěž v roce 2007 se konala 21. října v New Yorku. Soudci byli: počítačová věda profesor Russ Abbott, profesor filozofie Hartry Field, odborný asistent psychologie Clayton Curtis a lektor angličtiny Scott Hutchins.[20]
Turingovým testem neprošel žádný bot, ale porotci hodnotili tři soutěžící takto:
- 1st: Robert Medeksza, tvůrce Ultra Hal
- 2 .: Noah Duncan, soukromý vstup, tvůrce Cletus
- 3 .: Rollo Carpenter z Icogna, tvůrce Jabberwacky
Vítěz získal 2250 $ a roční medaili. Druhé místo dostalo po 250 $.
2008
Soutěž v roce 2008 organizoval profesor Kevin Warwick, koordinoval ji Huma Shah a konala se 12. října na University of Reading, Spojené království.[21] Po testování více než sto soudců během předběžné fáze, v červnu a červenci 2008, bylo vybráno šest finalistů ze třinácti původních účastníků - umělá konverzační entita (ACE). Pět z pozvaných soutěžilo ve finále:
- Bratr Jerome, Peter Cole a Benji Adams
- Elbot, Fred Roberts / Umělá řešení
- Eugene Goostman, Vladimir Veselov, Eugene Demchenko a Sergey Ulasen
- Jabberwacky, Rollo Carpenter
- Ultra Hal, Robert Medeksza
Ve finále dostal každý ze soudců pět minut na vedení souběžných konverzací na dvou obrazovkách se dvěma skrytými entitami. Elbot[22] umělých řešení[23] získal v roce 2008 bronzovou cenu Loebner Prize pro nejvíce podobný člověku umělá konverzační entita, oklamáním tří z dvanácti soudců, kteří ji vyslýchali (v lidském paralelním srovnání), aby věřili, že je to člověk. To se blíží velmi blízko 30% tradičně požadovaných k tomu, aby se mělo za to, že program skutečně prošel Turingovým testem. Eugene Goostman[24] a Ultra Hal[25] oba podvedli jednoho soudce, že to byl člověk.
Will Pavia, novinář pro Časy, napsal o své zkušenosti; porotce Loebnerova finále, byl podveden Elbotem a Eugenem.[26] Kevin Warwick a Huma Shah informovali o paralelně spárovaných Turingových testech.[27]
2009
Soutěž Loebner Prize 2009 se konala 6. září 2009 na Brightonské centrum, Brighton Spojené království ve spojení s konferencí Interspeech 2009. Výše ceny pro rok 2009 byla 3 000 $.
Účastníci byli David Levy, Rollo Carpenter a Mohan Embar, kteří skončili v tomto pořadí.
Spisovatel Brian Christian se zúčastnil soutěže Loebner Prize 2009 jako lidský společník a popsal své zážitky ze soutěže ve své knize Nejlidštější člověk.
2010
Soutěž Loebner Prize 2010 se konala 23. října v Kalifornská státní univerzita, Los Angeles. Soutěž v roce 2010 byla 20. během soutěže. Vítězem se stal Bruce Wilcox se Suzette.
2011
Soutěž o Loebnerovu cenu 2011 se konala 19. října na University of Exeter, Devon, Spojené království. Výše ceny pro rok 2011 činila 4 000 $.
Čtyři finalisté a jejich chatterbots byli Bruce Wilcox (Rosette), Adeena Mignogna (Zoe), Mohan Embar (Chip Vivant) a Ron Lee (tutor), kteří skončili v tomto pořadí.
Ten rok se přidala skupina porotců, jmenovitě Jean-Paul Astal-Stain, William Dunne, Sam Keat a Kirill Jerdev. Výsledky juniorské soutěže se výrazně lišily od hlavní soutěže. Chatterbots Tutor a Zoe se umístili na prvním místě a Chip Vivant a Rosette na třetím a čtvrtém místě.
2012
Soutěž o cenu Loebner 2012 se konala 15. května v roce Bletchley Park v Bletchley, Buckinghamshire, Anglie, na počest Alan Turing oslavy stého výročí. Výše ceny pro rok 2012 byla 5 000 $. Organizátorem místních akcí byl David Levy, který vyhrál Loebnerovu cenu v letech 1997 a 2009.
Čtyři finalisté a jejich chatterboti byli Mohan Embar (Chip Vivant), Bruce Wilcox (Angela), Daniel Burke (Adam), M. Allan (Linguo), kteří skončili v tomto pořadí.
Ten rok provedl tým z oddělení výpočetní techniky University of Exeter (Ed Keedwell, Max Dupenois a Kent McClymont) vůbec první živé webové vysílání konverzací.[28]
2013
Soutěž o cenu Loebner 2013 se konala poprvé na ostrově Irsko, dne 14. září v Ulsterská univerzita, Magee College, Derry, Severní Irsko, SPOJENÉ KRÁLOVSTVÍ.
Čtyři finalisté a jejich chatboti byli Steve Worswick (Mitsuku), Dr. Ron C. Lee (tutor), Bruce Wilcox (Rose) a Brian Rigsby (Izar), kteří skončili v tomto pořadí.
Soudci byli profesor Roger Schank (Sokratovské umění), profesor Noel Sharkey (Sheffield University ), Profesor Minhua (Eunice) Ma (Huddersfield University, pak University of Glasgow ) a profesor Mike McTear (Ulsterská univerzita ).
V soutěži o cenu juniorů Loebner 2013 byli chatboti Mitsuku a Tutor na prvním místě s Rose a Izarem na 3. a 4. místě.
2014
V sobotu 15. listopadu 2014 se v anglickém Bletchley Parku konala soutěž Loebner Prize 2014. Akce byla živě natočena společností Sky News. Hostujícím soudcem byl televizní moderátor a hlasatel James May.
Po 2 hodinách posuzování byla za vítěze prohlášena 'Rose' od Bruce Wilcoxe. Bruce obdrží šek na 4000 $ a bronzovou medaili. Hodnosti byly následující:
Rose - 1. místo (4 000 $ a bronzová medaile); Izar - 2.25. Místo (1 500 $); Uberbot - 3.25. Místo (1 000 $); a Mitsuku - hodnost 3,5 (500 $).
Soudci byli Dr. Ian Hocking, spisovatel a odborný asistent v psychologii, Christ Church College, Canterbury; Dr. Ghita Kouadri-Mostefaoui, lektor informatiky a technologie, University of Bedfordshire; Pan James May, televizní moderátor a hlasatel; a Dr. Paul Sant, děkan UCMK, University of Bedfordshire.
2015
V soutěži Loebner Prize 2015 zvítězila opět „Rose“ od Bruce Wilcoxe.[29]
Porotci byli Jacob Aaron, reportér fyzikálních věd pro New Scientist; Rory Cellan-Jones, technologický korespondent BBC; Brett Marty, filmový režisér a fotograf; Ariadne Tampion, spisovatelka.
2016
Loebnerova cena za rok 2016 se konala v Bletchley Parku dne 17. září 2016. Po 2 hodinách posuzování byly vyhlášeny konečné výsledky. Hodnosti byly následující:
Vítězové
Oficiální seznam vítězů.[31]
Rok | Vítěz | Program |
---|---|---|
1991 | Joseph Weintraub | „Rozmarná konverzace“[32] (PC terapeut )[33] |
1992 | Joseph Weintraub | PC terapeut |
1993 | Joseph Weintraub | PC terapeut |
1994 | Thomas Whalen | TIPY |
1995 | Joseph Weintraub | PC terapeut |
1996 | Jason Hutchens | HeX |
1997 | David Levy | Konverzovat |
1998 | Robby Garner | Albert One |
1999 | Robby Garner | Albert One |
2000 | Richard Wallace | Umělá jazyková internetová počítačová entita (A.L.I.C.E.) |
2001 | Richard Wallace | Umělá lingvistická internetová počítačová entita (A.L.I.C.E.) |
2002 | Kevin Copple | Ella |
2003 | Juergen Pirner | Jabberwock |
2004 | Richard Wallace | Umělá lingvistická internetová počítačová entita (A.L.I.C.E.) |
2005 | Rollo Carpenter | George (Jabberwacky) |
2006 | Rollo Carpenter | Joan (Jabberwacky) |
2007 | Robert Medeksza | Ultra Hal |
2008 | Fred Roberts | Elbot |
2009 | David Levy | Do-Much-More |
2010 | Bruce Wilcox | Suzette |
2011 | Bruce Wilcox | Růžice[34] |
2012 | Mohan Embar | Chip Vivant[35] |
2013 | Steve Worswick | Mitsuku[30] |
2014 | Bruce Wilcox | Růže |
2015 | Bruce Wilcox | Růže |
2016 | Steve Worswick | Mitsuku[30] |
2017 | Steve Worswick | Mitsuku[30] |
2018 | Steve Worswick | Mitsuku[30] |
2019 | Steve Worswick | Mitsuku[30] |
Viz také
- Seznam ocenění za informatiku
- Umělá inteligence
- Glosář umělé inteligence
- Robot
- Umělá obecná inteligence
- Konfederační efekt
- Test Turingovy počítačové hry
Reference
- ^ [1], Loebnerova cena, soutěž Turingova testu v Bletchley Parku - blog v Exeteru, Citováno 8. prosince 2014
- ^ Loebnerova cena, Web AISB, Citováno 23. ledna 2018
- ^ Umělá hloupost, Salon.com, 16. února 2003
- ^ Wakefield, Jane (14. září 2019). „Fandové soutěží o to, aby byla AI lidská“. BBC novinky. Citováno 23. července 2020.
- ^ ""Machines Who Think ", v sezóně 4, epizoda 3". Vědecké americké hranice. Chedd-Angier Production Company. 1993–1994. PBS. Archivováno od originálu z roku 2006.
- ^ 17. výroční Loebnerova cena za umělou inteligenci 21. října 2007 v New Yorku
- ^ A b Powers, Davide. „Total Turingův test a Loebnerova cena“. Citováno 29. května 2016.
- ^ A b C Floridi, Luciano; Taddeo, Mariarosaria; Turilli, Matteo (2009). „Turingova imitace hry: Stále nemožná výzva pro všechny stroje a některé soudce - hodnocení soutěže Loebner 2008“. Mysl a stroje. 19 (19): 145–150. CiteSeerX 10.1.1.672.7417. doi:10.1007 / s11023-008-9130-6.
- ^ Sundman, John. „Umělá hloupost“. Salon. Archivovány od originál dne 2012-07-20. Citováno 29. května 2016.
- ^ Minsky, Marvin. „Oznámení o výroční ceně Minsky Loebner Prize Award Revocation Prize 1995“. Citováno 29. května 2016.
- ^ Fisher, Richard (16. května 2012). „Chatbotům se nepodařilo přesvědčit navzdory výhře ceny Loebner. Nový vědec. Citováno 29. května 2016.
- ^ Serck, ZLinda. „Dokáže počítač myslet?“. BBC. Citováno 29. května 2016.
- ^ Stephens, Kenneth R. „Co nám Loebner Contest řekl o Conversant Systems?“ (PDF). www.behavior.org. Operant WebSites, Inc.. Citováno 29. května 2016.
- ^ Floridi, Luciano (2016-01-25). „Lidé se inteligentních strojů nemají čeho bát“. Financial Times. Citováno 29. května 2016.
- ^ Christian, Brian. „Mysl vs. stroj“ (Březen 2011). Atlantik. Citováno 29. května 2016.
- ^ Informace o Loebnerově ceně 2006
- ^ Lobner 2006
- ^ Jak být člověkem, Recenze technologie, 20. září 2006
- ^ Loebnerova cena , loebner.net
- ^ 17. výroční Loebnerova cena za umělou inteligenci, loebner.net
- ^ 18. výroční Loebnerova cena za umělou inteligenci 12. října 2008 University of Reading, Reading, Velká Británie
- ^ Elbot
- ^ Umělá řešení
- ^ „Eugene Goostman“. Archivovány od originál dne 2017-06-17. Citováno 2008-10-21.
- ^ Ultra Hal
- ^ Stroj převezme člověka při hromadném Turingově testu
- ^ paralelně spárované Turingovy testy
- ^ „Webové vysílání Loebner Prize 2012“. Archivovány od originál dne 18. května 2012. Citováno 15. května 2012.
- ^ „Chatbot Rose vyhrál cenu Loebner za umělou inteligenci v roce 2015“. BBC. Citováno 29. května 2016.
- ^ A b C d E F „Mitsuku Chatbot“.
- ^ Vítězové ceny Loebner, AISB - Společnost pro studium umělé inteligence a simulace chování
- ^ ""Machines Who Think ", v sezóně 2, epizoda 5". Vědecké americké hranice. Chedd-Angier Production Company. 1991–1992. PBS. Archivováno od originálu z roku 2006.
- ^ http://loebner.net/Prizef/weintraub-bio.html
- ^ „Přečtěte si o Rosebě oceněné cenou Loebner - Chatbot od Bruce Wilcoxe“. Archivovány od originál dne 15. května 2013. Citováno 29. října 2011.
- ^ „Chip Vivant - od Mohana Embara“.
externí odkazy
- Nové oficiální webové stránky
- Bývalý oficiální web (není k dispozici)
- Markoff, John (10. ledna 1993). „Konverzace na večírku - s počítačem“. New York Times.
Konverzace s vítězem roku 1992; téma: muži a ženy
- Platt, Charles (duben 1995). „Co to vlastně znamená být člověkem?“. Kabelové.
- Shah, Huma (říjen 2008). „Loebnerova cena 2008: mýty a mylné představy“.
- Christian, Brian (březen 2011). „Mysl vs. stroj“. Atlantik.
- Nikolić, Danko. „Je Turingův test stále relevantní? A co Turingův čas?“. Střední.