Čaroděj ze země Oz experiment - Wizard of Oz experiment

Tento článek má několik problémů. Prosím pomozte vylepši to nebo diskutovat o těchto otázkách na internetu diskusní stránka. (Zjistěte, jak a kdy tyto zprávy ze šablony odebrat) Tento článek je tón nebo styl nemusí odrážet encyklopedický tón použitý na Wikipedii. Viz Wikipedia průvodce psaním lepších článků pro návrhy. (Leden 2016) (Zjistěte, jak a kdy odstranit tuto zprávu šablony) Tento článek obsahuje seznam obecných Reference, ale zůstává z velké části neověřený, protože postrádá dostatečné odpovídající vložené citace. Prosím pomozte zlepšit tento článek představuji přesnější citace. (Květen 2013) (Zjistěte, jak a kdy odstranit tuto zprávu šablony) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

V oblasti interakce člověka s počítačem, a Čaroděj ze země Oz experiment je výzkum experiment, ve kterém subjekty interagují s a počítač systém, který subjekty považují za autonomní, ale který je ve skutečnosti provozován nebo částečně provozován neviditelným lidská bytost.^[1]

Pojem

Fráze čaroděj ze země Oz (původně OZ Paradigm) se běžně používá v oblastech experimentální psychologie, lidské faktory, ergonomie, lingvistika, a inženýrství použitelnosti popsat metodiku testování nebo iterativního návrhu, kde experimentátor („čaroděj“) v laboratorním prostředí simuluje chování teoretické inteligentní počítačové aplikace (často tím, že jde do jiné místnosti a zachytí veškerou komunikaci mezi účastníkem a systémem). Někdy se to děje s předchozími znalostmi účastníka a někdy se jedná o podvod na nízké úrovni, který se používá k řízení očekávání účastníka a podpoře přirozeného chování.

Účastník testu si může například myslet, že komunikuje s počítačem pomocí hlasového rozhraní, když slova účastníka ve skutečnosti tajně zadává do počítače osoba v jiné místnosti („průvodce“) a zpracovává se jako text stream, spíše než jako audio stream. Chybějící funkce systému, které průvodce poskytuje, mohou být implementovány v pozdějších verzích systému (nebo to mohou být dokonce spekulativní schopnosti, které současné systémy nemají), ale jeho přesné podrobnosti jsou obecně považovány za irelevantní pro studii. V testovacích situacích může být cílem takových experimentů pozorovat použití a účinnost navrženého uživatelské rozhraní spíše než měřit kvalitu celého systému účastníky testu.

Původ

John F. („Jeff“) Kelley pro tento účel vytvořil fráze „Wizard of OZ“ a „OZ Paradigm“, aby popsal metodu, kterou vyvinul během svého disertační práce pracovat v Univerzita Johna Hopkinse. (Jeho poradcem disertační práce byl zesnulý profesor Alphonse Chapanis „Kmotr lidských faktorů a inženýrské psychologie“.) Mimo jiné dost zábavně jednosměrná zrcátka a tak doslova existovala zatemňovací opona oddělující Jeffa jako „čaroděje“ od pohledu účastníka během studie.

Technika „Experimenter-in-the-Loop“ byla průkopníkem v Chapanisově komunikační výzkumné laboratoři v Johns Hopkins již v roce 1975 (J. F. Kelley přijel v roce 1978). W. Randolph Ford použil techniku ​​experimentátor ve smyčce se svým inovativním programem CHECKBOOK, kde získal jazykové vzorky v naturalistickém prostředí. U Fordovy metody by před uživatele byla umístěna předběžná verze systému zpracování přirozeného jazyka. Když uživatel zadal syntaxi, která nebyla rozpoznána, obdržel by „Mohl byste to přeformulovat?“ výzvu ze softwaru. Po relaci by byly vytvořeny nebo vylepšeny algoritmy pro zpracování nově získaných vzorků a proběhla by další relace. Tento přístup vedl k případnému vývoji jeho techniky zpracování přirozeného jazyka, „Multi-Stage Pattern Reduction“. Dr. Ford si vzpomněl, že Dr. Kelley ve skutečnosti vymyslel frázi „Čaroděj ze země Oz Paradigm“, ale tato technika byla použita alespoň ve dvou samostatných studiích, než Dr. Kelley začal provádět studie v telekomunikační laboratoři Johns Hopkins. Podobné časné použití této techniky k modelování systému porozumění přirozenému jazyku, který byl vyvinut ve výzkumném středisku Xerox Palo Alto, provedli Allen Munro a Don Norman kolem roku 1975 na Kalifornské univerzitě v San Diegu. Název „Čaroděj ze země Oz“ pro tuto techniku ​​opět nebyl použit. Výsledky byly publikovány týmem v dokumentu z roku 1977 (Bobrow a kol.).

V tomto zaměstnání experimentátor („Čaroděj“) seděl na terminálu v sousední místnosti oddělené jednosměrným zrcadlem, takže předmět bylo možné pozorovat. Každý vstup od uživatele byl zpracován správně kombinací softwarového zpracování a zásahu experimentátora v reálném čase. Protože se proces opakoval v následujících relacích, přidávalo se stále více softwarových komponent, takže experimentátor měl během každé relace stále méně práce, dokud nebylo dosaženo asymptoty při růstu slovníku frází / slov a experimentátor si mohl „jít dát šálek kávy „Během relace (což v tomto okamžiku byla křížová validace bezobslužného výkonu finálního systému).

Závěrečná poznámka: Vzpomínky Dr. Kelleyho na ražbu tohoto termínu jsou podpořeny pamětí zesnulého profesora Al Chapanise. Na jejich University of Michigan v roce 1985 technická zpráva, Green a Wei-Haas uvádějí následující: Poprvé se v tisku objevil název „Čaroděj ze země Oz“ v práci Jeffa Kelleyho (Kelley, 1983a, 1983b, 1984a). Předpokládá se, že název byl vytvořen v reakci na otázku na postgraduálním semináři v Hopkins (Chapanis, 1984; Kelley, 1984b). „Co se stane, když subjekt uvidí experimentátora [za„ oponou “v sousední místnosti, který funguje jako počítač]?“ Kelley odpověděl: „No, je to jako to, co se stalo Dorothy v Čarodějovi ze země Oz.“ A tak se jméno zaseklo. (Citováno svolením.)

Existuje také přechodný odkaz na plánované použití „experimentů Čaroděj ze země Oz“ v a Referát z roku 1982 Ford a Smith.

Jeden fakt, představený v Kelleyho disertační práci, o etymologii termínu v tomto kontextu: Dr. Kelley původně měl definici zkratky „OZ“ (kromě zřejmých paralel s knihou z roku 1900) The Wonderful Wizard of Oz podle L Frank Baum ). „Offline Zero“ byl odkaz na skutečnost, že experimentátor („Průvodce“) během simulační fáze interpretoval vstupy uživatelů v reálném čase.

Podobná experimentální nastavení byla občas použita dříve, ale bez jména „Čaroděj ze země Oz“. Výzkumný pracovník designu Nigel Cross provedl studie v 60. letech se „simulovaným“ počítačem podporovaný design systémy, kde údajný simulátor byl ve skutečnosti lidský operátor, využívající textovou a grafickou komunikaci přes kamerový systém. Jak vysvětlil, „Uživatel vnímá systém pouze touto konzolou pro vzdálený přístup a zbytek je pro něj černou skříní. ... lze černou skříňku naplnit lidmi i stroji. poměrně levný simulátor s pozoruhodnými výhodami flexibility, paměti a inteligence lidského operátora, který lze přeprogramovat tak, aby poskytoval širokou škálu počítačových rolí pouhou změnou provozních pravidel. Někdy mu chybí rychlost a přesnost skutečného počítače , ale tým odborníků pracujících současně může dostatečně kompenzovat, aby poskytl přijatelnou simulaci. “^[2] Cross to později označil jako druh Reverzní Turingův test.^[3]

Význam

Metoda Wizard of OZ je velmi silná. Ve své původní aplikaci dokázal Dr. Kelley vytvořit jednoduchý systém rozpoznávání přirozeného jazyka s klávesnicí, který daleko přesahoval míru rozpoznávání kteréhokoli z mnohem složitějších systémů dneška.

Současné myšlení mnoha počítačových vědců a lingvistů spočívalo v tom, že aby byl počítač schopen „rozumět“ přirozenému jazyku natolik, aby mohl pomáhat při užitečných úkolech, musel by být software připojen k impozantnímu “ slovník “s velkým počtem kategorií pro každé slovo. Kategorie by umožnily velmi složitému algoritmu syntaktické analýzy odhalit dvojznačnosti inherentní přirozeně vytvořenému jazyku. Náročná práce na vytvoření takového slovníku vedla mnoho lidí k přesvědčení, že počítače jednoduše nikdy „nerozumí“ jazyku, dokud nebudou „vychovány“ a „nezažijí život“ jako lidé, protože se zdá, že lidé při interpretaci uplatňují životní zkušenosti. jazyka.

Klíčovým faktorem umožňujícím první použití metody OZ bylo, že systém byl navržen tak, aby fungoval v jediném kontextu (udržování kalendáře), což omezovalo složitost jazyka, se kterým se uživatelé setkávají, do té míry, že stačil jednoduchý model zpracování jazyka ke splnění cílů aplikace. Model zpracování byl dvouprůchodový přístup shody klíčových slov / klíčových slov, založený volně na algoritmech používaných ve slavné Weizenbaumově Eliza program. Tím, že jsme účastníky přiměli ke generování jazykových vzorků v kontextu řešení skutečného úkolu (pomocí počítače, o kterém věřili, že skutečně rozumí tomu, co píší), byla značně snížena rozmanitost a složitost shromážděných lexikálních struktur a mohly být vyvinuty jednoduché algoritmy shody klíčových slov řešit skutečně shromážděný jazyk.

Toto první použití OZ bylo v kontextu iterativní design přístup. V raných vývojových relacích experimentátor simuloval systém v tomto, provedením všech databázových dotazů a složením všech odpovědí účastníkům ručně. Jak proces dozrával, experimentátor byl schopen nahradit člověk intervence, kousek po kousku, s nově vytvořeným vyvinutým kódem (který byl v každé fázi navržen tak, aby přesně zpracoval všechny vstupy, které byly vygenerovány v předchozích krocích). Na konci procesu byl experimentátor schopen sledovat relace v režimu „hands-off“ (a měřit míru rozpoznávání dokončeného programu).

OZ bylo důležité, protože se zaměřilo na zjevnou kritiku:

Kdo si může dovolit použít iterační metodu k vytvoření samostatného systému přirozeného jazyka (slovníky, syntaxe) pro každý nový kontext? Nechceli byste navždy přidávat nové struktury a algoritmy pro zpracování každé nové dávky vstupů?

Odpověď se ukázala být:

Použitím empirického přístupu, jako je OZ, si to může dovolit kdokoli; Růst slovníku a syntaxe Dr. Kelleyho dosáhl asymptoty (dosahující 86% až 97% míry rozpoznávání, v závislosti na použitých měřeních) po pouhých 16 experimentálních pokusech a výsledný program se slovníky činil méně než 300 kB kódu.

Za 23 let, které následovaly po počátečním zveřejnění, byla metoda OZ použita v široké škále nastavení, zejména v prototypování a testování použitelnosti navrhovaných návrhů uživatelského rozhraní před zavedením skutečného aplikačního softwaru.

Fiktivní odkazy

Název experimentu pochází z The Wonderful Wizard of Oz příběh, ve kterém se obyčejný člověk skrývá za oponou a předstírá pomocí „zesilovací“ technologie, že je mocný kouzelník.

v David Lodge román Malý svět, vysokoškolský pedagog v anglická literatura je seznámen s počítačovým programem s názvem ELIZA, o kterém je přesvědčen, že je s ním schopen vést souvislý rozhovor. Ukazuje se, že počítačový lektor ovládá počítač a poskytuje všechny odpovědi. Originál ELIZA Program poskytující základní, ale často překvapivě lidské odpovědi na otázky, byl napsán v MIT podle Joseph Weizenbaum v šedesátých letech.

Viz také

• Reverzní Turingův test
• Čínský pokoj - myšlenkový experiment s podobnou premisou.
• Turek - Zařízení Wizard of Oz používané jako falešný šachový automat

Reference

Zde jsou některé z původních (a následných) odkazů na toto téma (metoda byla převzata v mnoha výzkumných doménách a existuje řada následných odkazů, z nichž pouze několik je zde uvedeno).

Shrnutí technických aspektů práce:

Kelley, J. F., „CAL - program přirozeného jazyka vyvinutý s OZ Paradigm: Implikace pro superpočítačové systémy“. První mezinárodní konference o superpočítačových systémech (Petrohrad, Florida, 16. – 20. Prosince 1985), New York, ACM, s. 238–248.

Stručný popis metody:

Kelley, J. F., „Empirická metodologie pro psaní uživatelsky přívětivých počítačových aplikací v přirozeném jazyce“. Proceedings of ACM SIG-CHI ’83 Human Factors in Computing systems (Boston, 12–15 December 1983), New York, ACM, pp. 193-196. [1]

Nejlepší popis metody:

Kelley, J. F., „Metoda iterativního designu pro uživatelsky přívětivé kancelářské informační aplikace v přirozeném jazyce“. Transakce ACM na kancelářských informačních systémech, březen 1984, 2: 1, s. 26–41. [2]

Samotná nepublikovaná disertační práce:

Kelley, J. F., „Přirozený jazyk a počítače: Šest empirických kroků pro psaní snadno použitelné počítačové aplikace“. Nepublikovaná disertační práce, Johns Hopkins University, 1983. (Položku 8321592 lze získat od University Microfilms International; 300 North Zeeb Road; Ann Arbor; Michigan; 48106; USA.)

Práce University of California v San Diegu:

Bobrow, D., Kaplan, R., Kay, M., Norman, D., Thompson, H., a Winograd, T. (1977). GUS, rámcový dialogový systém. Artificial Intelligence, 8: 2 (April 1977) 155-173., 8(2), 155–173.

Následné reference a implementace (ukázka citací přibližně 30 let):

Schieben, A., et al. 2009, „Technika divadelního systému: agilní návrh a testování chování a interakce systému, aplikované na vysoce automatizovaná vozidla.“ Ve sborníku z 1. mezinárodní konference o uživatelských rozhraních pro automobily a interaktivních automobilových aplikacích (Essen, Německo, 2009). ACM Press, New York, USA.[3]

Akers, D. 2006. Čaroděj ze země Oz pro participativní design: vynalézání gestického rozhraní pro 3D výběr odhadů neurální dráhy. V CHI ’06 Extended Abstracts on Human Factors in Computing Systems (Montréal, Québec, Kanada, 22. – 27. Dubna 2006). CHI ’06. ACM Press, New York, USA, 454-459. [4]

Höysniemi, J., Hämäläinen, P. a Turkki, L. 2004. Wizard of Oz prototyping of computer vision based action games for children. Ve sborníku z konference o interakčním designu a dětech: Budování komunity v roce 2004 (Maryland, 1. – 03. Června 2004). IDC ’04. ACM Press, New York, USA, 27-34.[5]

Molin, L. 2004. Prototyp čarodějů ze země Oz pro návrh kooperativní interakce grafických uživatelských rozhraní. Ve sborníku ze třetí severské konference o interakci člověka s počítačem (Tampere, Finsko, 23. – 27. Října 2004). NordiCHI ’04, sv. 82. ACM Press, New York, USA, 425-428. [6]

Lai, J. a Yankelovich, N. 2003. Konverzační řečová rozhraní. V příručce Interakce člověk-počítač: Základy, vyvíjející se technologie a vznikající aplikace, J. A. Jacko a A. Sears, Eds.^{[je zapotřebí objasnění ]} Lidské faktory a ergonomie. Lawrence Erlbaum Associates, Mahwah, New Jersey, USA, 698-713.

Gleicher, M. L., Heck, R. M. a Wallick, M. N. 2002. Rámec pro virtuální videografii. Ve sborníku z 2. mezinárodního sympozia o inteligentní grafice (Hawthorne, New York, 11. – 13. Června 2002). SMARTGRAPH ’02, roč. 24. ACM Press, New York, USA, 9. – 16. [7]

Klemmer, S. R., Sinha, A. K., Chen, J., Landay, J. A., Aboobaker, N. a Wang, A. 2000. Suede: prototypový nástroj Wizard of Oz pro uživatelská rozhraní řeči. Ve sborníku z 13. výročního sympozia ACM o softwaru a technologii uživatelského rozhraní (San Diego, Kalifornie, USA, 6. - 8. listopadu 2000). UIST ’00. ACM Press, New York, USA, 1. – 10. [8]

Hewett, Thomas T. (et al.), „Curricula for Human-Computer Interaction“, ACM SIGCHI, 1992, 1996, kapitola 2.[9]

Piernot, P. P., Felciano, R. M., Stancel, R., Marsh, J. a Yvon, M. 1995. Designing the PenPal: blending hardware and software in a user-interface for children. Ve sborníku konference SIGCHI o lidských faktorech ve výpočetních systémech (Denver, Colorado, USA, 7. – 11. Května 1995). I. R. Katz, R. Mack, L. Marks, M. B. Rosson a J. Nielsen, vyd.^{[je zapotřebí objasnění ]} Konference o lidských faktorech ve výpočetních systémech. ACM Press / Addison-Wesley Publishing Co., New York, USA, 511–518. [10]

Prager, J. M., Lamberti, D. M., Gardner, D. L. a Balzac, S. R. 1990. DŮVOD: inteligentní uživatelský asistent pro interaktivní prostředí. IBM Syst. J. 29, 1 (leden 1990), 141–164.

Dahlbäck, N. a Jönsson, A. 1989. Empirické studie diskurzních reprezentací pro rozhraní přirozeného jazyka. In Proceedings of the Fourth Conference on European Chapter of the Association for Computational Linguistics (Manchester, England, 10. – 12. Dubna 1989). Evropské kapitolové zasedání ACL. Sdružení pro výpočetní lingvistiku, Morristown, New Jersey, USA, 291–298. [11]

Carroll, J. a Aaronson, A. 1988. Učení pomocí simulované inteligentní pomoci. Commun. ACM 31, 9 (srpen 1988), 1064–1079. [12]

Gould, J. D. a Lewis, C. 1985. Návrh použitelnosti: klíčové principy a názory designérů. Commun. ACM 28, 3 (březen 1985), 300–311. [13]

Green, P. a Wei-Haas, L. 1985. Rychlý vývoj uživatelských rozhraní: Zkušenosti s čarodějem metody OZ. In Proceedings of the Human Factors and Ergonomics Society Annual Meeting, svazek 29, číslo 5, 1985, s. 470 - 474 (5). [14]

Embley, D. W. a Kimbrell, R. E. 1985. Schématický překladač dotazů v přirozeném jazyce. Ve sborníku z třinácté výroční konference o informatice ACM z roku 1985 (New Orleans, Louisiana, USA). CSC ’85. ACM Press, New York, USA, 292–297. [15]

Good, M. D., Whiteside, J. A., Wixon, D. R. a Jones, S. J. 1984. Vytváření uživatelského rozhraní. Commun. ACM 27, 10 (říjen 1984), 1032–1043. [16]

Několik desítek odkazů zde.