Versant - Versant

Pro další použití viz Versant (disambiguation).

The Versant sada testů jsou počítačové testy mluveného jazyka dostupné z Pearson PLC. Versant testy byly první plně automatizované testy mluveného jazyka, které používaly pokročilé zpracování řeči technologie (včetně rozpoznávání řeči ) posoudit mluvené jazykové dovednosti rodilých mluvčích. Sada jazyků Versant zahrnuje testy angličtiny, španělštiny, holandštiny, francouzštiny a arabštiny. Versant technologie byla také použita při hodnocení letecké angličtiny, hodnocení ústního čtení u dětí a hodnocení gramotnosti dospělých.

Dějiny

V roce 1996 založili Jared Bernstein a Brent Townsend společnost Ordinate Corporation s cílem vyvinout systém, který by ji používal zpracování řeči technologie a jazykové a teorie testů k poskytnutí automaticky dodaného a automaticky skórovaného testu mluveného jazyka. První anglický test se jmenoval PhonePass. Jednalo se o první plně automatizovaný test používání mluveného jazyka rozpoznávání řeči technologie. V roce 2002 byl název PhonePass změněn na PhonePass SET-10 (Spoken English Test) nebo jednoduše SET-10. V roce 2003 společnost Ordinate získala společnost Harcourt Assessment a později v roce 2005 se název testu změnil na současný název Versant. V lednu 2008 Harcourt Assessment (včetně Ordinate Corporation) získala společnost Pearson a Ordinate Corporation se stala součástí skupiny Knowledge Technologies ve společnosti Pearson. V červnu 2010 byly spuštěny testy Versant Pro Speaking Test a Versant Pro Writing Test.

Popis výrobku

Zkouškami jsou obvykle patnáctiminutové testy mluvení a poslechu pro dospělé studenty jazyků. (Délka testu se mírně liší v závislosti na testu). Test je dodáván telefonicky nebo na počítači a je vyhodnocován počítačem pomocí předem určených algoritmů řízených daty. Během testu systém představuje sérii zaznamenaných výzev v konverzačním tempu a vyvolává ústní odpovědi od účastníka testu.[1] Testy Versant jsou k dispozici jako několik produktů:

  • Test angličtiny
  • Versant English - Placement Test [1]
  • Zkouška z angličtiny - písemný test
  • Test španělštiny
  • Test arabštiny
  • Zkouška z francouzštiny
  • Versant Aviation English

Kromě toho bylo pomocí rámce Versant ve spolupráci s dalšími organizacemi vytvořeno několik testů specifických pro doménu. Mezi tyto testy patří test Versant Aviation English Test (pro letecký personál), test Versant Junior English Test (pro studenty angličtiny ve věku od 5 do 12 let) a test holandského imigrace (k dispozici výhradně prostřednictvím nizozemských velvyslanectví). Bodovací systém Versant také poskytuje automatické bodování mluvené části testu čtyř dovedností, Pearsonův test angličtiny, k dispozici na konci roku 2009.

Všestranný testovací konstrukt

Versant testy měří „zařízení v mluveném jazyce“, definované jako schopnost porozumět mluvenému jazyku na každodenních tématech a vhodně reagovat přirozeným konverzačním tempem. Při udržování konverzačního tempa musí člověk sledovat, co se říká, extrahovat význam, jak pokračuje řeč, formulovat a vytvářet relevantní a srozumitelnou odpověď.[2] Testy Versant jsou navrženy k měření těchto psycholingvistických aspektů mluvené výkonnosti v druhém jazyce v reálném čase.

Testovací formát a úkoly

Versantní testy mají obvykle šest úkolů: čtení, opakování, otázky s krátkou odpovědí, sestavení věty, vyprávění příběhu a otevřené otázky.

ÚkolPopis
A. ČteníÚčastníci testu čtou tištěné číslované věty. Věty mají relativně jednoduchou strukturu a slovní zásobu, takže je mohou snadno a plynule číst gramotní mluvčí cílového jazyka.
B. OpakováníÚčastníci testu opakují věty doslovně. Věty jsou uvedeny v pořadí podle rostoucí obtížnosti. Výzvy zvukových položek jsou doručovány přirozeným konverzačním tempem.
C. Otázky s krátkou odpovědíÚčastníci testu poslouchají otázky a na každou z těchto otázek odpovídají jediným slovem nebo krátkou frází. Každá otázka vyžaduje základní informace nebo vyžaduje jednoduché závěry založené na čase, pořadí, počtu, lexikálním obsahu nebo logice.
D. Věta se budujeÚčastníkům testu jsou prezentovány tři krátké fráze. Fráze jsou uvedeny v náhodném pořadí a účastník testu je požádán, aby je uspořádal do věty.
E. Vyprávění příběhuÚčastníci testu si poslechnou příběh a poté jsou požádáni, aby popsali, co se stalo, jejich vlastními slovy. Účastníkům testu se doporučuje, aby vyprávěli co nejvíce příběhu, včetně situace, postav, akcí a konce.
F. Otevřené otázkyÚčastníci testu si vyslechnou otázku s žádostí o názor a poskytnou odpověď s vysvětlením. Otázky se týkají buď rodinného života, nebo preferencí a možností účastníka testu. Tento úkol se používá ke sběru spontánního vzorku řeči. Odpovědi účastníka testu nejsou automaticky hodnoceny, ale tyto odpovědi jsou k dispozici pro kontrolu člověkem autorizovanými posluchači.

Všestranná technologie

Automatizovaná správa

Testy lze provádět po telefonu nebo na počítači. Účastníci testu mají přístup k testům a mohou je dokončit z jakéhokoli místa, kde je pevný telefon nebo připojení k internetu.

Účastníkům testu je přiděleno identifikační číslo testu a poslouchají hlas zaznamenaného zkoušejícího, kde jsou pokyny, které jsou také doslovně vytištěny na testovacím papíře nebo na obrazovce počítače. Během testu posluchači testu poslouchají zaznamenané výzvy k položkám přečtené různými rodilými mluvčími. Protože je test automatizovaný, lze velmi rychle spravovat a hodnotit velké množství testů.

Technologie automatického bodování

Skutečné výsledky testů se zveřejní on-line během několika minut po dokončení testu. Správci testů a příjemci testů si mohou prohlížet a tisknout své výsledky testů zadáním svého identifikačního čísla testu na webu Versant. Zpráva o skóre Versant se skládá z celkového skóre (vážená kombinace dílčích skóre) a čtyř diagnostických dílčích skóre: Sentence Mastery (tj. Gramatika), slovní zásoba, plynulost a výslovnost. Celkové skóre a dílčí skóre se vykazují na stupnici od 20 do 80.

Technologie automatického skórování je optimalizována pomocí velkého počtu vzorků řeči od rodilých i nerodilých mluvčích. Obvykle se provádí rozsáhlý sběr dat, aby se shromáždilo dostatečné množství takových vzorků řeči. Tyto mluvené odpovědi se poté přepisují, aby se naučil systém automatického rozpoznávání řeči.

Každá příchozí odpověď je pak automaticky zpracována rozpoznávačem řeči, který byl optimalizován pro nepůvodní řeč. V zaznamenaném signálu jsou slova, pauzy, slabiky a telefony. Obsah odpovědi se hodnotí podle přítomnosti nebo nepřítomnosti očekávaných správných slov ve správných sekvencích, stejně jako tempa, plynulosti a výslovnosti těchto slov ve frázích a větách. Základní míry jsou poté odvozeny od segmentů, slabik a slov na základě statistických modelů rodilých a nerodilých mluvčích.[3] Bylo vydáno mnoho dokumentace o přesnosti automatizovaného systému skórování společnosti Versant.

Využití skóre

Univerzální testy v současné době používají akademické instituce, korporace a vládní agentury po celém světě. Versantní testy poskytují informace, které lze použít k určení, zda mají zaměstnanci nebo studenti potřebné dovednosti v mluvené řeči k efektivní interakci. Například test Versant English Test byl použit na mistrovství světa v Koreji / Japonsku v roce 2002 k měření anglických dovedností více než 15 000 dobrovolníků a přiřazení příslušných pracovníků k úkolům, které jsou na angličtinu nejnáročnější.[4] Test Versant Spanish Test byl použit ve studii Blake a kol. (2008)[5] vyhodnotit, zda jsou kurzy distančního vzdělávání stejně platným způsobem, jak se začít učit cizí jazyk, jako tradiční prezenční kurzy, které se setkávají pětkrát týdně s ohledem na orální znalosti

Validace

Vztah k jiným testům

Výsledky různých testů byly sladěny se Společným evropským referenčním rámcem (CEFR ). Níže jsou uvedena mapování skóre Versant a skóre jiných testů na CEFR. K předpovědi lze použít všeobecné anglické skóre CEFR úrovně na CEFR škála dovedností orální interakce s přiměřenou přesností.[6]

Versant[7]CEFR[8]IELTS[9]TOEIC[10]Mluvení TOEFL iBT[11]TOEFL iBT[12]
20-80A1-C20-910-9900-300-120
20-250
26-35A11-28-13
36-46A2313-19
47-57B13.5-4.5550+19-2357-86
58-68B25-623-2887-109
69-78C16.5-7880+28+110-120
79-80C27.5+

Řada validačních studií zjistila, že test Versant English přiměřeně koreluje s dalšími měřítky dovedností mluvené angličtiny. Například korelace mezi testem Versant English Test a Mluvení TOEFL iBT je r = 0,75 a korelace mezi testem Versant English Test a IELTS Mluvení je r = 0,77.

Strojově-lidská korelace

Jednou z běžných kritik testů Versant je, že stroj nedokáže vyhodnotit řečové dovednosti stejně dobře jako lidský. Společnost Knowledge Technologies, společnost, která test produkuje a spravuje, tvrdí, že strojově generované výsledky testu Versant English Test jsou prakticky k nerozeznání od skóre opakovaných nezávislých hodnotitelů na celkové úrovni.[13]

Další kritikou je, že testy Versant neměří komunikační schopnosti, protože mezi živými účastníky nedochází k žádným interakcím. Versant, v Downey et al. (2008) tvrdí, že psycholingvistické kompetence, které jsou hodnoceny v jejich testech, jsou základem většího výkonu mluveného jazyka. Toto tvrzení je podporováno souběžnými údaji o platnosti, které výsledky testů Versant vysoce korelují s jinými dobře známými testy orálních znalostí, jako jsou ACTFL OPI nebo ILR OPI.

Užitečnost produktů Versant byla zpochybněna třetí stranou.[14]

Řízení

  • Alistair Van Moere, prezident
  • Ryan Down, ředitel produktového managementu

Viz také

Reference

  1. ^ Balogh, J., Barbier, I., Bernstein, J., Suzuki, M., & Harada, Y. (2005). Společný rámec pro vývoj automatizovaných testů mluveného jazyka ve více jazycích. JART Journal, 1 (1), 67-79.
  2. ^ Bernstein, J. & Cheng, J. (2007). Logika a validace plně automatického testu mluvené angličtiny. V M. Holland & F.P. Fisher (Eds.), Cesta řečových technologií ve výuce jazyků podporovaných počítačem: Od výzkumu k praxi (str. 174-194). Florence, KY: Routledge.
  3. ^ Balogh, J. & Bernstein, J. (2006). Realizovatelné modely standardního výkonu v angličtině a španělštině. V Y. Matsumoto, D.Y. Oshima, O.R. Robinson, & P. ​​Sells (Eds.), Diversity in language: Perspective and implications (str. 20-41). Stanford, CA: Centrum pro studium jazykových a informačních publikací.
  4. ^ „Korejský organizační výbor pro mistrovství světa ve fotbale 2002 - Korea / Japonsko zvolilo ordinát ...“ AllBusiness.com. 2. listopadu 2008.
  5. ^ Blake, R., Wilson, N.L., Pardo-Ballestar, C., & Cetto, M. (2008). Měření orálních dovedností na dálku, tváří v tvář a smíšené učebny. Jazykové vzdělávání a technologie, 12 (3), str. 114-127.
  6. ^ Bernstein, J. & De Jong, J. H.A.L. (2001). Experiment v předpovídání znalostí v rámci deskriptorů rámcové úrovně společné evropské úrovně. V Y.N. Leung a kol. (Eds.), Selected Papers from the Xent International Symposium on English Teaching (pp. 8-14). Taipei, ROC: The Crane Publishing.
  7. ^ Bernstein, J. De Jong, J. Pisoni, D. & Townshend, B. (2000). Dva experimenty s automatickým skórováním znalostí mluveného jazyka. In P. Delcloque (Ed.) Proceedings of InSTIL2000: Integrating Speech Technology in Learning (pp. 57-61). University of Abertay Dundee, Skotsko.
  8. ^ Rada Evropy (2001). „Společný evropský referenční rámec pro jazyky“ (PDF). Cambridge University Press.
  9. ^ Vztah výsledků IELTS ke společnému evropskému rámci Rady Evropy .: „Archivovaná kopie“ (PDF). Archivovány od originál (PDF) 3. února 2007. Citováno 20. ledna 2009.CS1 maint: archivovaná kopie jako titul (odkaz)
  10. ^ Tannenbaum, Richard a Caroline E. Wylie (2005). „Výzkumné zprávy: Mapování výsledků testu anglického jazyka do společného evropského rámce“ (PDF). Služby vzdělávacího testování. Archivovány od originál (PDF) 21. listopadu 2008. Citováno 20. ledna 2009.
  11. ^ „Mapování TOEFL iBT na společný evropský referenční rámec“ (PDF). 2007. Archivovány od originál (PDF) 6. února 2009. Citováno 20. ledna 2009.
  12. ^ „Mapování TOEFL iBT na společný evropský referenční rámec“ (PDF). 2007. Archivovány od originál (PDF) 6. února 2009. Citováno 20. ledna 2009.
  13. ^ Downey, R., Farhady, H., Present-Thomas, R., Suzuki, M., & Van Moere, A. (2008). Vyhodnocení užitečnosti testu Versant pro angličtinu: odpověď. Language Assessment Quarterly, 5, 160-167.
  14. ^ Christian W. Chun (2008): Komentáře k „„ Vyhodnocení užitečnosti testu Versant pro anglický test: odpověď ““: Autor reaguje, Language Assessment Quarterly, 5: 2, 168-172

externí odkazy