ROUGE (metrický) - ROUGE (metric)

ROUGEnebo Understudy zaměřená na odvolání pro Gisting Evaluation,[1] je sada metrik a softwarový balíček používaný k hodnocení automatická sumarizace a strojový překlad software v zpracování přirozeného jazyka. Metriky porovnávají automaticky vytvořený souhrn nebo překlad s odkazem nebo souborem souhrnu nebo překladu odkazů (vytvořených člověkem).

Metriky

K dispozici je následujících pět hodnotících metrik.

  • ROUGE-N: Překrytí N-gramů[2] mezi systémem a referenčními souhrny.
    • ROUGE-1 označuje překrytí unigram (každé slovo) mezi systémem a referenčními souhrny.
    • ROUGE-2 označuje překrytí bigrams mezi systémem a referenčními souhrny.
  • ROUGE-L: Nejdelší běžná posloupnost (LCS)[3] založené na statistikách. Nejdelší běžný problém s posloupností bere přirozeně v úvahu podobnost struktury věty a automaticky identifikuje nejdelší souběžný výskyt v pořadí n-gramů.
  • ROUGE-W: Vážené statistiky založené na LCS, které upřednostňují po sobě jdoucí LCS.
  • ROUGE-S: Přeskočit-bigram[4] založené na statistikách společného výskytu. Skip-bigram je libovolná dvojice slov v pořadí vět.
  • ROUGE-SU: Přeskočit bigram plus statistiku společného výskytu založenou na unigramu.

Viz také

Reference

  1. ^ Lin, Chin-Yew. 2004. ROUGE: Balíček pro automatické hodnocení shrnutí. Ve sborníku z workshopu o shrnutí textu větví (WAS 2004), Barcelona, ​​Španělsko, 25. - 26. července 2004.
  2. ^ Lin, Chin-Yew a E.H. Hovy 2003. Automatické vyhodnocení shrnutí pomocí N-gramových statistik společného výskytu. In Proceedings of 2003 Language Technology Conference (HLT-NAACL 2003), Edmonton, Canada, 27. května - 1. června 2003.
  3. ^ Lin, Chin-Yew a Franz Josef Och. 2004a. Automatické vyhodnocení kvality strojového překladu pomocí nejdelší běžné posloupnosti a statistiky Skip-Bigram. Ve sborníku ze 42. výročního zasedání Asociace pro výpočetní lingvistiku (ACL 2004), Barcelona, ​​Španělsko, 21. - 26. července 2004.
  4. ^ Lin, Chin-Yew a Franz Josef Och. 2004a. Automatické vyhodnocení kvality strojového překladu pomocí nejdelší běžné posloupnosti a statistiky Skip-Bigram. Ve sborníku ze 42. výročního zasedání Asociace pro počítačovou lingvistiku (ACL 2004), Barcelona, ​​Španělsko, 21. - 26. července 2004.

externí odkazy