Univerzální IR hodnocení - Universal IR Evaluation
 | tento článek potřebuje další citace pro ověření. (Dubna 2011) (Zjistěte, jak a kdy odstranit tuto zprávu šablony) |
v počítačová věda, Univerzální IR hodnocení (vyhodnocení získávání informací ) si klade za cíl vyvinout opatření výkonu vyhledávání databáze, která musí být srovnatelná ve všech úkolech vyhledávání informací.
Opatření „relevance“
Hodnocení IR (získávání informací) začíná pokaždé, když uživatel zadá dotaz (hledaný výraz) do a databáze. Pokud je uživatel schopen určit relevantnost každého dokumentu v databázi (relevantní nebo nerelevantní), pak je pro každý dotaz úplná sada dokumentů přirozeně rozdělena do čtyř odlišných (vzájemně se vylučujících) podmnožin: relevantní dokumenty, které jsou načteny, relevantní dokumenty, které jsou načteny, relevantní dokumenty které nejsou načteny a nejsou relevantní dokumenty, které nejsou načteny. Tyto čtyři podmnožiny (dokumentů) jsou označeny písmeny a, b, c, d a nazývají se proměnné Swets pojmenované podle jejich vynálezce.[1]
Kromě definic Swets byly definovány také čtyři metriky relevance: Přesnost odkazuje na zlomek příslušných dokumentů, které jsou získány (a / (a + b)), a Odvolání odkazuje na zlomek získaných dokumentů, které jsou relevantní (a / (a + c)). Toto jsou nejčastěji používané a dobře známé metriky relevance nalezené v literatuře o hodnocení IR. Dvě méně běžně používané metriky zahrnují Fallout, tj. Zlomek nerelevantních dokumentů, které jsou načteny (b / (b + d)), a slečna, která odkazuje na zlomek relevantních dokumentů, které nejsou načteny (c / ( c + d)) během kteréhokoli daného vyhledávání.
Univerzální IR vyhodnocovací techniky
Univerzální IR hodnocení se zabývá matematickými možnostmi a vztahy mezi čtyřmi metrikami relevance Precision, Recall, Fallout a Miss, označenými P, R, F a M. Jedním z aspektů problému je nalezení matematické derivace úplné sady univerzálních IR hodnotících bodů.[2] Kompletní sada 16 bodů, z nichž každý je čtyřnásobek formy (P, R, F, M), popisuje všechny možné univerzální IR výsledky. Například mnozí z nás měli zkušenost s dotazováním na databázi a vůbec nenačítáním žádných dokumentů. V tomto případě by Precision převzal neurčenou formu 0/0, Recall a Fallout by byly nulové a Miss by byla jakákoli hodnota větší než nula a menší než jedna (za předpokladu, v databázi, z nichž žádný nebyl získán). Tento univerzální bod vyhodnocení IR by byl tedy označen (0/0, 0, 0, M), což představuje pouze jeden ze 16 možných univerzálních výsledků IR.
Matematika univerzálního IR hodnocení je poměrně nový předmět, protože metriky relevance P, R, F, M nebyly až donedávna (v posledním desetiletí) analyzovány kolektivně. Spousta teoretických základů již byla formulována, ale nové poznatky v této oblasti čekají na objev. Pro podrobnou matematickou analýzu, dotaz v ScienceDirect databáze pro „univerzální hodnocení IR“ načítá několik relevantních recenzovaných článků.