Střední vzájemná hodnost - Mean reciprocal rank

tento článek potřebuje další citace pro ověření. Prosím pomozte vylepšit tento článek podle přidávání citací ke spolehlivým zdrojům. Zdroj bez zdroje může být napaden a odstraněn. Najít zdroje: „Střední vzájemná pozice“  – zprávy  · noviny  · knihy  · učenec  · JSTOR (Červen 2007) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

The průměrná vzájemná hodnost je statistický míra pro vyhodnocení jakéhokoli procesu, který produkuje seznam možných odpovědí na vzorek dotazů seřazený podle pravděpodobnosti správnosti. Reciproční pořadí odpovědi na dotaz je multiplikativní inverzní hodnosti první správné odpovědi: 1 za první místo,¹⁄₂ za druhé místo,¹⁄₃ za třetí místo atd. Průměrné reciproční pořadí je průměrem vzájemných pořadí výsledků u vzorku dotazů Q:^[1][2]

${ displaystyle { text {MRR}} = { frac {1} {| Q |}} sum _ {i = 1} ^ {| Q |} { frac {1} {{ text {hodnost} } _ {i}}}. !}$

kde ${ displaystyle { text {rank}} _ {i}}$ odkazuje na poziční pozici za prvé příslušný dokument pro i-tý dotaz.

Vzájemná hodnota střední vzájemné hodnosti odpovídá harmonický průměr z řad.

Příklad

Předpokládejme například, že máme následující tři ukázkové dotazy pro systém, který se pokouší přeložit anglická slova do jejich množného čísla. V každém případě systém provede tři odhady, přičemž první je ten, který považuje za nejpravděpodobnější správný:

Vzhledem k těmto třem vzorkům bychom mohli vypočítat průměrné vzájemné pořadí jako (1/3 + 1/2 + 1) / 3 = 11/18 nebo přibližně 0,61.

Pokud žádný z navrhovaných výsledků není správný, je reciproční pořadí 0.^[1] Vezměte na vědomí, že se bere v úvahu pouze pořadí první relevantní odpovědi, možné další relevantní odpovědi jsou ignorovány. Pokud mají uživatelé zájem také o další relevantní položky, průměrná průměrná přesnost je potenciální alternativní metrika.

Viz také

• Získávání informací
• Odpověď na otázku

Reference