F-skóre - F-score - Wikipedia

Přesnost a odvolání

v statistický analýza binární klasifikace, F-skóre nebo F-opatření je mírou přesnosti testu. Vypočítává se z přesnost a odvolání testu, kde přesnost je počet správně identifikovaných pozitivních výsledků děleno počtem všech pozitivních výsledků, včetně těch, které nebyly správně identifikovány, a odvolání je počet správně identifikovaných pozitivních výsledků děleno počtem všech vzorků, které by měly být byly identifikovány jako pozitivní.

The F₁ skóre je harmonický průměr přesnosti a odvolání. Obecnější ${ displaystyle F _ { beta}}$ skóre aplikuje další váhy, přičemž jedno z nich si váží přesnosti nebo vyvolává více než druhé.

Nejvyšší možná hodnota F-skóre je 1, což naznačuje dokonalou přesnost a vyvolání, a nejnižší možná hodnota je 0, pokud je přesnost nebo vyvolání nulové. F₁ skóre je také známé jako Sørensen – koeficient kostky nebo Koeficient podobnosti kostek (DSC).^{[Citace je zapotřebí ]}

Etymologie

Název F-measure je považován za pojmenovaný po jiné funkci F v knize Van Rijsbergena, když byl představen na čtvrtém Konference o porozumění zprávám (MUC-4, 1992).^[1]

Definice

Tato sekce potřebuje další citace pro ověření. Prosím pomozte vylepšit tento článek podle přidávání citací ke spolehlivým zdrojům. Zdroj bez zdroje může být napaden a odstraněn. (Prosince 2018) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

Tradiční F-míra nebo vyvážené F-skóre (F₁ skóre) je harmonický průměr přesnosti a odvolání:

${ displaystyle F_ {1} = { frac {2} { mathrm {recall} ^ {- 1} + mathrm {přesnost} ^ {- 1}}} = 2 cdot { frac { mathrm {přesnost } cdot mathrm {recall}} { mathrm {precision} + mathrm {recall}}} = { frac { mathrm {tp}} { mathrm {tp} + { frac {1} {2} } ( mathrm {fp} + mathrm {fn})}}}$.

${ displaystyle F _ { beta}}$

Obecnější skóre F, ${ displaystyle F _ { beta}}$, který používá pozitivní skutečný faktor β, kde β je zvoleno tak, že vyvolání je považováno za β krát stejně důležité jako přesnost, je:

${ displaystyle F _ { beta} = (1+ beta ^ {2}) cdot { frac { mathrm {přesnost} cdot mathrm {recall}} {( beta ^ {2} cdot mathrm {precision}) + mathrm {recall}}}}$.

Ve smyslu Chyby typu I a typu II toto se stává:

${ displaystyle F _ { beta} = { frac {(1+ beta ^ {2}) cdot mathrm {true positive}} {(1+ beta ^ {2}) cdot mathrm {true positive} + beta ^ {2} cdot mathrm {false negative} + mathrm {false positive}}} ,}$.

Dvě běžně používané hodnoty pro β jsou 2, což váží vyvolání vyšší než přesnost, a 0,5, které váží vyvolání nižší než přesnost.

F-míra byla odvozena tak ${ displaystyle F _ { beta}}$ msgstr "měří efektivitu vyhledávání s ohledem na uživatele, který připisuje β krát větší důležitost k vyvolání jako přesnost".^[2] Je to založeno na Van Rijsbergen opatření účinnosti

${ displaystyle E = 1- left ({ frac { alpha} {p}} + { frac {1- alpha} {r}} right) ^ {- 1}}$.

Jejich vztah je ${ displaystyle F _ { beta} = 1-E}$ kde ${ displaystyle alpha = { frac {1} {1+ beta ^ {2}}}}$.

Diagnostické testování

To souvisí s oborem binární klasifikace kde se odvolání často nazývá „citlivost“.

Aplikace

F-skóre se často používá v oblasti vyhledávání informací pro měření Vyhledávání, klasifikace dokumentů, a klasifikace dotazů výkon.^[3] Dřívější práce zaměřené především na F₁ skóre, ale s rozšířením rozsáhlých vyhledávačů se výkonnostní cíle změnily, aby kladly větší důraz na přesnost nebo odvolání^[4] a tak ${ displaystyle F _ { beta}}$ je vidět v široké aplikaci.

F-skóre se také používá v strojové učení.^[5] F-opatření však nezohledňují skutečná negativa, proto opatření, jako je Matthewsův korelační koeficient, Informovanost nebo Cohenova kappa může být upřednostňováno pro hodnocení výkonu binárního klasifikátoru.^{[Citace je zapotřebí ]}

F-skóre bylo široce používáno v literatuře pro zpracování přirozeného jazyka,^[6] například při hodnocení uznání pojmenované entity a segmentace slov.

Kritika

David Hand a další kritizují rozšířené používání F₁ skóre, protože dává stejnou důležitost přesnosti a odvolání. V praxi způsobují různé typy nesprávné klasifikace různé náklady. Jinými slovy, relativní důležitost přesnosti a odvolání je aspektem problému.^[7]

Podle Davide Chicco a Giuseppe Jurman, F₁ skóre je méně pravdivé a informativní než Matthewsův korelační koeficient (MCC) v klasifikaci binárního hodnocení.^[8]

David Powers poukázal na to, že F₁ ignoruje True Negatives a je tedy zavádějící pro nevyvážené třídy, zatímco kappa a korelační míry jsou symetrické a hodnotí oba směry předvídatelnosti - klasifikátor předpovídající skutečnou třídu a skutečná třída předpovídající predikci klasifikátoru, navrhující samostatná multiclass míry Informovanost a Značnost pro oba směry s tím, že jejich geometrický průměr je korelace.^[9]

Rozdíl od indexu Fowlkes – Mallows

Zatímco F-míra je harmonický průměr odvolání a přesnosti, Fowlkes – index slézů je jejich geometrický průměr.^[10]

Rozšíření klasifikace více tříd

F-skóre se také používá k hodnocení klasifikačních problémů s více než dvěma třídami (Klasifikace více tříd ). V tomto nastavení je konečné skóre získáno mikroprůměrováním (ovlivněno frekvencí třídy) nebo makroprůměrováním (přičemž všechny třídy jsou stejně důležité). Pro makroprůměrování uchazeči použili dva různé vzorce: F-skóre (aritmetické) třídní přesnosti a vyvolávacího prostředku nebo aritmetický průměr třídních F-skóre, kde druhý vykazuje žádoucí vlastnosti.^[11]

Viz také

• Matice zmatku
• METEOR
• BLEU
• NIST (metrické)
• Provozní charakteristika přijímače
• ROUGE (metrický)
• Koeficient nejistoty, aka Odbornost
• Míra chyb slov

Reference