Provozní charakteristika přijímače - Receiver operating characteristic

ROC křivka tří prediktorů štěpení peptidů v DNA proteazom.

A křivka provozní charakteristiky přijímačenebo ROC křivka, je grafický graf který ilustruje diagnostickou schopnost a binární klasifikátor systému, protože jeho prahová hodnota diskriminace se mění. Metoda byla původně vyvinuta pro operátory vojenských radarových přijímačů, a proto je pojmenována.

Křivka ROC se vytvoří vykreslením skutečná kladná sazba (TPR) proti míra falešně pozitivních výsledků (FPR) při různých nastaveních prahových hodnot. Skutečně pozitivní sazba je také známá jako citlivost, odvolání nebo pravděpodobnost detekce^[7] v strojové učení. Míra falešně pozitivních výsledků je také známá jako pravděpodobnost falešného poplachu^[7] a lze jej vypočítat jako (1 - specifičnost ). Lze jej také považovat za zápletku Napájení jako funkce Chyba typu I. rozhodovacího pravidla (když se výkon počítá pouze ze vzorku populace, lze jej považovat za odhad těchto veličin). Křivka ROC je tedy citlivost nebo vyvolání jako funkce vypadnout. Obecně platí, že pokud je známo rozdělení pravděpodobnosti pro detekci i falešný poplach, lze křivku ROC generovat vykreslením kumulativní distribuční funkce (oblast pod pravděpodobnostním rozdělením od ${ displaystyle - infty}$ na diskriminační práh) pravděpodobnosti detekce v ose y versus kumulativní distribuční funkce pravděpodobnosti falešného poplachu na ose x.

Analýza ROC poskytuje nástroje k výběru případně optimálních modelů a k vyřazení neoptimálních modelů nezávisle na (a před specifikací) kontextu nákladů nebo distribuci tříd. Analýza ROC souvisí přímým a přirozeným způsobem s diagnostikou nákladů a přínosů rozhodování.

Křivka ROC byla poprvé vyvinuta elektrotechnikem a radarem během druhé světové války pro detekci nepřátelských objektů na bojištích a byla brzy představena psychologie zohlednit percepční detekci stimulů. Od té doby byla v ROC použita analýza ROC lék, radiologie, biometrie, předpovídání z přírodní rizika,^[8] meteorologie,^[9] hodnocení výkonu modelu,^[10] a dalších oblastech po mnoho desetiletí a stále více se používá v strojové učení a dolování dat výzkum.

ROC je také známý jako relativní křivka provozních charakteristik, protože se jedná o srovnání dvou provozních charakteristik (TPR a FPR) při změně kritéria.^[11]

Základní koncept

Klasifikační model (klasifikátor nebo diagnóza ) je mapování případů mezi určitými třídami / skupinami. Protože výsledek klasifikátoru nebo diagnózy může být libovolný skutečná hodnota (nepřetržitý výstup), musí být hranice klasifikátoru mezi třídami určena prahovou hodnotou (například k určení, zda má osoba hypertenze na základě a krevní tlak opatření). Nebo to může být oddělený popisek třídy označující jednu ze tříd.

Zvažte problém predikce dvou tříd (binární klasifikace ), ve kterém jsou výsledky označeny buď jako pozitivní (p) nebo negativní (n). Existují čtyři možné výsledky z binárního klasifikátoru. Pokud je výsledek predikce p a skutečná hodnota je také p, pak se nazývá a skutečně pozitivní (TP); pokud je však skutečná hodnota n pak se říká, že je falešně pozitivní (FP). Naopak, a pravda negativní (TN) došlo, když jsou výsledek predikce i skutečná hodnota n, a falešně negativní (FN) je situace, kdy je výsledek predikce n zatímco skutečná hodnota je p.

Chcete-li získat vhodný příklad v reálném problému, zvažte diagnostický test, který se snaží zjistit, zda má člověk určité onemocnění. Falešně pozitivní v tomto případě nastane, když osoba testuje pozitivně, ale ve skutečnosti nemoc nemá. Falešně negativní, na druhé straně, nastane, když osoba testuje negativně, což naznačuje, že je zdravá, když skutečně má nemoc.

Pojďme definovat experiment z P pozitivní případy a N negativní případy pro určitý stav. Čtyři výsledky lze formulovat jako 2 × 2 pohotovostní tabulka nebo zmatená matice, jak následuje:

ROC prostor

ROC prostor a grafy čtyř předpovědních příkladů.

ROC prostor pro „lepší“ a „horší“ třídu.

Kontingenční tabulka může odvodit několik hodnotících „metrik“ (viz infobox). K nakreslení ROC křivky jsou zapotřebí pouze skutečná kladná frekvence (TPR) a falešně pozitivní rychlost (FPR) (jako funkce některého parametru klasifikátoru). TPR definuje, kolik správných pozitivních výsledků se vyskytuje mezi všemi pozitivními vzorky dostupnými během testu. FPR na druhé straně definuje, kolik nesprávných pozitivních výsledků se vyskytne mezi všemi negativními vzorky dostupnými během testu.

ROC prostor je definován FPR a TPR jako X a y osy, které zobrazují relativní kompromisy mezi skutečnými pozitivními (výhody) a falešně pozitivními (náklady). Protože TPR je ekvivalentní citlivosti a FPR se rovná 1 - specificitě, graf ROC se někdy nazývá graf citlivosti vs (1 - specificita). Každý výsledek predikce nebo instance a zmatená matice představuje jeden bod v prostoru ROC.

Nejlepší možná metoda predikce by poskytla bod v levém horním rohu nebo souřadnici (0,1) prostoru ROC, což představuje 100% citlivost (bez falešných negativů) a 100% specificitu (bez falešných pozitivů). Bod (0,1) se také nazývá a dokonalá klasifikace. Náhodný odhad by dal bod podél diagonální čáry (tzv řada zákazu diskriminace) z levého dolního rohu do pravého horního rohu (bez ohledu na kladné a záporné) základní sazby ).^[12] Intuitivním příkladem náhodného hádání je rozhodnutí házením mincí. Jak se velikost vzorku zvětšuje, má ROC bod náhodného klasifikátoru sklon k diagonální linii. V případě vyvážené mince bude mít tendenci k bodu (0,5, 0,5).

Úhlopříčka rozděluje prostor ROC. Body nad úhlopříčkou představují dobré výsledky klasifikace (lepší než náhodné); body pod čarou představují špatné výsledky (horší než náhodné). Všimněte si, že výstup trvale špatného prediktoru lze jednoduše invertovat, abyste získali dobrý prediktor.

Podívejme se na čtyři výsledky predikce ze 100 pozitivních a 100 negativních případů:

Na obrázku jsou uvedeny grafy výše uvedených čtyř výsledků v prostoru ROC. Výsledek metody A jasně ukazuje nejlepší prediktivní sílu mezi A, B, a C. Výsledek B leží na náhodném odhadu (diagonální čára) a v tabulce je vidět, že přesnost B je 50%. Kdy však C se zrcadlí přes středový bod (0,5,0,5), výsledná metoda C' je ještě lepší než A. Tato zrcadlená metoda jednoduše obrací předpovědi jakékoli metody nebo testu, který způsobil C pohotovostní tabulka. Ačkoli originál C metoda má negativní prediktivní sílu, pouhé obrácení jejích rozhodnutí vede k nové prediktivní metodě C' který má pozitivní prediktivní sílu. Když C metoda předpovídá p nebo n, C' metoda předpovídá n nebo p, resp. Tímto způsobem C' test by fungoval nejlépe. Čím blíže je výsledek z kontingenční tabulky k levému hornímu rohu, tím lépe předpovídá, ale vzdálenost od náhodného odhadu v obou směrech je nejlepším indikátorem toho, kolik prediktivní síly má metoda. Pokud je výsledek pod řádkem (tj. Metoda je horší než náhodný odhad), musí být všechny předpovědi metody obráceny, aby se využila její síla, čímž se výsledek přesune nad linii náhodného odhadu.

Křivky v prostoru ROC

V binární klasifikaci se předpověď třídy pro každou instanci často provádí na základě a spojitá náhodná proměnná ${ displaystyle X}$, což je „skóre“ vypočítané pro instanci (např. odhadovaná pravděpodobnost logistické regrese). Vzhledem k prahovému parametru ${ displaystyle T}$, instance je klasifikována jako "pozitivní", pokud ${ displaystyle X> T}$, a „negativní“ jinak. ${ displaystyle X}$ sleduje hustotu pravděpodobnosti ${ displaystyle f_ {1} (x)}$ pokud instance skutečně patří do třídy "pozitivní", a ${ displaystyle f_ {0} (x)}$ pokud jinak. Proto je skutečná kladná sazba dána vztahem ${ displaystyle { mbox {TPR}} (T) = int _ {T} ^ { infty} f_ {1} (x) , dx}$ a míra falešně pozitivních výsledků je dána vztahem ${ displaystyle { mbox {FPR}} (T) = int _ {T} ^ { infty} f_ {0} (x) , dx}$. Křivka ROC vykresluje parametricky TPR (T) versus FPR (T) s T jako proměnným parametrem.

Představte si například, že hladiny bílkovin v krvi jsou u nemocných a zdravých lidí normálně distribuováno pomocí 2 G /dL a 1 g / dl. Lékařský test může měřit hladinu určitého proteinu ve vzorku krve a klasifikovat jakékoli číslo nad určitou prahovou hodnotu jako indikaci onemocnění. Experimentátor může upravit prahovou hodnotu (černá svislá čára na obrázku), což zase změní míru falešně pozitivních výsledků. Zvýšení prahové hodnoty by mělo za následek méně falešných pozitiv (a více falešných negativů), což odpovídá pohybu doleva na křivce. Skutečný tvar křivky je určen tím, kolik překrytí mají obě rozdělení.

Další interpretace

Někdy se ROC používá ke generování souhrnné statistiky. Běžné verze jsou:

• průsečík ROC křivky s přímkou ​​pod úhlem 45 stupňů kolmým k nediskriminační přímce - bod rovnováhy, kde Citlivost = 1 - Specifičnost
• průsečík ROC křivky s tečnou pod úhlem 45 stupňů rovnoběžnou s nediskriminační čárou, která je nejblíže k bezchybnému bodu (0,1) - také nazýván Statistika Youdenovy J. a zobecnit jako informovanost^{[Citace je zapotřebí ]}
• oblast mezi křivkou ROC a čárou bez diskriminace vynásobenou dvěma se nazývá Giniho koeficient. To by nemělo být zaměňováno s míra statistické disperze nazývaná také Giniho koeficient.
• oblast mezi plnou křivkou ROC a trojúhelníkovou křivkou ROC včetně pouze (0,0), (1,1) a jednoho vybraného pracovního bodu (tpr, fpr) - konzistence^[13]
• oblast pod křivkou ROC nebo „AUC“ („Area Under Curve“) nebo A '(vyslovuje se „a-prime“),^[14] nebo „c-statistika“ („statistika shody“).^[15]
• the index citlivosti d ' (vyslovuje se „d-prime“), vzdálenost mezi průměrem rozložení aktivity v systému za podmínek samotného šumu a jeho distribucí za podmínek samotného signálu, dělená jejich standardní odchylka, za předpokladu, že obě tyto distribuce jsou normální se stejnou směrodatnou odchylkou. Za těchto předpokladů je tvar ROC zcela určen d '.

Jakýkoli pokus o shrnutí ROC křivky do jediného čísla však ztratí informace o vzorci kompromisů konkrétního diskriminačního algoritmu.

Plocha pod křivkou

Při použití normalizovaných jednotek se plocha pod křivkou (často označovaná jednoduše jako AUC) rovná pravděpodobnosti, že klasifikátor bude náhodně vybranou pozitivní instanci hodnotit vyšší než náhodně vybranou negativní (za předpokladu, že „pozitivní“ bude vyšší než „ negativní').^[16] To lze vidět následovně: plocha pod křivkou je dána vztahem (integrální hranice jsou obráceny, protože velká T má nižší hodnotu na ose x)

${ displaystyle TPR (T): T rightarrow y (x)}$

${ displaystyle FPR (T): T rightarrow x}$

${ displaystyle A = int _ {x = 0} ^ {1} { mbox {TPR}} ({ mbox {FPR}} ^ {- 1} (x)) , dx = int _ { infty} ^ {- infty} { mbox {TPR}} (T) { mbox {FPR}} '(T) , dT = int _ {- infty} ^ { infty} int _ { - infty} ^ { infty} I (T '> T) f_ {1} (T') f_ {0} (T) , dT ', dT = P (X_ {1}> X_ {0} )}$

kde ${ displaystyle X_ {1}}$ je skóre pro pozitivní instanci a ${ displaystyle X_ {0}}$ je skóre pro negativní instanci a ${ displaystyle f_ {0}}$ a ${ displaystyle f_ {1}}$ jsou hustoty pravděpodobnosti definované v předchozí části.

Dále lze ukázat, že AUC úzce souvisí s Mann – Whitney U,^[17][18] který testuje, zda jsou pozitiva hodnocena vyšší než negativa. Je to také ekvivalentní s Wilcoxonův test hodností.^[18] Pro prediktor ${ textstyle f}$, nestranný odhad jeho AUC lze vyjádřit následujícím způsobem Wilcoxon-Mann-Whitney statistický^[19]:

${ displaystyle AUC (f) = { frac { sum _ {t_ {0} in { mathcal {D}} ^ {0}} sum _ {t_ {1} in { mathcal {D} } ^ {1}} { textbf {1}} [f (t_ {0})$

kde, ${ textstyle { textbf {1}} [f (t_ {0})$ označuje funkce indikátoru který vrací 1 iff ${ displaystyle f (t_ {0})$ jinak vrátit 0; ${ displaystyle { mathcal {D}} ^ {0}}$ je soubor negativních příkladů a ${ displaystyle { mathcal {D}} ^ {1}}$ je soubor pozitivních příkladů.

AUC souvisí s * Giniho koeficientem * (${ displaystyle G_ {1}}$) podle vzorce ${ displaystyle G_ {1} = 2 { mbox {AUC}} - 1}$, kde:

${ displaystyle G_ {1} = 1- součet _ {k = 1} ^ {n} (X_ {k} -X_ {k-1}) (Y_ {k} + Y_ {k-1})}$^[20]

Tímto způsobem je možné vypočítat AUC pomocí průměru z řady lichoběžníkových aproximací. ${ displaystyle G_ {1}}$ by neměla být zaměňována s míra statistické disperze, která se také nazývá Giniho koeficient.

Je také běžné vypočítat plochu pod konvexním trupem ROC (ROC AUCH = ROCH AUC), protože libovolného bodu na úsečce mezi dvěma výsledky predikce lze dosáhnout náhodným použitím jednoho nebo druhého systému s pravděpodobnostmi úměrnými relativní délce opačná složka segmentu.^[21] Je také možné převrátit konkávity - stejně jako na obrázku může být horší řešení promítnuto do lepšího řešení; concavities can be reflect in any line segment, but this more extreme form of fusion is much more likely to overfit the data.^[22]

The strojové učení komunita nejčastěji používá pro srovnání modelů statistiku ROC AUC.^[23] Tato praxe byla zpochybněna, protože odhady AUC jsou docela hlučné a trpí jinými problémy.^[24][25][26] Soudržnost AUC jako měřítka agregované klasifikační výkonnosti byla nicméně obhájena, pokud jde o rovnoměrné rozložení sazeb,^[27] a AUC byla spojena s řadou dalších metrik výkonu, jako je Brierovo skóre.^[28]

Další problém s ROC AUC spočívá v tom, že snížení křivky ROC na jediné číslo ignoruje skutečnost, že jde o kompromisy mezi různými systémy nebo vynesenými výkonovými body, a nikoli o výkon jednotlivého systému, stejně jako ignorování možnosti opravy konkávnosti , takže související alternativní opatření, jako je informovanost^{[Citace je zapotřebí ]} nebo DeltaP jsou doporučeny.^[13][29] Tyto míry jsou v podstatě ekvivalentní Gini pro jeden predikční bod s DeltaP '= Informedness = 2AUC-1, zatímco DeltaP = Markedness představuje dvojí (viz. Predikce predikce ze skutečné třídy) a jejich geometrický průměr je Matthewsův korelační koeficient.^{[Citace je zapotřebí ]}

Zatímco ROC AUC se pohybuje mezi 0 a 1 - s neinformativním klasifikátorem dává 0,5 - alternativní opatření známá jako Informovanost,^{[Citace je zapotřebí ]} Jistota ^[13] a Giniho koeficient (v případě jedné parametrizace nebo jednoho systému)^{[Citace je zapotřebí ]} všichni mají tu výhodu, že 0 představuje náhodný výkon, zatímco 1 představuje dokonalý výkon a −1 představuje „zvrácený“ případ plné informovanosti, který vždy dává nesprávnou odpověď.^[30] Zvýšení náhodného výkonu na 0 umožňuje tyto alternativní stupnice interpretovat jako statistiku Kappa. Ukázalo se, že informovanost má žádoucí vlastnosti pro strojové učení oproti jiným běžným definicím Kappa, jako je Cohen Kappa a Fleiss Kappa.^{[Citace je zapotřebí ][31]}

Někdy může být užitečnější podívat se na konkrétní oblast ROC křivky než na celou křivku. Je možné vypočítat částečnou AUC.^[32] Například by se dalo zaměřit na oblast křivky s nízkou mírou falešně pozitivních výsledků, která je často primárně zajímavá pro screeningové testy populace.^[33] Dalším běžným přístupem ke klasifikačním problémům, při kterém P ≪ N (běžný v bioinformatických aplikacích), je použití logaritmické stupnice pro osu x.^[34]

Rovněž se nazývá oblast ROC pod křivkou c-statistika nebo c statistika.^[35]

Další opatření

Křivka TOC

The Celková provozní charakteristika (TOC) také charakterizuje diagnostické schopnosti a odhaluje více informací než ROC. Pro každou prahovou hodnotu ROC odhaluje dva poměry, TP / (TP + FN) a FP / (FP + TN). Jinými slovy, ROC odhaluje zásahy / (zásahy + zmeškání) a falešné poplachy / (falešné poplachy + správné odmítnutí). Na druhou stranu TOC zobrazuje celkové informace v kontingenční tabulce pro každou prahovou hodnotu.^[36] Metoda TOC odhaluje všechny informace, které metoda ROC poskytuje, plus další důležité informace, které ROC neodhalí, tj. Velikost každé položky v kontingenční tabulce pro každou prahovou hodnotu. TOC také poskytuje populární AUC ROC.^[37]

ROC křivka

Jedná se o křivky TOC a ROC se stejnými daty a prahovými hodnotami. Zvažte bod, který odpovídá prahové hodnotě 74. Křivka TOC ukazuje počet zásahů, což je 3, a tedy počet zmeškaných, což je 7. Křivka TOC navíc ukazuje, že počet falešných poplachů je 4 a počet správných odmítnutí je 16. V kterémkoli daném bodě v křivce ROC je možné shromáždit hodnoty pro poměry falešných poplachů / (falešné poplachy + správné odmítnutí) a zásahy / (zásahy + neúspěchy). Například na prahu 74 je zřejmé, že souřadnice x je 0,2 a souřadnice y je 0,3. Tyto dvě hodnoty však nejsou dostatečné k vytvoření všech položek podkladové kontingenční tabulky dva po dvou.

Graf detekce chyby kompromisu

Příklad grafu DET

Alternativou ke křivce ROC je detekční chyba kompromis (DET) graf, který vykresluje míru falešně negativních výsledků (zmeškané detekce) vs. míru falešně pozitivních výsledků (falešné poplachy) na nelineárně transformovaných osách x a y. Transformační funkce je kvantilová funkce normálního rozdělení, tj. Inverzní funkce kumulativního normálního rozdělení. Je to ve skutečnosti stejná transformace jako zROC níže, s výjimkou toho, že se používá doplněk rychlosti zásahu, rychlosti chybět nebo falešně negativní rychlosti. Tato alternativa utrácí více oblasti grafu v oblasti zájmu. Většina oblasti ROC je málo zajímavá; jeden se primárně stará o oblast těsně přiléhající k ose y a levém horním rohu - což je z důvodu použití chybné rychlosti místo jejího doplňku, rychlosti zásahu, levý dolní roh v grafu DET. Kromě toho mají grafy DET užitečnou vlastnost linearity a lineárního prahového chování pro normální rozdělení.^[38] DET plot je široce používán v automatické rozpoznávání reproduktorů komunita, kde byl poprvé použit název DET. Analýzu výkonu ROC v grafech s tímto zkroucením os použili psychologové ve studiích vnímání v polovině 20. století,^{[Citace je zapotřebí ]} kde to bylo nazváno „papír s dvojitou pravděpodobností“.^[39]

Z-skóre

Pokud standardní skóre se použije na křivku ROC, křivka se transformuje do přímky.^[40] Toto z-skóre je založeno na normálním rozdělení s průměrem nula a standardní odchylkou jedna. V paměti teorie síly, je třeba předpokládat, že zROC není pouze lineární, ale má sklon 1,0. Normální rozdělení cílů (studované objekty, které si subjekty musí vybavit) a návnad (nestudované objekty, které se subjekty pokoušejí vybavit) je faktorem, který způsobuje, že zROC je lineární.

Linearita křivky zROC závisí na směrodatných odchylkách rozdělení cíle a síly nástrahy. Pokud jsou standardní odchylky stejné, bude sklon 1,0. Pokud je směrodatná odchylka rozložení cílové síly větší než směrodatná odchylka rozložení síly návnady, bude sklon menší než 1,0. Ve většině studií bylo zjištěno, že sklony křivky zROC neustále klesají pod 1, obvykle mezi 0,5 a 0,9.^[41] Mnoho experimentů poskytlo sklon zROC 0,8. Sklon 0,8 znamená, že variabilita distribuce cílové síly je o 25% větší než variabilita distribuce síly nástrahy.^[42]

Další použitá proměnná jed ' (d prime) (popsáno výše v části „Další míry“), kterou lze snadno vyjádřit z-hodnotami. Ačkoli d„je běžně používaný parametr, je třeba si uvědomit, že je relevantní pouze při přísném dodržování výše uvedených velmi silných předpokladů teorie pevnosti.^[43]

Z-skóre ROC křivky je vždy lineární, jak se předpokládá, s výjimkou zvláštních situací. Yonelinasův model známosti a vzpomínání je dvourozměrný popis paměti rozpoznávání. Místo toho, aby subjekt jednoduše odpověděl ano nebo ne na konkrétní vstup, dává subjekt vstupu pocit důvěrnosti, který funguje jako původní křivka ROC. Co se však mění, je parametr pro Recollection (R). Vzpomínka je považována za vše-nebo-žádnou a převyšuje známost. Pokud by neexistovala žádná složka vzpomínky, měl by zROC předpovídaný sklon 1. Avšak při přidání složky vzpomínky bude křivka zROC konkávní nahoru se sníženým sklonem. Tento rozdíl ve tvaru a sklonu je výsledkem přidaného prvku variability kvůli tomu, že některé položky jsou znovu vybrány. Pacienti s anterográdní amnézií si nemohou vzpomenout, takže jejich křivka Yonelinas zROC by měla sklon blízký 1,0.^[44]

Dějiny

Křivka ROC byla poprvé použita během druhá světová válka pro analýzu radarové signály před jeho zaměstnáním v teorie detekce signálu.^[45] V návaznosti na útok na Pearl Harbor v roce 1941 zahájila armáda Spojených států nový výzkum s cílem zvýšit predikci správně detekovaných japonských letadel z jejich radarových signálů. Pro tyto účely měřili schopnost operátora radaru přijímat tyto důležité rozdíly, které se nazývaly provozní charakteristiky přijímače.^[46]

V padesátých letech byly v ROC použity křivky psychofyzika posoudit detekci slabých signálů u člověka (a příležitostně u jiných zvířat).^[45] v lék, ROC analýza byla široce používána při hodnocení diagnostické testy.^[47][48] ROC křivky jsou také hojně používány v epidemiologie a lékařský výzkum a jsou často zmiňovány ve spojení s medicína založená na důkazech. v radiologie „Analýza ROC je běžnou technikou pro hodnocení nových radiologických technik.^[49] V sociálních vědách se analýza ROC často nazývá ROC Accuracy Ratio, běžná technika pro posuzování přesnosti výchozích modelů pravděpodobnosti. Křivky ROC se v laboratorní medicíně široce používají k hodnocení diagnostické přesnosti testu, k volbě optimální mimo test a porovnat diagnostickou přesnost několika testů.

ROC křivky se také ukázaly jako užitečné pro hodnocení strojové učení techniky. První aplikací ROC ve strojovém učení byl Spackman, který prokázal hodnotu ROC křivek při porovnávání a hodnocení různých klasifikací algoritmy.^[50]

ROC křivky se také používají při ověřování předpovědí v meteorologii.^[51]

ROC křivky nad binární klasifikaci

Rozšíření křivek ROC pro problémy klasifikace s více než dvěma třídami bylo vždy těžkopádné, protože stupně volnosti se kvadraticky zvyšovaly s počtem tříd a prostor ROC ${ displaystyle c (c-1)}$ rozměry, kde ${ displaystyle c}$ je počet tříd.^[52] Pro konkrétní případ byly provedeny některé přístupy se třemi třídami (třícestný ROC).^[53] Výpočet objemu pod povrchem ROC (VUS) byl analyzován a studován jako metrika výkonu pro problémy s více třídami.^[54] Kvůli složitosti aproximace skutečné VUS však existují některé další přístupy ^[55] založené na rozšíření AUC jsou populárnější jako hodnotící metrika.

Vzhledem k úspěchu ROC křivek pro hodnocení klasifikačních modelů bylo zkoumáno také rozšíření ROC křivek pro další supervizované úkoly. Pozoruhodné návrhy na regresní problémy jsou takzvané křivky charakteristiky regrese (REC) ^[56] a křivky regrese ROC (RROC).^[57] Ve druhém případě se křivky RROC stávají extrémně podobnými křivkám ROC pro klasifikaci s pojmy asymetrie, dominance a konvexního trupu. Rovněž oblast pod RROC křivkami je úměrná odchylce chyb regresního modelu.

Viz také

Wikimedia Commons má média související s Provozní charakteristika přijímače.

• Brierovo skóre
• Koeficient stanovení
• Konstantní míra falešného poplachu
• Chyba detekce kompromisu
• Teorie detekce
• Skóre F1
• Falešný poplach
• Přesnost a odvolání
• ROCCET
• Celková provozní charakteristika

Reference

externí odkazy

• ROC demo
• another ROC demo
• ROC video explanation
• An Introduction to the Total Operating Characteristic: Utility in Land Change Model Evaluation
• How to run the TOC Package in R
• TOC R package on Github
• Excel Workbook for generating TOC curves

Další čtení

• Balakrishnan, Narayanaswamy (1991); Handbook of the Logistic Distribution, Marcel Dekker, Inc., ISBN  978-0-8247-8587-1
• Brown, Christopher D.; Davis, Herbert T. (2006). "Receiver operating characteristic curves and related decision measures: a tutorial". Chemometrie a inteligentní laboratorní systémy. 80: 24–38. doi:10.1016/j.chemolab.2005.05.004.
• Rotello, Caren M.; Heit, Evan; Dubé, Chad (2014). "When more data steer us wrong: replications with the wrong dependent measure perpetuate erroneous conclusions" (PDF). Psychonomic Bulletin & Review. 22 (4): 944–954. doi:10.3758/s13423-014-0759-2. PMID  25384892. S2CID  6046065.
• Fawcett, Tom (2004). "ROC Graphs: Notes and Practical Considerations for Researchers" (PDF). Písmena pro rozpoznávání vzorů. 27 (8): 882–891. CiteSeerX  10.1.1.145.4649. doi:10.1016/j.patrec.2005.10.012.
• Gonen, Mithat (2007); Analyzing Receiver Operating Characteristic Curves Using SAS, SAS Press, ISBN  978-1-59994-298-8
• Green, William H., (2003) Econometric Analysis, fifth edition, Prentice Hall, ISBN  0-13-066189-9
• Heagerty, Patrick J.; Lumley, Thomas; Pepe, Margaret S. (2000). "Time-dependent ROC Curves for Censored Survival Data and a Diagnostic Marker". Biometrie. 56 (2): 337–344. doi:10.1111/j.0006-341x.2000.00337.x. PMID  10877287. S2CID  8822160.
• Hosmer, David W.; and Lemeshow, Stanley (2000); Applied Logistic Regression, 2nd ed., New York, NY: Wiley, ISBN  0-471-35632-8
• Lasko, Thomas A.; Bhagwat, Jui G.; Zou, Kelly H.; Ohno-Machado, Lucila (2005). "The use of receiver operating characteristic curves in biomedical informatics". Časopis biomedicínské informatiky. 38 (5): 404–415. CiteSeerX  10.1.1.97.9674. doi:10.1016/j.jbi.2005.02.008. PMID  16198999.
• Mas, Jean-François; Filho, Britaldo Soares; Pontius, Jr, Robert Gilmore; Gutiérrez, Michelle Farfán; Rodrigues, Hermann (2013). "A suite of tools for ROC analysis of spatial models". ISPRS International Journal of Geo-Information. 2 (3): 869–887. Bibcode:2013IJGI....2..869M. doi:10.3390/ijgi2030869.
• Pontius, Jr, Robert Gilmore; Parmentier, Benoit (2014). "Recommendations for using the Relative Operating Characteristic (ROC)". Landscape Ecology. 29 (3): 367–382. doi:10.1007/s10980-013-9984-8. S2CID  15924380.
• Pontius, Jr, Robert Gilmore; Pacheco, Pablo (2004). "Calibration and validation of a model of forest disturbance in the Western Ghats, India 1920–1990". GeoJournal. 61 (4): 325–334. doi:10.1007/s10708-004-5049-5. S2CID  155073463.
• Pontius, Jr, Robert Gilmore; Batchu, Kiran (2003). "Using the relative operating characteristic to quantify certainty in prediction of location of land cover change in India". Transakce v GIS. 7 (4): 467–484. doi:10.1111/1467-9671.00159. S2CID  14452746.
• Pontius, Jr, Robert Gilmore; Schneider, Laura (2001). "Land-use change model validation by a ROC method for the Ipswich watershed, Massachusetts, USA". Zemědělství, ekosystémy a životní prostředí. 85 (1–3): 239–248. doi:10.1016/S0167-8809(01)00187-6.
• Stephan, Carsten; Wesseling, Sebastian; Schink, Tania; Jung, Klaus (2003). "Comparison of Eight Computer Programs for Receiver-Operating Characteristic Analysis". Klinická chemie. 49 (3): 433–439. doi:10.1373/49.3.433. PMID  12600955.
• Swets, John A.; Dawes, Robyn M.; and Monahan, John (2000); Better Decisions through Science, Scientific American, October, pp. 82–87
• Zou, Kelly H.; O'Malley, A. James; Mauri, Laura (2007). "Receiver-operating characteristic analysis for evaluating diagnostic tests and predictive models". Oběh. 115 (5): 654–7. doi:10.1161/circulationaha.105.594929. PMID  17283280.
• Zhou, Xiao-Hua; Obuchowski, Nancy A.; McClish, Donna K. (2002). Statistical Methods in Diagnostic Medicine. New York, NY: Wiley & Sons. ISBN  978-0-471-34772-9.