Plattovo měřítko - Platt scaling

v strojové učení, Plattovo měřítko nebo Plattova kalibrace je způsob transformace výstupů a klasifikační model do rozdělení pravděpodobnosti do tříd. Metodu vynalezl John Platt v kontextu podporovat vektorové stroje,^[1]nahrazení dřívější metody metodou Vapnik, ale lze jej použít na jiné klasifikační modely.^[2]Plattovo škálování funguje namontováním a logistická regrese model do skóre klasifikátoru.

Popis

Zvažte problém binární klasifikace: pro vstupy X, chceme zjistit, zda patří do jedné ze dvou tříd, libovolně označených +1 a −1. Předpokládáme, že problém s klasifikací bude vyřešen funkcí s reálnou hodnotou F, předpovídáním štítku třídy y = podepsat (F(X)).^[A] U mnoha problémů je vhodné získat pravděpodobnost P (y=1|X), tj. klasifikace, která poskytuje nejen odpověď, ale také určitou míru jistoty ohledně odpovědi. Některé klasifikační modely takovou pravděpodobnost neposkytují nebo poskytují špatné odhady pravděpodobnosti.

Plattovo škálování je algoritmus k řešení výše uvedeného problému. Vytváří odhady pravděpodobnosti

${ displaystyle mathrm {P} (y = 1 | x) = { frac {1} {1+ exp (Af (x) + B)}}}$,

tj. a logistické transformace skóre klasifikátoru F(X), kde A a B jsou dva skalární parametry, které se algoritmus naučí. Všimněte si, že předpovědi lze nyní dělat podle y = 1 iff P (y=1|X) > 1/2; -li B ≠ 0odhady pravděpodobnosti obsahují opravu ve srovnání se starou rozhodovací funkcí y = podepsat (F(X)).^[3]

Parametry A a B jsou odhadovány pomocí a maximální pravděpodobnost metoda, která se optimalizuje na stejné tréninkové sadě jako u původního klasifikátoru F. Vyhnout se nadměrné vybavení k této sadě, natažený kalibrační sada nebo křížová validace lze použít, ale Platt navíc navrhuje transformaci štítků y zaměřit pravděpodobnosti

${ displaystyle t _ {+} = { frac {N _ {+} + 1} {N _ {+} + 2}}}$ pro pozitivní vzorky (y = 1), a

${ displaystyle t _ {-} = { frac {1} {N _ {-} + 2}}}$ pro negativní vzorky, y = -1.

Tady, N₊ a N₋ jsou počet pozitivních a negativních vzorků. Tato transformace následuje aplikací Bayesovo pravidlo na model dat mimo vzorek, který má před štítky uniformu.^[1] Konstanty 1 a 2 v čitateli a jmenovateli jsou odvozeny z aplikace Laplace Smoothing.

Platt sám navrhl použít Algoritmus Levenberg – Marquardt optimalizovat parametry, ale a Newtonův algoritmus později bylo navrženo, že by mělo být více numericky stabilní.^[4]

Analýza

Ukázalo se, že Plattovo škálování je efektivní pro SVM i pro jiné typy klasifikačních modelů, včetně posíleno modely a dokonce naivní Bayesovi klasifikátoři, které produkují zkreslené rozdělení pravděpodobnosti. Je zvláště efektivní pro metody s maximálním rozpětím, jako jsou SVM a zesílené stromy, které vykazují sigmoidální zkreslení v jejich předpokládaných pravděpodobnostech, ale má menší účinek s dobřekalibrováno modely jako logistická regrese, vícevrstvé perceptrony, a náhodné lesy.^[2]

Alternativním přístupem ke kalibraci pravděpodobnosti je přizpůsobení izotonická regrese model na špatně kalibrovaný model pravděpodobnosti. Ukázalo se, že to funguje lépe než Plattovo škálování, zvláště když je k dispozici dostatek tréninkových dat.^[2]

Viz také

• Relevance vektorový stroj: pravděpodobnostní alternativa k podpůrnému vektorovému stroji

Poznámky

Reference