Binomická regrese - Binomial regression

Část série na
Regresní analýza
Modely
Lineární regrese Jednoduchá regrese Polynomiální regrese Obecný lineární model
Zobecněný lineární model Diskrétní volba Binomická regrese Binární regrese Logistická regrese Multinomiální logit Smíšený logit Probit Multinomiální probit Objednaný logit Objednaný probit jed
Víceúrovňový model Opravené efekty Náhodné efekty Lineární model se smíšenými efekty Nelineární model smíšených efektů
Nelineární regrese Neparametrické Semiparametrické Robustní Kvantilní Izotonický Hlavní součásti Nejméně úhel Místní Segmentované
Chyby v proměnných
Odhad
Nejmenší čtverce Lineární Nelineární
Obyčejný Vážený Zobecněný
Částečný Celkový Nezáporné Ridgeova regrese Regularizováno
Nejméně absolutní odchylky Opakovaně váhovaný Bayesian Bayesovský multivariační
Pozadí
Ověření regrese Střední a předpokládaná odpověď Chyby a zbytky Dobře padne Studentizovaný zbytek Gauss – Markovova věta
Matematický portál

v statistika, binomická regrese je regresní analýza technika, při které Odezva (často označované jako Y) má binomická distribuce: je to počet úspěchů v řadě ${displaystyle n}$ nezávislý Bernoulliho zkoušky, kde každá studie má pravděpodobnost úspěchu ${displaystyle p}$.^[1] V binomické regresi souvisí pravděpodobnost úspěchu vysvětlující proměnné: odpovídajícím konceptem v běžné regresi je vztahovat střední hodnotu nepozorované odpovědi k vysvětlujícím proměnným.

Binomická regrese úzce souvisí s binární regrese: pokud je odpověď a binární proměnná (dva možné výsledky), pak to lze považovat za binomické rozdělení s ${displaystyle n = 1}$ zkouška tím, že jeden z výsledků považuje za „úspěch“ a druhý za „neúspěch“, výsledky se počítají buď jako 1 nebo 0: úspěch se počítá jako 1 úspěch z 1 zkoušky a počítá se neúspěch jako 0 úspěchů z 1 zkoušky . Binomické regresní modely jsou v podstatě stejné jako binární výběrové modely, jeden typ diskrétní volba Modelka. Hlavní rozdíl je v teoretické motivaci.

v strojové učení, binomická regrese je považována za zvláštní případ pravděpodobnostní klasifikace, a tedy zobecnění binární klasifikace.

Příklad aplikace

V jednom publikovaném příkladu aplikace binomické regrese^[2] podrobnosti byly následující. Pozorovanou proměnnou výsledku bylo, zda došlo nebo nedošlo k chybě v průmyslovém procesu. Vysvětlující proměnné byly dvě: první byl prostý dvoupřípadový faktor představující, zda byla či nebyla použita upravená verze procesu, a druhá byla běžná kvantitativní proměnná měřící čistotu materiálu dodávaného do procesu.

Diskrétní model volby

Modely diskrétní volby jsou motivovány použitím teorie užitečnosti tak, abychom zvládli různé typy korelovaných a nekorelovaných voleb, zatímco binomické regresní modely jsou obecně popsány z hlediska zobecněný lineární model, pokus o zobecnění různých typů lineární regrese modely. Výsledkem je, že modely s diskrétní volbou jsou obvykle popsány primárně s a latentní proměnná označující „užitečnost“ volby a s náhodností zavedenou prostřednictvím chybová proměnná distribuovány podle konkrétního rozdělení pravděpodobnosti. Všimněte si, že samotná latentní proměnná není dodržena, pouze skutečná volba, o které se předpokládá, že byla provedena, pokud byla čistá utilita větší než 0. Modely binární regrese však upustí od latentní i chybové proměnné a předpokládají, že volba sám o sobě je náhodná proměnná, s funkce propojení který transformuje očekávanou hodnotu vybrané proměnné na hodnotu, která je pak předpovězena lineárním prediktorem. Je možné ukázat, že tyto dva způsoby jsou ekvivalentní, alespoň v případě modelů s binární volbou: funkce odkazu odpovídá kvantilová funkce distribuce chybové proměnné a funkce inverzního odkazu na kumulativní distribuční funkce (CDF) chybové proměnné. Latentní proměnná má ekvivalent, pokud si představíme generování rovnoměrně rozloženého čísla mezi 0 a 1, od kterého odečteme střední hodnotu (ve formě lineárního prediktoru transformovaného funkcí inverzního odkazu) a invertujeme znaménko. Jeden pak má číslo, jehož pravděpodobnost, že bude větší než 0, je stejná jako pravděpodobnost úspěchu ve vybrané proměnné, a lze jej považovat za latentní proměnnou označující, zda byla zvolena 0 nebo 1.

Specifikace modelu

Výsledky se považují za binomicky distribuované.^[1] Často jsou vybaveny jako zobecněný lineární model kde predikované hodnoty μ jsou pravděpodobnosti, že každá jednotlivá událost povede k úspěchu. The pravděpodobnost předpovědí je pak dáno

${displaystyle L ({oldsymbol {mu}} mid Y) = prod _ {i = 1} ^ {n} left (1_ {y_ {i} = 1} (mu _ {i}) + 1_ {y_ {i} = 0} (1-mu _ {i}) ight) ,,!}$

kde 1_A je funkce indikátoru která při události nabývá hodnoty jedna A nastane a jinak nula: v této formulaci pro jakékoli dané pozorování y_i, pouze jeden ze dvou výrazů uvnitř produktu přispívá podle toho, zda y_i= 0 nebo 1. Funkce pravděpodobnosti je přesněji definována definováním formálních parametrů μ_i jako parametrizované funkce vysvětlujících proměnných: toto definuje pravděpodobnost, pokud jde o mnohem menší počet parametrů. Přizpůsobení modelu se obvykle dosahuje použitím metody maximální pravděpodobnost k určení těchto parametrů. V praxi umožňuje použití formulace jako zobecněného lineárního modelu využít určité algoritmické nápady, které jsou použitelné v celé třídě obecnějších modelů, ale které se nevztahují na všechny problémy s maximální pravděpodobností.

Modely používané v binomické regresi lze často rozšířit na multinomická data.

Existuje mnoho metod generování hodnot μ systematickými způsoby, které umožňují interpretaci modelu; jsou diskutovány níže.

Funkce propojení

Existuje požadavek, aby modelování, které spojuje pravděpodobnosti μ s vysvětlujícími proměnnými, mělo být ve formě, která vytváří pouze hodnoty v rozsahu 0 až 1. Mnoho formulářů lze do formuláře vložit

${displaystyle {oldsymbol {mu}} = g ({oldsymbol {eta}}) ,.}$

Tady η je střední proměnná představující lineární kombinaci vysvětlujících proměnných obsahující regresní parametry. FunkceG je kumulativní distribuční funkce (CDF) některých rozdělení pravděpodobnosti. Toto rozdělení pravděpodobnosti má obvykle a Podpěra, podpora od minus nekonečna do plus nekonečna, takže jakákoli konečná hodnota η je transformována funkcí G na hodnotu v rozsahu 0 až 1.

V případě logistická regrese, funkce odkazu je protokol poměru šancí nebo logistická funkce. V případě probit, odkaz je CDF souboru normální distribuce. The lineární pravděpodobnostní model není správná specifikace binomické regrese, protože předpovědi nemusí být v rozsahu od nuly do jedné; někdy se pro tento typ dat používá, když je pravděpodobnostní prostor tam, kde dochází k interpretaci, nebo když analytikovi chybí dostatečná propracovanost, aby se vešel nebo vypočítal přibližné linearizace pravděpodobností pro interpretaci.

Srovnání mezi binomickou regresí a modely binární volby

Model binární volby předpokládá a latentní proměnná U_n, užitek (nebo čistá výhoda) této osoby n získává z přijetí opatření (na rozdíl od nečinnosti). Užitečnost, kterou osoba získá přijetím opatření, závisí na charakteristikách osoby, z nichž některé jsou badatelem sledovány a některé ne:

${displaystyle U_ {n} = {oldsymbol {eta}} cdot mathbf {s_ {n}} + varepsilon _ {n}}$

kde ${displaystyle {oldsymbol {eta}}}$ je sada regresní koeficienty a ${displaystyle mathbf {s_ {n}}}$ je sada nezávislé proměnné (také známý jako „rysy“) popisující osobu n, které mohou být buď diskrétní “fiktivní proměnné "nebo pravidelné spojité proměnné. ${displaystyle varepsilon _ {n}}$ je náhodná proměnná specifikování „šumu“ nebo „chyby“ v predikci, předpokládá se, že bude distribuována podle nějaké distribuce. Normálně, pokud je v distribuci parametr střední nebo odchylky, nemůže být identifikováno, takže parametry jsou nastaveny na vhodné hodnoty - konvence obvykle znamená 0, rozptyl 1.

Osoba přijme akci, y_n = 1, pokud U_n > 0. Nepozorovaný termín, ε_n, se předpokládá, že má logistická distribuce.

Specifikace je stručně napsána jako:

• • U_n = βs_n + ε_n
  • ${displaystyle Y_ {n} = {egin {cases} 1, & {ext {if}} U_ {n}> 0, 0, & {ext {if}} U_ {n} leq 0end {cases}}}$
  • ε ∼ logistické, Standard normální, atd.

Napíšeme to trochu jinak:

• • U_n = βs_n − E_n
  • ${displaystyle Y_ {n} = {egin {cases} 1, & {ext {if}} U_ {n}> 0, 0, & {ext {if}} U_ {n} leq 0end {cases}}}$
  • E ∼ logistické, Standard normální, atd.

Tady jsme^{[SZO? ]} provedli střídání E_n = −ε_n. To změní náhodnou proměnnou na mírně odlišnou, definovanou nad negovanou doménou. Jak se to stane, rozdělení chyb jsme^{[SZO? ]} obvykle zvážit (např. logistická distribuce, Standard normální distribuce, Standard Studentova t-distribuce, atd.) jsou symetrické kolem 0, a tudíž distribuce končí E_n je totožný s distribucí přes ε_n.

Označte kumulativní distribuční funkce (CDF) ze dne ${displaystyle e}$ tak jako ${displaystyle F_ {e},}$ a kvantilová funkce (inverzní CDF) z ${displaystyle e}$ tak jako ${displaystyle F_ {e} ^ {- 1}.}$

Všimněte si, že

${displaystyle {egin {aligned} Pr (Y_ {n} = 1) & = Pr (U_ {n}> 0) [6pt] & = Pr ({oldsymbol {eta}} cdot mathbf {s_ {n}} - e_ {n}> 0) [6pt] & = Pr (-e_ {n}> - {oldsymbol {eta}} cdot mathbf {s_ {n}}) [6pt] & = Pr (e_ {n} leq {oldsymbol {eta}} cdot mathbf {s_ {n}}) [6pt] & = F_ {e} ({oldsymbol {eta}} cdot mathbf {s_ {n}}) konec {zarovnáno}}}$

Od té doby ${displaystyle Y_ {n}}$ je Bernoulliho soud, kde ${displaystyle mathbb {E} [Y_ {n}] = Pr (Y_ {n} = 1),}$ my^{[SZO? ]} mít

${displaystyle mathbb {E} [Y_ {n}] = F_ {e} ({oldsymbol {eta}} cdot mathbf {s_ {n}})}$

nebo ekvivalentně

${displaystyle F_ {e} ^ {- 1} (mathbb {E} [Y_ {n}]) = {oldsymbol {eta}} cdot mathbf {s_ {n}}.}$

Všimněte si, že je to přesně ekvivalentní s binomickým regresním modelem vyjádřeným ve formalismu zobecněný lineární model.

Li ${displaystyle e_ {n} sim {mathcal {N}} (0,1),}$ tj. distribuován jako standardní normální rozdělení, pak

${displaystyle Phi ^ {- 1} (mathbb {E} [Y_ {n}]) = {oldsymbol {eta}} cdot mathbf {s_ {n}}}$

což je přesně a probit model.

Li ${displaystyle e_ {n} sim operatorname {Logistic} (0,1),}$ tj. distribuováno jako standard logistická distribuce s průměrem 0 a parametr měřítka 1, pak odpovídající kvantilová funkce je funkce logit, a

${displaystyle operatorname {logit} (mathbb {E} [Y_ {n}]) = {oldsymbol {eta}} cdot mathbf {s_ {n}}}$

což je přesně a logitový model.

Všimněte si, že dva různé formalizmy - zobecněné lineární modely (GLM) a diskrétní volba modely - jsou ekvivalentní v případě jednoduchých modelů s binární volbou, ale lze je rozšířit, pokud se liší způsoby:

• GLM mohou snadno zpracovávat libovolně distribuované proměnné odezvy (závislé proměnné ), ne jen kategorické proměnné nebo pořadové proměnné, na které jsou modely s diskrétní volbou omezeny svou povahou. GLM se také neomezují pouze na funkce propojení, které jsou kvantilové funkce nějaké distribuce, na rozdíl od použití chybová proměnná, které musí mít za předpokladu, že a rozdělení pravděpodobnosti.
• Na druhou stranu, protože modely diskrétní volby jsou popsány jako typy generativní modely, je koncepčně snazší je rozšířit do komplikovaných situací s více, případně korelovanými, možnostmi pro každou osobu nebo jinými variantami.

Interpretace / odvození latentní proměnné

A latentní variabilní model zahrnující binomickou pozorovanou proměnnou Y mohou být konstruovány tak, že Y souvisí s latentní proměnnou Y * přes

${displaystyle Y = {egin {cases} 0, & {mbox {if}} Y ^ {*}> 0 1, & {mbox {if}} Y ^ {*} <0.end {cases}}}$

Latentní proměnná Y * pak souvisí se sadou regresních proměnných X podle modelu

${displaystyle Y ^ {*} = X eta + epsilon.}$

To má za následek binomický regresní model.

Rozptyl ϵ nelze identifikovat a pokud to není zajímavé, často se předpokládá, že se rovná jedné. Li ϵ je normálně distribuován, pak je vhodným modelem probit a pokud ϵ je log-Weibull distribuován, pak je vhodný logit. Li ϵ je rovnoměrně rozloženo, pak je vhodný lineární model pravděpodobnosti.

Viz také

• Lineární model pravděpodobnosti
• Poissonova regrese
• Prediktivní modelování

Poznámky

Reference

• Cox, D. R.; Snell, E. J. (1981). Aplikovaná statistika: Principy a příklady. Chapman a Hall. ISBN  0-412-16570-8.