Regresní analýza - Regression analysis

Část série na
Regresní analýza
Modely
Lineární regrese Jednoduchá regrese Polynomiální regrese Obecný lineární model
Zobecněný lineární model Diskrétní volba Binomická regrese Binární regrese Logistická regrese Multinomiální logit Smíšený logit Probit Multinomiální probit Objednaný logit Objednaný probit jed
Víceúrovňový model Opravené efekty Náhodné efekty Lineární model se smíšenými efekty Nelineární model smíšených efektů
Nelineární regrese Neparametrické Semiparametrické Robustní Kvantilní Izotonický Hlavní součásti Nejméně úhel Místní Segmentované
Chyby v proměnných
Odhad
Nejmenší čtverce Lineární Nelineární
Obyčejný Vážený Zobecněný
Částečný Celkový Nezáporné Ridgeova regrese Regularizováno
Nejméně absolutní odchylky Opakovaně váhovaný Bayesian Bayesovský multivariační
Pozadí
Ověření regrese Střední a předpokládaná odpověď Chyby a zbytky Dobře padne Studentizovaný zbytek Gauss – Markovova věta
Matematický portál

Regresní linie pro 50 náhodných bodů v a Gaussovo rozdělení kolem řádku y = 1,5x + 2 (nezobrazeno).

v statistické modelování, regresní analýza je sada statistických procesů pro odhadování vztahy mezi a závislá proměnná (často se nazývá „proměnná výsledku“) a jedna nebo více nezávislé proměnné (často nazývané „prediktory“, „kovariáty“ nebo „funkce“). Nejběžnější formou regresní analýzy je lineární regrese, ve kterém výzkumník najde linii (nebo složitější lineární kombinace ), který nejlépe odpovídá údajům podle konkrétního matematického kritéria. Například metoda obyčejné nejmenší čtverce vypočítá jedinečnou čáru (nebo nadrovina ), který minimalizuje součet čtvercových rozdílů mezi skutečnými daty a danou čarou (nebo nadrovinou). Z konkrétních matematických důvodů (viz lineární regrese ), toto umožňuje výzkumníkovi odhadnout podmíněné očekávání (nebo populace průměrná hodnota ) závislé proměnné, když nezávislé proměnné nabývají dané sady hodnot. Méně běžné formy regrese používají mírně odlišné postupy k odhadu alternativy parametry umístění (např., kvantilní regrese nebo Analýza nutných podmínek^[1]) nebo odhad podmíněného očekávání v širší kolekci nelineárních modelů (např. neparametrická regrese ).

Regresní analýza se primárně používá pro dva koncepčně odlišné účely. Nejprve je široce používána regresní analýza předpověď a předpovídání, kde se jeho použití podstatně překrývá s oborem strojové učení. Za druhé, v některých situacích lze k odvození použít regresní analýzu kauzální vztahy mezi nezávislou a závislou proměnnou. Důležité je, že regrese samy o sobě odhalují pouze vztahy mezi závislou proměnnou a kolekcí nezávislých proměnných v pevné datové sadě. Chcete-li použít regresi k predikci nebo k odvození kauzálních vztahů, musí výzkumník pečlivě zdůvodnit, proč stávající vztahy mají prediktivní sílu pro nový kontext nebo proč má vztah mezi dvěma proměnnými kauzální interpretaci. To je obzvláště důležité, když vědci doufají, že odhadnou kauzální vztahy pomocí pozorovací údaje.^[2][3]

Dějiny

Nejčasnější formou regrese byla metoda nejmenších čtverců, kterou vydalo Legendre v roce 1805,^[4] a tím Gauss v roce 1809.^[5] Legendre a Gauss aplikovali metodu na problém stanovení, z astronomických pozorování, oběžných drah těles kolem Slunce (většinou komet, ale také později nově objevených planetek). Gauss publikoval další vývoj teorie nejmenších čtverců v roce 1821,^[6] včetně verze Gauss – Markovova věta.

Pojem „regrese“ vytvořil Francis Galton v devatenáctém století popsat biologický jev. Fenomén spočíval v tom, že výšky potomků vysokých předků mají tendenci klesat směrem k normálnímu průměru (fenomén známý také jako regrese směrem k průměru ).^[7][8]Pro Galtona měla regrese pouze tento biologický význam,^[9][10] ale jeho práce byla později rozšířena o Udny Yule a Karl Pearson do obecnějšího statistického kontextu.^[11][12] V díle Yule a Pearsona společná distribuce předpokládá se, že odpověď a vysvětlující proměnné jsou Gaussian. Tento předpoklad byl oslaben R.A. Rybář ve svých pracích z let 1922 a 1925.^[13][14][15] Fisher předpokládal, že podmíněné rozdělení proměnné odezvy je Gaussian, ale společné rozdělení nemusí být. V tomto ohledu se Fisherův předpoklad blíží Gaussově formulaci z roku 1821.

V padesátých a šedesátých letech používali ekonomové k výpočtu regresí elektromechanické stolní „kalkulačky“. Před rokem 1970 trvalo obdržení výsledku z jedné regrese někdy až 24 hodin.^[16]

Regresní metody jsou i nadále oblastí aktivního výzkumu. V posledních desetiletích byly vyvinuty nové metody robustní regrese, regrese zahrnující korelované odpovědi jako např časové řady a růstové křivky, regrese, ve které prediktorem (nezávislá proměnná) nebo proměnnými odezvy jsou křivky, obrázky, grafy nebo jiné složité datové objekty, regresní metody pro různé typy chybějících dat, neparametrická regrese, Bayesian metody regrese, regrese, ve které se proměnné prediktoru měří s chybou, regrese s více proměnnými prediktoru než pozorování a kauzální závěr s regresí.

Regresní model

V praxi vědci nejprve vyberou model, který by chtěli odhadnout, a poté použijí zvolenou metodu (např. obyčejné nejmenší čtverce ) k odhadu parametrů daného modelu. Regresní modely zahrnují následující komponenty:

• The neznámé parametry, často označované jako a skalární nebo vektor ${ displaystyle beta}$.
• The nezávislé proměnné, které jsou pozorovány v datech a jsou často označovány jako vektor ${ displaystyle X_ {i}}$ (kde ${ displaystyle i}$ označuje řádek dat).
• The závislá proměnná, které jsou pozorovány v datech a často označovány pomocí skaláru ${ displaystyle Y_ {i}}$.
• The chybové podmínky, což jsou ne přímo pozorovány v datech a jsou často označovány pomocí skaláru ${ displaystyle e_ {i}}$.

V různých oblasti použití, místo terminologie se používají různé terminologie závislé a nezávislé proměnné.

Většina regresních modelů to navrhuje ${ displaystyle Y_ {i}}$ je funkce ${ displaystyle X_ {i}}$ a ${ displaystyle beta}$, s ${ displaystyle e_ {i}}$ představující aditivní chybový termín které mohou zastupovat nemodelované determinanty ${ displaystyle Y_ {i}}$ nebo náhodný statistický šum:

${ displaystyle Y_ {i} = f (X_ {i}, beta) + e_ {i}}$

Cílem vědců je odhadnout funkci ${ displaystyle f (X_ {i}, beta)}$ který nejvíce odpovídá datům. K provedení regresní analýzy je forma funkce ${ displaystyle f}$ musí být specifikováno. Někdy je forma této funkce založena na znalostech o vztahu mezi nimi ${ displaystyle Y_ {i}}$ a ${ displaystyle X_ {i}}$ to se nespoléhá na data. Pokud takové znalosti nejsou k dispozici, je k dispozici flexibilní nebo pohodlný formulář ${ displaystyle f}$ je vybrán. Například může navrhnout jednoduchá jednorozměrná regrese ${ displaystyle f (X_ {i}, beta) = beta _ {0} + beta _ {1} X_ {i}}$, což naznačuje, že výzkumník věří ${ displaystyle Y_ {i} = beta _ {0} + beta _ {1} X_ {i} + e_ {i}}$ být přiměřenou aproximací pro statistický proces generující data.

Jakmile vědci určí jejich preferované statistický model, různé formy regresní analýzy poskytují nástroje pro odhad parametrů ${ displaystyle beta}$. Například, nejmenší čtverce (včetně jeho nejběžnější varianty, obyčejné nejmenší čtverce ) najde hodnotu ${ displaystyle beta}$ který minimalizuje součet čtvercových chyb ${ displaystyle sum _ {i} (Y_ {i} -f (X_ {i}, beta)) ^ {2}}$. Daná regresní metoda nakonec poskytne odhad ${ displaystyle beta}$, obvykle označeno ${ displaystyle { hat { beta}}}$ rozlišit odhad od skutečné (neznámé) hodnoty parametru, která generovala data. Pomocí tohoto odhadu pak může výzkumník použít přizpůsobená hodnota ${ displaystyle { hat {Y_ {i}}} = f (X_ {i}, { hat { beta}})}$ pro predikci nebo pro posouzení přesnosti modelu při vysvětlování údajů. Zda se výzkumník skutečně zajímá o odhad ${ displaystyle { hat { beta}}}$ nebo předpokládaná hodnota ${ displaystyle { hat {Y_ {i}}}}$ bude záviset na kontextu a jejich cílech. Jak je popsáno v obyčejné nejmenší čtverce, nejmenších čtverců je široce používán, protože odhadované funkce ${ displaystyle f (X_ {i}, { hat { beta}})}$ přibližuje podmíněné očekávání ${ displaystyle E (Y_ {i} | X_ {i})}$.^[5] Alternativní varianty (např. nejmenší absolutní odchylky nebo kvantilní regrese ) jsou užitečné, když výzkumníci chtějí modelovat další funkce ${ displaystyle f (X_ {i}, beta)}$.

Je důležité si uvědomit, že k odhadu regresního modelu musí být dostatek dat. Předpokládejme například, že k nim má přístup výzkumný pracovník ${ displaystyle N}$ řádky dat s jednou závislou a dvěma nezávislými proměnnými: ${ displaystyle (Y_ {i}, X_ {1i}, X_ {2i})}$. Předpokládejme dále, že výzkumník chce odhadnout dvojrozměrný lineární model pomocí nejmenší čtverce: ${ displaystyle Y_ {i} = beta _ {0} + beta _ {1} X_ {1i} + beta _ {2} X_ {2i} + e_ {i}}$. Pokud má výzkumný pracovník přístup pouze k ${ displaystyle N = 2}$ datové body, pak mohli najít nekonečně mnoho kombinací ${ displaystyle ({ hat { beta}} _ {0}, { hat { beta}} _ {1}, { hat { beta}} _ {2})}$ které vysvětlují data stejně dobře: lze zvolit libovolnou kombinaci, která vyhovuje ${ displaystyle { hat {Y}} _ {i} = { hat { beta}} _ {0} + { hat { beta}} _ {1} X_ {1i} + { hat { beta}} _ {2} X_ {2i}}$, které všechny vedou k ${ displaystyle sum _ {i} { hat {e}} _ {i} ^ {2} = sum _ {i} ({ hat {Y}} _ {i} - ({ hat { beta}} _ {0} + { hat { beta}} _ {1} X_ {1i} + { hat { beta}} _ {2} X_ {2i})) ^ {2} = 0}$ a jsou tedy platnými řešeními, která minimalizují součet čtverců zbytky. Chcete-li pochopit, proč existuje nekonečně mnoho možností, nezapomeňte, že systém ${ displaystyle N = 2}$ rovnice má být vyřešena pro 3 neznámé, což dělá systém podurčeno. Alternativně lze vizualizovat nekonečně mnoho trojrozměrných rovin, které procházejí ${ displaystyle N = 2}$ pevné body.

Obecněji lze odhadnout a nejmenší čtverce model s ${ displaystyle k}$ odlišné parametry, jeden musí mít ${ displaystyle N geq k}$ odlišné datové body. Li ${ displaystyle N$, potom obecně neexistuje sada parametrů, která by dokonale odpovídala datům. Množství ${ displaystyle N-k}$ se často objevuje v regresní analýze a označuje se jako stupně svobody v modelu. Navíc pro odhad modelu nejmenších čtverců nezávislé proměnné ${ displaystyle (X_ {1i}, X_ {2i}, ..., X_ {ki})}$ musí být lineárně nezávislé: jeden musí ne být schopen rekonstruovat kteroukoli z nezávislých proměnných přidáním a vynásobením zbývajících nezávislých proměnných. Jak je uvedeno v obyčejné nejmenší čtverce, tato podmínka to zajišťuje ${ displaystyle X ^ {T} X}$ je invertibilní matice a proto je to jedinečné řešení ${ displaystyle { hat { beta}}}$ existuje.

Základní předpoklady

Regrese je sama o sobě jednoduše výpočtem využívajícím data. Za účelem interpretace výstupu regrese jako smysluplné statistické veličiny, která měří vztahy v reálném světě, se vědci často spoléhají na řadu klasických předpoklady. Mezi ně často patří:

• Vzorek je reprezentativní pro celou populaci.
• Nezávislé proměnné jsou měřeny bez chyby.
• Odchylky od modelu mají očekávanou hodnotu nula, podmíněné kovariátami: ${ displaystyle E (e_ {i} | X_ {i}) = 0}$
• Rozptyl zbytků ${ displaystyle e_ {i}}$ je konstantní napříč pozorováními (homoscedasticity ).
• Zbytky ${ displaystyle e_ {i}}$ jsou nesouvisí navzájem. Matematicky variance – kovarianční matice chyb je úhlopříčka.

Několik podmínek stačí k tomu, aby odhadce nejmenších čtverců měla žádoucí vlastnosti: zejména Gauss – Markov předpoklady naznačují, že odhady parametrů budou objektivní, konzistentní, a účinný ve třídě lineárních nezaujatých odhadů. Odborníci vyvinuli řadu metod k udržení některých nebo všech těchto žádoucích vlastností v reálném prostředí, protože je nepravděpodobné, že by tyto klasické předpoklady platily přesně. Například modelování chyby v proměnných může vést k rozumným odhadům nezávislých proměnných měřených s chybami. Standardní chyby konzistentní s heteroscedasticitou povolit rozptyl ${ displaystyle e_ {i}}$ změnit napříč hodnotami ${ displaystyle X_ {i}}$. Korelované chyby, které existují v podmnožinách dat nebo se řídí specifickými vzory, lze zpracovat pomocí seskupené standardní chyby, geograficky vážená regresenebo Newey – West standardní chyby, mimo jiné techniky. Když řádky dat odpovídají místům ve vesmíru, volba způsobu modelování ${ displaystyle e_ {i}}$ v rámci geografických jednotek může mít důležité důsledky.^[17][18] Podpole ekonometrie je do značné míry zaměřen na vývoj technik, které umožňují výzkumným pracovníkům činit rozumné závěry z reálného světa v reálných podmínkách, kde klasické předpoklady neplatí přesně.

Lineární regrese

V lineární regrese je specifikací modelu to, že závislá proměnná, ${ displaystyle y_ {i}}$ je lineární kombinace z parametry (ale nemusí být lineární v nezávislé proměnné). Například v jednoduchá lineární regrese pro modelování ${ displaystyle n}$ datové body existuje jedna nezávislá proměnná: ${ displaystyle x_ {i}}$a dva parametry, ${ displaystyle beta _ {0}}$ a ${ displaystyle beta _ {1}}$:

přímka: ${ displaystyle y_ {i} = beta _ {0} + beta _ {1} x_ {i} + varepsilon _ {i}, quad i = 1, tečky, n. !}$

Ve vícenásobné lineární regrese existuje několik nezávislých proměnných nebo funkcí nezávislých proměnných.

Přidání termínu do ${ displaystyle x_ {i} ^ {2}}$ k předchozí regresi dává:

parabola: ${ displaystyle y_ {i} = beta _ {0} + beta _ {1} x_ {i} + beta _ {2} x_ {i} ^ {2} + varepsilon _ {i}, i = 1, tečky, n. !}$

Toto je stále lineární regrese; ačkoli výraz na pravé straně je v nezávislé proměnné kvadratický ${ displaystyle x_ {i}}$, je v parametrech lineární ${ displaystyle beta _ {0}}$, ${ displaystyle beta _ {1}}$ a ${ displaystyle beta _ {2}.}$

V obou případech, ${ displaystyle varepsilon _ {i}}$ je chybný výraz a dolní index ${ displaystyle i}$ indexuje konkrétní pozorování.

Vracíme naši pozornost k přímému případu: Vzhledem k náhodnému vzorku z populace odhadneme parametry populace a získáme model lineární regrese vzorku:

${ displaystyle { widehat {y}} _ {i} = { widehat { beta}} _ {0} + { widehat { beta}} _ {1} x_ {i}.}$

The reziduální, ${ displaystyle e_ {i} = y_ {i} - { widehat {y}} _ {i}}$, je rozdíl mezi hodnotou závislé proměnné předpovězené modelem, ${ displaystyle { widehat {y}} _ {i}}$a skutečná hodnota závislé proměnné, ${ displaystyle y_ {i}}$. Jednou z metod odhadu je obyčejné nejmenší čtverce. Tato metoda získává odhady parametrů, které minimalizují součet čtverců zbytky, SSR:

${ displaystyle SSR = součet _ {i = 1} ^ {n} e_ {i} ^ {2}. ,}$

Minimalizace této funkce vede k sadě normální rovnice, sada simultánních lineárních rovnic v parametrech, které jsou řešeny tak, aby poskytly odhady parametrů, ${ displaystyle { widehat { beta}} _ {0}, { widehat { beta}} _ {1}}$.

Ilustrace lineární regrese na souboru dat.

V případě jednoduché regrese jsou vzorce pro odhady nejmenších čtverců

${ displaystyle { widehat { beta}} _ {1} = { frac { sum (x_ {i} - { bar {x}}) (y_ {i} - { bar {y}}) } { sum (x_ {i} - { bar {x}}) ^ {2}}}}$

${ displaystyle { widehat { beta}} _ {0} = { bar {y}} - { widehat { beta}} _ {1} { bar {x}}}$

kde ${ displaystyle { bar {x}}}$ je znamenat (průměr) z ${ displaystyle x}$ hodnoty a ${ displaystyle { bar {y}}}$ je průměr z ${ displaystyle y}$ hodnoty.

Za předpokladu, že termín chyby populace má konstantní rozptyl, je odhad této odchylky dán vztahem:

${ displaystyle { hat { sigma}} _ { varepsilon} ^ {2} = { frac {SSR} {n-2}}. ,}$

Tomu se říká střední kvadratická chyba (MSE) regrese. Jmenovatelem je velikost vzorku snížená o počet parametrů modelu odhadovaných ze stejných údajů, ${ displaystyle (n-p)}$ pro ${ displaystyle p}$ regresory nebo ${ displaystyle (n-p-1)}$ pokud je použit odposlech.^[19] V tomto případě, ${ displaystyle p = 1}$ jmenovatelem je ${ displaystyle n-2}$.

The standardní chyby odhadů parametrů je dáno vztahem

${ displaystyle { hat { sigma}} _ { beta _ {1}} = { hat { sigma}} _ { varepsilon} { sqrt { frac {1} { sum (x_ {i } - { bar {x}}) ^ {2}}}}}$

${ displaystyle { hat { sigma}} _ { beta _ {0}} = { hat { sigma}} _ { varepsilon} { sqrt {{ frac {1} {n}} + { frac {{ bar {x}} ^ {2}} { sum (x_ {i} - { bar {x}}) ^ {2}}}}} = { hat { sigma}} _ { beta _ {1}} { sqrt { frac { sum x_ {i} ^ {2}} {n}}}.}$

Za dalšího předpokladu, že termín chyby populace je normálně distribuován, může výzkumník použít tyto odhadované standardní chyby k vytvoření intervaly spolehlivosti a chování testy hypotéz o populační parametry.

Obecný lineární model

V obecnějším modelu vícenásobné regrese existují ${ displaystyle p}$ nezávislé proměnné:

${ displaystyle y_ {i} = beta _ {1} x_ {i1} + beta _ {2} x_ {i2} + cdots + beta _ {p} x_ {ip} + varepsilon _ {i} , ,}$

kde ${ displaystyle x_ {ij}}$ je ${ displaystyle i}$-té pozorování na ${ displaystyle j}$-tá nezávislá proměnná. Pokud má první nezávislá proměnná hodnotu 1 pro všechny ${ displaystyle i}$, ${ displaystyle x_ {i1} = 1}$, pak ${ displaystyle beta _ {1}}$ se nazývá regresní zachycení.

Odhady parametrů nejmenších čtverců jsou získány z ${ displaystyle p}$ normální rovnice. Zbytek lze zapsat jako

${ displaystyle varepsilon _ {i} = y_ {i} - { hat { beta}} _ {1} x_ {i1} - cdots - { hat { beta}} _ {p} x_ {ip }.}$

The normální rovnice jsou

${ displaystyle sum _ {i = 1} ^ {n} sum _ {k = 1} ^ {p} x_ {ij} x_ {ik} { hat { beta}} _ {k} = součet _ {i = 1} ^ {n} x_ {ij} y_ {i}, j = 1, tečky, str. ,}$

V maticové notaci se normální rovnice zapisují jako

${ displaystyle mathbf {(X ^ { top} X) { hat { boldsymbol { beta}}} = {} X ^ { top} Y}, ,}$

Kde ${ displaystyle ij}$ prvek ${ displaystyle mathbf {X}}$ je ${ displaystyle x_ {ij}}$, ${ displaystyle i}$ prvek vektoru sloupce ${ displaystyle Y}$ je ${ displaystyle y_ {i}}$a ${ displaystyle j}$ prvek ${ displaystyle { hat { boldsymbol { beta}}}}$ je ${ displaystyle { hat { beta}} _ {j}}$. Tím pádem ${ displaystyle mathbf {X}}$ je ${ displaystyle n krát p}$, ${ displaystyle Y}$ je ${ displaystyle n krát 1}$, a ${ displaystyle { hat { boldsymbol { beta}}}}$ je ${ displaystyle p krát 1}$. Řešení je

${ displaystyle mathbf {{ hat { boldsymbol { beta}}} = (X ^ { top} X) ^ {- 1} X ^ { top} Y}. ,}$

Diagnostika

Jakmile byl sestaven regresní model, může být důležité potvrdit dobrota fit modelu a statistická významnost odhadovaných parametrů. Mezi běžně používané kontroly dobré shody patří R na druhou, analýzy vzoru zbytky a testování hypotéz. Statistickou významnost lze ověřit pomocí F-test celkového přizpůsobení, následovaný t-testy jednotlivých parametrů.

Interpretace těchto diagnostických testů závisí do značné míry na předpokladech modelu. Ačkoli lze ke zneplatnění modelu použít zkoumání zbytků, výsledky a t-test nebo F-test je někdy obtížnější interpretovat, pokud jsou porušeny předpoklady modelu. Například pokud chybový člen nemá normální rozdělení, u malých vzorků nebudou odhadované parametry následovat normální rozdělení a zkomplikují odvození. U relativně velkých vzorků však a teorém centrálního limitu lze vyvolat tak, že testování hypotéz může pokračovat pomocí asymptotických aproximací.

Omezené závislé proměnné

Omezené závislé proměnné, což jsou proměnné odpovědi, které jsou kategorické proměnné nebo jsou proměnné, jejichž omezení spadají pouze do určitého rozsahu, často vznikají v ekonometrie.

Proměnná odezvy může být nespojitá („omezená“, aby ležela na nějaké podmnožině reálné čáry). U binárních (nula nebo jedna) proměnných, pokud analýza probíhá s lineární regresí nejmenších čtverců, se model nazývá lineární pravděpodobnostní model. Mezi nelineární modely pro binárně závislé proměnné patří probit a logitový model. The vícerozměrný probit model je standardní metoda odhadu společného vztahu mezi několika binárně závislými proměnnými a některými nezávislými proměnnými. Pro kategorické proměnné s více než dvěma hodnotami je multinomiální logit. Pro pořadové proměnné s více než dvěma hodnotami existují objednal logit a objednaný probit modely. Cenzurované regresní modely lze použít, když je závislá proměnná pozorována pouze někdy, a Heckmanova korekce lze použít modely typu, když vzorek není náhodně vybrán ze sledované populace. Alternativou k těmto postupům je lineární regrese založená na polychorická korelace (nebo polyseriální korelace) mezi kategorickými proměnnými. Takové postupy se liší v předpokladech o distribuci proměnných v populaci. Pokud je proměnná kladná s nízkými hodnotami a představuje opakování výskytu události, pak počítejte modely jako Poissonova regrese nebo negativní binomický lze použít model.

Nelineární regrese

Pokud funkce modelu není v parametrech lineární, musí být součet čtverců minimalizován iteračním postupem. To přináší mnoho komplikací, které jsou shrnuty v Rozdíly mezi lineárními a nelineárními nejmenšími čtverci.

Interpolace a extrapolace

Uprostřed představuje interpolovaná přímka nejlepší rovnováhu mezi body nad a pod touto přímkou. Tečkované čáry představují dvě krajní čáry. První křivky představují odhadované hodnoty. Vnější křivky představují předpověď pro nové měření.^[20]

Regresní modely předpovídají hodnotu Y proměnná se známými hodnotami X proměnné. Předpověď v rámci rozsah hodnot v datové sadě použité pro přizpůsobení modelu je známý neformálně jako interpolace. Předpověď mimo tento rozsah dat je znám jako extrapolace. Provedení extrapolace silně závisí na předpokladech regrese. Čím dále extrapolace jde mimo data, tím větší je prostor pro selhání modelu kvůli rozdílům mezi předpoklady a ukázkovými daty nebo skutečnými hodnotami.

Obecně se doporučuje^{[Citace je zapotřebí ]} že při provádění extrapolace je třeba doprovázet odhadovanou hodnotu závislé proměnné pomocí a interval predikce což představuje nejistotu. Takové intervaly mají tendenci rychle se rozšiřovat, protože hodnoty nezávislých proměnných se pohybovaly mimo rozsah pokrytý pozorovanými údaji.

Z těchto a jiných důvodů mají někteří sklon říkat, že by mohlo být nerozumné podstoupit extrapolaci.^[21]

To však nepokrývá celou sadu chyb při modelování, které mohou být provedeny: zejména předpoklad určité formy vztahu mezi Y a X. Správně provedená regresní analýza bude zahrnovat posouzení toho, jak dobře se předpokládaná forma shoduje s pozorovanými údaji, ale může tak činit pouze v rozsahu hodnot nezávislých proměnných, které jsou skutečně k dispozici. To znamená, že jakákoli extrapolace je obzvláště závislá na předpokladech o strukturní formě regresního vztahu. Poradenství o nejlepších postupech zde^{[Citace je zapotřebí ]} je, že vztah lineární v proměnných a lineární v parametrech by neměl být zvolen jednoduše pro výpočetní pohodlí, ale že při konstrukci regresního modelu by měly být použity všechny dostupné znalosti. Pokud tato znalost zahrnuje skutečnost, že závislá proměnná nemůže jít mimo určitý rozsah hodnot, lze ji využít při výběru modelu - i když pozorovaná datová sada nemá žádné hodnoty, zejména v blízkosti těchto hranic. Důsledky tohoto kroku výběru vhodné funkční formy pro regresi mohou být velké, když se vezme v úvahu extrapolace. Může přinejmenším zajistit, aby jakákoli extrapolace vyplývající z přizpůsobeného modelu byla „realistická“ (nebo v souladu se známým).

Výpočty výkonu a velikosti vzorku

Neexistují žádné obecně dohodnuté metody pro spojování počtu pozorování s počtem nezávislých proměnných v modelu. Jedno pravidlo předpokládané Goodem a Hardinem je ${ displaystyle N = m ^ {n}}$, kde ${ displaystyle N}$ je velikost vzorku, ${ displaystyle n}$ je počet nezávislých proměnných a ${ displaystyle m}$ je počet pozorování potřebných k dosažení požadované přesnosti, pokud by model měl pouze jednu nezávislou proměnnou.^[22] Například výzkumný pracovník vytváří model lineární regrese pomocí datové sady, která obsahuje 1 000 pacientů (${ displaystyle N}$). Pokud se výzkumník rozhodne, že k přesné definici přímky je potřeba pět pozorování (${ displaystyle m}$), pak maximální počet nezávislých proměnných, které model může podporovat, je 4, protože

${ displaystyle { frac { log 1000} { log 5}} = 4,29.}$

Jiné metody

Ačkoli se parametry regresního modelu obvykle odhadují pomocí metody nejmenších čtverců, byly použity i jiné metody:

• Bayesovské metody, např. Bayesiánská lineární regrese
• Procentní regrese pro situace, kdy redukce procento chyby se považují za vhodnější.^[23]
• Nejméně absolutní odchylky, který je robustnější v přítomnosti odlehlých hodnot, což vede k kvantilní regrese
• Neparametrická regrese, vyžaduje velké množství pozorování a je výpočetně náročná
• Optimalizace scénáře, vedoucí k intervalové predikční modely
• Distanční metrické učení, které se naučí hledáním smysluplné metriky vzdálenosti v daném vstupním prostoru.^[24]

Software

Všechny hlavní statistické softwarové balíčky fungují nejmenší čtverce regresní analýza a odvození. Jednoduchá lineární regrese a v některých lze provést vícenásobnou regresi pomocí nejmenších čtverců tabulkový kalkulátor aplikacích a na některých kalkulačkách. Zatímco mnoho statistických softwarových balíčků může provádět různé typy neparametrické a robustní regrese, tyto metody jsou méně standardizované; různé softwarové balíčky implementují různé metody a metoda s daným názvem může být implementována odlišně v různých balíčcích. Specializovaný regresní software byl vyvinut pro použití v oblastech, jako je průzkumová analýza a neuroimaging.

Viz také

Reference

Další čtení

• William H. Kruskal a Judith M. Tanur, vyd. (1978), „Lineární hypotézy,“ Mezinárodní encyklopedie statistik. Free Press, v. 1,

Evan J. Williams, „I. Regrese,“ s. 523–41.

Julian C. Stanley „II. Analýza rozptylu“, s. 541–554.

• Lindley, D.V. (1987). „Regresní a korelační analýza,“ New Palgrave: A Dictionary of Economics, v. 4, s. 120–23.
• Birkes, David a Dodge, Y., Alternativní metody regrese. ISBN  0-471-56881-3
• Chatfield, C. (1993) "Výpočet prognóz intervalů," Journal of Business and Economic Statistics, 11. s. 121–135.
• Draper, N.R .; Smith, H. (1998). Aplikovaná regresní analýza (3. vyd.). John Wiley. ISBN  978-0-471-17082-2.
• Fox, J. (1997). Aplikovaná regresní analýza, lineární modely a související metody. Šalvěj
• Hardle, W., Aplikovaná neparametrická regrese (1990), ISBN  0-521-42950-1
• Meade, Nigel; Islam, Towhidul (1995). "Intervaly predikce pro předpovědi růstové křivky". Journal of Forecasting. 14 (5): 413–430. doi:10,1002 / za. 3980140502.
• A. Sen, M. Srivastava, Regresní analýza - teorie, metody a aplikace, Springer-Verlag, Berlin, 2011 (4. tisk).
• T. Strutz: Přizpůsobení dat a nejistota (praktický úvod do vážených nejmenších čtverců a dále). Vieweg + Teubner, ISBN  978-3-8348-1022-9.
• Malakooti, ​​B. (2013). Provozní a výrobní systémy s více cíli. John Wiley & Sons.

externí odkazy

• "Regresní analýza", Encyclopedia of Mathematics, Stiskněte EMS, 2001 [1994]
• Nejčasnější použití: Regrese - základní historie a reference
• Regrese slabě korelovaných dat - jak se mohou objevit chyby lineární regrese, když je rozsah Y mnohem menší než rozsah X.