Dostatečné zmenšení rozměrů - Sufficient dimension reduction

Tento článek má několik problémů. Prosím pomozte vylepši to nebo diskutovat o těchto otázkách na internetu diskusní stránka. (Zjistěte, jak a kdy tyto zprávy ze šablony odebrat) tento článek poskytuje nedostatečný kontext pro ty, kteří danému tématu nejsou obeznámeni. Prosím pomozte vylepšit článek podle poskytuje čtenáři více kontextu. (duben 2013) (Zjistěte, jak a kdy odstranit tuto zprávu šablony) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

v statistika, dostatečné zmenšení rozměrů (SDR) je paradigma pro analýzu dat, které kombinuje myšlenky zmenšení rozměrů s konceptem dostatečnost.

Redukce rozměrů je již dlouho primárním cílem regresní analýza. Vzhledem k proměnné odpovědi y a a p-dimenzionální predikční vektor ${ displaystyle { textbf {x}}}$Cílem regresní analýzy je studovat distribuci ${ displaystyle y | { textbf {x}}}$, podmíněné rozdělení z ${ displaystyle y}$ daný ${ displaystyle { textbf {x}}}$. A zmenšení rozměrů je funkce ${ displaystyle R ({ textbf {x}})}$ že mapy ${ displaystyle { textbf {x}}}$ do podskupiny ${ displaystyle mathbb {R} ^ {k}}$, k < p, čímž se snižuje dimenze z ${ displaystyle { textbf {x}}}$.^[1] Například, ${ displaystyle R ({ textbf {x}})}$ může být jeden nebo více lineární kombinace z ${ displaystyle { textbf {x}}}$.

Zmenšení rozměrů ${ displaystyle R ({ textbf {x}})}$ se říká, že je dostatečný pokud je distribuce ${ displaystyle y mid R ({ textbf {x}})}$ je stejný jako u ${ displaystyle y mid { textbf {x}}}$. Jinými slovy, žádné informace o regrese se neztrácejí při zmenšování dimenze ${ displaystyle { textbf {x}}}$ pokud je redukce dostatečná.^[1]

Grafická motivace

V regresním prostředí je často užitečné shrnout distribuci ${ displaystyle y mid { textbf {x}}}$ graficky. Například lze zvážit a bodový diagram z ${ displaystyle y}$ versus jeden nebo více prediktorů. Bodový graf, který obsahuje všechny dostupné informace o regrese, se nazývá a dostatečný souhrnný graf.

Když ${ displaystyle { textbf {x}}}$ je vysoce dimenzionální, zvláště když ${ displaystyle p geq 3}$, je stále náročnější konstruovat a vizuálně interpretovat souhrnné grafy dostatečnosti bez snížení dat. Dokonce i trojrozměrné rozptylové grafy je třeba prohlížet pomocí počítačového programu a třetí dimenzi lze zobrazit pouze otočením souřadnicových os. Pokud však existuje dostatečné zmenšení rozměrů ${ displaystyle R ({ textbf {x}})}$ s dostatečně malým rozměrem, dostatečným souhrnným grafem ${ displaystyle y}$ proti ${ displaystyle R ({ textbf {x}})}$ mohou být konstruovány a vizuálně interpretovány relativně snadno.

Proto dostatečná redukce dimenze umožňuje grafickou intuici o distribuci ${ displaystyle y mid { textbf {x}}}$, které by jinak pro vysoce dimenzionální data jinak nebyly k dispozici.

Většina grafických metod se primárně zaměřuje na redukci dimenze zahrnující lineární kombinace ${ displaystyle { textbf {x}}}$. Zbytek tohoto článku se zabývá pouze takovými redukcemi.

Podprostor zmenšení dimenze

Předpokládat ${ displaystyle R ({ textbf {x}}) = A ^ {T} { textbf {x}}}$ je dostatečné zmenšení rozměrů, kde ${ displaystyle A}$ je ${ displaystyle p times k}$ matice s hodnost ${ displaystyle k leq p}$. Pak regresní informace pro ${ displaystyle y mid { textbf {x}}}$ lze odvodit studiem distribuce ${ displaystyle y mid A ^ {T} { textbf {x}}}$a spiknutí ${ displaystyle y}$ proti ${ displaystyle A ^ {T} { textbf {x}}}$ je dostatečný souhrnný graf.

Bez ztráty obecnosti, pouze prostor překlenul podle sloupců ${ displaystyle A}$ je třeba zvážit. Nechat ${ displaystyle eta}$ být základ pro prostor sloupců ${ displaystyle A}$a nechte prostor překlenout ${ displaystyle eta}$ být označen ${ displaystyle { mathcal {S}} ( eta)}$. Z definice dostatečného zmenšení dimenze to vyplývá

${ displaystyle F_ {y mid x} = F_ {y mid eta ^ {T} x},}$

kde ${ displaystyle F}$ označuje odpovídající distribuční funkce. Dalším způsobem, jak tuto vlastnost vyjádřit, je

${ displaystyle y perp ! ! ! perp { textbf {x}} mid eta ^ {T} { textbf {x}},}$

nebo ${ displaystyle y}$ je podmíněně nezávislý z ${ displaystyle { textbf {x}}}$, vzhledem k tomu ${ displaystyle eta ^ {T} { textbf {x}}}$. Pak podprostor ${ displaystyle { mathcal {S}} ( eta)}$ je definován jako a dimenzionální podprostor (DRS).^[2]

Strukturální rozměrnost

Pro regresi ${ displaystyle y mid { textbf {x}}}$, strukturální rozměr, ${ displaystyle d}$, je nejmenší počet odlišných lineárních kombinací ${ displaystyle { textbf {x}}}$ nezbytné k zachování podmíněné distribuce ${ displaystyle y mid { textbf {x}}}$. Jinými slovy, nejmenší zmenšení rozměrů, které je stále dostatečné mapy ${ displaystyle { textbf {x}}}$ do podskupiny ${ displaystyle mathbb {R} ^ {d}}$. Odpovídající DRS bude d-dimenzionální.^[2]

Podprostor zmenšení minimální dimenze

Podprostor ${ displaystyle { mathcal {S}}}$ se říká, že je minimální DRS pro ${ displaystyle y mid { textbf {x}}}$ pokud se jedná o DRS a jeho dimenze je menší nebo stejná jako u všech ostatních DRS pro ${ displaystyle y mid { textbf {x}}}$. Minimální DRS ${ displaystyle { mathcal {S}}}$ není nutně jedinečný, ale jeho rozměr se rovná strukturálnímu rozměru ${ displaystyle d}$ z ${ displaystyle y mid { textbf {x}}}$, podle definice.^[2]

Li ${ displaystyle { mathcal {S}}}$ má základ ${ displaystyle eta}$ a je minimální DRS, pak spiknutí y proti ${ displaystyle eta ^ {T} { textbf {x}}}$ je minimální dostatečný souhrnný graf, a to je (d + 1) -dimenzionální.

Centrální podprostor

Pokud podprostor ${ displaystyle { mathcal {S}}}$ je DRS pro ${ displaystyle y mid { textbf {x}}}$, a pokud ${ displaystyle { mathcal {S}} podmnožina { mathcal {S}} _ {drs}}$ pro všechny ostatní DRS ${ displaystyle { mathcal {S}} _ {drs}}$, pak je to podprostor zmenšení centrální dimenze, nebo jednoduše a centrální podprostor, a je označen ${ displaystyle { mathcal {S}} _ {y mid x}}$. Jinými slovy, centrální podprostor pro ${ displaystyle y mid { textbf {x}}}$ existuje kdyby a jen kdyby křižovatka ${ textstyle bigcap { mathcal {S}} _ {drs}}$ všech podprostorů pro redukci dimenzí je také podprostorem pro zmenšení dimenze a tento průsečík je centrálním podprostorem ${ displaystyle { mathcal {S}} _ {y mid x}}$.^[2]

Centrální podprostor ${ displaystyle { mathcal {S}} _ {y mid x}}$ nemusí nutně existovat, protože křižovatka ${ textstyle bigcap { mathcal {S}} _ {drs}}$ není nutně DRS. Pokud však ${ displaystyle { mathcal {S}} _ {y mid x}}$ dělá existují, pak je to také jedinečný podprostor zmenšení minimální dimenze.^[2]

Existence centrálního podprostoru

Zatímco existence centrálního podprostoru ${ displaystyle { mathcal {S}} _ {y mid x}}$ není zaručen v každé regresní situaci, existují některé poměrně široké podmínky, za kterých jeho existence přímo následuje. Zvažte například následující návrh od Cooka (1998):

Nechat ${ displaystyle { mathcal {S}} _ {1}}$ a ${ displaystyle { mathcal {S}} _ {2}}$ být podprostory pro zmenšení dimenze pro ${ displaystyle y mid { textbf {x}}}$. Li ${ displaystyle { textbf {x}}}$ má hustota ${ displaystyle f (a)> 0}$ pro všechny ${ displaystyle a in Omega _ {x}}$ a ${ displaystyle f (a) = 0}$ všude jinde, kde ${ displaystyle Omega _ {x}}$ je konvexní, pak křižovatka ${ displaystyle { mathcal {S}} _ {1} cap { mathcal {S}} _ {2}}$ je také podprostorem zmenšení dimenze.

Z tohoto návrhu vyplývá, že centrální podprostor ${ displaystyle { mathcal {S}} _ {y mid x}}$ existuje pro takové ${ displaystyle { textbf {x}}}$.^[2]

Metody pro zmenšení rozměrů

Existuje mnoho existujících metod pro zmenšení rozměrů, a to jak grafických, tak numerických. Například, nakrájená inverzní regrese (VÁŽENÝ PANE) a odhad průměrné odchylky na plátky (SAVE) byly zavedeny v 90. letech a jsou i nadále široce používány.^[3] Ačkoli SIR byl původně navržen k odhadu efektivní dimenze snižující podprostorNyní je zřejmé, že odhaduje pouze centrální podprostor, který je obecně odlišný.

Mezi nejnovější metody redukce dimenze patří pravděpodobnost - dostatečné zmenšení rozměrů,^[4] odhad centrálního podprostoru na základě inverzní třetiny okamžik (nebo kth moment),^[5] odhad centrálního prostoru řešení,^[6] grafická regrese,^[2]model obálky a hlavní vektorový podpůrný stroj.^[7] Další podrobnosti o těchto a dalších metodách najdete v statistické literatuře.

Analýza hlavních komponent (PCA) a podobné metody pro zmenšení dimenze nejsou založeny na principu dostatečnosti.

Příklad: lineární regrese

Zvažte regresní model

${ displaystyle y = alpha + beta ^ {T} { textbf {x}} + varepsilon, { text {kde}} varepsilon perp ! ! ! perp { textbf {x} }.}$

Všimněte si, že distribuce ${ displaystyle y mid { textbf {x}}}$ je stejná jako distribuce ${ displaystyle y mid beta ^ {T} { textbf {x}}}$. Proto je rozpětí ${ displaystyle beta}$ je podprostor zmenšení dimenze. Taky, ${ displaystyle beta}$ je 1-dimenzionální (pokud ${ displaystyle beta = { textbf {0}}}$), takže strukturální rozměr této regrese je ${ displaystyle d = 1}$.

The OLS odhad ${ displaystyle { hat { beta}}}$ z ${ displaystyle beta}$ je konzistentní, a tak rozpětí ${ displaystyle { hat { beta}}}$ je konzistentní odhadce ${ displaystyle { mathcal {S}} _ {y mid x}}$. Spiknutí ${ displaystyle y}$ proti ${ displaystyle { hat { beta}} ^ {T} { textbf {x}}}$ je dostatečný souhrnný graf pro tuto regresi.

Viz také

• Zmenšení rozměrů
• Krájená inverzní regrese
• Analýza hlavních komponent
• Lineární diskriminační analýza
• Prokletí dimenzionality
• Multilineární podprostorové učení
• Model obálky

Poznámky

Reference

externí odkazy

• Dostatečné zmenšení rozměrů