Univerzální věta o aproximaci - Universal approximation theorem

V matematický teorie umělé neuronové sítě, věty o univerzální aproximaci jsou výsledky^[1] které zakládají hustota algoritmicky generované třídy funkcí v daném funkčním prostoru zájmu. Tyto výsledky se obvykle týkají schopností aproximace dopředná architektura na prostoru spojitých funkcí mezi dvěma Euklidovské prostory, a aproximace je s ohledem na kompaktní konvergence topologie. Existuje však také celá řada výsledků mezi neeuklidovskými prostory^[2] a další běžně používané architektury a obecněji algoritmicky generované sady funkcí, například konvoluční neuronová síť (CNN) architektura,^[3][4] radiální základní funkce,^[5] nebo neuronové sítě se specifickými vlastnostmi.^[6] Největší věty o aproximaci lze analyzovat do dvou tříd. První kvantifikuje aproximační schopnosti neuronových sítí s libovolným počtem umělých neuronů („libovolná šířka"případ) a druhý se zaměřuje na případ s libovolným počtem skrytých vrstev, z nichž každá obsahuje omezený počet umělých neuronů ("libovolná hloubka" případ).

Věty o univerzální aproximaci naznačují, že neuronové sítě mohou zastupovat široká škála zajímavých funkcí, pokud jsou dány odpovídající váhy. Na druhou stranu obvykle neposkytují konstrukci pro váhy, ale pouze uvádějí, že taková konstrukce je možná.

Dějiny

Jedna z prvních verzí libovolná šířka případ byl prokázán George Cybenko v roce 1989 pro sigmoid aktivační funkce.^[7] Kurt Hornik ukázal v roce 1991^[8] že to není konkrétní volba aktivační funkce, ale spíše samotná vícevrstvá dopředná architektura, která dává neurálním sítím potenciál být univerzálními aproximátory. Moshe Leshno et al v roce 1993^[9] a později Allan Pinkus v roce 1999^[10] ukázal, že univerzální aproximační vlastnost^[11], je ekvivalentní s nepolynomiální aktivační funkcí.

The libovolná hloubka případ byl také studován řadou autorů, například Zhou Lu et al v roce 2017,^[12] Boris Hanin a Mark Sellke v roce 2018,^[13] a Patrick Kidger a Terry Lyons v roce 2020.^[14] Výsledná minimální šířka na vrstvu byla vylepšena ^[15].

Existuje několik rozšíření věty, například diskontinuální aktivační funkce^[9], nekompaktní domény^[14], certifikovatelné sítě^[16] a alternativní síťové architektury a topologie^[14][17]. Úplnou charakteristiku vlastnosti univerzální aproximace na obecných funkčních prostorech uvádí A. Kratsios v ^[11].

Libovolná šířka případu

Klasická forma věty o univerzální aproximaci pro libovolnou šířku a omezenou hloubku je následující.^{[7][8][18][19]} Rozšiřuje se^[10] klasické výsledky George Cybenko a Kurt Hornik.

Věta o univerzální aproximaci: Opravte spojitou funkci ${displaystyle sigma: mathbb {R} ightarrow mathbb {R}}$ (aktivační funkce) a kladná celá čísla ${displaystyle d, D}$. Funkce ${displaystyle sigma}$ není polynom, pokud a jen pokud, pro všechny kontinuální funkce ${displaystyle f: mathbb {R} ^ {d} o mathbb {R} ^ {D}}$ (cílová funkce), každý kompaktní podmnožina ${displaystyle K}$ z ${displaystyle mathbb {R} ^ {d}}$a všechny ${displaystyle epsilon> 0}$ existuje spojitá funkce ${displaystyle f_ {epsilon}: mathbb {R} ^ {d} o mathbb {R} ^ {D}}$ (výstup vrstvy) se znázorněním

${displaystyle f_ {epsilon} = W_ {2} cirkulační sigma cirkus W_ {1},}$

kde ${displaystyle W_ {2}, W_ {1}}$ jsou skládací afinní mapy a ${displaystyle circ}$ označuje složení po jednotlivých složkách, takže je aproximace vázána

${displaystyle sup _ {xin K}, | f (x) -f_ {epsilon} (x) |$

platí pro všechny ${displaystyle epsilon}$ libovolně malá (vzdálenost od ${displaystyle f}$ na ${displaystyle f_ {epsilon}}$ může být nekonečně malý).

Věta říká, že výsledek první vrstvy ${displaystyle f_ {epsilon}}$ dokáže přiblížit jakoukoli dobře vychovanou funkci ${displaystyle f}$. Takovou dobře vychovanou funkci lze také aproximovat sítí větší hloubky pomocí stejné konstrukce pro první vrstvu a aproximací funkce identity s pozdějšími vrstvami.

Libovolný případ hloubky

„Duální“ verze věty berou v úvahu sítě omezené šířky a libovolné hloubky. Varianta věty o univerzální aproximaci byla pro případ libovolné hloubky prokázána Zhou Lu et al. v roce 2017.^[12] Ukázali, že sítě šířky n + 4 s ReLU aktivační funkce mohou být přibližně jakékoli Lebesgue integrovatelná funkce na n-dimenzionální vstupní prostor s ohledem na ${displaystyle L ^ {1}}$ vzdálenost pokud je povoleno růst hloubky sítě. Ukázalo se také, že zde byla omezená expresivní síla, pokud byla šířka menší nebo stejná n. Všechno Lebesgue integrovatelné funkce s výjimkou sady nulových měr nelze aproximovat pomocí ReLU sítě šířky n. Ve stejném papíru^[12] ukázalo se, že ReLU sítě o šířce n + 1 byly dostatečné k přiblížení kteréhokoli kontinuální funkce n-dimenzionální vstupní proměnné.^[20] Následující upřesnění určuje optimální minimální šířku, pro kterou je takové přiblížení možné a je způsobeno ^[21]

Věta o univerzální aproximaci (Vzdálenost L1, aktivace ReLU, libovolná hloubka, minimální šířka). Pro všechny Bochner-Lebesgue p-integrovatelný funkce ${displaystyle f: mathbb {R} ^ {n} ightarrow mathbb {R}}$ a jakékoli ${displaystyle epsilon> 0}$, existuje a plně připojen ReLU síť ${displaystyle F}$ přesně na šířku ${displaystyle d_ {m} = max {{n + 1}, m}}$, uspokojující

${displaystyle int _ {mathbb {R} ^ {n}} vlevo | f (x) -F _ {} (x) ight | ^ {p} mathrm {d} x$.

Kromě toho existuje funkce ${displaystyle fin L ^ {p} (mathbb {R} ^ {n}, mathbb {R} ^ {m})}$ a nějaký ${displaystyle epsilon> 0}$, pro které neexistuje č plně připojen ReLU síť o šířce menší než ${displaystyle d_ {m} = max {{n + 1}, m}}$splnění výše uvedené aproximační hranice.

Společně ústřední výsledky ^[14] a ze dne ^[2] poskytují následující obecnou větu o univerzální aproximaci pro sítě s omezenou šířkou mezi obecnými vstupními a výstupními prostory.

Věta o univerzální aproximaci (ne-afinní aktivace, libovolná hloubka, Neeuklidovský ). ${displaystyle {mathcal {X}}}$ být kompaktní topologický prostor, ${displaystyle ({mathcal {Y}}, d_ {mathcal {Y}})}$ být metrický prostor, ${displaystyle phi: {mathcal {X}} ightarrow mathbb {R} ^ {n}}$ být kontinuální a injektivní mapa funkcí a nechte ${displaystyle ho: mathbb {R} ^ {m} ightarrow {mathcal {Y}}}$ být průběžnou mapou odečtu s a sekce, s hustým obrazem ${displaystyle Im (ho)}$ s (případně prázdnou) hranou s límcem. Nechat ${displaystyle sigma: mathbb {R} o mathbb {R}}$ být jakýkoliafinní kontinuální funkce, která je průběžně diferencovatelné alespoň v jednom bodě, s nenulovou hodnotou derivát v tom bodě. Nechat ${displaystyle {mathcal {N}} _ {phi, ho} ^ {sigma}}$ označit prostor dopředných neuronových sítí s ${displaystyle n}$ vstupní neurony, ${displaystyle m}$ výstupní neurony a libovolný počet skrytých vrstev ${displaystyle n + m + 2}$ neurony, takže každý skrytý neuron má aktivační funkci ${displaystyle varphi}$ a každý výstupní neuron má identita jako jeho aktivační funkce se vstupní vrstvou ${displaystyle phi}$a výstupní vrstva ${displaystyle ho}$. Pak dal jakýkoli ${displaystyle varepsilon> 0}$ a jakékoli ${displaystyle fin C ({mathcal {X}}, {mathcal {Y}})}$, tady existuje ${displaystyle Fin {mathcal {N}} _ {ho, phi} ^ {sigma}}$ takhle

${displaystyle sup _ {xin {mathcal {X}}}, d_ {mathcal {Y}} (F (x), f (x))$

Jinými slovy, ${displaystyle {mathcal {N}}}$ je hustý v ${displaystyle C ({mathcal {X}}; {mathcal {Y}})}$ s ohledem na jednotnou vzdálenost.

Byly stanoveny určité nezbytné podmínky pro omezenou šířku, případ libovolné hloubky, ale mezi známými dostatečnými a nezbytnými podmínkami stále existuje mezera.^[12][13][22]

Viz také

• Kolmogorov – Arnoldova věta o reprezentaci
• Reprezentativní věta
• Žádná věta o obědě zdarma
• Věta Stone-Weierstrass
• Fourierova řada

Reference