Velké šířkové limity neuronových sítí - Large width limits of neural networks

Přehrát média

Chování neurální sítě se zjednodušuje, protože se nekonečně rozšiřuje. Vlevo, odjet: a Bayesovská neurální síť se dvěma skrytými vrstvami, transformující trojrozměrný vstup (dole) na dvourozměrný výstup ${ displaystyle (y_ {1}, y_ {2})}$ (horní). Že jo: výstup funkce hustoty pravděpodobnosti ${ displaystyle p (y_ {1}, y_ {2})}$ indukované náhodnými váhami sítě. Video: jak se šířka sítě zvětšuje, distribuce výstupu se zjednodušuje a nakonec konverguje k a Gaussův proces neurální sítě v limitu nekonečné šířky.

Umělé neuronové sítě jsou třídou modelů používaných v strojové učení a inspirováno biologické neurální sítě. Jsou klíčovou součástí moderního hluboké učení algoritmy. Výpočet v umělých neuronových sítích je obvykle organizován do sekvenčních vrstev umělé neurony. Počet neuronů ve vrstvě se nazývá šířka vrstvy. Teoretická analýza umělých neuronových sítí někdy zvažuje limitující případ, kdy se šířka vrstvy zvětší nebo zmenší. Tento limit umožňuje jednoduché analytické výroky o předpovědích neuronových sítí, dynamice tréninku, generalizaci a ztrátových plochách. Tato široká vrstva limit je také praktický zájem, protože neuronové sítě s konečnou šířkou často fungují přísně lépe, jak se zvětšuje šířka vrstvy.^{[1][2][3][4][5][6]}

Teoretické přístupy založené na velkém limitu šířky

• The Gaussův proces neuronové sítě (NNGP) odpovídá limitu nekonečné šířky Bayesovských neuronových sítí a distribuci po funkcích realizovaných nebajesovskými neuronovými sítěmi po náhodné inicializaci.^{[Citace je zapotřebí ]}
• Stejné základní výpočty, které se používají k odvození jádra NNGP, se také používají v hluboké šíření informací charakterizovat šíření informací o gradientech a vstupech prostřednictvím hluboké sítě.^[7] Tato charakterizace se používá k předpovědi toho, jak trénovatelnost modelu závisí na hyperparametrech architektury a inicializace.
• The Neural Tangent Kernel popisuje vývoj předpovědí neuronových sítí během tréninku sestupu gradientem. V limitu nekonečné šířky se NTK obvykle stává konstantní, což často umožňuje výrazy uzavřené formy pro funkci vypočítanou širokou neurální sítí během tréninku sestupu gradientu. Dynamika tréninku se v podstatě linearizuje.^[8]
• Studium neuronových sítí s nekonečnou šířkou s odlišným počátečním měřítkem váhy a vhodně vysokými rychlostmi učení vede ke kvalitativně odlišné nelineární tréninkové dynamice, než jaké popisuje pevné neurální tangensové jádro.^[9][10]
• Dynamika katapultu popisuje dynamiku tréninku neuronové sítě v případě, že se logity rozcházejí do nekonečna, když je šířka vrstvy přenesena do nekonečna, a popisuje kvalitativní vlastnosti rané tréninkové dynamiky.^[11]

Reference