Síť funkcí radiální báze - Radial basis function network

V oblasti matematické modelování, a síť radiálních základních funkcí je umělá neuronová síť který používá radiální základní funkce tak jako aktivační funkce. Výstupem sítě je a lineární kombinace radiálních základních funkcí vstupů a neuronových parametrů. Sítě s radiální bází mají mnoho využití, včetně aproximace funkce, predikce časových řad, klasifikace a systém řízení. Poprvé byly formulovány v článku z roku 1988 Broomheadem a Lowem, oběma výzkumníky z Královské signály a založení radaru.^[1][2][3]

Síťová architektura

Obrázek 1: Architektura radiální základní funkční sítě. Vstupní vektor ${displaystyle x}$ se používá jako vstup do všech radiálních základních funkcí, z nichž každá má jiné parametry. Výstup sítě je lineární kombinací výstupů z radiálních základních funkcí.

Sítě radiální základní funkce (RBF) mají obvykle tři vrstvy: vstupní vrstvu, skrytou vrstvu s nelineární aktivační funkcí RBF a lineární výstupní vrstvu. Vstup lze modelovat jako vektor reálných čísel ${displaystyle mathbf {x} v mathbb {R} ^ {n}}$. Výstupem sítě je pak skalární funkce vstupního vektoru, ${displaystyle varphi: mathbb {R} ^ {n} o mathbb {R}}$, a je dán

${displaystyle varphi (mathbf {x}) = součet _ {i = 1} ^ {N} a_ {i} ho (|| mathbf {x} -mathbf {c} _ {i} ||)}$

kde ${displaystyle N}$ je počet neuronů ve skryté vrstvě, ${displaystyle mathbf {c} _ {i}}$ je středový vektor pro neuron ${displaystyle i}$, a ${displaystyle a_ {i}}$ je hmotnost neuronu ${displaystyle i}$ v neuronu s lineárním výstupem. Funkce, které závisí pouze na vzdálenosti od středového vektoru, jsou kolem tohoto vektoru radiálně symetrické, a proto je název funkce radiální báze. V základní formě jsou všechny vstupy spojeny s každým skrytým neuronem. The norma se obvykle považuje za Euklidovská vzdálenost (Ačkoliv Mahalanobisova vzdálenost Zdá se, že s rozpoznáváním vzorků funguje lépe^{[4][5][redakční ]}) a funkce radiální báze se běžně považuje za Gaussian

${displaystyle ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} = exp left [- eta leftVert mathbf {x} -mathbf {c} _ {i} ightVert ^ {2 } v noci]}$.

Gaussovské základní funkce jsou lokální pro středový vektor v tom smyslu

${displaystyle lim _ {|| x || o infty} ho (leftVert mathbf {x} -mathbf {c} _ {i} ightVert) = 0}$

tj. změna parametrů jednoho neuronu má pouze malý účinek na vstupní hodnoty, které jsou daleko od středu tohoto neuronu.

Vzhledem k určitým mírným podmínkám na tvaru aktivační funkce jsou sítě RBF univerzální aproximátory na kompaktní podmnožina ${displaystyle mathbb {R} ^ {n}}$.^[6] To znamená, že síť RBF s dostatkem skrytých neuronů může s libovolnou přesností aproximovat jakoukoli spojitou funkci na uzavřené, ohraničené množině.

Parametry ${displaystyle a_ {i}}$, ${displaystyle mathbf {c} _ {i}}$, a ${displaystyle eta _ {i}}$ jsou určeny způsobem, který optimalizuje přizpůsobení mezi ${displaystyle varphi}$ a data.

Obrázek 2: Dvě nenormalizované radiální základní funkce v jedné vstupní dimenzi. Centra základních funkcí jsou umístěna na ${displaystyle c_ {1} = 0,75}$ a ${displaystyle c_ {2} = 3,25}$.

Normalizováno

Obrázek 3: Dvě normalizované radiální základní funkce v jedné vstupní dimenzi (sigmoidy ). Centra základních funkcí jsou umístěna na ${displaystyle c_ {1} = 0,75}$ a ${displaystyle c_ {2} = 3,25}$.

Obrázek 4: Tři normalizované radiální základní funkce v jedné vstupní dimenzi. Další základní funkce má střed na ${displaystyle c_ {3} = 2,75}$

Obrázek 5: Čtyři normalizované radiální základní funkce v jedné vstupní dimenzi. Čtvrtá základní funkce má střed na ${displaystyle c_ {4} = 0}$. Všimněte si, že první základní funkce (tmavě modrá) byla lokalizována.

Normalizovaná architektura

Kromě výše uvedeného nenormalizovaný architektura, sítě RBF mohou být normalizováno. V tomto případě je mapování

${displaystyle varphi (mathbf {x}) {stackrel {mathrm {def}} {=}} {frac {sum _ {i = 1} ^ {N} a_ {i} ho {ig (} leftVert mathbf {x} - mathbf {c} _ {i} ightVert {ig)}} {sum _ {i = 1} ^ {N} ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} }} = součet _ {i = 1} ^ {N} a_ {i} u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}}$

kde

${displaystyle u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} {stackrel {mathrm {def}} {=}} {frac {ho {ig (} leftVert mathbf {x } -mathbf {c} _ {i} ightVert {ig)}} {sum _ {j = 1} ^ {N} ho {ig (} leftVert mathbf {x} -mathbf {c} _ {j} ightVert {ig )}}}}$

je známá jako „normalizovaná radiální základní funkce“.

Teoretická motivace k normalizaci

Tato architektura má teoretické zdůvodnění v případě stochastického toku dat. Předpokládejme a stochastické jádro aproximace hustoty pravděpodobnosti spoje

${displaystyle Pleft (mathbf {x} land yight) = {1 nad N} součet _ {i = 1} ^ {N}, ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert { ig)}, sigma {ig (} leftvert y-e_ {i} ightvert {ig)}}$

kde závaží ${displaystyle mathbf {c} _ {i}}$ a ${displaystyle e_ {i}}$ jsou příklady z dat a požadujeme normalizaci jader

${displaystyle int ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}, d ^ {n} mathbf {x} = 1}$

a

${displaystyle int sigma {ig (} leftvert y-e_ {i} ightvert {ig)}, dy = 1}$.

Hustoty pravděpodobnosti ve vstupním a výstupním prostoru jsou

${displaystyle Pleft (mathbf {x} ight) = int Pleft (mathbf {x} land yight), dy = {1 over N} součet _ {i = 1} ^ {N}, ho {ig (} leftVert mathbf {x } -mathbf {c} _ {i} ightVert {ig)}}$

a

Očekávání y daného vstupu ${displaystyle mathbf {x}}$ je

${displaystyle varphi left (mathbf {x} ight) {stackrel {mathrm {def}} {=}} Eleft (ymid mathbf {x} ight) = int y, Pleft (ymid mathbf {x} ight) dy}$

kde

${displaystyle Pleft (ymid mathbf {x} ight)}$

je podmíněná pravděpodobnost daného y ${displaystyle mathbf {x}}$Podmíněná pravděpodobnost souvisí se společnou pravděpodobností prostřednictvím Bayesova věta

${displaystyle Pleft (ymid mathbf {x} ight) = {frac {Pleft (mathbf {x} land yight)} {Pleft (mathbf {x} ight)}}}$

který přináší

${displaystyle varphi left (mathbf {x} ight) = int y, {frac {Pleft (mathbf {x} land yight)} {Pleft (mathbf {x} ight)}}, dy}$.

To se stává

${displaystyle varphi left (mathbf {x} ight) = {frac {sum _ {i = 1} ^ {N} e_ {i} ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}} {sum _ {i = 1} ^ {N} ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}}} = součet _ {i = 1 } ^ {N} e_ {i} u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}}$

když se provádí integrace.

Lokální lineární modely

Někdy je vhodné rozšířit architekturu tak, aby zahrnovala lokální lineární modely. V takovém případě se architektury stanou, na první objednávku,

${displaystyle varphi left (mathbf {x} ight) = součet _ {i = 1} ^ {N} left (a_ {i} + mathbf {b} _ {i} cdot left (mathbf {x} -mathbf {c} _ {i} ight) ight) ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}}$

a

${displaystyle varphi left (mathbf {x} ight) = součet _ {i = 1} ^ {N} left (a_ {i} + mathbf {b} _ {i} cdot left (mathbf {x} -mathbf {c} _ {i} ight) ight) u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}}$

v nenormalizovaných a normalizovaných případech. Tady ${displaystyle mathbf {b} _ {i}}$ jsou váhy, které se mají určit. Rovněž jsou možné lineární výrazy vyššího řádu.

Tento výsledek lze zapsat

${displaystyle varphi left (mathbf {x} ight) = součet _ {i = 1} ^ {2N} součet _ {j = 1} ^ {n} e_ {ij} v_ {ij} {ig (} mathbf {x} -mathbf {c} _ {i} {ig)}}$

kde

${displaystyle e_ {ij} = {egin {cases} a_ {i}, & {mbox {if}} iin [1, N] b_ {ij}, & {mbox {if}} iin [N + 1,2N ] konec {případů}}}$

a

${displaystyle v_ {ij} {ig (} mathbf {x} -mathbf {c} _ {i} {ig)} {stackrel {mathrm {def}} {=}} {egin {cases} delta _ {ij} ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} a {mbox {if}} iin [1, N] left (x_ {ij} -c_ {ij} ight ) ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}, a {mbox {if}} iin [N + 1,2N] end {cases}}}$

v nenormalizovaném případě a

${displaystyle v_ {ij} {ig (} mathbf {x} -mathbf {c} _ {i} {ig)} {stackrel {mathrm {def}} {=}} {egin {cases} delta _ {ij} u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} a {mbox {if}} iin [1, N] left (x_ {ij} -c_ {ij} ight ) u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} a {mbox {if}} iin [N + 1,2N] end {cases}}}$

v normalizovaném případě.

Tady ${displaystyle delta _ {ij}}$ je Funkce Kronecker delta definováno jako

${displaystyle delta _ {ij} = {egin {cases} 1, & {mbox {if}} i = j 0, & {mbox {if}} ieq jend {cases}}}$.

Výcvik

Sítě RBF jsou obvykle trénovány z dvojic vstupních a cílových hodnot ${displaystyle mathbf {x} (t), y (t)}$, ${displaystyle t = 1, tečky, T}$ dvoustupňovým algoritmem.

V prvním kroku jsou vektory středu ${displaystyle mathbf {c} _ {i}}$ z RBF funkcí ve skryté vrstvě. Tento krok lze provést několika způsoby; centra lze náhodně odebrat z nějaké sady příkladů nebo je lze určit pomocí k-znamená shlukování. Tento krok je bez dozoru.

Druhý krok jednoduše odpovídá lineárnímu modelu s koeficienty ${displaystyle w_ {i}}$ k výstupům skryté vrstvy s ohledem na nějakou objektivní funkci. Běžnou objektivní funkcí, alespoň pro odhad regrese / funkce, je funkce nejmenších čtverců:

${displaystyle K (mathbf {w}) {stackrel {mathrm {def}} {=}} součet _ {t = 1} ^ {T} K_ {t} (mathbf {w})}$

kde

${displaystyle K_ {t} (mathbf {w}) {stackrel {mathrm {def}} {=}} {ig [} y (t) -varphi {ig (} mathbf {x} (t), mathbf {w} {ig)} {ig]} ^ {2}}$.

Závislost na vahách jsme výslovně zahrnuli. Minimalizace objektivní funkce nejmenších čtverců pomocí optimálního výběru vah optimalizuje přesnost lícování.

Existují příležitosti, kdy je nutné optimalizovat více cílů, například hladkost a přesnost. V takovém případě je užitečné optimalizovat regulovanou objektivní funkci, jako je

${displaystyle H (mathbf {w}) {stackrel {mathrm {def}} {=}} K (mathbf {w}) + lambda S (mathbf {w}) {stackrel {mathrm {def}} {=}} součet _ {t = 1} ^ {T} H_ {t} (mathbf {w})}$

kde

${displaystyle S (mathbf {w}) {stackrel {mathrm {def}} {=}} součet _ {t = 1} ^ {T} S_ {t} (mathbf {w})}$

a

${displaystyle H_ {t} (mathbf {w}) {stackrel {mathrm {def}} {=}} K_ {t} (mathbf {w}) + lambda S_ {t} (mathbf {w})}$

kde optimalizace S maximalizuje plynulost a ${displaystyle lambda}$ je známý jako regulace parametr.

Třetí nepovinné zpětná propagace lze provést jemné doladění všech parametrů sítě RBF.^[3]

Interpolace

Sítě RBF lze použít k interpolaci funkce ${displaystyle y: mathbb {R} ^ {n} o mathbb {R}}$ když jsou hodnoty této funkce známé v konečném počtu bodů: ${displaystyle y (mathbf {x} _ {i}) = b_ {i}, i = 1, ldots, N}$. Vezmeme-li známé body ${displaystyle mathbf {x} _ {i}}$ být středy radiálních bázových funkcí a hodnotit hodnoty základních funkcí ve stejných bodech ${displaystyle g_ {ij} = ho (|| mathbf {x} _ {j} -mathbf {x} _ {i} ||)}$ váhy lze vyřešit z rovnice

${displaystyle left [{egin {matrix} g_ {11} & g_ {12} & cdots & g_ {1N} g_ {21} & g_ {22} & cdots & g_ {2N} vdots && ddots & vdots g_ {N1} & g_ {N2} & cdots & g_ {NN} end {matrix}} ight] left [{egin {matrix} w_ {1} w_ {2} vdots w_ {N} end {matrix}} ight] = left [{egin {matrix} b_ {1} b_ {2} vdots b_ {N} konec {matrix}} vpravo]}$

Je možné ukázat, že interpolační matice ve výše uvedené rovnici není jednotná, pokud jde o body ${displaystyle mathbf {x} _ {i}}$ jsou odlišné, a tedy váhy ${displaystyle w}$ lze vyřešit jednoduchou lineární algebrou:

${displaystyle mathbf {w} = mathbf {G} ^ {- 1} mathbf {b}}$

kde ${displaystyle G = (g_ {ij})}$.

Aproximace funkce

Není-li cílem provést přísnou interpolaci, ale obecnější aproximace funkce nebo klasifikace optimalizace je poněkud složitější, protože pro střediska není zřejmá volba. Cvičení se obvykle provádí ve dvou fázích, nejdříve se stanoví šířka a středy a poté váhy. To lze ospravedlnit zvážením odlišné povahy nelineárních skrytých neuronů ve srovnání s lineárním výstupním neuronem.

Školení základních funkčních center

Centra základních funkcí mohou být náhodně vzorkována mezi vstupními instancemi nebo získána algoritmem ortogonálního učení nejmenšího čtverce nebo nalezena shlukování vzorky a výběr klastru znamená jako centra.

Šířky RBF jsou obvykle všechny fixovány na stejnou hodnotu, která je úměrná maximální vzdálenosti mezi vybranými středy.

Pseudoinverzní řešení pro lineární váhy

Po centrech ${displaystyle c_ {i}}$ byly opraveny, váhy, které minimalizují chybu na výstupu, lze vypočítat lineárně pseudoinverze řešení:

${displaystyle mathbf {w} = mathbf {G} ^ {+} mathbf {b}}$,

kde jsou záznamy z G jsou hodnoty radiálních bázových funkcí vyhodnocených v bodech ${displaystyle x_ {i}}$: ${displaystyle g_ {ji} = ho (|| x_ {j} -c_ {i} ||)}$.

Existence tohoto lineárního řešení znamená, že na rozdíl od vícevrstvých perceptronových (MLP) sítí mají sítě RBF explicitní minimalizátor (když jsou centra pevná).

Nácvik klesání lineárních závaží

Dalším možným tréninkovým algoritmem je klesání. Při tréninku s gradientním sestupem se váhy upravují v každém časovém kroku jejich pohybem ve směru opačném od gradientu objektivní funkce (což umožňuje nalezení minima objektivní funkce),

${displaystyle mathbf {w} (t + 1) = mathbf {w} (t) -u {frac {d} {dmathbf {w}}} H_ {t} (mathbf {w})}$

kde ${displaystyle u}$ je „parametr učení“.

Pro případ tréninku lineárních závaží, ${displaystyle a_ {i}}$, algoritmus se stane

${displaystyle a_ {i} (t + 1) = a_ {i} (t) + u {ig [} y (t) -varphi {ig (} mathbf {x} (t), mathbf {w} {ig) } {ig]} ho {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}}$

v nenormalizovaném případě a

${displaystyle a_ {i} (t + 1) = a_ {i} (t) + u {ig [} y (t) -varphi {ig (} mathbf {x} (t), mathbf {w} {ig) } {ig]} u {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}}$

v normalizovaném případě.

Pro lokální lineární architektury je trénink přechodu a sestupu

${displaystyle e_ {ij} (t + 1) = e_ {ij} (t) + u {ig [} y (t) -varphi {ig (} mathbf {x} (t), mathbf {w} {ig) } {ig]} v_ {ij} {ig (} mathbf {x} (t) -mathbf {c} _ {i} {ig)}}$

Výcvik obsluhy projekce lineárních závaží

Pro případ tréninku lineárních závaží, ${displaystyle a_ {i}}$ a ${displaystyle e_ {ij}}$, algoritmus se stane

${displaystyle a_ {i} (t + 1) = a_ {i} (t) + u {ig [} y (t) -varphi {ig (} mathbf {x} (t), mathbf {w} {ig) } {ig]} {frac {ho {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}} {sum _ {i = 1} ^ {N} ho ^ {2} {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}}}}$

v nenormalizovaném případě a

${displaystyle a_ {i} (t + 1) = a_ {i} (t) + u {ig [} y (t) -varphi {ig (} mathbf {x} (t), mathbf {w} {ig) } {ig]} {frac {u {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}} {sum _ {i = 1} ^ {N} u ^ {2} {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}}}}$

v normalizovaném případě a

${displaystyle e_ {ij} (t + 1) = e_ {ij} (t) + u {ig [} y (t) -varphi {ig (} mathbf {x} (t), mathbf {w} {ig) } {ig]} {frac {v_ {ij} {ig (} mathbf {x} (t) -mathbf {c} _ {i} {ig)}} {součet _ {i = 1} ^ {N} součet _ {j = 1} ^ {n} v_ {ij} ^ {2} {ig (} mathbf {x} (t) -mathbf {c} _ {i} {ig)}}}}$

v lokálně-lineárním případě.

Pro jednu základní funkci se školení obsluhy projekce snižuje na Newtonova metoda.

Obrázek 6: Časová řada logistické mapy. Opakovaná iterace logistické mapy generuje chaotickou časovou řadu. Hodnoty leží mezi nulou a jednou. Zde je zobrazeno 100 tréninkových bodů použitých k trénování příkladů v této části. Váhy c jsou prvních pět bodů z této časové řady.

Příklady

Logistická mapa

Základní vlastnosti radiálních bázových funkcí lze ilustrovat jednoduchou matematickou mapou, logistická mapa, který mapuje jednotkový interval na sebe. Lze jej použít ke generování pohodlného datového proudu prototypu. Logickou mapu lze použít k prozkoumání aproximace funkce, predikce časových řad, a teorie řízení. Mapa pocházela z pole populační dynamika a stal se prototypem pro chaotický časové řady. Mapa je v plně chaotickém režimu dána

${displaystyle x (t + 1) {stackrel {mathrm {def}} {=}} fleft [x (t) ight] = 4x (t) vlevo [1-x (t) ight]}$

kde t je časový index. Hodnota x v čase t + 1 je parabolická funkce x v čase t. Tato rovnice představuje základní geometrii chaotické časové řady generované logistickou mapou.

Generování časové řady z této rovnice je problém vpřed. Zde uvedené příklady ilustrují inverzní problém; identifikace základní dynamiky nebo základní rovnice logistické mapy z příkladů časové řady. Cílem je najít odhad

${displaystyle x (t + 1) = fleft [x (t) ight] cca varphi (t) = varphi left [x (t) ight]}$

pro f.

Aproximace funkce

Nenormalizované radiální základní funkce

Architektura je

Obrázek 7: Nenormalizované základní funkce. Logistická mapa (modrá) a přiblížení k logistické mapě (červená) po jednom průchodu cvičnou sadou.

${displaystyle varphi (mathbf {x}) {stackrel {mathrm {def}} {=}} součet _ {i = 1} ^ {N} a_ {i} ho {ig (} leftVert mathbf {x} -mathbf {c } _ {i} ightVert {ig)}}$

kde

${displaystyle ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} = exp left [- eta _ {i} leftVert mathbf {x} -mathbf {c} _ {i} ightVert ^ {2} ight] = exp left [- eta _ {i} left (x (t) -c_ {i} ight) ^ {2} ight]}$.

Protože vstup je a skalární spíše než a vektor, vstupní rozměr je jedna. Zvolili jsme počet základních funkcí jako N = 5 a velikost cvičné sady na 100 exemplářů generovaných chaotickou časovou řadou. Váha ${displaystyle eta}$ je považována za konstantu rovnou 5. Váhy ${displaystyle c_ {i}}$ je pět příkladů z časové řady. Váhy ${displaystyle a_ {i}}$ jsou vyškoleni s výcvikem obsluhy projekce:

${displaystyle a_ {i} (t + 1) = a_ {i} (t) + u {ig [} x (t + 1) -varphi {ig (} mathbf {x} (t), mathbf {w} { ig)} {ig]} {frac {ho {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}} {sum _ {i = 1} ^ {N} ho ^ {2} {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}}}}$

Kde míra učení ${displaystyle u}$ je 0,3. Výcvik se provádí jedním průchodem přes 100 výcvikových bodů. The rms chyba je 0,15.

Obrázek 8: Normalizované základní funkce. Logistická mapa (modrá) a přiblížení k logistické mapě (červená) po jednom průchodu cvičnou sadou. Všimněte si zlepšení oproti nenormalizovanému případu.

Normalizované radiální základní funkce

Normalizovaná architektura RBF je

${displaystyle varphi (mathbf {x}) {stackrel {mathrm {def}} {=}} {frac {sum _ {i = 1} ^ {N} a_ {i} ho {ig (} leftVert mathbf {x} - mathbf {c} _ {i} ightVert {ig)}} {sum _ {i = 1} ^ {N} ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} }} = součet _ {i = 1} ^ {N} a_ {i} u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}}$

kde

${displaystyle u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} {stackrel {mathrm {def}} {=}} {frac {ho {ig (} leftVert mathbf {x } -mathbf {c} _ {i} ightVert {ig)}} {sum _ {i = 1} ^ {N} ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig )}}}}$.

Znovu:

${displaystyle ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} = exp left [- eta leftVert mathbf {x} -mathbf {c} _ {i} ightVert ^ {2 } ight] = exp left [- eta left (x (t) -c_ {i} ight) ^ {2} ight]}$.

Znovu jsme zvolili počet základních funkcí jako pět a velikost tréninkové sady na 100 exemplářů generovaných chaotickou časovou řadou. Váha ${displaystyle eta}$ je považována za konstantu rovnou 6. Váhy ${displaystyle c_ {i}}$ je pět příkladů z časové řady. Váhy ${displaystyle a_ {i}}$ jsou vyškoleni s výcvikem obsluhy projekce:

${displaystyle a_ {i} (t + 1) = a_ {i} (t) + u {ig [} x (t + 1) -varphi {ig (} mathbf {x} (t), mathbf {w} { ig)} {ig]} {frac {u {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}} {sum _ {i = 1} ^ {N} u ^ {2} {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}}}}$

Kde míra učení ${displaystyle u}$ se opět považuje za 0,3. Výcvik se provádí jedním průchodem přes 100 tréninkových bodů. The rms chyba na testovací sadě 100 exemplářů je 0,084, menší než nenormalizovaná chyba. Normalizace přináší zlepšení přesnosti. Typicky se přesnost s normalizovanými základními funkcemi zvyšuje ještě více oproti nenormalizovaným funkcím, jak se zvyšuje vstupní rozměrnost.

Obrázek 9: Normalizované základní funkce. Logistická mapa (modrá) a aproximace logistické mapy (červená) jako funkce času. Upozorňujeme, že aproximace je dobrá pouze pro několik časových kroků. Toto je obecná charakteristika chaotické časové řady.

Predikce časových řad

Jakmile je odhadnuta základní geometrie časové řady jako v předchozích příkladech, lze předpovědi časové řady provést iterací:

${displaystyle varphi (0) = x (1)}$

${displaystyle {x} (t) cca varphi (t-1)}$

${displaystyle {x} (t ​​+ 1) cca varphi (t) = varphi [varphi (t-1)]}$.

Na obrázku je zobrazeno porovnání skutečné a odhadované časové řady. Série odhadovaných časů začíná v čase nula s přesnou znalostí x (0). Poté použije odhad dynamiky k aktualizaci odhadu časové řady pro několik časových kroků.

Upozorňujeme, že odhad je přesný pouze v několika časových krocích. Toto je obecná charakteristika chaotické časové řady. Toto je vlastnost citlivé závislosti na počátečních podmínkách společných chaotickým časovým řadám. Malá počáteční chyba je časem zesílena. Míra divergence časových řad s téměř identickými počátečními podmínkami je známá jako Lyapunovův exponent.

Řízení chaotické časové řady

Obrázek 10: Řízení logistické mapy. Systém se může přirozeně vyvíjet po dobu 49 časových kroků. V čase 50 je zapnuto ovládání. Požadovaná trajektorie pro časovou řadu je červená. Systém pod kontrolou se učí základní dynamiku a řídí časovou řadu na požadovaný výstup. Architektura je stejná jako u příkladu predikce časových řad.

Předpokládáme, že s výstupem logistické mapy lze manipulovat prostřednictvím kontrolního parametru ${displaystyle c [x (t), t]}$ takhle

${displaystyle {x} _ {} ^ {} (t + 1) = 4x (t) [1-x (t)] + c [x (t), t]}$.

Cílem je zvolit řídicí parametr tak, aby se časová řada dostala na požadovaný výstup ${displaystyle d (t)}$. Toho lze dosáhnout, pokud zvolíme parametr ovládání, který má být

${displaystyle c _ {} ^ {} [x (t), t] {stackrel {mathrm {def}} {=}} -varphi [x (t)] + d (t + 1)}$

kde

${displaystyle y [x (t)] přibližně f [x (t)] = x (t + 1) -c [x (t), t]}$

je aproximace základní přirozené dynamiky systému.

Algoritmus učení je dán vztahem

${displaystyle a_ {i} (t + 1) = a_ {i} (t) + u varepsilon {frac {u {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig )}} {sum _ {i = 1} ^ {N} u ^ {2} {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}}}}$

kde

${displaystyle varepsilon {stackrel {mathrm {def}} {=}} f [x (t)] - varphi [x (t)] = x (t + 1) -c [x (t), t] -varphi [ x (t)] = x (t + 1) -d (t + 1)}$.

Viz také

• Radiální základní jádro
• instanční učení
• V situaci adaptivní tabulky
• Prediktivní analytika
• Teorie chaosu
• Hierarchický RBF
• Regulátor artikulace mozečkového modelu
• Okamžitě trénované neuronové sítě

Reference

Další čtení

• J. Moody a C. J. Darken, „Rychlé učení v sítích lokálně laděných procesorových jednotek“, Neural Computation, 1, 281-294 (1989). Viz také Síťové funkce s radiální bází podle Moodyho a Darkena
• T. Poggio a F. Girosi, “Sítě pro aproximaci a učení „Proc. IEEE 78 (9), 1484-1487 (1990).
• Roger D. Jones, Y. C. Lee, C. W. Barnes, G. W. Flake, K. Lee, P. S. Lewis a S. Qian,?Aproximace funkcí a predikce časových řad s neuronovými sítěmi,? Sborník z mezinárodní společné konference o neuronových sítích, 17. – 21. Června, s. 1. I-649 (1990).
• Martin D. Buhmann (2003). Funkce radiálního základu: Teorie a implementace. Cambridge University. ISBN  0-521-63338-9.
• Yee, Paul V. a Haykin, Simon (2001). Regularizované radiální základní funkční sítě: Teorie a aplikace. John Wiley. ISBN  0-471-35349-3.
• John R. Davies, Stephen V. Coggeshall, Roger D. Jones, a Daniel Schutzer, „Inteligentní bezpečnostní systémy“, in Freedman, Roy S., Flein, Robert A. a Lederman, Jess, Editors (1995). Umělá inteligence na kapitálových trzích. Chicago: Irwin. ISBN  1-55738-811-3.CS1 maint: více jmen: seznam autorů (odkaz)
• Simon Haykin (1999). Neuronové sítě: komplexní základ (2. vyd.). Upper Saddle River, NJ: Prentice Hall. ISBN  0-13-908385-5.
• S. Chen, C. F. N. Cowan a P. M. Grant, "Ortogonální algoritmus učení nejmenších čtverců pro sítě s funkcí radiálního základu ", IEEE Transactions on Neural Networks, Vol 2, No 2 (Mar) 1991.