Rozšíření neuronové sítě - Extension neural network - Wikipedia

Rozšíření neuronové sítě je metoda rozpoznávání vzorů nalezená M. H. Wangem a C. P. Hungem v roce 2003 ke klasifikaci instancí souborů dat. Rozšiřující neuronová síť se skládá z umělá neuronová síť pojmy teorie rozšíření. Využívá schopnost rychlého a adaptivního učení neuronové sítě a vlastnost odhadu korelace teorie rozšíření výpočtem vzdálenosti rozšíření.
ENN byl použit v:

Detekce poruch ve strojním zařízení.
Klasifikace tkání pomocí MRI.
Rozpoznávání poruch v automobilovém motoru.
Odhad stavu nabití olověné baterie.
Klasifikace s neúplnými údaji z průzkumu.

Teorie rozšíření

Teorie rozšíření byla poprvé navržena Cai v roce 1983 k řešení rozporuplných problémů. Zatímco klasická matematika je obeznámena s množstvím a formami objektů, teorie rozšíření tyto objekty transformuje do modelu hmotných prvků.

{ displaystyle R = (N, C, V)}

(1)

kde v hmotě ${ displaystyle R}$ , ${ displaystyle N}$ je jméno nebo typ, ${ displaystyle C}$ je jeho charakteristika a ${ displaystyle V}$ je odpovídající hodnota charakteristiky. V rovnici 2 existuje odpovídající příklad.

{ displaystyle R = { begin {bmatrix} Yusuf & Height, & 178cm & Weight & 98kg end {bmatrix}}}

(2)

kde ${ displaystyle výška}$ a ${ displaystyle váha}$ charakteristiky rozšiřujících sad formulářů. Tyto sady rozšíření jsou definovány pomocí ${ displaystyle V}$ hodnoty, které jsou hodnotami rozsahu pro odpovídající charakteristiky. Teorie rozšíření se týká funkce rozšíření korelace mezi modely hmotných prvků, jak je znázorněno v rovnici 2 a sadách rozšíření. Funkce korelace rozšíření se používá k definování prostoru rozšíření, který se skládá z dvojic prvků a jejich funkcí rozšíření korelace. Vzorec mezery je zobrazen v rovnici 3.

{ displaystyle A = left {(x, y) | x v U, y = K (x) right }}

(3)

kde, ${ displaystyle A}$ je rozšiřující prostor, ${ displaystyle U}$ je prostor objektů, ${ displaystyle K}$ je funkce rozšíření korelace, ${ displaystyle x}$ je prvek z prostoru objektů a ${ displaystyle y}$ je odpovídající výstup funkce rozšíření korelace prvku ${ displaystyle x}$ . ${ displaystyle K (x)}$ mapy ${ displaystyle x}$ do intervalu členství ${ displaystyle left [- infty, infty right]}$ . Negativní region představuje prvek, který nepatří ke členství ve třídě a pozitivní region naopak. Li ${ displaystyle x}$ je mapováno na ${ displaystyle left [0,1 right]}$ , teorie rozšíření funguje jako fuzzy množina teorie. Korelační funkci lze ukázat pomocí rovnice 4.

{ displaystyle rho (x, X_ {in}) = left | x - { frac {a + b} {2}} right | - { frac {b-a} {2}}}

${ displaystyle rho (x, X_ {out}) = vlevo | x - { frac {c + d} {2}} vpravo | - { frac {d-c} {2}}}$

(4)

kde, ${ displaystyle X_ {in}}$ a ${ displaystyle X_ {out}}$ se nazývají dotčená a sousední doména a jejich intervaly jsou (a, b) a (c, d). Rozšířená funkce korelace použitá pro odhad stupně členství mezi ${ displaystyle x}$ a ${ displaystyle X_ {in}}$ , ${ displaystyle X_ {out}}$ je zobrazen v rovnici 5.

{ displaystyle K (x) = { begin {cases} - rho (x, X_ {in}) & x in {X_ {in}} { frac { rho (x, X_ {in}) } { rho (x, X_ {out}) - rho (x, X_ {in})}} & x not in {X_ {in}} end {cases}}}

(5)

Extension Neural Network

Rozšiřující neuronová síť má podobu neuronové sítě. Váhový vektor je umístěn mezi vstupními uzly a výstupními uzly. Výstupní uzly jsou reprezentací vstupních uzlů jejich procházením váhovým vektorem.

Existuje celkový počet vstupních a výstupních uzlů ${ displaystyle n}$ a ${ displaystyle n_ {c}}$ , resp. Tato čísla závisí na počtu charakteristik a tříd. Spíše než používat jednu váhovou hodnotu mezi dvěma uzly vrstvy jako v nervová síť, architektura rozšíření neurální sítě má dvě váhové hodnoty. Například v architektuře rozšíření neurální sítě ${ displaystyle i}$ , ${ displaystyle x_ {ij} ^ {p}}$ je vstup, který patří do třídy ${ displaystyle p}$ a ${ displaystyle o_ {ik}}$ je odpovídající výstup pro třídu ${ displaystyle k}$ . Výstup ${ displaystyle o_ {ik}}$ se vypočítá pomocí prodlužovací vzdálenosti, jak je uvedeno v rovnici 6.

{ displaystyle ED_ {ik} = součet limity _ {j = 0} ^ {n} vlevo ({ frac {| x_ {ij} ^ {p} -z_ {kj} | - { frac {w_ {kj} ^ {U} -w_ {kj} ^ {L}} {2}}} {| { frac {w_ {kj} ^ {U} -w_ {kj} ^ {L}} {2}} |}} + 1 vpravo)}

${ displaystyle k = 1,2, ...., n_ {c}}$

(6)

Odhadovaná třída je nalezena hledáním minimální prodlužovací vzdálenosti mezi vypočítanou prodlužovací vzdáleností pro všechny třídy, jak je shrnuto v rovnici 7, kde ${ displaystyle k ^ {*}}$ je odhadovaná třída.

{ displaystyle k ^ {*} = arg min _ {k} (o_ {ik})}

(7)

Algoritmus učení

Každá třída se skládá z řady charakteristik. Tyto charakteristiky jsou typy vstupů nebo názvy, které pocházejí z modelu hmotných prvků. Hodnoty hmotnosti v rozšiřující neuronové síti představují tyto rozsahy. V algoritmu učení se první váhy inicializují hledáním maximální a minimální hodnoty vstupů pro každou třídu, jak je znázorněno v rovnici 8

{ displaystyle w_ {kj} ^ {U} = max _ {i} {x_ {ij} ^ {k} }}

${ displaystyle w_ {kj} ^ {L} = min _ {i} {x_ {ij} ^ {k} }}$ ${ displaystyle i = 1, ..., N_ {p}}$ ${ displaystyle k = 1, ..., n_ {c}}$ ${ displaystyle j = 1,2, ...., n}$

(8)

kde, ${ displaystyle i}$ je číslo instance a ${ displaystyle j}$ je představuje počet vstupů. Tato inicializace poskytuje rozsahy tříd podle daných tréninkových dat.

Po udržení vah se rovnice 9 nachází uprostřed shluků.

{ displaystyle Z_ {k} = {z_ {k1}, z_ {k2}, ..., z_ {kn} }}

${ displaystyle z_ {kj} = { frac {w_ {kj} ^ {U} + w_ {kj} ^ {L}} {2}}}$ ${ displaystyle k = 1,2, ...., n_ {c}}$ ${ displaystyle j = 1,2, ...., n}$

(9)

Před zahájením procesu učení je dána předdefinovaná rychlost učení, jak je uvedeno v rovnici 10

{ displaystyle E _ { tau} = { frac {N_ {m}} {N_ {p}}}}

(10)

kde, ${ displaystyle N_ {m}}$ jsou nesprávně klasifikované instance a ${ displaystyle N_ {p}}$ je celkový počet instancí. Inicializované parametry se používají ke klasifikaci instancí pomocí rovnice 6. Pokud inicializace není dostatečná vzhledem k rychlosti učení, je nutné školení. V kroku tréninku jsou váhy upraveny tak, aby přesněji klasifikovaly tréninková data, a proto je zaměřeno na snížení rychlosti učení. V každé iteraci ${ displaystyle E _ { tau}}$ je zaškrtnuto pro kontrolu, zda je dosaženo požadovaného výkonu učení. V každé iteraci se pro trénink používá každá instance školení.
Instance ${ displaystyle i}$ , patří do třídy ${ displaystyle p}$ ukazuje:

${ displaystyle X_ {i} ^ {p} = {x_ {i1} ^ {p}, x_ {i2} ^ {p}, ..., x_ {in} ^ {p} }}$

${ displaystyle 1 leq p leq n_ {c}}$

Každý vstupní datový bod ${ displaystyle X_ {i} ^ {p}}$ se používá při výpočtu prodloužené vzdálenosti k odhadu třídy ${ displaystyle X_ {i} ^ {p}}$ . Pokud odhadovaná třída ${ displaystyle k ^ {*} = p}$ pak aktualizace není nutná. Vzhledem k tomu, pokud ${ displaystyle k ^ {*} neq p}$ pak je aktualizace hotová. V případě aktualizace jsou oddělovače, které ukazují vztah mezi vstupy a třídami, posunuty úměrně vzdálenosti mezi středem klastrů a datovými body.
Vzorec aktualizace:

${ displaystyle z_ {pj} ^ {new} = z_ {pj} ^ {old} + eta (x_ {ij} ^ {p} -z_ {pj} ^ {old})}$
${ displaystyle z_ {k ^ {*} j} ^ {new} = z_ {k ^ {*} j} ^ {old} - eta (x_ {ij} ^ {p} -z_ {k ^ {*} j} ^ {starý})}$
${ displaystyle w_ {pj} ^ {L (nové)} = w_ {pj} ^ {L (staré)} + eta (x_ {ij} ^ {p} -z_ {pj} ^ {staré})}$
${ displaystyle w_ {pj} ^ {U (nové)} = w_ {pj} ^ {U (staré)} + eta (x_ {ij} ^ {p} -z_ {pj} ^ {staré})}$
${ displaystyle w_ {k ^ {*} j} ^ {L (nové)} = w_ {k ^ {*} j} ^ {L (staré)} - eta (x_ {ij} ^ {p} -z_ {k ^ {*} j} ^ {starý})}$
${ displaystyle w_ {k ^ {*} j} ^ {U (nové)} = w_ {k ^ {*} j} ^ {U (staré)} - eta (x_ {ij} ^ {p} -z_ {k ^ {*} j} ^ {starý})}$

Klasifikace instance ${ displaystyle i}$ přesně, oddělovač třídy ${ displaystyle p}$ pro vstup ${ displaystyle j}$ přesune se k datovému bodu instance ${ displaystyle i}$ , zatímco oddělovač třídy ${ displaystyle k ^ {*}}$ pro vstup ${ displaystyle j}$ se pohybuje daleko. Na obrázku výše je uveden příklad aktualizace. Předpokládejme tuto instanci ${ displaystyle i}$ patří do třídy A, zatímco je zařazen do třídy B, protože výpočet prodloužení vzdálenosti dává ${ displaystyle ED_ {A}> ED_ {B}}$ . Po aktualizaci se oddělovač třídy A přesune blízko k datovému bodu instance ${ displaystyle i}$ zatímco oddělovač třídy B se pohybuje daleko. V důsledku toho se prodlužovací vzdálenost rozdává ${ displaystyle ED_ {B}> ED_ {A}}$ , proto po aktualizaci instance ${ displaystyle i}$ je zařazen do třídy A.

Reference

Wang, M. H .; Tseng, Y. F .; Chen, H. C .; Chao, K.H. (2009). "Nový shlukovací algoritmus založený na teorii rozšíření a genetickém algoritmu". Expertní systémy s aplikacemi. 36 (4): 8269–8276. doi:10.1016 / j.eswa.2008.10.010.
Kuei-Hsiang Chao, Meng-Hui Wang a Chia-Chang Hsu. Nová metoda odhadu zbytkové kapacity založená na rozšiřující neuronové síti pro olověné baterie. Mezinárodní symposium o neuronových sítích, strany 1145–1154, 2007
Kuei-Hsiang Chao, Meng-Hui Wang, Wen-Tsai Sung a Guan-Jie Huang. Použití enn-1 pro rozpoznávání poruch automobilového motoru. Expert Systems with Applications, 37 (4): 29432947, 2010
Wang, C. M .; Wu, M. J .; Chen, J. H .; Yu, C. Y. (2009). "Extension Neural Network Approach to Classification of Brain MRI". Pátá mezinárodní konference o inteligentním skrývání informací a zpracování multimediálních signálů 2009. p. 515. doi:10.1109 / IIH-MSP.2009.141. ISBN 978-1-4244-4717-6. S2CID 12072969.
Ye, J. (2009). "Aplikace teorie rozšíření v diagnostice chyb zapalování benzinových motorů". Expertní systémy s aplikacemi. 36 (2): 1217–1221. doi:10.1016 / j.eswa.2007.11.012.
Juncai Zhang, Xu Qian, Yu Zhou a Ai Deng. Metoda monitorování stavu zařízení založená na rozšiřující neuronové síti. Konference o čínské kontrole a rozhodování, strany 1735–1740, 2010
Wang, M .; Hung, C. P. (2003). Msgstr "Rozšíření neuronové sítě a její aplikace". Neuronové sítě. 16 (5–6): 779–784. doi:10.1016 / S0893-6080 (03) 00104-7. PMID 12850034.