Alexey Ivakhnenko - Alexey Ivakhnenko

Alexey Ivakhnenko
Alexey Ivakhnenko, Kyiv 1967.jpg
narozený
Oleksiy Hryhorovych Ivakhnenko

(1913-03-30)30. března 1913
Kobelyaky, Guvernorát Poltava, Ruská říše
Zemřel16. října 2007(2007-10-16) (ve věku 94)
Kyjev, Ukrajina
Národnostukrajinština
Alma materLeningradský elektrotechnický institut (M.Sc )
Známý jakoSkupinová metoda zpracování dat,
Hluboké učení,
Induktivní modelování
OceněníČestný vědec SSSR
Dva Státní ceny SSSR
Objednávka přátelství národů rib.png DistinguishedLabourRibbon.png RibbonLabourDuringWar.png
Vědecká kariéra
PoleUmělá inteligence,
Strojové učení,
Počítačová věda
InstituceGlushkov Institute of KyberneticsSpojené království,
Kyjevský elektrotechnický institut,
Kyjevský polytechnický institut (D.Sc )
TezeTeorie kombinovaných systémů pro automatické řízení elektrických motorů (1954)
Pozoruhodné studentyV. M. Kuntsevich, V. I. Kostiuk
V. I. Ivanenko, V. I. Vasylyev
O. A. Pavlov

Alexey Ivakhnenko (ukrajinština: Олексíй Григо́рович Івахненко); (30. března 1913-16. Října 2007) byl a sovětský a ukrajinština matematik nejslavnější pro vývoj Skupinová metoda zpracování dat (GMDH), metoda induktivního statistického učení, pro kterou je někdy označován jako „otec Hluboké učení ".[1]

raný život a vzdělávání

Aleksey se narodil v Kobelyaky, Guvernorát Poltava v rodině učitelů.[2] V roce 1932 absolvoval Elektrotechnickou školu v Kyjevě a dva roky pracoval jako inženýr na stavbě velké elektrárny v Berezniki. Poté v roce 1938, po ukončení studia na Leningradský elektrotechnický institut, Ivakhnenko pracoval v All-Union Electrotechnical Institute v Moskvě během válečný. Tam zkoumal problémy automatické ovládání v laboratoři pod vedením Sergej Lebeděv.

Po návratu do Kyjeva v roce 1944 pokračoval ve výzkumu v dalších institucích na Ukrajině. V tomto roce získal titul Ph.D. stupně a později, v roce 1954 obdržel D.Sc. stupeň. V roce 1964 byl jmenován vedoucím katedry kombinovaných řídicích systémů na Ústavu kybernetiky. Současně pracoval nejprve jako lektor a od roku 1961 jako profesor automatického řízení a technické kybernetiky na Kyjevský polytechnický institut.

Výzkum

Je známo, že Ivakhnenko je zakladatelem induktivního modelování, vědeckého přístupu používaného pro rozpoznávání vzorů a předpovídání komplexních systémů.[3] Tento přístup použil při vývoji Skupinová metoda zpracování dat (GMDH). V roce 1968 publikoval časopis „Avtomatika“ svůj článek „Skupinová metoda zpracování dat - soupeř metody stochastické aproximace“,[4] ohlašovat začátek nové etapy jeho vědecké práce. Vedl vývoj tohoto přístupu s profesionálním týmem matematiků a inženýrů z Ústavu kybernetiky.

Skupinová metoda zpracování dat

The GMDH metoda představuje jedinečný přístup k umělá inteligence řešení problémů a dokonce i nová filozofie vědecký výzkum, což bylo možné pomocí moderních počítačů.[3] Výzkumník nemusí přesně dodržovat tradiční deduktivní způsob vytváření modelů "od obecné teorie - po konkrétní model": monitorování objektu, studium jeho struktury, porozumění principům jeho fungování, vývoj teorie a testování Modelka objektu. Místo toho je nový přístup navržen „od specifikovaných dat - k obecnému modelu“: po zadání dat vybere výzkumný pracovník třídu modelů, typ generování modelů a variant a nastaví kritérium pro výběr modelu. Protože se většina rutinní práce přenáší do počítače, je minimalizován dopad lidského vlivu na objektivní výsledek. Ve skutečnosti lze tento přístup považovat za jednu z implementací teze o umělé inteligenci, která uvádí, že počítač může působit jako silný poradce pro člověka.

Vývoj GMDH spočívá v syntéze myšlenek z různých oblastí vědy: kybernetický koncept „Černá skříňka "a princip postupnosti genetická selekce párových funkce, Godlovy věty o neúplnosti a Gabor zásada „svobody rozhodování“,[5] the Adhémarova nesprávnost a Pivo princip externích dodatků.[6]

GMDH je původní metoda řešení problémů pro strukturně-parametrické identifikace modelů pro experimentální data pod nejistota.[7] Takový problém nastává při konstrukci a matematický model který přibližuje neznámý vzorec vyšetřovaného objektu nebo procesu.[8] Využívá informace o tom, které jsou implicitně obsaženy v datech. GMDH se liší od ostatních metod modelování aktivním použitím následujících zásady: automatické generování modelů, neprůkazná rozhodnutí a konzistentní výběr podle externích kritérií pro hledání modelů s optimální složitostí. Měl originální vícevrstvý postup pro generování struktury automatických modelů, který napodobuje evoluční proces biologického výběru s ohledem na párové po sobě jdoucí vlastnosti. Takový postup se aktuálně používá v Hluboké učení sítí.[9] K porovnání a výběru optimálních modelů se používají dvě nebo více podmnožin vzorku dat. To umožňuje vyhnout se předběžným předpokladům, protože dělení vzorků implicitně uznává různé typy nejistoty během automatické konstrukce optimálního modelu.

Na začátku 80. let vytvořil Ivakhnenko organickou analogii mezi problémem konstrukce modelů pro hlučná data a signál procházející kanál s hluk.[10] To umožnilo položit základy teorie hlukově imunního modelování.[7] Hlavním výsledkem této teorie je, že složitost optimálního prediktivního modelu závisí na úrovni nejistoty v datech: čím vyšší je tato úroveň (např. Kvůli šumu) - tím jednodušším musí být optimální model (s méně odhadovanými parametry). Tím byl zahájen vývoj teorie GMDH jako induktivní metoda automatického přizpůsobení složitosti optimálního modelu úrovni informací v systému Windows fuzzy data. Proto je GMDH často považován za původní informační technologii pro extrakce znalostí z experimentální data.

Výsledek

Vedle GMDH vyvinul Ivakhnenko následující soubor výsledků:

  • Nové principy automatické ovládání rychlosti pro AC a asynchronní elektromotory.[11]
  • Teorie invariantních systémů pro adaptivní ovládání s kompenzací měřených poruch.[12] Vyvinul princip nepřímého měření poruch, nazývaný „diferenciální vidlice“, který se později použil v praxi.
  • Princip kombinovaného řízení (s negativní zpětnou vazbou pro regulované proměnné a pozitivní zpětnou vazbou pro řízené poruchy).[13] V praxi byla zavedena řada takových systémů pro řízení otáček elektromotorů. To prokázalo praktickou proveditelnost invariantních podmínek v kombinovaných řídicích systémech, které spojují výhody uzavřených systémů pro řízení odchylkou (vysoká přesnost) a otevřených systémů (výkon).
  • Nehledající extrémní regulátory na základě rozpoznávání situací.[14]
  • Princip rozpoznávání samoučících se vzorů. Nejprve to bylo prokázáno v kognitivním systému „Alpha“,[8] vytvořené pod jeho vedením.
  • Základ pro konstrukci zařízení pro kybernetickou predikci.[15]
  • Teorie modelů samoorganizace podle experimentálních dat.[16]
  • Způsob řízení s optimalizací prognózy.[17]
  • Protihlukové principy robustního modelování pro data se zvuky.[7]
  • Princip konstrukce samoorganizujících se sítí hlubokého učení.[3]
  • Návrh vícevrstvého neuronové sítě s aktivními neurony, kde každý neuron je algoritmus.

Ivakhnenko je dobře známý svými úspěchy v teorii invariance a teorii kombinovaných automatických řídicích systémů, která pracuje na principu kompenzace měřených poruch. Vyvinul zařízení a metody pro adaptivní řízení systémů s magnetickými zesilovači a motory.

Je autorem první ukrajinské monografie o technické kybernetice,[14] který byl celosvětově vydán v sedmi jazycích.[18] Ve své studii byl další rozvoj principů kombinované kontroly spojen s implementací metod evoluční sebeorganizace, rozpoznávání vzorů a předpovídání v řídicí systémy.

V posledních letech byla jeho hlavní inovace - metoda GMDH vyvinuta jako metoda induktivního modelování, komplexních procesů a systémů předpovídání. Jeho myšlenky jsou nyní využívány v Hluboké učení sítí.[19] Efektivita metody byla opakovaně potvrzována při řešení skutečných komplexních problémů v České republice ekologie, meteorologie, ekonomika a technologie, což přispělo ke zvýšení jeho popularity mezi mezinárodní vědeckou komunitou.[20] Souběžně probíhal vývoj evoluční samoorganizace algoritmy v příbuzném oboru - shlukování problémy s rozpoznáváním vzorů.[21] Pokroky v modelování environmentálních procesů odrážející se v monografiích,[22][10] ekonomické procesy - v knihách. [17][23] Výsledky průzkumu opakující se vícevrstvé algoritmy GMDH jsou popsány v knihách.[16][3]

Vědecká škola

V letech 1963 až 1989 byl Ivakhnenko redaktorem odborného vědeckého časopisu „Avtomatika“ (později „Problémy managementu a počítačové vědy“), který hrál klíčovou roli při formování a rozvoji ukrajinské školy induktivního modelování. Během těchto let byl časopis ve Spojených státech přeložen a přetištěn jako „Sovětské automatické řízení“ (později „Journal of Automation and Information Sciences“).

Vedle neustálých inovací ve svém oboru od roku 1945 udržoval Ivakhnenko aktivní pedagogickou kariéru, nejprve jako odborný asistent na katedře teoretické mechaniky a poté na fakultě řídicích systémů. Od roku 1960 jako profesor na katedře technické kybernetiky v Brně Kyjevský polytechnický institut, přispíval přednáškami na univerzitu a studentský sbor a dohlížel na práci mnoha postgraduálních studentů. V letech 1958–1964 byl organizátorem All-Union Conferences of Invariance v Kyjevě, kde byl po zákazu obnoven vývoj teorie neměnných řídicích systémů.[24]

Jeho nevyčerpatelné nadšení pomohlo více než 220 mladým vědcům připravit a úspěšně obhájit Ph.D. disertační práce pod jeho vedením v KPI a na Institutu kybernetiky a téměř 30 jeho studentů obhájilo postdoktorské disertační práce. Vědecká škola Ivakhnenko byla a je skutečnou kolébkou vysoce kvalifikovaných vědeckých odborníků. Kromě toho jeho studenti V.M. Kuntsevych, V.I. Kostyuk, V.I.Ivanenko, V.I. Vasiliev, A.A.Pavlov a další vytvořili své vlastní respektované vědecké školy. Ivakhnenko byl zářným příkladem vědce se silným smyslem pro novou a pozoruhodnou vědeckou intuici. Až do svých posledních dnů nadále aktivně pracoval a velkoryse generoval originální vědecké nápady a výsledky.

Ocenění a vyznamenání

Ivakhnenko je čestným vědcem SSSR (1972), dvojnásobným nositelem Státní ceny (1991, 1997) za práce o teorii neměnných automatických systémů a soubor publikací Informační technologie v oblasti umělé inteligence. Autor 40 knih a více než 500 vědeckých článků. Čestný doktor Národní technická univerzita „KPI“ (2003) a Lvovská polytechnika (2005). Byl korespondujícím členem Akademie věd SSSR (1961) a akademikem NAS Ukrajiny (2003).

Vybraná díla

  • Ivakhnenko A.G. Heuristická samoorganizace v problémech technické kybernetiky, Automatica, sv. 6, 1970 - s. 207-219.
  • Ivakhnenko A.G. Polynomiální teorie komplexních systémů, IEEE Transactions on Systems Man and Cybernetics, 4, 1971 - str. 364-378.
  • Ivakhnenko, A.G .; Ivakhnenko, G.A. (1995). „Přehled problémů řešitelných pomocí algoritmů Skupinové metody zpracování dat (GMDH)“ (PDF). Rozpoznávání vzorů a analýza obrazu. 5 (4): 527–535. CiteSeerX  10.1.1.19.2971.
  • Ivakhnenko, A.G .; Müller, J.-A. (1997). „Nedávný vývoj samoorganizujícího se modelování v predikci a analýze akciového trhu“ (PDF). Mikroelektron. Reliab. 37: 1053–1072. CiteSeerX  10.1.1.19.4973.

Reference

  1. ^ Schmidhuber, Jurgen. „Kritika papíru„ Deep Learning Conspiracy “. (Příroda 521 s 436)“. Citováno 2019-12-26.
  2. ^ Бобрищев, К.В. (2002). Отчий Край (v ukrajinštině). Полтава: Дивосвіт. 284–293. ISBN  978-966-95846-9-4.
  3. ^ A b C d Madala, H.R .; Ivakhnenko, A.G. (1994). Algoritmy indukčního učení pro modelování komplexních systémů. Boca Raton: CRC Press. ISBN  978-0849344381.
  4. ^ Ivakhnenko, A.G. (1968). „Skupinová metoda zpracování dat - soupeř metody stochastické aproximace“. Sovětské automatické ovládání. 13 (3): 43–55.
  5. ^ Gabor, D. (1971). Perspektivy hoblování. Organizace hospodářské spolupráce a rozvoje. London: Imp.Coll.
  6. ^ Beer, S. (1959). Kybernetika a management. London: English Univ. Lis.
  7. ^ A b C Ivakhnenko, A.G .; Stepashko, V.S. (1985). Pomekhoustojchivost 'Modelirovanija (odolnost proti hluku modelování) (PDF). Kyjev: Naukova Dumka. Citováno 2019-12-26.
  8. ^ A b Ivakhnenko, A.G .; Lapa, V.G. (1967). Kybernetika a předpovědní techniky (Modern Analytic and Computational Methods in Science and Mathematics, v.8 ed.). Americký Elsevier. ISBN  978-0444000200.
  9. ^ Takao, S .; Kondo, S .; Ueno, J .; Kondo, T. (2017). „Hluboká zpětná vazba neuronové sítě typu GMDH a její aplikace na lékařskou analýzu obrazu mozkových obrazů MRI“. Umělý život a robotika. 23 (2): 161–172. doi:10.1007 / s10015-017-0410-1. S2CID  44190434.
  10. ^ A b Ivahnenko, A.G. (1982). Induktivní metoda modelů Samoorganizace pro složité systémy (PDF) (v Rusku). Kyjev: Naukova Dumka.
  11. ^ Ivakhnenko, A.G. (1953). Automatické řízení rychlosti asynchronních motorů se středním výkonem. Kyjev: Izd.AN SSSR.
  12. ^ Ivakhnenko, A.G. (1954). Teorie kombinovaného automatického řízení elektromotorů. Kyjev: Izd.KPI.
  13. ^ Ivakhnenko, A.G. (1954). Elektroautomatika. Kyjev: Gostekhizdat.
  14. ^ A b Ivakhnenko, A.G. (1959). Tekhnicheskaya Kibernetika. Kyjev: Gostechizdat SSSR.
  15. ^ Ivakhnenko, A.G. (1969). Samoučící se systémy rozpoznávání a automatického ovládání. Kyjev: Tehnika.
  16. ^ A b Ivakhnenko, A.G .; Yurachkovsky, Yu.P. (1986). Modelirovanie Slozhnykh Sistem po Exsperimentalnym Dannym (Modelování komplexních systémů na experimentálních datech). M: Rádio i Svyaz.
  17. ^ A b Ivakhnenko, A.G .; Müller, J.A. (1985). Samoorganizace předpovědních modelů (PDF) (v Rusku). Kyjev: Tehnika.
  18. ^ Ivachnenko, A.G. (1962). Techniche kybernetik. Berlín: Verlag Technik.
  19. ^ Schmidhuber, J. (leden 2015). „Hluboké učení v neuronových sítích: přehled“ (PDF). Neuronové sítě. 61: 85–117. arXiv:1404.7828. doi:10.1016 / j.neunet.2014.09.003. PMID  25462637. S2CID  11715509. Citováno 2019-12-26.
  20. ^ Farlow, S.J., vyd. (1984). Samoorganizující se metody v modelování: Algoritmy typu GMDH (Statistics: Textbooks and Monographs, vol. 54 ed.). Marcel Dekker Inc. ISBN  978-0824771614. Citováno 2019-12-26.
  21. ^ Ivahnenko, A.G .; Zaychenko, Yu.P .; Dimitrov, V.D. (1976). Rozhodování na základě samoorganizace. M: Sov. Radio.
  22. ^ Ivahnenko, A.G. (1975). Dlouhodobá prognóza a komplexní kontrola systémů (PDF) (v Rusku). Kyjev: Tehnika.
  23. ^ Ivachnenko, A.G .; Müller, J.A. (1984). Selbstorganisation von Vorhersagemodellen. Berlín: Veb Verlag Technik.
  24. ^ "Nauka i Promyshlennost '(věda a průmysl)". Pravda. Komunistická strana SSSR. 16. května 1941.

externí odkazy