Perceptrony (kniha) - Perceptrons (book)

Perceptrony: úvod do výpočetní geometrie
AutorMarvin Minsky, Seymour Papert
Datum publikace
1969
ISBN0 262 13043 2

Perceptrony: úvod do výpočetní geometrie je kniha, kterou napsal Marvin Minsky a Seymour Papert a publikováno v roce 1969. Počátkem sedmdesátých let vyšlo vydání s ručně psanými opravami a dodatky. Rozšířené vydání bylo dále publikováno v roce 1987 a obsahovalo kapitolu věnovanou reakci na kritiku z 80. let.

Hlavním předmětem knihy je perceptron, typ umělá neuronová síť vyvinut na přelomu 50. a 60. let. Kniha byla věnována psychologovi Frank Rosenblatt, který v roce 1957 publikoval první model „Perceptronu“.[1] Rosenblatt a Minsky se znali od dospívání, studovali s ročním rozdílem na Bronx High School of Science.[2] Stali se na jednom místě ústředními postavami debaty uvnitř výzkumné komunity AI a je známo, že podporovali hlasité diskuse na konferencích, přesto zůstali přátelští.[3]

Tato kniha je centrem dlouholeté kontroverze ve studiu umělá inteligence. Tvrdí se, že pesimistické předpovědi učiněné autory byly zodpovědné za změnu směru výzkumu v AI, soustředící úsilí na takzvané „symbolické“ systémy, linii výzkumu, která ustupovala a přispěla k tzv. AI zima 80. let, kdy nebyl slib AI splněn.

Maso z Perceptrony je řada matematické důkazy které uznávají některé silné stránky perceptronů a zároveň vykazují hlavní omezení.[3] Nejdůležitější z nich souvisí s výpočtem některých predikátů, jako je funkce XOR, a také důležitým predikátem propojenosti. Problém propojenosti je ilustrován na trapně zbarvené obálka knihy, která má ukázat, jak lidé sami mají potíže s výpočtem tohoto predikátu.[4]

Pozadí

The perceptron je neurální síť vyvinutý psychologem Frank Rosenblatt v roce 1958 a je jedním z nejznámějších strojů své doby.[5][6] V roce 1960 Rosenblatt a jeho kolegové dokázali ukázat, že perceptron se mohl v konečně mnoha tréninkových cyklech naučit jakýkoli úkol, který by jeho parametry mohly ztělesňovat. Věta o perceptronové konvergenci byla prokázána pro jednovrstvé neurální sítě.[6]

Během tohoto období byl výzkum neuronových sítí významným přístupem k otázce mozkových strojů, který přijal významný počet jednotlivců.[6] Zprávy New York Times a prohlášení Rosenblatta tvrdily, že neuronové sítě brzy uvidí obrazy, porazit lidi v šachu a rozmnožovat se.[3] Zároveň nové přístupy včetně symbolická AI vynořil se.[7] Různé skupiny se ocitly v soutěži o financování a lidi a jejich poptávka po výpočetní síle předstihla dostupnou nabídku.[8]

Obsah

Perceptrons: An Introduction to Computational Geometry je kniha třinácti kapitol seskupených do tří částí. Kapitoly 1–10 prezentují autorovu perceptronovou teorii prostřednictvím důkazů, kapitola 11 zahrnuje učení, kapitola 12 pojednává o problémech lineární separace a kapitola 13 pojednává o některých myšlenkách autorů na jednoduché a vícevrstvé perceptrony a rozpoznávání vzorů.[9][10]

Definice perceptron

Minsky a Papert si za předmět vzali abstraktní verze třídy učebních zařízení, které nazvali perceptrony, „jako uznání za průkopnickou práci Franka Rosenblatta“.[10] Tyto perceptrony byly modifikované formy perceptronů zavedené Rosenblattem v roce 1958. Skládaly se ze sítnice, jedné vrstvy vstupních funkcí a jediného výstupu.[9][6]

Kromě toho autoři omezili „pořadí“ neboli maximální počet příchozích spojení jejich perceptronů. Sociolog Mikel Olazaran vysvětluje, že Minsky a Papert „tvrdili, že zájem o neurální výpočty vycházel ze skutečnosti, že se jednalo o paralelní kombinaci místní informace ", která, aby byla efektivní, musela být jednoduchým výpočtem. Pro autory to znamenalo, že„ každá asociační jednotka mohla přijímat spojení pouze z malé části vstupní oblasti ".[6] Minsky a Papert nazvali tento koncept „konjunktivní lokálností“.[10]

Parita a propojenost

Dva hlavní příklady analyzované autory byly parita a propojenost. Parita zahrnuje určení, zda je počet aktivovaných vstupů ve vstupní sítnici lichý nebo sudý, a propojenost odkazuje na problém země-země. Minsky a Papert dokázali, že jednovrstvý perceptron nemohl spočítat paritu za podmínky konjunktivní lokality a ukázal, že pořadí vyžadované pro perceptron pro výpočet konektivity rostlo neprakticky velké.[11][10]

Aféra XOR

Někteří kritici knihy uvádějí, že autoři to naznačují, protože jediný umělý neuron není schopen implementovat některé funkce, jako je XOR logická funkce, větší sítě mají také podobná omezení, a proto by měly být zrušeny. Výzkum třívrstvých perceptronů ukázal, jak tyto funkce implementovat. Rosenblatt ve své knize dokázal, že elementární perceptron s apriorním neomezeným počtem skrytých vrstev A prvků (neuronů) a jedním výstupním neuronem může vyřešit jakýkoli klasifikační problém. (Věta o existenci.[12]) Minsky a Papert použili perceptrony s omezeným počtem vstupů A-prvků skryté vrstvy a podmínkou lokality: každý prvek skryté vrstvy přijímá vstupní signály z malého kruhu. Tyto omezené perceptrony nemohou definovat, zda je obraz spojenou postavou, nebo zda je počet pixelů v obrazu sudý (predikát parity).

V tomto příběhu je mnoho chyb. Ačkoli jediný neuron může ve skutečnosti vypočítat jen malý počet logických predikátů, bylo všeobecně známo, že sítě takových prvků mohou vypočítat jakýkoli možný booleovská funkce. Toto věděl Warren McCulloch a Walter Pitts, který dokonce navrhl, jak vytvořit Turingův stroj s jejich formálními neurony, je zmíněn v Rosenblattově knize a je dokonce zmíněn v knize Perceptrons.[13] Minsky také ve své knize značně využívá formální neurony k vytváření jednoduchých teoretických počítačů Výpočet: Konečné a nekonečné stroje.

Kniha dokazuje, že ve třívrstvých dopředných perceptronech (s takzvanou „skrytou“ nebo „zprostředkující“ vrstvou) není možné vypočítat některé predikáty, pokud alespoň jeden z neuronů v první vrstvě neuronů („zprostředkující“ vrstva) je spojena s nenulovou váhou ke každému vstupu. To bylo v rozporu s nadějí některých výzkumníků spoléhat se hlavně na sítě s několika vrstvami „místních“ neuronů, z nichž každá byla spojena pouze s malým počtem vstupů. Stroj pro předávání dopředu s „místními“ neurony je mnohem snazší sestavit a použít než větší, plně propojená neurální síť, takže se na ně vědci v té době soustředili místo na složitější modely.

Někteří další kritici, zejména Jordan Pollack, poznamenávají, že to, co bylo malým důkazem týkajícím se toho, že globální problém (parita) nebyl detekovatelný místními detektory, byla komunitou interpretována jako poměrně úspěšný pokus pohřbít celou myšlenku.[14]

Perceptrony a rozpoznávání vzorů

V závěrečné kapitole autoři uvedli myšlenky na vícevrstvé stroje a perceptrony Gamba. Domnívají se, že stroje Gamba by vyžadovaly „enormní množství“ masek Gamba a že vícevrstvé neurální sítě jsou „sterilním“ rozšířením. Dále poznamenávají, že mnoho „nemožných“ problémů perceptronů již bylo vyřešeno pomocí jiných metod.[10]

Recepce a dědictví

Perceptrony v letech po zveřejnění obdržela řadu pozitivních recenzí. V roce 1969 stanfordský profesor Michael A. Arbib uvedl: „Jeho kniha byla široce oslavována jako vzrušující nová kapitola v teorii rozpoznávání vzorů.“[15] Dříve toho roku, CMU profesor Allen Newell napsal recenzi knihy pro Věda, otevření díla prohlášením „[je] to je skvělá kniha.“[16]

Na druhou stranu, H.D. Block vyjádřil znepokojení nad úzkou definicí perceptronů autorů. Tvrdil, že „studují silně omezenou třídu strojů z pohledu zcela cizího Rosenblattově“, a proto byl název knihy „vážně zavádějící“.[9] Současní vědci v oblasti neuronových sítí sdíleli některé z těchto námitek: Bernard Widrow si stěžovali, že autoři definovali perceptrony příliš úzce, ale také uvedli, že důkazy Minského a Paperta jsou „do značné míry irelevantní“, k čemuž došlo celé desetiletí po Rosenblattově perceptronu.[11]

Perceptrony se často předpokládá, že způsobil pokles výzkumu neuronových sítí v 70. a na začátku 80. let.[3][17] Během tohoto období pokračovali vědci v oblasti neuronových sítí v menších projektech mimo hlavní proud, zatímco symbolický výzkum AI zaznamenal explozivní růst.[18][3]

S oživením konekcionismu na konci 80. let PDP výzkumník David Rumelhart a jeho kolegové se vrátili Perceptrony. Ve zprávě z roku 1986 tvrdili, že překonali problémy, které představili Minsky a Papert, a že „jejich pesimismus ohledně učení na vícevrstvých strojích byl na místě“.[3]

Analýza kontroverze

Je velmi poučné dozvědět se, co si Minsky a Papert v 70. letech řekli o širších důsledcích jejich knihy. Na své webové stránce Harvey Cohen,[19] výzkumný pracovník v MIT AI Labs 1974+,[20] cituje Minského a Paperta ve Zprávě o projektu MAC z roku 1971, zaměřené na finanční agentury, o „sítích Gamba“:[21] „O výpočtových schopnostech tohoto posledně uvedeného druhu stroje není známo prakticky nic. Věříme, že dokáže jen o málo víc než perceptron nízkého řádu.“ Na předchozí stránce Minsky a Papert objasňují, že „sítě Gamba“ jsou sítě se skrytými vrstvami.

Minsky srovnal knihu s fiktivní knihou Necronomicon v H. P. Lovecraft příběhy, kniha známá mnoha, ale přečtená jen několika.[22] Autoři hovoří v rozšířeném vydání o kritice knihy, která začala v 80. letech, s novou vlnou výzkumu symbolizovanou PDP rezervovat.

Jak Perceptrony byla nejprve prozkoumána jednou skupinou vědců, aby řídila výzkum AI jedním směrem, a později novou skupinou jiným směrem, byla předmětem sociologické studie vědeckého vývoje.[3]

Poznámky

  1. ^ Rosenblatt, Frank (leden 1957). „The Perceptron: Perceiving and Recognizing Automaton (Project PARA)“ (PDF). Zpráva (85-460-1). Cornell Aeronautical Laboratory, Inc., připomínáno u Joe Pater, Brain Wars: Jak funguje mysl? A proč je to tak důležité?, UmassAmherst. Citováno 29. prosince 2019. Citovat deník vyžaduje | deník = (Pomoc); Externí odkaz v | vydavatel = (Pomoc)
  2. ^ Crevier 1993
  3. ^ A b C d E F G Olazaran, Mikel (1996). „Sociologická studie oficiální historie kontroverze perceptronů“. Sociální vědy. 26 (3): 611–659. doi:10.1177/030631296026003005. JSTOR  285702.CS1 maint: ref = harv (odkaz)
  4. ^ Minsky-Papert 1972: 74 ukazuje černobílé postavy. Obálka brožované edice z roku 1972 je nechává tisknout fialově na červeném pozadí, a proto je připojení ještě obtížnější rozeznat bez použití prstu nebo jiných prostředků k mechanickému sledování vzorů. Tento problém je podrobně popsán na str. 136ff a skutečně zahrnuje trasování hranice.
  5. ^ Rosenblatt, Frank (1958). "Perceptron: Pravděpodobnostní model pro ukládání a organizaci informací v mozku". Psychologický přehled. 65 (6): 386–408. CiteSeerX  10.1.1.588.3775. doi:10.1037 / h0042519. PMID  13602029.
  6. ^ A b C d E Olazaran 1996, str. 618
  7. ^ Haugeland, John (1985). Artificial Intelligence: The Very Idea. Cambridge, Massachusetts: MIT Press. ISBN  978-0-262-08153-5.
  8. ^ Hwang, Tim (2018). „Výpočetní síla a sociální dopady umělé inteligence“. arXiv:1803.08971v1 [cs.AI ].
  9. ^ A b C Block, H. D. (1970). „Přehled 'Perceptronů: Úvod do výpočetní geometrie'". Informace a kontrola. 17 (1): 501–522. doi:10.1016 / S0019-9958 (70) 90409-2.
  10. ^ A b C d E Minsky, Marvin; Papert, Seymour (1988). Perceptrons: An Introduction to Computational Geometry. MIT Stiskněte.
  11. ^ A b Olazaran 1996, str. 630
  12. ^ Theorem 1 in Rosenblatt, F. (1961) Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms, Spartan. Washington DC.
  13. ^ Srov. Minsky-Papert (1972: 232): „... univerzální počítač by mohl být postaven zcela z lineárních prahových modulů. To v žádném smyslu nesnižuje teorii výpočtu a programování na teorii perceptronů.“
  14. ^ Pollack, J. B. (1989). "No Harm Intended: A Review of the Perceptrons extended edition". Journal of Mathematical Psychology. 33 (3): 358–365. doi:10.1016/0022-2496(89)90015-1.
  15. ^ Arbib, Michael (listopad 1969). "Přehled 'Perceptronů: Úvod do výpočetní geometrie'". Transakce IEEE na teorii informací. 15 (6): 738–739. doi:10.1109 / TIT.1969.1054388.
  16. ^ Newell, Allen (1969). „Krok k pochopení informačních procesů“. Věda. 165 (3895): 780–782. doi:10.1126 / science.165.3895.780. JSTOR  1727364.
  17. ^ Alom, Md Zahangir; et al. (2018). „The History Begin from AlexNet: a Comprehensive Survey on Deep Learning Approaches“. arXiv:1803.01164v1 [cs.CV ]. 1969: Minsky & Papert ukazují omezení perceptronu a zabíjejí výzkum neuronových sítí na deset let
  18. ^ Bechtel, William (1993). „Důvody pro konekcionalismus“. Filozofické studie. 71 (2): 119–154. doi:10.1007 / BF00989853. JSTOR  4320426.
  19. ^ „Perceptronová kontroverze“.
  20. ^ „Autor MIT AI Memo 338“ (PDF).
  21. ^ od jména italského výzkumníka neuronových sítí Augusto Gamba (1923–1996), designér perceptronu PAPA
  22. ^ „Historie: Minulost“. Ucs.louisiana.edu. Citováno 2013-07-10.

Reference