Song-Chun Zhu - Song-Chun Zhu

Song-Chun Zhu
narozenýČerven 1968
Ezhou, Hubei, Čína
Národnostčínština
obsazeníPočítačový vědec, aplikovaný matematik
OceněníCena Helmholtz Test-of-Time Award
Člen IEEE
Cena Davida Marra
Akademické pozadí
Alma materUniversity of Science and Technology of China (BS v informatice)
Harvardská Univerzita (M.S. a Ph.D. v oboru počítačových věd)
TezeStatistické a výpočetní teorie pro segmentaci obrazu, modelování textur a rozpoznávání objektů (1996)
Doktorský poradceDavid Mumford
Akademická práce
DisciplínaInformatika a statistika
InstituceUniversity of California, Los Angeles
Hlavní zájmyUmělá inteligence
webová stránkawww.stat.ucla.edu/ ~ sczhu

Song-Chun Zhu (čínština : 朱 松 纯) je čínština počítačový vědec a aplikovaný matematik známý svou prací v počítačové vidění kognitivní umělá inteligence a robotika. Zhu je profesorem na katedrách statistiky a informatiky na University of California, Los Angeles.[1] Zhu také slouží jako ředitel UCLA Centra pro vizi, poznávání, učení a autonomii (VCLA).[2]

V roce 2005 založil Zhu Lotus Hill Institute, nezávislou neziskovou organizaci na podporu mezinárodní spolupráce v oblastech počítačové vidění a rozpoznávání vzorů.[3] Zhu publikoval rozsáhle a globálně přednášel o umělé inteligenci a v roce 2011 se stal Člen IEEE (Institute of Electrical and Electronics Engineers ) pro „příspěvky ke statistickému modelování, učení a závěru v počítačovém vidění.“[4]

Zhu má dvě dcery, Stephanie a Beverly.[5] Beverly Yi Zhu (čínština : 朱 易) je čínsko-americká konkurence krasobruslař.[Citace je zapotřebí ]

raný život a vzdělávání

Narodil se a vyrůstal v Ezhou, Čína Zhu našel inspiraci, když byl mladý, ve vývoji počítačů hrajících šachy, což vyvolalo jeho zájem o umělou inteligenci. V roce 1991 získal Zhu titul B.S. v informatice z University of Science and Technology of China v Hefei. Během svých vysokoškolských let, Zhu, našel výpočetní teorii vidění pozdním neurologem MIT David Marr hluboce vlivný, usiloval o prosazování obecné jednotné teorie vidění a AI.[6] V roce 1992 Zhu pokračoval ve studiu počítačového vidění na Harvardská postgraduální škola umění a věd. Na Harvardu studoval Zhu pod dohledem amerického matematika David Mumford a získal úvod do „pravděpodobně přibližně správné“ (PAC) učení podle pokynů Leslie Valiant. Zhu ukončil studium na Harvardu v roce 1996 Ph.D. v oboru počítačových věd a následoval Mumforda do Divize aplikované matematiky v Brown University jako postdoktorand.[3]

Kariéra

Po svém postdoktorandském studiu krátce přednášel Zhu Stanfordská Univerzita oddělení informatiky. V roce 1998 nastoupil Ohio State University jako odborný asistent na katedrách informatiky a kognitivních věd. V roce 2002 Zhu nastoupil na Kalifornskou univerzitu v Los Angeles na katedry informatiky a statistiky jako docent a v roce 2006 se stal řádným profesorem. Na UCLA založil Zhu Centrum pro vizi, poznávání, učení a autonomii. Jeho hlavní výzkumný zájem spočíval v prosazování jednotného statistického a výpočetního rámce pro vizi a inteligenci, který zahrnuje prostorový, dočasný a kauzální a-or graf (STC-AOG) jako jednotné zastoupení a četné Metody Monte Carlo pro odvození a učení.[7][8]

V roce 2005 založil Zhu ve svém rodném městě Ezhou nezávislou neziskovou organizaci, Lotus Hill Institute (LHI). LHI se podílí na shromažďování rozsáhlých datových sad obrazů a anotování objektů, scén a aktivit, přičemž obdržela příspěvky od mnoha renomovaných vědců, včetně Harry Shum. Institut také zahrnuje anotační tým na plný úvazek pro analýzu obrazových struktur, který dosud nashromáždil více než 500 000 obrázků.[Citace je zapotřebí ]

Od založení LHI uspořádal Zhu řadu seminářů a konferencí a zároveň sloužil jako hlavní předseda pro oba roky 2012 Konference o počítačovém vidění a rozpoznávání vzorů (CVPR) v Providence, Rhode Island, kde se představil Ulf Grenander s medailí Pioneer a CVPR 2019 konané v Long Beach, Kalifornie.[9]

V červenci 2017 založila Zhu DMAI v Los Angeles jako startup AI zabývající se vývojem jednotné kognitivní platformy AI.[10]

V září 2020 se Zhu vrátil do Číny, aby se připojil k Pekingské univerzitě, aby vedl svůj Institut pro umělou inteligenci, a připojil se tak k dalšímu čínskému odborníkovi na AI v USA a dlouholetému známému Zhu, bývalého vedoucího umělé inteligence a výzkumu společnosti Microsoft, Harryho Shuma. Shum byl také jmenován Pekingskou univerzitou v srpnu, aby předsedal akademickému výboru Ústavu umělé inteligence. [11]

Zhu pracuje na založení nového a samostatného výzkumného ústavu pro umělou inteligenci - Pekingského institutu pro obecnou umělou inteligenci (BIGAI). Podle úvodu, založeného na paradigmatu „malá data pro velký úkol“, se BIGAI zaměřuje na pokročilou technologii AI, multidisciplinární integraci, mezinárodní akademickou výměnu, aby vychovávala novou generaci mladých talentů AI[11]. Očekává se, že institut shromáždí profesionální výzkumné pracovníky, vědce a odborníky, uvede teoretický rámec umělé inteligence Zhu do praxe a bude společně propagovat čínské originální technologie AI a budovat novou generaci obecných platforem AI.

Výzkum a práce

Zhu publikoval více než tři sta článků v recenzovaných časopisech a sbornících v následujících čtyřech fázích:

Průkopnické statistické modely pro formulování konceptů v Marrově rámci

Na počátku 90. let 20. století vyvinul Zhu se spolupracovníky ve skupině teorie vzorů pokročilé statistické modely pro počítačové vidění. Zaměření na vývoj sjednocujícího statistického rámce pro reprezentace raných vizí prezentované v posmrtně publikované práci Davida Marra s názvem Viděnínejprve formulovali textury do nové Markovovo náhodné pole model s názvem FRAME, který pomocí principu minimax entropie zavádí objevy v neurovědě a psychofyzice Gibbsovy distribuce ve statistické fyzice.[12] Poté prokázali rovnocennost mezi modelem FRAME a mikro-kanonickým souborem,[13] kterou pojmenovali soubor Julesz. Tato práce získala čestnou nominaci na Marrovu cenu během Mezinárodní konference o počítačovém vidění (ICCV) v roce 1999.[14]

V průběhu 90. let 20. století vyvinul Zhu dvě nové nelineární třídy parciální diferenciální rovnice (PDE). Jedna třída pro segmentaci obrazu se nazývá regionální konkurence.[15] Tato práce spojující PDE se statistickými obrazovými modely obdržela v roce cenu Helmholtz Test of Time ICCV 2013. Druhá třída s názvem GRADE (Gibbs Reaction and Diffusion Equations) byla vydána v roce 1997 a zaměstnává Langevinova dynamika přístup k závěru a učení Stochastický gradient (SGD).[16]

Na začátku roku 2000 formuloval Zhu textons[17] pomocí generativních modelů s řídkou teorií kódování a integrovaných jak texturních, tak textových modelů, které představují prvotní skicu.[18] S Ying Nian Wu, Zhu pokročila ve studiu percepčních přechodů mezi režimy modelů v měřítku informací a navrhla teorii prostorového vnímání v měřítku pro rozšíření prostoru v měřítku obrazu.[19]

Rozšíření paradigmatu Fuovy gramatiky stochastickým nebo grafem

Od roku 1999 do roku 2002 získal titul Ph.D. student Zhuowen Tu, Zhu vyvinul data-driven Markovský řetězec Monte Carlo (DDMCMC) paradigma[20] projet celý stavový prostor rozšířením skokově-difúzní práce Grenander-Millera. S dalším Ph.D. student Adrian Barbu zobecnil algoritmus vzorkování klastru (Swendsen-Wang ) ve fyzice od modelů Ising / Potts po libovolné pravděpodobnosti. Tento pokrok v této oblasti způsobil, že operátoři split-merge byly v literatuře poprvé reverzibilní a dosáhli 100násobného zrychlení nad Gibbsovým samplerem a skokovou difúzí. Tento úspěch vedl k práci na analýze obrazu[21] který získal cenu Marr v ICCV 2003.[14]

V roce 2004 přešel Zhu studiem na vizi na vysoké úrovni stochastická gramatika. Metoda gramatiky sahá až do přístupu rozpoznávání syntaktického vzoru, který prosazuje King-Sun Fu v 70. letech. Zhu vyvinul gramatické modely pro několik klíčových problémů se zrakem, jako je modelování obličeje, stárnutí obličeje, oblečení, detekce objektů, analýza obdélníkové struktury a třídění. V roce 2006 napsal monografii s názvem Mumford Stochastická gramatika obrazů.[22] V roce 2007 obdrželi Zhu a spoluautoři nominaci na Marrovu cenu. Následující rok Zhu obdržel cenu J.K. Cena Aggarwal od Mezinárodní asociace rozpoznávání vzorů za „příspěvky k jednotnému základu pro konceptualizaci vizuálních vzorů, modelování, učení a odvozování“.[23]

Zhu rozšířil modely a-nebo graf na prostorové, časové a kauzální a-nebo graf (STC-AOG), aby vyjádřil kompoziční struktury jako jednotné znázornění objektů, scén, akcí, událostí a kauzálních účinků ve fyzických a problémy s porozuměním sociální scéně.

Zkoumání poznání „temné hmoty AI“ a vizuálního rozumu

Od roku 2010 Zhu spolupracoval s vědci z kognitivní vědy, AI, robotiky a jazyka, aby prozkoumali to, čemu on říká „Temná hmota AI“ - 95% inteligentního zpracování, které není přímo detekovatelné smyslovým vstupem.

Společně rozšířili problém analýzy obrazu a porozumění scéně kognitivním modelováním a uvažováním o následujících aspektech: funkčnost (funkce objektů a scén, použití nástrojů), intuitivní fyzika (podpůrné vztahy, materiály, stabilita a riziko), záměr a pozornost (to, co lidé vědí, myslí a mají v úmyslu dělat na sociální scéně), kauzalita (kauzální účinky akcí ke změně plynných objektů) a užitečnost (společné hodnoty, které řídí lidské činnosti ve videu).[24][25][26] Výsledky jsou šířeny prostřednictvím řady workshopů.[27]

Během tohoto období Zhu prozkoumala řadu dalších témat, včetně následujících: formulace konceptů AI, jako jsou nástroje, nádoby, kapaliny; integrace analýzy trojrozměrných scén a rekonstrukce z jednotlivých obrázků pomocí funkce uvažování, fyzické stability, situovaných dialogů pomocí společného videa a analýzy textu; rozvoj komunikativního učení; a mapování energetické krajiny nekonvexních problémů s učením.[28]

Sledování paradigmatu „malých dat pro velké úkoly“ pro obecnou AI

V široce šířeném veřejném článku napsaném v čínštině v roce 2017 Zhu označil populární výzkum hlubokého učení založený na datech jako paradigma „velkých dat pro malé úkoly“, které trénuje neurální síť pro každý konkrétní úkol s masivními anotovanými daty, což má za následek neinterpretovatelné modely a úzká AI. Zhu místo toho prosazoval paradigma „malá data pro velký úkol“ k dosažení obecné AI.[29]

Zhu zkonstruoval fyzikální realistické prostředí VR / AR ve velkém měřítku pro výcvik a testování autonomních agentů AI pověřených prováděním velkého množství každodenních úkolů. Tato platforma VR / AR obdržela cenu Best Paper Award na konferenci ACM TURC v roce 2019. Agenti integrují schopnosti v oblasti vidění, jazyka, poznávání, učení a robotiky v procesu rozvoje fyzické a sociální rozumnosti a komunikace s lidmi pomocí kognitivní architektura.[30]

Ceny a vyznamenání

  • 1999 - čestná nominace na Marrovu cenu, Sedmá mezinárodní konference o počítačovém vidění, Korfu, Řecko
  • 2001 - Sloan Research Fellow in Computer Science, Alfred Sloan Foundation
  • 2001 - Career Award, National Science Foundation
  • 2001 - Cena mladého vyšetřovatele, kancelář námořního výzkumu
  • 2003 - Marr Prize, Devátá mezinárodní konf. na počítačovém vidění, Nice, Francie
  • 2007 - čestná nominace na Marrovu cenu na 11. ICCV v Riu v Brazílii 2008
  • 2008 - J.K. Cena Aggarwal, mezinárodní asociace rozpoznávání vzorů.
  • 2011 - Fellow, IEEE Computer Society.
  • 2013 - Cena Helmholtz Test-of-Time Award na 14. mezinárodní soutěži na počítačovém vidění v Sydney v Austrálii
  • 2017 - Cena za výpočetní modelování, Společnost kognitivních věd
  • 2019 - Cena za nejlepší papír, konference ACM TURC

Publikace

Knihy

  • S.C. Zhu a D.B. Mumford, Stochastická gramatika obrazů, monografie, nyní Publishers Inc. 2007.
  • A. Barbu a S.C. Zhu, Metody Monte Carlo, Springer, publikováno v roce 2019.
  • S.C. Zhu, AI: éra velké integrace - sjednocení disciplín v rámci umělé inteligence, DMAI, Inc., publikováno v roce 2019.
  • S.C. Zhu a Y.N. Wu, Koncepty a reprezentace ve vizi a poznání, Koncept vyučován 10 a více let, Springer, Příprava na rok 2020.

Doklady

  • Zhu, S. C., Wu, Y., a Mumford, D. (1998). FRAME: filtry, náhodná pole a minimax entropie směrem k jednotné teorii pro modelování textur. International Journal of Computer Vision, 27 (2) pp.1-20.
  • Y. N. Wu, S. C. Zhu a X. W. Liu, (2000). Ekvivalence modelů Julesz Ensemble a FRAME International Journal of Computer Vision, 38 (3), 247-265.
  • Tu, Z. a Zhu, S.-C. Segmentace obrazu podle datového Markovova řetězce Monte Carlo, IEEE Trans. na PAMI, 24 (5), 657-673, 2002.
  • Barbu, A. a Zhu, S.-C., Generalizing Swendsen-Wang to Sampling Arbitrary Posterior Probencies, IEEE Trans. on PAMI, 27 (8), 1239-1253, 2005.
  • Tu, Z., Chen, X., Yuille, & Zhu, S.-C. (2003). Analýza obrazu: sjednocení segmentace, detekce a rozpoznání. Sborník Devátá mezinárodní konference IEEE o počítačovém vidění.
  • Zhu, S. C., a Yuille, A. (1996). Soutěž v regionu: sjednocení hadů, růst regionu a Bayes / MDL pro segmentaci vícepásmového obrazu. Transakce IEEE na analýze vzorů a strojové inteligenci, 18 (9), 884–900.
  • Zhu, S. C., a Mumford, D. (1997). Předchozí učení a Gibbsova reakce-difúze. Transakce IEEE na analýze vzorů a strojové inteligenci, 19 (11), 1236–1250.
  • Zhu, S.-C., Guo, C., Wang, Y., & Xu, Z. (2005). Co jsou Textony? International Journal of Computer Vision, 62 (1/2), 121–143.
  • Zhu, S.-C., & Mumford, D. (2006). Stochastická gramatika obrazů. Základy a trendy v počítačové grafice a vizi, 2 (4), 259–362.
  • Guo, C. Zhu, S.-C. a Wu, Y. (2007), Primal sketch: Integrating Texture and Structure. Počítačové vidění a porozumění obrazu, sv. 106, číslo 1, 5-19.
  • Y.N. Wu, C.E. Guo a S.C. Zhu (2008), Od škálování informací o přírodních obrazech k režimům statistických modelů, Quarterly of Applied Mathematics, sv. 66, č. 1, 81-122.
  • B. Zheng, Y. Zhao, J. Yu, K. Ikeuchi a S.C. Zhu (2015), Scene Understanding by Reasoning Stability and Safety, Int'l Journal of Computer Vision, sv. 112, č. 2, pp221-238, 2015.
  • Y. Zhu, Y.B. Zhao a S.C. Zhu (2015), Understanding Tools: Task-Oriented Object Modeling, Learning and Recognition, Proc. konf. IEEE o počítačovém vidění a rozpoznávání vzorů (CVPR).
  • Fire, A. a S.C. Zhu (2016), Learning Perceptual Causality from Video, ACM Trans. o inteligentních systémech a technologiích, 7 (2): 23.
  • Y.X. Zhu, C. Jiang, Y. Zhao, D. Terzopoulos a S.C. Zhu (2016), Inferring Forces and Learning Human Utilities from Video, Proc. konf. IEEE o počítačovém vidění a rozpoznávání vzorů (CVPR).
  • D. Xie, T. Shu, S. Todorovic a SC Zhu (2018), Learning and Inferring „Dark Matter“ and Predicting Human Intents and Trajectories in Videos, IEEE Trans on Pattern Analysis and Machine Intelligence, 40 (7): 1639- 1652.
  • Zhu, Y. et al (2020) Dark, Beyond Deep: A Paradigm Shift to Cognitive AI with Human-like Commonsense, Engineering special issue on AI.
  • S.C. Zhu, (2019) AI: éra velké integrace - sjednocení disciplín v rámci umělé inteligence, DMAI, Inc.

Reference

  1. ^ „Song-Chun Zhu“.
  2. ^ „Centrum pro vizi, poznávání, učení a autonomii“.
  3. ^ A b „Profesor Song-Chun Zhu, UCLA“.
  4. ^ „Song-Chun Zhu“.
  5. ^ „Výzkum: jsme na správné cestě?“.
  6. ^ „ACM 图灵 大会 上 的“ 华山 论剑 „： 朱 松 纯 对话 沈 向 洋 Dialog dr. Song-Chun Zhu a Harry Shum na ACM TURC 2019“.
  7. ^ „Jednotný rámec pro přenos znalostí člověka a robota“.
  8. ^ „Metody Monte Carlo (vázaná kniha)“.
  9. ^ „Dopis od organizátorů PAMI TC a CVPR 2019“.
  10. ^ „DMAI“.
  11. ^ A b „DMAI“.
  12. ^ Zhu, S. C., Wu, Y., a Mumford, D. (1998). FRAME: filtry, náhodná pole a minimax entropie směrem k jednotné teorii pro modelování textur. International Journal of Computer Vision, 27 (2) pp.1-20.
  13. ^ Y. N. Wu, S. C. Zhu a X. W. Liu, (2000). Ekvivalence modelů Julesz Ensemble a FRAME International Journal of Computer Vision, 38 (3), 247-265.
  14. ^ A b „Ocenění počítačového vidění“.
  15. ^ Zhu, S. C., a Yuille, A. (1996). Soutěž v regionu: sjednocení hadů, růst regionu a Bayes / MDL pro segmentaci vícepásmového obrazu. Transakce IEEE na analýze vzorů a strojové inteligenci, 18 (9), 884–900.
  16. ^ Zhu, S. C., a Mumford, D. (1997). Předchozí učení a Gibbsova reakce-difúze. Transakce IEEE na analýze vzorů a strojové inteligenci, 19 (11), 1236–1250.
  17. ^ Zhu, S.-C., Guo, C., Wang, Y., & Xu, Z. (2005). Co jsou Textony? International Journal of Computer Vision, 62 (1/2), 121–143.
  18. ^ Guo, C. Zhu, S.-C. a Wu, Y. (2007), Primal sketch: Integrating Texture and Structure. Počítačové vidění a porozumění obrazu, sv. 106, číslo 1, 5-19.
  19. ^ Y.N. Wu, C.E. Guo a S.C. Zhu (2008), Od škálování informací o přírodních obrazech k režimům statistických modelů, Quarterly of Applied Mathematics, sv. 66, č. 1, 81-122.
  20. ^ Tu, Z. a Zhu, S.-C. Segmentace obrazu podle datového řetězce Markov Chain Monte Carlo, IEEE Trans. na PAMI, 24 (5), 657-673, 2002.
  21. ^ Tu, Z., Chen, X., Yuille, & Zhu, S.-C. (2003). Analýza obrazu: sjednocení segmentace, detekce a rozpoznání. Sborník Devátá mezinárodní konference IEEE o počítačovém vidění.
  22. ^ Zhu, S.-C., & Mumford, D. (2006). Stochastická gramatika obrazů. Základy a trendy v počítačové grafice a vizi, 2 (4), 259–362.
  23. ^ „Cena J. K. Aggarwala 2008 udělena prof. Song-Chun Zhu“.
  24. ^ B. Zheng, Y. Zhao, J. Yu, K. Ikeuchi a S.C. Zhu (2015), Scene Understanding by Reasoning Stability and Safety, Int'l Journal of Computer Vision, sv. 112, č. 2, pp221-238, 2015.
  25. ^ Y. Zhu, Y.B. Zhao a S.C. Zhu (2015), Understanding Tools: Task-Oriented Object Modeling, Learning and Recognition, Proc. konf. IEEE o počítačovém vidění a rozpoznávání vzorů (CVPR).
  26. ^ Y.X. Zhu, C. Jiang, Y. Zhao, D. Terzopoulos a S.C. Zhu (2016), Inferring Forces and Learning Human Utilities from Video, Proc. konf. IEEE o počítačovém vidění a rozpoznávání vzorů (CVPR).
  27. ^ „Vision Meets Cognition“.
  28. ^ "Song-chun Zhu".
  29. ^ „Některé pozvané přednášky“.
  30. ^ „Krása lidského učení a inteligence“.

externí odkazy