MNIST databáze - MNIST database - Wikipedia

The MNIST databáze (Upraveno Národní institut pro standardy a technologie databáze) je velká databáze ručně psaných číslic, pro které se běžně používá výcvik rozličný zpracování obrazu systémy.[1][2] Databáze je také široce používána pro školení a testování v oblasti strojové učení.[3][4] Bylo vytvořeno „opětovným smícháním“ vzorků z původních datových sad NIST.[5] Tvůrci měli pocit, že od doby, kdy byl tréninkový datový soubor NIST převzat z Ameriky Úřad pro sčítání lidu zaměstnanci, zatímco testovací datová sada byla převzata z americký střední škola studenti, nebyl vhodný pro experimenty se strojovým učením.[6] Dále byly černobílé obrázky z NIST normalizováno aby se vešly do ohraničujícího rámečku 28x28 pixelů a vyhlazený, který představil úrovně šedi.[6]

Ukázkové obrázky MNIST
Ukázkové obrázky z testovací datové sady MNIST

Databáze MNIST obsahuje 60 000 tréninkových obrazů a 10 000 testovacích obrazů.[7] Polovina tréninkové sady a polovina testovací sady byla převzata z výcvikového datového souboru NIST, zatímco druhá polovina tréninkové sady a druhá polovina testovací sady byla převzata z testovacího datového souboru NIST.[8] Původní tvůrci databáze vedou seznam některých metod, které jsou na ní testovány.[6] Ve svém původním příspěvku používají a podpůrný vektorový stroj získat chybovost 0,8%.[9] V roce 2017 byl publikován rozšířený datový soubor podobný MNIST s názvem EMNIST, který obsahuje 240 000 tréninkových obrázků a 40 000 testovacích obrázků ručně psaných číslic a znaků.[10]

Datová sada

Sada obrázků v databázi MNIST je kombinací dvou databází NIST: Speciální databáze 1 a Speciální databáze 3. Speciální databáze 1 a Speciální databáze 3 se skládají z číslic zapsaných studenty středních škol a zaměstnanci Úřad pro sčítání lidu Spojených států, resp.[6]

Výkon

Někteří vědci dosáhli „téměř lidského výkonu“ v databázi MNIST pomocí výboru neuronových sítí; ve stejné práci autoři dosahují dvojnásobného výkonu oproti jiným úkolům rozpoznávání.[11] Nejvyšší uvedená chybovost[6] na původním webu databáze je 12 procent, čehož je dosaženo pomocí jednoduchého lineárního klasifikátoru bez předzpracování.[9]

V roce 2004 dosáhli nejlepší chyby v databázi 0,42 procenta vědci pomocí nového klasifikátoru s názvem LIRA, což je neurální klasifikátor se třemi neuronovými vrstvami založenými na principech Rosenblattova perceptronu.[12]

Někteří vědci testovali systémy umělé inteligence pomocí databáze vystavené náhodnému zkreslení. Systémy jsou v těchto případech obvykle neuronové sítě a používají se obvykle zkreslení afinní zkreslení nebo elastické zkreslení.[6] Někdy mohou být tyto systémy velmi úspěšné; jeden takový systém dosáhl chybovosti v databázi 0,39 procenta.[13]

V roce 2011 uvedli vědci využívající podobný systém neuronových sítí chybovost 0,27 procenta, která se zlepšila oproti předchozímu nejlepšímu výsledku.[14] V roce 2013 se tvrdilo, že přístup založený na regularizaci neuronových sítí pomocí DropConnect dosáhl chybovosti 0,21 procenta.[15] V roce 2016 byla nejlepší výkonnost jedné konvoluční neurální sítě 0,25% chybovost.[16] Jak srpna 2018, nejlepší výkon jedné konvoluční neurální sítě trénované na tréninkových datech MNIST pomocí č rozšiřování dat je 0,25 procentní chybovost.[16][17] Rovněž Parallel Computing Center (Khmelnytskyi, Ukrajina) získalo soubor pouze 5 konvolučních neuronových sítí, které fungují na MNIST s chybovostí 0,21 procenta.[18][19] Některé obrázky v testovací datové sadě jsou sotva čitelné a mohou bránit dosažení chybovosti testu 0%.[20] V roce 2018 oznámili vědci z Katedry systémového a informačního inženýrství University of Virginia chybu 0,18% se simultánním naskládáním tří druhů neuronových sítí (plně připojené, rekurentní a konvoluční neuronové sítě).[21]

Klasifikátory

Toto je tabulka některých z strojové učení metody používané v datové sadě a jejich chybovost podle typu klasifikátoru:

TypKlasifikátorZkresleníPředběžné zpracováníMíra chyb (%)
Lineární klasifikátorPárový lineární klasifikátorŽádnýOdchylování7.6[9]
Stream rozhodování s extrémně náhodnými stromyJeden model (hloubka> 400 úrovní)ŽádnýŽádný2.7[22]
K-nejbližší sousedéK-NN s nelineární deformací (P2DHMDM)ŽádnýPosuvné hrany0.52[23]
Posílené pařezyProdukt pařezů na Funkce HaarŽádnýFunkce Haar0.87[24]
Nelineární klasifikátor40 PCA + kvadratický klasifikátorŽádnýŽádný3.3[9]
Náhodný lesRychlé sjednocené náhodné lesy pro přežití, regrese a klasifikaci (RF-SRC)[25]ŽádnýJednoduchá statistická důležitost pixelů2.8[26]
Podpůrný vektorový stroj (SVM)Virtuální SVM, deg-9 poly, 2-pixel jitteredŽádnýOdchylování0.56[27]
Hluboký nervová síť (DNN)2vrstvá 784-800-10ŽádnýŽádný1.6[28]
Hluboký nervová síť2vrstvá 784-800-10Elastické zkresleníŽádný0.7[28]
Hluboký nervová síť6vrstvá 784-2500-2000-1500-1000-500-10Elastické zkresleníŽádný0.35[29]
Konvoluční neuronová síť (CNN)6vrstvá 784-40-80-500-1000-2000-10ŽádnýRozšíření tréninkových dat0.31[30]
Konvoluční neuronová síť6vrstvá 784-50-100-500-1000-10-10ŽádnýRozšíření tréninkových dat0.27[31]
Konvoluční neuronová síť (CNN)13vrstvá 64-128 (5x) -256 (3x) -512-2048-256-256-10ŽádnýŽádný0.25[16]
Konvoluční neuronová síťVýbor 35 CNN, 1-20-P-40-P-150-10Elastické zkresleníNormalizace šířky0.23[11]
Konvoluční neuronová síťVýbor 5 CNN, 6vrstvý 784-50-100-500-1000-10-10ŽádnýRozšíření tréninkových dat0.21[18][19]
Random Multimodel Deep Learning (RMDL)10 NN-10 RNN - 10 CNNŽádnýŽádný0.18[21]
Konvoluční neuronová síťVýbor 20 CNNS se sítěmi Squeeze-and-Excitation Networks[32]ŽádnýRozšíření dat0.17[33]

Viz také

Reference

  1. ^ „Podpora rozpoznávání vzorů rychlosti vektorových strojů - Vision Systems Design“. Návrh systémů vidění. Citováno 17. srpna 2013.
  2. ^ Gangaputra, Sachin. "Ručně psaná databáze číslic". Citováno 17. srpna 2013.
  3. ^ Qiao, Yu (2007). „THE MNIST DATABASE of handwritten digits“. Citováno 18. srpna 2013.
  4. ^ Platt, John C. (1999). „Využití analytického QP a řídkosti k urychlení tréninku podpůrných vektorových strojů“ (PDF). Pokroky v systémech zpracování neurálních informací: 557–563. Archivovány od originál (PDF) dne 4. března 2016. Citováno 18. srpna 2013.
  5. ^ Grother, Patrick J. „Speciální databáze NIST 19 - ručně vytištěná databáze formulářů a znaků“ (PDF). Národní institut pro standardy a technologie.
  6. ^ A b C d E F LeCun, Yann; Cortez, Corinna; Burges, Christopher C.J. „Databáze ručně psaných číslic MNIST“. Web společnosti Yann LeCun yann.lecun.com. Citováno 30. dubna 2020.
  7. ^ Kussul, Ernst; Baidyk, Tatiana (2004). Msgstr "Vylepšená metoda rozpoznávání ručně psaných číslic testovaná v databázi MNIST". Výpočet obrazu a vidění. 22 (12): 971–981. doi:10.1016 / j.imavis.2004.03.008.
  8. ^ Zhang, Bin; Srihari, Sargur N. (2004). "Rychle k- Klasifikace nejbližšího souseda pomocí stromů založených na clusterech " (PDF). Transakce IEEE na analýze vzorů a strojové inteligenci. 26 (4): 525–528. doi:10.1109 / TPAMI.2004.1265868. PMID  15382657. S2CID  6883417. Citováno 20. dubna 2020.
  9. ^ A b C d LeCun, Yann; Léon Bottou; Yoshua Bengio; Patrick Haffner (1998). „Učení na základě přechodu na rozpoznávání dokumentů“ (PDF). Sborník IEEE. 86 (11): 2278–2324. doi:10.1109/5.726791. Citováno 18. srpna 2013.
  10. ^ Cohen, Gregory; Afshar, Saeed; Tapson, Jonathan; van Schaik, André (2017-02-17). "EMNIST: rozšíření MNIST na ručně psané dopisy". arXiv:1702.05373 [cs.CV ].
  11. ^ A b Cires¸an, Dan; Ueli Meier; Jürgen Schmidhuber (2012). "Vícesloupcové hluboké neuronové sítě pro klasifikaci obrazu" (PDF). 2012 IEEE Conference on Computer Vision and Pattern Recognition. 3642–3649. arXiv:1202.2745. CiteSeerX  10.1.1.300.3283. doi:10.1109 / CVPR.2012.6248110. ISBN  978-1-4673-1228-8. S2CID  2161592.
  12. ^ Kussul, Ernst; Tatiana Baidyk (2004). „Vylepšená metoda rozpoznávání ručně psaných číslic testována v databázi MNIST“ (PDF). Výpočet obrazu a vidění. 22 (12): 971–981. doi:10.1016 / j.imavis.2004.03.008. Archivovány od originál (PDF) dne 21. září 2013. Citováno 20. září 2013.
  13. ^ Ranzato, Marc’Aurelio; Christopher Poultney; Sumit Chopra; Yann LeCun (2006). „Efektivní učení řídkých reprezentací pomocí modelu založeného na energii“ (PDF). Pokroky v systémech zpracování neurálních informací. 19: 1137–1144. Citováno 20. září 2013.
  14. ^ Ciresan, Dan Claudiu; Ueli Meier; Luca Maria Gambardella; Jürgen Schmidhuber (2011). „Konvoluční výbory neuronových sítí pro klasifikaci ručně psaných znaků“ (PDF). 2011 Mezinárodní konference o analýze a uznávání dokumentů (ICDAR). str. 1135–1139. CiteSeerX  10.1.1.465.2138. doi:10.1109 / ICDAR.2011.229. ISBN  978-1-4577-1350-7. S2CID  10122297. Archivovány od originál (PDF) dne 22. února 2016. Citováno 20. září 2013.
  15. ^ Wan, Li; Matthew Zeiler; Sixin Zhang; Yann LeCun; Rob Fergus (2013). Regularizace neuronové sítě pomocí DropConnect. Mezinárodní konference o strojovém učení (ICML).
  16. ^ A b C SimpleNet (2016). „Nechme to jednoduché, použití jednoduchých architektur k překonání hlubších a složitějších architektur“. arXiv:1608.06037. Citováno 3. prosince 2020.
  17. ^ SimpNet. „Směrem k principiálnímu návrhu hlubokých konvolučních sítí: Představujeme SimpNet“. Github. arXiv:1802.06205. Citováno 3. prosince 2020.
  18. ^ A b Romanuke, Vadim. „Parallel Computing Center (Khmelnytskyi, Ukrajina) představuje soubor 5 konvolučních neuronových sítí, které fungují na MNIST s chybovostí 0,21 procenta“. Citováno 24. listopadu 2016.
  19. ^ A b Romanuke, Vadim (2016). „Trénink rozšiřování dat a podpora konvolučních neuronových sítí pro snížení chybovosti datové sady MNIST“. Bulletin výzkumu NTUU "Kyjevský polytechnický institut". 6 (6): 29–34. doi:10.20535/1810-0546.2016.6.84115.
  20. ^ MNIST klasifikátor, GitHub. „Klasifikujte číslice MNIST pomocí konvolučních neuronových sítí“. Citováno 3. srpna 2018.
  21. ^ A b Kowsari, Kamran; Heidarysafa, Mojtaba; Brown, Donald E .; Meimandi, Kiana Jafari; Barnes, Laura E. (05.05.2018). "RMDL: Náhodné multimodulární hluboké učení pro klasifikaci". Sborník mezinárodní konference o informačním systému a dolování dat z roku 2018. arXiv:1805.01890. doi:10.1145/3206098.3206111. S2CID  19208611.
  22. ^ Ignatov, D.Yu .; Ignatov, A.D. (2017). „Stream rozhodnutí: Pěstování hlubokých rozhodovacích stromů“. IEEE Ictai: 905–912. arXiv:1704.07657. Bibcode:2017arXiv170407657I. doi:10.1109 / ICTAI.2017.00140. ISBN  978-1-5386-3876-7.
  23. ^ Keysers, Daniel; Thomas Deselaers; Christian Gollan; Hermann Ney (srpen 2007). Msgstr "Deformační modely pro rozpoznávání obrazu". Transakce IEEE na analýze vzorů a strojové inteligenci. 29 (8): 1422–1435. CiteSeerX  10.1.1.106.3963. doi:10.1109 / TPAMI.2007.1153. PMID  17568145. S2CID  2528485.
  24. ^ Kégl, Balázs; Róbert Busa-Fekete (2009). „Posilování produktů základních klasifikátorů“ (PDF). Sborník z 26. výroční mezinárodní konference o strojovém učení: 497–504. Citováno 27. srpna 2013.
  25. ^ „RandomForestSRC: Rychlé sjednocené náhodné lesy pro přežití, regresi a klasifikaci (RF-SRC)“. 21. ledna 2020.
  26. ^ „Mehrad Mahmoudian / MNIST with RandomForest“.
  27. ^ DeCoste a Scholkopf, MLJ 2002
  28. ^ A b Patrice Y. Simard; Dave Steinkraus; John C. Platt (2003). „Osvědčené postupy pro konvoluční neuronové sítě aplikované na analýzu vizuálních dokumentů“. Sborník ze sedmé mezinárodní konference o analýze a uznávání dokumentů. 1. Institute of Electrical and Electronics Engineers. str. 958. doi:10.1109 / ICDAR.2003.1227801. ISBN  978-0-7695-1960-9. S2CID  4659176.
  29. ^ Ciresan, Claudiu Dan; Ueli Meier; Luca Maria Gambardella; Juergen Schmidhuber (prosinec 2010). "Hluboké velké jednoduché neuronové sítě Excel pro rozpoznávání ručně psaných číslic". Neurální výpočet. 22 (12): 3207–20. arXiv:1003.0358. doi:10.1162 / NECO_a_00052. PMID  20858131. S2CID  1918673.
  30. ^ Romanuke, Vadim. „Nejlepší výkon jedné konvoluční neurální sítě v 18 epochách na základě rozšířených tréninkových dat v Parallel Computing Center, Khmelnytskyi, Ukrajina“. Citováno 16. listopadu 2016.
  31. ^ Romanuke, Vadim. „Parallel Computing Center (Khmelnytskyi, Ukrajina) poskytuje jedinou konvoluční neuronovou síť s MNIST při chybovosti 0,27 procenta“. Citováno 24. listopadu 2016.
  32. ^ Hu, Jie; Shen, Li; Albanie, Samuel; Sun, Gang; Wu, Enhua (2019). „Squeeze-and-Excitation Networks“. Transakce IEEE na analýze vzorů a strojové inteligenci. 42 (8): 2011–2023. arXiv:1709.01507. doi:10.1109 / TPAMI.2019.2913372. PMID  31034408. S2CID  140309863.
  33. ^ "GitHub - Matuzas77 / MNIST-0,17: klasifikátor MNIST s průměrnou chybou 0,17%". 25. února 2020.

Další čtení

externí odkazy