Prohlížeč Google Ngram - Google Ngram Viewer - Wikipedia

The Prohlížeč Google Ngram nebo Prohlížeč Ngramů Google Books je online vyhledávač, který mapuje frekvence libovolné sady vyhledávacích řetězců pomocí ročního počtu n-gramů nalezené ve zdrojích vytištěných mezi 1500 a 2019[1][2][3][4][5] v Google textové korpusy v angličtině, čínštině (zjednodušené), francouzštině, němčině, hebrejštině, italštině, ruštině nebo španělštině.[2][6] Existují také některé specializované anglické korpusy, jako je americká angličtina, britská angličtina a anglická beletrie.[7]

Program může vyhledat slovo nebo a fráze, včetně překlepů nebo hatmatilka.[6] N-gramy jsou porovnány s textem ve vybraném korpusu, volitelně pomocí rozeznává velká a malá písmena pravopis (který porovnává přesné použití velkých písmen),[8] a pokud se nacházejí ve 40 nebo více knihách, zobrazí se jako graf.[9]

Prohlížeč Google Ngram Viewer podporuje vyhledávání části řeči a zástupné znaky.[7] Běžně se používá ve výzkumu.[10][11]

Dějiny

Tento program vyvinuli Jon Orwant a Will Brockman a byl vydán v polovině prosince 2010.[2][3] Byl inspirován prototypem „Bookworm“ vytvořeným Jean-Baptiste Michel a Erez Aiden od Harvarda Kulturní observatoř a Yuan Shen z MIT a Steven Pinker.[12]

Prohlížeč Ngram byl původně založen na vydání Google Books Ngram Corpus z roku 2009. Od července 2020, program podporuje korpusy 2009, 2012 a 2019.

Provoz a omezení

Čárky oddělují vyhledávací termíny zadané uživatelem a označují každé jednotlivé slovo nebo frázi, kterou chcete vyhledat.[9] Prohlížeč Ngram vrátí vynesené spojnicový graf během několika sekund od stisknutí tlačítka Zadejte klíč nebo tlačítko „Hledat“ na obrazovce.

Jako úprava pro více knih, které byly vydány během několika let, jsou data normalizováno, jako relativní úroveň, podle počtu knih vydaných v každém roce.[9]

Z důvodu omezení velikosti databáze Ngram jsou v databázi indexovány pouze shody nalezené v nejméně 40 knihách; jinak by databáze nemohla uložit všechny možné kombinace.[9]

Hledané výrazy obvykle nemohou končit interpunkcí, i když jsou samostatné tečka (období) lze vyhledávat.[9] Také konec otazník (jako v části „Proč?“) způsobí druhé hledání otazníku samostatně.[9]

Vynechání teček ve zkratkách umožní určitou formu shody, například použití „R M S“ k vyhledání „R.M.S.“ versus „RMS“.

Korpusy

The korpusy použité pro vyhledávání se skládají ze souborů total_counts, 1-gramů, 2-gramů, 3-gramů, 4-gramů a 5-gramových souborů pro každý jazyk. Formát souboru každého ze souborů je údaje oddělené tabulátorem. Každý řádek má následující formát:[13]

  • soubor total_counts
    rok TAB match_count TAB page_count TAB volume_count NEWLINE
  • Soubor verze 1 ngram (vygenerováno v červenci 2009)
    ngram TAB rok TAB match_count TAB page_count TAB volume_count NEWLINE
  • Soubor verze 2 ngram (vygenerováno v červenci 2012)
    ngram TAB rok TAB match_count TAB volume_count NEWLINE

Prohlížeč Google Ngram Viewer používá k vykreslení grafu match_count.

Jako příklad lze uvést slovo „Wikipedia“ ze souboru verze 2 anglických 1 gramů takto:[14]

ngramrokmatch_countobjem_počet
Wikipedia190411
Wikipedia1912111
Wikipedia192411
Wikipedia1925111
Wikipedia1929111
Wikipedia1943111
Wikipedia1946111
Wikipedia1947111
Wikipedia1949111
Wikipedia1951111
Wikipedia1953222
Wikipedia1955111
Wikipedia195811
Wikipedia1961222
Wikipedia1964222
Wikipedia1965111
Wikipedia1966152
Wikipedia1969333
Wikipedia19701294
Wikipedia1971444
Wikipedia1972222
Wikipedia197311
Wikipedia197421
Wikipedia1975333
Wikipedia1976111
Wikipedia1977133
Wikipedia1978111
Wikipedia197911212
Wikipedia1980134
Wikipedia1982111
Wikipedia198332
Wikipedia1984483
Wikipedia1985373
Wikipedia198664
Wikipedia1987132
Wikipedia1988143
Wikipedia1990122
Wikipedia199185
Wikipedia199211
Wikipedia199311
Wikipedia1994233
Wikipedia199541
Wikipedia1996233
Wikipedia199761
Wikipedia19983210
Wikipedia19993911
Wikipedia20004312
Wikipedia20015914
Wikipedia200210519
Wikipedia200314953
Wikipedia2004803285
Wikipedia20052964911
Wikipedia200698182655
Wikipedia2007200175400
Wikipedia2008337226825

Graf vykreslený prohlížečem Google Ngram Viewer pomocí výše uvedených údajů je zde:[15]

Kritika

Soubor dat byl kritizován za to, že se spoléhal na nepřesnost OCR, nadbytek vědecké literatury, a za zahrnutí velkého množství nesprávně datovaných a kategorizovaných textů.[16][17] Z důvodu těchto chyb a proto, že je nekontrolovaný pro zkreslení[18] (jako je rostoucí množství vědecké literatury, která způsobuje pokles popularity jiných termínů), je riskantní používat tento korpus ke studiu jazyka nebo k testování teorií.[19] Protože soubor dat nezahrnuje metadata, nemusí odrážet obecné jazykové nebo kulturní změny[20] a může jen naznačit takový účinek.

Byly navrženy pokyny pro provádění výzkumu s údaji z Google Ngram, které řeší mnoho výše diskutovaných problémů.[21]

Problémy s OCR

Optické rozpoznávání znaků neboli OCR není vždy spolehlivé a některé znaky nemusí být správně naskenovány. Zejména systémové chyby, jako je záměna „s“ a „f“ v textech před 19. stoletím (kvůli použití dlouhá s který měl podobný vzhled jako „f“) může způsobit systémové zkreslení. Ačkoli Google Ngram Viewer tvrdí, že výsledky jsou spolehlivé od roku 1800, špatné OCR a nedostatečné údaje znamenají, že frekvence udávané pro jazyky, jako je čínština, mohou být přesné pouze od roku 1970, přičemž dřívější části korpusu pro běžné výrazy nevykazují vůbec žádné výsledky a data za několik let obsahující více než 50% šumu.[22][23]

Viz také

Reference

  1. ^ „Kvantitativní analýza kultury pomocí milionů digitalizovaných knih“ JB Michel a kol., Science 2011, DOI: 10.1126 / science.1199644[1]
  2. ^ A b C „Databáze Google Ngram sleduje popularitu 500 miliard slov“ Huffington Post, 17. prosince 2010, webová stránka: HP8150.
  3. ^ A b „Google Ngram Viewer: Time time for wordplay“, Cnet.com, 17. prosince 2010, webová stránka: CN93.
  4. ^ „Obrázek má hodnotu 500 miliard slov - autor Rusty S. Thompson“, HarrisburgMagazine.com, 20. září 2011, webová stránka: HBMag20[trvalý mrtvý odkaz ].
  5. ^ Google SearchLiaison. „Prohlížeč Google Books Ngram Viewer byl nyní do roku 2019 aktualizován o nová data.“. Cvrlikání. Citováno 2020-08-11.
  6. ^ A b „Google Books Ngram Viewer - University at Buffalo Libraries“, Lib.Buffalo.edu, 22. srpna 2011, webová stránka: Buf497 Archivováno 02.07.2013 na Wayback Machine.
  7. ^ A b Informační stránka Google Books Ngram Viewer: https://books.google.com/ngrams/info
  8. ^ „Google Ngram Viewer - Knihy Google“, Books.Google.com, květen 2012, webová stránka: G-Ngramy.
  9. ^ A b C d E F „Google Ngram Viewer - Knihy Google“ (informace), Books.Google.com, 16. prosince 2010, webová stránka: G-Ngrams-informace: poznámky bigrams a použití uvozovek pro slova s ​​apostrofy.
  10. ^ Greenfield P. M. (2013). Měnící se psychologie kultury od roku 1800 do roku 2000. Psychological Science, 24 (9), 1722–1731. https://doi.org/10.1177/0956797613479387
  11. ^ Younes, N., & Reips, U.-D. (2018). Měnící se psychologie kultury v Německu: studie Google Ngram. International Journal of Psychology, 53 (S1), 53-62. https://doi.org/10.1002/ijop.12428
  12. ^ RSA (4. února 2010). „Steven Pinker - Věc myšlení: Jazyk jako okno do lidské přirozenosti“ - přes YouTube.
  13. ^ „Google Books Ngram Viewer“.
  14. ^ googlebooks-eng-all-1gram-20120701-w.gz na http://storage.googleapis.com/books/ngrams/books/datasetsv2.html
  15. ^ https://books.google.com/ngrams/graph?content=Wikipedia&year_start=1900&year_end=2020&corpus=15&smoothing=0&share=&direct_url=t1%3B%2CWikipedia%3B%2Cc0
  16. ^ Google Ngrams: OCR a metadata Archivováno 2016-04-27 na Wayback Machine. ResourceShelf, 19. prosince 2010
  17. ^ Nunberg, Geoff (16. prosince 2010). „Humanitní výzkum s korpusem Knih Google“. Archivovány od originál dne 10. března 2016.
  18. ^ Pechenick, Eitan Adam; Danforth, Christopher M .; Dodds, Peter Sheridan; Barrat, Alain (7. října 2015). „Charakterizace korpusu Knih Google: Silná omezení pro závěry sociokulturní a jazykové evoluce“. PLOS ONE. 10 (10): e0137041. arXiv:1501.00960. Bibcode:2015PLoSO..1037041P. doi:10.1371 / journal.pone.0137041. PMC  4596490. PMID  26445406.
  19. ^ Zhang, Sarah. „Úskalí používání Google Ngram ke studiu jazyka“. WIRED. Citováno 2017-05-24.
  20. ^ Koplenig, Alexander (02.09.2015). „Dopad chybějících metadat pro měření kulturních a jazykových změn pomocí datových souborů Google Ngram - rekonstrukce složení německého korpusu v dobách druhé světové války“. Digitální stipendium v ​​humanitních oborech (zveřejněno 2017-04-01). 32 (1): 169–188. doi:10.1093 / llc / fqv037. ISSN  2055-7671.
  21. ^ Younes, N., & Reips, U.-D. (2019). Pokyny pro zvýšení spolehlivosti studií Google Ngram: Důkazy z náboženských pojmů. PLoS One, 14 (3): e0213554. https://doi.org/10.1371/journal.pone.0213554
  22. ^ Google n-gramy a pre-moderní čínština. digitalsinology.org.
  23. ^ Když se n-gramy pokazí. digitalsinology.org.

Bibliografie

externí odkazy