Škrábaný - Scrapy - Wikipedia
 | |
| Vývojáři | Scrapinghub, Ltd. |
|---|---|
| První vydání | 26. června 2008 |
| Stabilní uvolnění | 2.4.1 / 17. listopadu 2020[1] |
| Úložiště |  |
| Napsáno | Krajta |
| Operační systém | Okna, Operační Systém Mac, Linux |
| Typ | Webový prohledávač |
| Licence | Licence BSD |
| webová stránka | škrábání |
Škrábaný (/ˈskreɪstraɪ/ SKRAY- oko ) je zdarma a open-source procházení webu rámec napsáno v Pythonu. Původně navržený pro škrábání webu, lze jej také použít k extrakci dat pomocí API nebo jako univerzální webový prohledávač.[2] V současné době ji udržuje Scrapinghub Ltd., společnost zabývající se vývojem a službami v oblasti škrábání webů.
Architektura projektu Scrapy je postavena na „pavoucích“, což jsou samostatné prohledávače, kterým je dána sada pokynů. Po duchu druhého neopakuj se rámce, jako např Django,[3] usnadňuje vytváření a škálování velkých projektů procházení tím, že umožňuje vývojářům znovu použít jejich kód. Scrapy také poskytuje procházení webu skořápka, kterou mohou vývojáři použít k otestování svých předpokladů o chování webu.[4]
Mezi známé společnosti a produkty využívající Scrapy patří: Lyst,[5] [6] Parse.ly,[7] Sayone Technologies[8], Sciences Po Medialab,[9] Data.gov.uk Světový vládní datový web.[10][1]
Dějiny
Scrapy se narodil v londýnské společnosti Mydeco pro webovou agregaci a elektronický obchod, kde ji vyvinuli a udržovali zaměstnanci společností Mydeco a Insophia (webová poradenská společnost se sídlem v Montevideo, Uruguay). První veřejné vydání bylo v srpnu 2008 pod Licence BSD s vydáním milníku 1.0 v červnu 2015.[11] V roce 2011 se novým oficiálním správcem stal společnost Scrapinghub.[12][13]
Reference
- ^ „Notes release - Scrapy documentation“. doc.scrapy.org. Citováno 18. listopadu 2020.
- ^ Stručný přehled.
- ^ "Často kladené otázky". Citováno 28. července 2015.
- ^ "Scrapy shell". Citováno 28. července 2015.
- ^ Bell, Eddie; Heusser, Jonathan. „Škálovatelné škrábání pomocí strojového učení“. Citováno 28. července 2015.
- ^ Scrapy | Společnosti využívající Scrapy
- ^ Montalenti, Andrew. „Procházení webu a extrakce metadat v Pythonu“.
- ^ „Scrapy Companies“. Scrapy web.
- ^ Hyphe v0.0.0: první vydání našeho nového webového prohledávače je venku!
- ^ Ben Firshman [@bfirsh] (21. ledna 2010). „Web World Govt Data používá Django, Solr, Haystack, Scrapy a další vzrušující módní slova bit.ly/5jU3La #opendata #datastore“ (Tweet) - prostřednictvím Cvrlikání.
- ^ Medina, Julia (19. června 2015). „Scrapy 1.0 oficiální vydání!“. scrapy-users (Poštovní seznam).
- ^ Pablo Hoffman (2013). Seznam hlavních autorů a přispěvatelů. Citováno 18. listopadu 2013.
- ^ Rozhovor škrábání hub.