Apache Druid - Apache Druid
![]() | |
Původní autoři |
|
---|---|
Vývojáři | Apache Druid |
Stabilní uvolnění | 0.20.0 / 16. října 2020 |
Úložiště | Repozitář druidů |
Napsáno | Jáva |
Operační systém | Cross-platform |
Typ | |
Licence | Licence Apache 2.0 |
webová stránka | druid |
Druid je orientovaný na sloupy, open-source, distribuováno úložiště dat napsáno v Jáva. Druid je navržen tak, aby rychle pohltil obrovské množství dat událostí a poskytoval nad daty dotazy s nízkou latencí.[1] Jméno Druid pochází z tvarování Třída druidů v mnoha hry na hrdiny, aby odrážely skutečnost, že architektura systému se může posunout k řešení různých typů datových problémů.
Druid se běžně používá v obchodní inteligence /OLAP aplikace pro analýzu velkých objemů reálný čas a historická data.[2] Druid se používá při výrobě technologickými společnostmi, jako je Alibaba,[2] Airbnb,[2] Cisco,[3][2] eBay,[4] Lyft,[5] Netflix,[6] PayPal,[2] Pinterest,[7] Cvrlikání,[8] Walmart,[9] Wikimedia Foundation[10] a Yahoo.[11]
Dějiny
Společnost Druid byla zahájena v roce 2011 s cílem napájet analytický produkt Metamarkets. Projekt byl otevřen na základě licence GPL v říjnu 2012,[12][13] a v únoru 2015 přešel na licenci Apache.[14][15]
V průběhu času řada organizací a společností integrovala Druid do své backendové technologie,[2] a přidali se zadavatelé z mnoha různých organizací.[16]
Architektura

Plně nasazený Druid běží jako shluk specializovaných procesů (nazývaných uzly v Druidu) na podporu a tolerantní k chybám architektura[17] kde jsou data ukládána redundantně a neexistuje jediný bod selhání.[18] Klastr obsahuje externí závislosti pro koordinaci (Apache ZooKeeper ), úložiště metadat (např. MySQL, PostgreSQL nebo Derby ) a hlubinný sklad (např. HDFS nebo Amazon S3 ) pro trvalé zálohování dat.
Správa dotazů
Klientské dotazy nejprve zasáhly uzly zprostředkovatele, které je předají příslušným datovým uzlům (buď historickým, nebo v reálném čase). Protože Druid segmenty mohou být rozděleny na oddíly, může příchozí dotaz vyžadovat data z více segmentů a oddílů (nebo střepy ) uložené na různých uzlech v klastru. Zprostředkovatelé jsou schopni zjistit, které uzly mají požadovaná data, a také sloučit dílčí výsledky před vrácením agregovaného výsledku.
Správa klastrů
Na operace související se správou dat v historických uzlech dohlížejí uzly koordinátora. Apache ZooKeeper se používá k registraci všech uzlů, správě určitých aspektů komunikace mezi uzly a zajišťování voleb vůdců.
Funkce
- Příjem dat s nízkou latencí (streamováním)
- Svévolné zkoumání dat podle řezu a kostek
- Subsekundové analytické dotazy
- Přibližné a přesné výpočty
Viz také
Reference
- ^ Hemsoth, Nicole. „Síla druidů vyvolává v reálném čase“ Archivováno 2013-02-27 na Wayback Machine, Datanami, 8. listopadu 2012
- ^ A b C d E F druid. "Druid | Poháněno Druidem". druid.apache.org. Citováno 2016-06-29.
- ^ Butler, Brandone. „Pod kapotou platformy Tetration Analytics společnosti Cisco“. Citováno 2016-06-23.
- ^ „Druid at Pulsar - ebay 的 专栏 - 博客 频道 - CSDN.NET“. blog.csdn.net. Citováno 2016-06-23.
- ^ Streamování SQL a Druid od Arup Malakar, vyvoláno 2020-01-29
- ^ „The Netflix Tech Blog: Announcing Suro: Backbone of Netflix's Data Pipeline“. techblog.netflix.com. Citováno 2016-06-23.
- ^ Pinterest: Powering Ad Analytics with Apache Druid, vyvoláno 2020-01-29
- ^ „Interactive Analytics at MoPub: Querying Terabytes of Data in Seconds“. blog.twitter.com. Citováno 2020-01-29.
- ^ Nayak, Amaresh (2018-02-23). „Event Stream Analytics ve společnosti Walmart with Druid“. Střední. Citováno 2020-01-29.
- ^ https://conferences.oreilly.com/strata/strata-ny/public/schedule/detail/60986
- ^ „Doplnění Hadoop na Yahoo: Interaktivní analýza s Druidem“. Citováno 2016-06-23.
- ^ Tschetter, Eric. „Představujeme Druida“, druid.apache.org, 24. října 2012
- ^ Higginbotham, Stacey. „Metamarkety otevřené zdroje Druid, jeho databáze v paměti“, GigaOM, 24. října 2012
- ^ Harris, Derrick (2015-02-20). „Databáze Druid v reálném čase se přesouvá na licenci Apache“. Citováno 2015-08-04.
- ^ „Druid získává pod licencí Apache otevřený zdrojový kód“. Citováno 2015-08-04.
- ^ druid. "Druid | Druid Community". druid.apache.org. Citováno 2016-06-23.
- ^ Dokumentace projektu Druid
- ^ Yang, Fangjin; Tschetter, Eric; Léauté, Xavier; Ray, Nelson; Merlino, Gian; Ganguli, hluboko. „Druid: Úložiště analytických dat v reálném čase“, Metamarkety, vyvolány 6. února 2014