Vektorově - Vectorwise

Actian vektor
VývojářiActian Corporation
Stabilní uvolnění
Vektor 5.1 / 14. listopadu 2018 (2018-11-14)[1]
Operační systémCross-platform
TypRDBMS
LicenceProprietární
webová stránkawww.aktiv.com/produkty/ analytická platforma/ vector-smp-analytická databáze/
Actian Vector v Hadoopu
VývojářiActian Corporation
Stabilní uvolnění
Vektor v Hadoop 5.1 / 10. června 2018 (2018-06-10)[2]
Operační systémLinux
TypRDBMS
LicenceProprietární
webová stránkawww.aktiv.com/ analytická databáze/ vectorh-sql-hadoop/

Actian vektor (dříve známý jako VectorWise) je SQL systém správy relačních databází navržen pro vysoký výkon v analytických databázových aplikacích.[3]Zveřejnila rekordní výsledky na internetu Rada pro výkon zpracování transakcí Srovnávací test TPC-H pro velikosti databází 100 GB, 300 GB, 1 TB a 3 TB na ne clusterovaném hardwaru.[4][5][6][7]

Vectorwise pochází z výzkumného projektu X100 prováděného v rámci Centrum Wiskunde & Informatica (CWI, nizozemský národní výzkumný ústav pro matematiku a informatiku) v letech 2003 až 2008. V roce 2008 byla vyčleněna jako start-up společnost a získala ji Ingres Corporation v roce 2011.[8]Jako komerční produkt byl vydán v červnu 2010,[9][10][11][12] původně pro 64bitovou platformu Linux a později také pro Windows. Počínaje vydáním 3.5 v dubnu 2014 byl název produktu zkrácen na „Vector“.[13]V červnu 2014 byl oznámen Actian Vortex - seskupený MPP verze Vector, pracující v Hadoop se skladováním v HDFS.[14][15] Actian Vortex byl později v Hadoopu přejmenován na Actian Vector.

Technologie

Základní principy architektury a designu X100 enginu databáze VectorWise byly dobře popsány ve dvou Phd tezích zakladatelů VectorWise Marcina Żukowského: „Balancing Vectorized Query Execution with Bandwidth-Optimized Storage“[16] a Sandor Héman: „Aktualizace komprimovaných obchodů se sloupci“,[17] pod dohledem jiného zakladatele, profesora Peter Boncz. Motor X100 byl integrován do Ingres SQL front-end, umožňující provozuschopnost databáze pomocí syntaxe Ingres SQL a sady Ingres klienta a DBA nástroje.[18]

Architektura pro provádění dotazů využívá "Vectorized Query Execution" - zpracování v kusech mezipaměti - přizpůsobení vektorů dat. To umožňuje zapojit principy vektorové zpracování a jedna instrukce, více dat (SIMD) - provádět stejnou operaci s více daty současně a využívat paralelismus datové úrovně na moderním hardwaru. Snižuje také režijní náklady nalezené v tradičním „zpracování za sebou“, které se nachází ve většině RDBMS.

Úložiště databáze je v komprimovaném formátu orientovaný na sloupy formát,[19] se správcem vyrovnávací paměti optimalizovaným pro skenování. V Actian Vortex v HDFS používá se stejný proprietární formát.

Načítání velkého množství dat je podporováno přímým připojením ke stabilnímu úložišti, zatímco malé transakční aktualizace jsou podporovány prostřednictvím patentu[20] Poziční deltové stromy (PDT)[17][21] - specializované B-strom struktury podobné indexovaným rozdílům nad stabilním úložištěm, které jsou během skenování bezproblémově opraveny a které jsou transparentně šířeny do stabilního úložiště v procesu na pozadí. Metoda ukládání rozdílů v strukturách podobných patchům a hromadné přepisování stabilního úložiště umožnily pracovat v souborovém systému, jako je HDFS, ve kterém jsou soubory pouze připojeny.[14]

Dějiny

Milníky

Srovnávací Rada pro výkon zpracování transakcí Test výkonu TPC-H MonetDB provedeno původním tvůrcem v Centrum Wiskunde & Informatica (CWI) v roce 2003 ukázal prostor pro zlepšení svého výkonu jako analytické databáze. Výsledkem je, že vědci z CWI navrhli novou architekturu využívající pipeline zpracování dotazů („vektorizované zpracování“) ke zlepšení výkonu analytických dotazů. To vedlo k vytvoření projektu „X100“ se záměrem navrhnout nové jádro pro MonetDB s názvem „MonetDB / X100“.[16][22][23]

Projektový tým X100 získal v roce 2007 cenu DaMoN Best Paper Award za dokument „Vectorized Data Processing on the Cell Broadband Engine“[24][25] stejně jako cena za nejlepší papír DaMoN za rok 2008 za článek „DSM vs. NSM: kompromisy výkonu CPU v blokovém zpracování dotazů“.[26][27]

V srpnu 2009 pak původci projektu X100 získali 35. „Desetiletou cenu za nejlepší papír“ Mezinárodní konference o velmi velkých databázích (VLDB) za dokument z roku 1999 „Database architecture Optimized for the new bottleneck: Memory access“. VLDB uznala, že projektový tým dosáhl za posledních 10 let velkého pokroku při implementaci myšlenek obsažených v příspěvku.[28] Ústředním předpokladem příspěvku je, že tradiční systémy relačních databází byly navrženy koncem sedmdesátých a počátkem osmdesátých let v době, kdy byl výkon databáze diktován dobou potřebnou ke čtení a zápisu dat na pevný disk. V té době k dispozici procesor byla relativně pomalá a hlavní paměť byla relativně malá, takže do paměti bylo možné načíst velmi málo dat najednou. Postupem času se hardware vylepšil, přičemž rychlost CPU a velikost paměti se v souladu s přibližně zdvojnásobily zhruba každé dva roky Mooreův zákon, ale design tradičních systémů relačních databází se nepřizpůsobil. Výzkumný tým CWI popsal vylepšení databázového kódu a datových struktur, aby co nejlépe využil moderní hardware.[29]

V roce 2008 byl projekt X100 vyčleněn z MonetDB jako samostatný samostatný projekt a přejmenován na „VectorWise“. Mezi spoluzakladatele patřili Peter A. Boncz a Marcin Żukowski.[30][31]

V červnu 2010 byla technologie VectorWise oficiálně oznámena společností Ingres Corporation,[10][32] s vydáním Ingres VectorWise 1.0.[33]

V březnu 2011 byla vydána verze VectorWise 1.5,[34] zveřejnění rekordního výsledku na benchmarku TPC-H 100 GB.[5][35] Nové funkce zahrnovaly paralelní provádění dotazů (jeden dotaz prováděný na více jádrech CPU), vylepšené hromadné načítání a vylepšenou podporu SQL.

V červnu 2011 vyšla verze VectorWise 1.6,[6] zveřejnění rekordních výsledků na TPC-H 100 GB,[36] 300 GB[37] a 1 TB[38] neseskupený benchmark.

V prosinci 2011 byla vydána verze VectorWise 2.0[39] s novou podporou SQL pro analytické funkce, jako je pořadí a percentil, a vylepšenými datovými typy data, času a časového razítka a podporou rozlití disku při hašovacích spojeních a agregaci.

V červnu 2012 byla vydána verze VectorWise 2.5.[40] V tomto vydání byl formát úložiště reorganizován tak, aby umožňoval ukládání databáze na více místech, byl vylepšen mechanismus šíření aktualizace pozadí z PDT do stabilního úložiště, aby bylo možné přepsat pouze změněné bloky namísto úplných přepsání, a nový patentovaný[41] Byl představen Predictive Buffer Manager (PBM).[42]

V březnu 2013 byla vydána verze VectorWise 3.0.[43] Mezi nové funkce patřilo efektivnější úložiště, podpora více datových typů a analytických funkcí SQL, vylepšené funkce DDL a vylepšená dostupnost monitorování a profilování.

V březnu 2014 byl vydán Actian Vector 3.5 s novým rebrandovaným a zkráceným názvem.[13] Mezi nové funkce patřila podpora dělených tabulek, vylepšené rozlití disku, možnosti online zálohování a vylepšená podpora SQL - např. Sloučit / UPSERT DML operace a FIRST_VALUE a LAST_VALUE funkce agregace oken.

V březnu 2015 byl vydán Actian Vector 4

Klastrové řešení

V červnu 2014 na Hadoop Summit 2014 v San Jose Actian oznámil Actian Vortex - klastrovanou MPP verzi Vector, se stejnou úrovní podpory SQL, která pracuje v Hadoopu s úložištěm přímo v HDFS.[14]

Od té doby byl vydán Actian Vortex, který byl později v Hadoopu přejmenován na Actian Vector, a také jsou aktualizována neshlukovaná vydání Actian Vector, aby odpovídala.[1] Actian Vector v Hadoop 4 byl vydán v prosinci 2015.

Rozšiřování do cloudu

V dubnu 2019 byl vydán Actian Avalanche jako cloudová možnost pro vysoce výkonný Actian Vector.

Aktuální zprávy

Následující vydání jsou k dispozici a podporována společností Actian od května 2019.

Vektor

  • Actian Vector 5.0 byl vydán v červenci 2016
  • Actian Vector 5.1 byl vydán v červnu 2018

Vektor v Hadoopu

  • Actian Vector v Hadoop 5.0 byl vydán v říjnu 2017
  • Actian Vector v Hadoop 5.1 byl vydán v listopadu 2018

Actian Avalanche

  • Verze 5.1 AWS byla vydána v dubnu 2019.
  • Verze 5.1 Azure byla vydána v říjnu 2019.

Viz také

Reference

  1. ^ A b „Vydání Actian Vector“ (PDF). Citováno 2016-08-20.
  2. ^ „Vektor v Hadoopu 5.0 - nové funkce, na kterých byste se měli starat“. 2017-09-19. Citováno 2018-04-04.
  3. ^ "Vectorwise Enterprise". Actian Corporation. Citováno 3. května 2012.
  4. ^ „TPC-H - Top Ten Performance Results - Non-Clustered“. Rada pro výkon zpracování transakcí. Citováno 3. května 2012.
  5. ^ A b „Vectorwise rozbije záznam TPC-H v měřítku 100 a poskytne 340% předchozího nejlepšího záznamu“ (Tisková zpráva). Actian Corporation. 15. února 2011. Citováno 7. února 2016.
  6. ^ A b „Vectorwise Breaks 300GB and 1TB TPC-H Benchmark Records Hands Down“ (Tisková zpráva). Actian Corporation. 4. května 2011. Citováno 7. února 2011.
  7. ^ „Platforma Actian Analytics překonává všechny ostatní dvakrát, nastavuje nový rekord v nejnovějším měřítku TPC-H“. Actian Corporation. Citováno 20. srpna 2016.
  8. ^ „Spin-off společnost CWI VectorWise prodána společnosti Ingres Corporation“.
  9. ^ Clarke, Gavin (2. února 2010). „Ingres 'VectorWise stoupá, aby odpověděl Microsoftu“. Registrace.
  10. ^ A b Babcock, Charles (9. června 2010). „Ingres odhaluje databázový stroj VectorWise“. Informační týden.
  11. ^ Suleman, Khidr (8. června 2010). „Ingres spouští databázový stroj VectorWise“. V3.co.uk.
  12. ^ Zukowski, Marcin; Boncz, Peter (2012). "Od x100 do vektorových". Sborník mezinárodní konference 2012 o správě dat - SIGMOD '12. p. 861. doi:10.1145/2213836.2213967. ISBN  978-1-4503-1247-9.
  13. ^ A b „Pssst: Chcete se dozvědět více o Actian Vector 3.5?“. 2016-05-04.
  14. ^ A b C „Vector (moudrý) jde Hadoop“.
  15. ^ „Peter Boncz - Actian Vector na Hadoopu: První průmyslový DBMS, který skutečně využívá Hadoop“.
  16. ^ A b Żukowski, Marcin (11. září 2009). "Vyrovnávání vektorizovaného provádění dotazu s úložištěm optimalizovaným pro šířku pásma" (PDF). Universiteit van Amsterdam. Citováno 7. února 2016. Citovat deník vyžaduje | deník = (Pomoc)
  17. ^ A b Héman, Sandor (2015). „Aktualizace komprimovaných obchodů se sloupci“ (PDF). Vrije Universiteit Amsterdam. Citováno 7. února 2016. Citovat deník vyžaduje | deník = (Pomoc)
  18. ^ Inkster, Doug; Żukowski, Marcin; Boncz, Peter (září 2011). "Integrace VectorWise s Ingres" (PDF). Záznam SIGMOD. 40 (3): 45–53. doi:10.1145/2070736.2070747. hdl:1871/33100. Citováno 7. února 2016.
  19. ^ Zukowski, Marcin; Boncz, Peter (březen 2012). „Vectorwise: Beyond Column Stores“ (PDF). Bulletin IEEE Data Engineering. 35 (1): 21–27. Citováno 4. května 2012.
  20. ^ Americká přihláška 20100235335 „Sandor ABC Heman, Peter A. Boncz, Marcin Zukowski, Nicolaas J. Nes,„ Architektura databáze ve sloupcovém úložišti využívající systém a metody aktualizace pozičního stromu delty “, publikováno 16. září 2010 
  21. ^ Héman, Sándor; Żukowski, Marcin; Nes, Niels; Sidirourgos, Lefteris; Boncz, Peter. "Zpracování poziční aktualizace v obchodech se sloupci" (PDF). Konference SIGMOD 2010: 543–554.
  22. ^ „Domovská stránka Petera Boncze“. Citováno 7. února 2016.
  23. ^ „Rychlejší databázová technologie s MonetDB / X100“. CWI Amsterdam. Citováno 4. května 2012.
  24. ^ Héman, S .; Nes, N.J .; Zukowski, M .; Boncz, P.A. (2007). "Zpracování vektorových dat na širokopásmovém modulu buňky". Universiteit van Amsterdam. Citováno 4. května 2012. Citovat deník vyžaduje | deník = (Pomoc)
  25. ^ „Třetí mezinárodní seminář o správě dat na novém hardwaru (DaMoN 2007)“. Carnegie Mellon’s School of Computer Science (SCS). Citováno 4. května 2012.
  26. ^ Zukowski, Marcin; Nes, Niels; Boncz, Peter (2008). „DSM vs. NSM“. Sborník ze 4. mezinárodního semináře o správě dat na novém hardwaru - DaMoN '08. p. 47. doi:10.1145/1457150.1457160. ISBN  9781605581842.
  27. ^ „Čtvrtý mezinárodní seminář o správě dat na novém hardwaru (DaMoN 2008)“. Carnegie Mellon School of Computer Science. Citováno 4. května 2012.
  28. ^ „Desetiletá cena za nejlepší papír - VLDB 2009“. Mezinárodní konference o velmi velkých databázích. Citováno 4. května 2012.
  29. ^ Boncz, Peter; Manegold, Stefan; Kersten, Martin L. (15. června 1999). Architektura databáze optimalizovaná pro nové úzké místo: Přístup k paměti (PDF). Sborník z 25. mezinárodní konference o velmi velkých databázích. Universiteit van Amsterdam. str. 54–65. ISBN  1-55860-615-7. Citováno 11. prosince 2013.
  30. ^ Curt Monash (25. dubna 2013). „Sbohem VectorWise, sbohem ParAccel?“. DBMS2. Citováno 11. prosince 2013.
  31. ^ „Peter Boncz“. Webová stránka zaměstnanců. CWI. Citováno 11. prosince 2013.
  32. ^ Clark, Don (22. září 2011). „Akční aplikace firmy zabývající se databázovým a softwarovým softwarem'". The Wall Street Journal.
  33. ^ „Ingres Vectorwise 1.0“. Citováno 7. února 2016.
  34. ^ „Časný pohled na Actian VectorWise 1.5“.
  35. ^ "TPC-H SF100 Vectorwise 1,5".
  36. ^ „TPC-H SF100 Vectorwise 1,6“.
  37. ^ „TPC-H SF300 Vectorwise 1,6“.
  38. ^ „TPC-H SF1000 Vectorwise 1,6“.
  39. ^ "Ještě rychlejší VectorWise".
  40. ^ „Actian vydává Vectorwise 2.5 - rekordní databáze je nyní ještě rychlejší“.
  41. ^ B1 US patent 8825959 B1, Michal Switakowski, Peter Boncz, Marcin Zukowski, „Metoda a zařízení pro použití predikce doby přístupu k datům pro zlepšení zásad ukládání dat do vyrovnávací paměti“, publikováno 02.09.2014 
  42. ^ Świtakowski, Michał; Boncz, Peter; Żukowski, Marcin (srpen 2012). „Od kooperativních skenů po prediktivní správu vyrovnávací paměti“ (PDF). Sborník nadace VLDB. VLDB 2012. 5 (12). arXiv:1208.4170. Bibcode:2012arXiv1208.4170S. Citováno 7. února 2016.
  43. ^ „Actian oznamuje dostupnost Vectorwise 3.0 pro získávání rychlých odpovědí z velkých dat“.

externí odkazy