Presto (SQL dotazovací stroj) - Presto (SQL query engine)

rychle
Původní autořiMartin Traverso, Dain Sundstrom, David Phillips, Eric Hwang
První vydání10. listopadu 2013; před 7 lety (10. listopadu 2013)
NapsánoJáva
Operační systémCross-platform
Standard (s)SQL
TypDatový sklad
LicenceLicence Apache 2.0
webová stránkaprestodb.io
prestosql.io

rychle je vysoce výkonný, distribuovaný SQL dotazovací modul pro velká data. Jeho architektura umožňuje uživatelům dotazovat se na různé zdroje dat, například Hadoop, AWS S3, Alluxio, MySQL, Cassandra, Kafka, a MongoDB. Jeden může dokonce dotazovat data z více zdrojů dat v rámci jednoho dotazu. Presto je řízeno komunitou open-source software propuštěn pod Licence Apache.

Dějiny

Presto bylo původně navrženo a vyvinuto v Facebook aby jejich datoví analytici mohli spouštět interaktivní dotazy na svém velkém datovém skladu v Apache Hadoop. Před Presto se datoví analytici na Facebooku spoléhali Apache Hive pro provozování analytiky SQL na jejich datovém skladu s více petabajty. Úl byl považován za příliš pomalý[1] pro Facebook a Presto bylo vynalezeno, aby vyplnilo mezeru v rychlých dotazech. Původní vývoj byl zahájen v roce 2012 a později ten rok byl nasazen na Facebooku. V listopadu 2013 Facebook oznámil své vydání jako open source 2013.[1][2] V roce 2014 Netflix prozradili, že použili Presto 10. dne petabajty dat uložených v Služba jednoduchého ukládání Amazon (S3).[3]

V lednu 2019 byla oznámena Presto Software Foundation. Nadace je nezisková organizace zabývající se pokrokem v otevřeném zdrojovém dotazovacím stroji Presto s otevřeným zdrojovým kódem[4][5]. Vývoj Presto pokračuje nezávisle na PrestoDB spravovaném Facebookem a PrestoSQL udržovaném Presto Software Foundation s určitým křížovým opylováním kódu.

V září 2019 společnost Facebook darovala PrestoDB společnosti Linux Foundation založení Nadace Presto.[6] Tvůrci Presto ani hlavní přispěvatelé a zadavatelé nebyli pozváni, aby se připojili k této nadaci [7]. Nadace má otevřený a neutrální model správy, který umožňuje společnosti Presto rozšiřovat a diverzifikovat svou komunitu.

Architektura

Architektura Presto je velmi podobná klasice Systém pro správu databází použitím clusterové výpočty (MPP ). Lze jej vizualizovat jako jeden uzel koordinátora pracující synchronizovaně s více pracovními uzly. Klienti odesílají příkazy SQL, které se analyzují a plánují, po nichž jsou pracovníkům naplánovány paralelní úkoly. Pracovníci společně zpracovávají řádky ze zdrojů dat a vytvářejí výsledky, které se vracejí klientovi. Oproti originálu Apache Hive model provedení, který používal Hadoop MapReduce mechanismus na každý dotaz, Presto nepíše mezilehlé výsledky na disk, což má za následek výrazné zlepšení rychlosti. Presto je napsáno v Programovací jazyk Java.

Jediný dotaz Presto může kombinovat data z více zdrojů. Presto nabízí konektory ke zdrojům dat včetně souborů v Alluxio, Systém distribuovaných souborů Hadoop, Amazon S3, MySQL, PostgreSQL, Microsoft SQL Server, Amazon Redshift, Apache Kudu, Apache Phoenix, Apache Kafka, Apache Cassandra, Apache Accumulo, MongoDB a Redis. Na rozdíl od jiných nástrojů specifických pro distribuci Hadoop, jako je Apache Impala „Presto může pracovat s jakoukoli příchutí Hadoopu nebo bez ní. Presto podporuje oddělení výpočetní techniky a úložiště a může být nasazeno jak v prostorách, tak v mrak.

Viz také

Reference

  1. ^ A b Joab Jackson (6. listopadu 2013). „Facebook je otevřený zdroj s dotazovacím modulem pro velká data“. Počítačový svět. Citováno 26. dubna 2017.
  2. ^ Jordan Novet (6. června 2013). „Facebook odhaluje engine Presto pro dotazování 250 datových skladů PB“. Giga Om. Citováno 26. dubna 2017.
  3. ^ Eva Tse, Zhenxiao Luo, Nezih Yigitbasi (7. října 2014). „Používání Presto v naší Big Data Platform na AWS“. Technický blog Netflix. Citováno 26. dubna 2017.CS1 maint: používá parametr autoři (odkaz)
  4. ^ „Presto Software Foundation zahajuje pokrok v otevřené komunitě Presto“. PRWeb. Citováno 2019-02-01.
  5. ^ „Nová nadace Presto signalizuje růst pro Big Data SQL Engine“. The New Stack. 2019-01-31. Citováno 2019-02-01.
  6. ^ „Facebook, Uber, Twitter a Alibaba tvoří nadaci Presto Foundation pro řešení distribuovaného zpracování dat v měřítku“. Citováno 2019-11-12.
  7. ^ „Jaký je vztah mezi prestosql a prestodb?“. 2019-11-22.


externí odkazy