Apache Beam - Apache Beam

Apache Beam
Beam-logo-full-color-name-right-200-autocrop.png
Původní autořiGoogle
VývojářiSoftwarová nadace Apache
První vydání15. června 2016; Před 4 lety (2016-06-15)
Stabilní uvolnění
2.25.0 / 23. října 2020; Před 45 dny (2020-10-23)[1]
ÚložištěÚložiště paprsků
NapsánoJáva, Krajta, Jít
Operační systémCross-platform
LicenceLicence Apache 2.0
webová stránkapaprsek.apache.org

Apache Beam je otevřený zdroj jednotný programovací model pro definování a provádění zpracování dat potrubí, počítaje v to ETL, šarže a proud (průběžné) zpracování.[2] Beam Pipelines jsou definovány pomocí jednoho z poskytnutých SDK a proveden v jednom z podporovaných paprsků běžci (distribuované zpracování back-endy) včetně Apache Flink, Apache Samza, Apache Spark, a Tok dat Google Cloud.[3]

Dějiny

Apache Beam[3] je jednou z implementací modelu modelu toku dat.[4] Model Dataflow je založen na předchozí práci na distribuovaných abstrakcích zpracování na Googlu, zejména na FlumeJava[5] a Millwheel.[6][7]

Google vydal otevřenou implementaci SDK modelu Dataflow v roce 2014 a prostředí pro provádění datových toků lokálně (nedistribuované) i v Google Cloud Platform servis.

V roce 2016 společnost Google darovala základní sadu SDK i implementaci místního běžce a sadu vstupů a výstupů (datové konektory) pro přístup Google Cloud Platform datové služby pro Softwarová nadace Apache. Další společnosti a členové komunity přispěli běžci pro existující distribuované platformy pro provádění, stejně jako nová IO pro integraci Beam Runners se stávajícími databázemi, obchody klíč-hodnota a systémy zpráv. Navíc nové DSL byly navrženy na podporu specifických potřeb domény nad Beam Modelem[Citace je zapotřebí ].

Časová osa

VerzeDatum vydání
Aktuální stabilní verze: 2.25.02020-10-23
Stará verze, již není udržována: 2.24.02020-09-18
Stará verze, již není udržována: 2.23.02020-07-29
Stará verze, již není udržována: 2.22.02020-06-08
Stará verze, již není udržována: 2.21.02020-05-27
Stará verze, již není udržována: 2.20.02020-04-15
Stará verze, již není udržována: 2.19.02020-02-04
Stará verze, již není udržována: 2.18.02020-01-23
Stará verze, již není udržována: 2.17.02020-01-06
Stará verze, již není udržována: 2.16.02019-10-07
Stará verze, již není udržována: 2.15.02019-08-22
Stará verze, již není udržována: 2.14.02019-08-01
Stará verze, již není udržována: 2.13.02019-05-22
Stará verze, již není udržována: 2.12.02019-04-25
Stará verze, již není udržována: 2.11.02019-02-26
Stará verze, již není udržována: 2.10.02019-02-01
Stará verze, již není udržována: 2.9.02018-12-13
Stará verze, již není udržována: 2.8.02018-10-29
Stará verze, již není udržována: 2.7.0 (LTS)2018-10-03
Stará verze, již není udržována: 2.6.02018-08-08
Stará verze, již není udržována: 2.5.02018-06-26
Stará verze, již není udržována: 2.4.02018-03-20
Stará verze, již není udržována: 2.3.02018-01-30
Stará verze, již není udržována: 2.2.02017-12-02
Stará verze, již není udržována: 2.1.02017-08-23
Stará verze, již není udržována: 2.0.02017-05-17
Stará verze, již není udržována: 0.6.02017-03-11
Stará verze, již není udržována: 0.5.02017-02-02
Stará verze, již není udržována: 0.4.02016-12-29
Stará verze, již není udržována: 0.3.02016-10-31
Stará verze, již není udržována: 0.2.02016-08-08
Stará verze, již není udržována: 0.1.02016-06-15
Legenda:
Stará verze
Starší verze, stále udržovaná
Nejnovější verze
Nejnovější verze náhledu
Budoucí vydání

Viz také

Reference

  1. ^ Apache Beam 2.25.0, vyvoláno 2. listopadu 2020
  2. ^ Woodie, Alex (22. dubna 2016). „Ambiciózní cíl Apache Beam: Unify Big Data Development“. Datanami. Citováno 4. srpna 2016.
  3. ^ A b „Cloudový datový tok - dávkové a streamované zpracování dat“.
  4. ^ Akidau, Tyler; Schmidt, Eric; Whittle, Sam; Bradshaw, Robert; Chambers, Craig; Černyak, Slava; Fernández-Moctezuma, Rafael J .; Lax, Reuven; McVeety, Sam; Mills, Daniel; Perry, Frances (1. srpna 2015). „Model datového toku“ (PDF). Sborník nadace VLDB. 8 (12): 1792–1803. doi:10.14778/2824032.2824076. Citováno 4. srpna 2016.
  5. ^ Chambers, Craig; Raniwala, Ashish; Perry, Frances; Adams, Stephen; Henry, Robert R .; Bradshaw, Robert; Weizenbaum, Nathan (1. ledna 2010). „FlumeJava: Snadné a efektivní datové paralelní kanály“ (PDF). Sborník z 31. konference ACM SIGPLAN o programování a implementaci programovacích jazyků. ACM: 363–375. doi:10.1145/1806596.1806638. S2CID  14888571. Archivovány od originál (PDF) dne 23. září 2016. Citováno 4. srpna 2016.
  6. ^ Akidau, Tyler; Whittle, Sam; Balikov, Alex; Bekiroğlu, Kaya; Černyak, Slava; Haberman, Josh; Lax, Reuven; McVeety, Sam; Mills, Daniel; Nordstrom, Paul (27. srpna 2013). "Mlýnské kolo" (PDF). Sborník nadace VLDB. 6 (11): 1033–1044. doi:10.14778/2536222.2536229. Archivovány od originál (PDF) dne 1. února 2016. Citováno 4. srpna 2016.
  7. ^ Ukazatel, Iane. „Apache Beam chce být uber-API pro velká data“. InfoWorld. Citováno 4. srpna 2016.