Apache Airflow - Apache Airflow
![]() | |
Původní autoři | Maxime Beauchemin / Airbnb |
---|---|
Vývojáři | Softwarová nadace Apache |
První vydání | 3. června 2015 |
Stabilní uvolnění | 1. 10. 11 / 10. července 2020 |
Úložiště | ![]() |
Napsáno | Krajta |
Operační systém | Microsoft Windows, Operační Systém Mac, Linux |
K dispozici v | Krajta |
Typ | Platforma pro správu pracovních postupů |
Licence | Licence Apache 2.0 |
webová stránka | proud vzduchu |
Apache Airflow je open-source platforma pro správu pracovních toků. Začalo to v Airbnb v říjnu 2014[1] jako řešení pro správu stále složitějších pracovních toků společnosti. Vytvoření Airflow umožnilo Airbnb programově vytvářet a plánovat své pracovní toky a sledovat je pomocí vestavěného Airflow uživatelské rozhraní.[2][3] Od samého začátku byl projekt vytvořen jako open source a stal se z něj Inkubátor Apache projekt v březnu 2016 a na nejvyšší úrovni Softwarová nadace Apache projekt v lednu 2019.
Proudění vzduchu je zapsáno Krajta a pracovní toky jsou vytvářeny pomocí skriptů Pythonu. Průtok vzduchu je navržen na principu „konfigurace jako kód“. Zatímco jiné platformy pracovního postupu „konfigurace jako kód“ existují pomocí značkovacích jazyků jako XML, používání Pythonu umožňuje vývojářům importovat knihovny a třídy, které jim pomohou vytvářet jejich pracovní postupy.
Přehled
Použití proudění vzduchu směrované acyklické grafy (DAG) pro správu orchestrace pracovního postupu. Úkoly a závislosti jsou definovány v Pythonu a poté Airflow spravuje plánování a provádění. DAG lze spustit buď podle definovaného plánu (např. Hodinově nebo denně) nebo na základě externích spouštěčů událostí (např. Soubor, který se objeví v Úl[4]). Předchozí plánovače založené na DAG mají rádi Oozie a Azkaban měl sklon spoléhat se na více konfigurační soubory a stromy souborového systému k vytvoření DAG, zatímco v Airflow lze DAG často zapsat do jednoho souboru Pythonu.[5]
Spravovaní poskytovatelé
Dva významní poskytovatelé nabízejí doplňkové služby kolem hlavního projektu open source. Astronom postavil SaaS nástroj a Kubernetes -deployable Airflow stack that helps with monitoring, alerting, devops, and cluster management.[6] Cloud Composer je spravovaná verze Airflow, která běží dále Google Cloud Platform (GCP) a dobře se integruje s dalšími službami GCP.[7]
Viz také
Reference
- ^ „Apache Airflow“. Apache Airflow. Archivováno od originálu 12. srpna 2019. Citováno 30. září 2019.
- ^ Beauchemin, Maxime (2. června 2015). „Airflow: platforma pro správu pracovních toků“. Střední. Archivováno z původního 13. srpna 2019. Citováno 30. září 2019.
- ^ "Proud vzduchu". Archivováno od originálu 6. července 2019. Citováno 30. září 2019.
- ^ Trencseni, Marton (16. ledna 2016). „Kontrola proudění vzduchu“. BytePawn. Archivováno z původního 28. února 2019. Citováno 1. října 2019.
- ^ „AirflowProposal“. Softwarová nadace Apache. 28. března 2019. Citováno 1. října 2019.
- ^ Lipp, Cassie (13. července 2018). „Astronom je nyní společností Apache Airflow Company“. americaninno. Citováno 18. září 2019.
- ^ „Google uvádí Cloud Composer, nový nástroj pro automatizaci pracovních postupů pro vývojáře“. TechCrunch. Citováno 2019-09-18.