Apache OODT - Apache OODT

Apache OODT
Logo Apache OODT
VývojářiSoftwarová nadace Apache
Stabilní uvolnění
1.2.5 / 6. září 2018; Před 2 roky (2018-09-06)[1]
ÚložištěRepozitář OODT
NapsánoJáva
Operační systémCross-platform
TypVyhledávání a index API
LicenceLicence Apache 2.0
webová stránkaoodt.apache.org

Apache Objektově orientovaná datová technologie (OODT) je otevřený zdroj systém správy dat rámec, který spravuje Softwarová nadace Apache. OODT byl původně vyvinut na Laboratoř tryskového pohonu NASA podporovat sběr, zpracování a sdílení údajů pro vědecké archivy NASA.

Dějiny

Projekt začínal jako interní Laboratoř tryskového pohonu NASA projekt přijali Daniel J. Crichton, Sean Kelly a Steve Hughes. Časné zaměření úsilí bylo na integraci informací a vyhledávání pomocí XML, jak je popsáno v příspěvku Crichtona et al. Na schůzi CODATA v roce 2000.[2]

Po nasazení OODT do Planetární datový systém a do Národní onkologický institut EDRN nebo projekt Early Detection Research Network, OODT se v roce 2005 přesunul do éry rozsáhlého zpracování a správy dat prostřednictvím NASA je Orbitální uhlíková observatoř (OCO) projekt. Role OODT v OCO spočívala v zavedení nového rámce pro zpracování dat, který místo desítek úloh denně a desítek gigabajtů dat zvládne 10 000 úloh denně a stovky terabajtů dat. To vyžadovalo generální opravu OODT na podporu těchto nových požadavků. Dr. Chris Mattmann v NASA JPL vedl tým 3-4 vývojářů v letech 2005-2009 a kompletně přepracoval OODT, aby tyto nové požadavky podporoval.

Pod vlivem nastupujícího úsilí v roce 2006 Apache Nutch a Hadoop kterého se Mattmann účastnil, byla OODT podrobena generální opravě, která ji zpřístupnila projektům podobným Apache Software Foundation. Kromě toho měl Mattmann blízký vztah s Dr. Justin Erenkrantz, který byl v té době prezidentem Apache Software Foundation, a objevila se myšlenka přinést OODT do Apache Software Foundation. V roce 2009 Mattmann a jeho tým obdrželi souhlas od NASA a od JPL, aby přinesli OODT do Apache, což je první projekt NASA, který má nadace spravovat. O sedm let později projekt vydal verzi 1.0.

Funkce

OODT se zaměřuje na dva kanonické případy použití: Velká data zpracování a dále Informační integrace. Oba byly popsány v Mattmannově ICSE 2006[3] a SMC-IT 2009[4] doklady. Poskytuje tři základní služby.

Správce souborů

Správce souborů je zodpovědný za sledování umístění souborů, jejich metadat a za přenos souborů z pracovní oblasti do úložiště řízeného přístupu.

Správce pracovních postupů

Workflow Manager zachycuje tok řízení a tok dat pro složité procesy a umožňuje reprodukovatelnost a konstrukci vědeckých kanálů.

Správce zdrojů

Správce prostředků zpracovává přidělení úkolů pracovního postupu a dalších úloh základním zdrojům, např. Úlohy Pythonu jdou do uzlů, na kterých je nainstalován Python; úlohy vyžadující velký disk nebo CPU jsou řádně odeslány do těch uzlů, které splňují tyto požadavky.

Kromě tří základních služeb poskytuje OODT tři klientsky orientované rámce, které staví na těchto službách.

Prohledávač souborů

Prohledávač souborů automaticky extrahuje metadata a použije je Apache Tika identifikovat typy souborů a přijímat související informace do Správce souborů.

Rámec pro procházení katalogu a archivů

Rámec Push / Pull získává vzdálené soubory a zpřístupňuje je systému.

Výkonný generátor výroby katalogových a archivních služeb (CAS-PGE)

Obálka vědeckého algoritmu (nazývaná CAS-PGE, pro katalog a generátor výkonných služeb pro archivaci služeb) zapouzdřuje vědecké kódy a umožňuje jejich provádění nezávisle na prostředí, přičemž přitom zachycuje původ a umožňuje snadnou integraci algoritmů do produkčního systému.

RESTful služby CAS

Sada rozhraní RESTful API, která odhaluje možnosti komponent File Manager, Workflow Manager a Resource manager.

Řídicí panel monitoru OPSUI

Webová aplikace pro vystavování služeb tvoří základní produkt / pracovní tok / prostředek OODT pro správu řídicích systémů prostřednictvím JAX-RS[5] Specifikace. V této fázi je postaven pomocí Apache branka[6] komponenty.

Celková motivace pro re-architekturu OODT byla popsána v příspěvku v Příroda (deník) v roce 2013 Mattmann nazval Vize pro datovou vědu.[7]

OODT je ​​napsán v Jáva a prostřednictvím jeho REST API [8] používané v jiných jazycích včetně Python (programovací jazyk).

Pozoruhodná použití

OODT byl nedávno zdůrazněn jako příspěvek k misím NASA včetně Půdní vlhkost aktivní pasivní[9] a Nové obzory.[10] OODT také pomáhá napájet Pole čtvercového kilometru dalekohled[11] zvýšení rozsahu jeho použití od vědy o Zemi, planetární vědy, radioastronomie a dalších odvětví. OODT se také používá v bioinformatice a je součástí Knowledgent Big Data Platform.[12]

Reference

  1. ^ „ASF Git Repos - oodt.git / commit“. Citováno 11. září 2019.
  2. ^ Crichton, Daniel; Hughes, John; Hyon, Jason; Kelly, Sean (2000). "Vědecké vyhledávání a získávání pomocí XML". Druhá národní konference o vědeckých a technických datech, Národní výbor USA pro CODATA, Národní rada pro výzkum.
  3. ^ Mattmann, Chris A .; Crichton, Daniel J .; Medvidovic, Nenad; Hughes, Steve (01.01.2006). Rámec založený na softwarové architektuře pro vysoce distribuované a datově náročné vědecké aplikace. Sborník z 28. mezinárodní konference o softwarovém inženýrství. ICSE '06. New York, NY, USA: ACM. str. 721–730. doi:10.1145/1134285.1134400. ISBN  978-1595933751.
  4. ^ Mattmann, C. A .; Freeborn, D .; Crichton, D .; Foster, B .; Hart, A .; Woollard, D .; Hardman, S .; Ramirez, P .; Kelly, S. (01.07.2009). Rámec opakovaně použitelného systému řízení procesů pro mise na oběžné dráze uhlíku a sondy PEATE pro sondy NPP. Třetí mezinárodní konference IEEE o výzvách vesmírných misí pro informační technologie, 2009. SMC-IT 2009. str. 165–172. doi:10.1109 / SMC-IT.2009.27. ISBN  978-0-7695-3637-8.
  5. ^ „Java API pro RESTful Web Services“, Wikipedia, 2019-03-22, vyvoláno 2019-04-25
  6. ^ "Apache Wicket", Wikipedia, 2018-12-23, vyvoláno 2019-04-25
  7. ^ Mattmann, Chris A. (2013-01-24). „Computing: A vision for data science“. Příroda. 493 (7433): 473–475. doi:10.1038 / 493473a. ISSN  0028-0836. PMID  23344342.
  8. ^ „Apache OODT API - OODT - Apache Software Foundation“. cwiki.apache.org. Citováno 2016-06-27.
  9. ^ „Apache - ASF na Twitteru“. Citováno 2016-06-27.
  10. ^ „Apache - ASF na Twitteru“. Citováno 2016-06-27.
  11. ^ „Apache - ASF na Twitteru“. Citováno 2016-06-27.
  12. ^ „Otázky a odpovědi o výhodách OODT - objektově orientovaná datová technologie - Knowledgent Perspectives“. 2014-07-30. Citováno 2016-06-27.

externí odkazy