OrangeFS - OrangeFS

OrangeFS
Původní autořiClemson University, Argonne National Laboratory a další ve Společenství.
VývojářiOmnibond, Clemson University, Argonne National Laboratory a členové komunity
První vydání2011
Stabilní uvolnění
OrangeFS 2.9.8
Linuxové jádro 5,4 lts / 2. září 2020 (2020-09-02)
15. srpna 2020 (2020-08-15)
Úložištěgithub.com/ waltligon/ orangefs
NapsánoC
Operační systémLinux
LicenceLGPL
webová stránkawww.orangefs.org

OrangeFS je open-source paralelní souborový systém, příští generace Paralelní virtuální souborový systém. A paralelní souborový systém je typ distribuovaný souborový systém který distribuuje data souborů mezi více serverů a zajišťuje souběžný přístup více úkolů paralelní aplikace. OrangeFS byl navržen pro použití ve velkém měřítku clusterové výpočty a používají ji společnosti, univerzity, národní laboratoře a podobné weby po celém světě.[1][2][3][4]

Verze a funkce

2.8.5
  • Komunikační infrastruktura mezi servery
  • Možnost SSD pro ukládání distribuovaných metadat
  • Plná nativní podpora klientů Windows
  • Replikace pro neměnné soubory
2.8.6
  • Přímé rozhraní pro aplikace
  • Ukládání do mezipaměti klienta pro přímé rozhraní s víceprocesovou soudržností jednoho systému
  • Počáteční vydání podpory webového balíčku WebDAV a S3 prostřednictvím modulů Apache[5]
2.8.7
  • Aktualizace, opravy a vylepšení výkonu
2.8.8
  • Aktualizace, opravy a vylepšení výkonu, nativní Hadoop podpora prostřednictvím JNI podložka, podpora pro novější Linuxová jádra
2.9
  • Distribuovaná metadata pro položky adresáře[6]
  • Zabezpečení založené na schopnostech ve 3 režimech
    • Standardní zabezpečení
    • Zabezpečení založené na klíčích
    • Zabezpečení založené na certifikátu s LDAP podpora rozhraní
  • Rozšířená dokumentace

Dějiny

OrangeFS se ukázal jako vývojová větev PVFS2, takže velká část jeho historie je sdílena s historií PVFS. Za dvacet let je rozsáhlá historie OrangeFS shrnuta v časové linii níže.

Vývojová větev je nový směr vývoje. Pobočka OrangeFS byla zahájena v roce 2007, kdy vedoucí představitelé uživatelské komunity PVFS2 zjistili, že:

  • Mnozí byli spokojeni s konstrukčními cíli PVFS2 a potřebovali, aby zůstal relativně nezměněn pro budoucí stabilitu
  • Jiní si představili PVFS2 jako základ, na kterém lze postavit zcela novou sadu designových cílů pro pokročilejší aplikace budoucnosti.

Z tohoto důvodu je OrangeFS často popisován jako nová generace PVFS2.

1993
Parallel Virtual File System (PVFS) vyvinuli Walt Ligon a Eric Blumer v rámci grantu NASA ke studiu I / O vzorů paralelních programů. PVFS verze 0 byl založen na paralelním souborovém systému Vesta vyvinutém v IBM Výzkumné centrum Thomase J. Watsona a jeho název byl odvozen od jeho vývoje pro práci na Parallel Virtual Machine (PVM).
1994
Rob Ross přepsal PVFS na použití TCP / IP, čímž se výrazně odchýlil od původního designu Vesta. PVFS verze 1 byl zaměřen na klastr pracovních stanic DEC Alpha na FDDI, předchůdce sítí Fast Ethernet. PVFS přinesl významné zisky oproti společnosti Vesta v oblasti plánování I / O disků, zatímco více klientů má přístup ke společnému souboru.
Pozdní 1994
Goddard Space Flight Center zvolilo PVFS jako souborový systém pro první Beowulf (rané implementace komoditních počítačů založených na Linuxu běžících paralelně). Ligon a Ross v průběhu několika příštích let spolupracovali s klíčovými vývojáři GSFC, včetně Thomase Sterlinga, Donalda Beckera, Dana Ridge a Erica Hendrickse.
1997
PVFS vydáno jako balíček open-source
1999
Ligon navrhl vývoj nové verze PVFS. Design, který byl původně vyvinut na univerzitě v Clemsonu, byl dokončen ve společném úsilí přispěvatelů z Clemsonu, Argonne National Laboratory a Ohio superpočítačové centrum, včetně významných příspěvků Phila Carnse, doktoranda z Clemsonu.
2003
Vydáno PVFS2, obsahující objektové servery, distribuovaná metadata, ubytování více serverů metadat, zobrazení souborů na základě MPI (Message Passing Interface, protokol optimalizovaný pro vysoce výkonné výpočty) pro více typů sítí a flexibilní architektura pro snadné experimentování a rozšiřitelnost. PVFS2 se stává projektem „Otevřené komunity“ s přispěním mnoha univerzit a společností z celého světa.
2005
Verze PVFS 1 byla vyřazena. PVFS2 stále podporují Clemson a Argonne. V posledních letech různí přispěvatelé (mnozí z nich charteroví návrháři a vývojáři) pokračovali ve zlepšování výkonu PVFS.
2007
Argonne National Laboratories si vybral PVFS2 pro svůj IBM Blue Gene / P, super počítač sponzorovaný americkým ministerstvem energetiky.
2008
Ligon a další ve společnosti Clemson začali zkoumat možnosti pro další generaci PVFS v plánu, který zahrnoval rostoucí potřeby mainstreamových clusterových výpočtů v obchodním sektoru. Když začali vyvíjet rozšíření pro podporu velkých adresářů malých souborů, vylepšení zabezpečení a možnosti redundance, mnoho z těchto cílů bylo v rozporu s vývojem pro Blue Gene. S odlišnými prioritami byl zdrojový kód PVFS rozdělen do dvou větví. Pobočka nového plánu se stala „oranžovou“ na počest barev školy Clemson a pobočka starších systémů byla přezdívána „modrá“ pro svou průkopnickou instalaci zákazníků v Argonne. OrangeFS se stala novou značkou otevřených systémů, která představuje tento virtuální souborový systém nové generace, s důrazem na zabezpečení, redundanci a širší škálu aplikací.
Podzim 2010
OrangeFS se stal hlavní pobočkou PVFS a společnost Omnibond začala nabízet komerční podporu pro OrangeFS / PVFS, přičemž nejvyšší prioritu vývoje dostaly požadavky na nové funkce od zákazníků s placenou podporou. Představeno první produkční vydání OrangeFS.
Jaro 2011
OrangeFS 2.8.4 vydán
Září 2011
OrangeFS přidává klienta Windows
Únor 2012
OrangeFS 2.8.5 vydáno
Červen 2012
Vydáno OrangeFS 2.8.6, které nabízí vylepšený výkon, webové klienty a knihovny přímého rozhraní. Nový webový balíček OrangeFS poskytuje integrovanou podporu pro WebDAV a S3.
Leden 2013
OrangeFS 2.8.7 vydán
Květen 2013
OrangeFS k dispozici na Webové služby Amazon tržiště. K dispozici je beta verze OrangeFS 2.9, která přidává dva nové režimy zabezpečení a umožňuje distribuci položek adresáře mezi více datových serverů.
Dubna 2014
OrangeFS 2.8.8 vydal přidání sdílené mmap podpora, podpora JNI pro Hadoop Ecosystem Applications podporující přímé nahrazení HDFS
Listopadu 2014
OrangeFS 2.9.0 vydáno přidáním podpory pro distribuovaná metadata pro položky adresáře pomocí rozšiřitelného hashovacího algoritmu modelovaného po giga +, POSIX zpětně kompatibilní základní zabezpečení podporující více režimů.
Ledna 2015
OrangeFS 2.9.1 vydáno
Březen 2015
OrangeFS 2.9.2 vydáno
Červen 2015
OrangeFS 2.9.3 vydáno
Listopad 2015
OrangeFS je součástí vydání CloudyCluster 1.0 na AWS
Květen 2016
OrangeFS podporované v Linux Kernel 4.6[7][8][9][10]
Října 2017
2.9.6 Vydáno
Ledna 2018
2.9.7 Vydáno, OrangeFS rpm bude nyní součástí Fedora rozdělení [11]
Února 2019
CloudyCluster v2 vydán na tržišti AWS s OrangeFS
Červen 2019
CloudyCluster v2 vydán na GCP s OrangeFS
Července 2019
OreangeFS je integrován do mezipaměti stránek Linuxu v linuxovém jádře 5.2[12]
Leden 2020
Dočasná oprava OrangeFS pro zápis po otevřených problémech sloučena do linuxového jádra 5.5
Srpna 2020
oprava jádra zpět na 5,4 lts, ​​která opravuje problémy s nestandardními velikostmi bloků.
Září 2020
2.9.8 Vydáno

Reference

  1. ^ Andrew Savchenhk (16. února 2013). „Úvod do distribuovaných souborových systémů, zkušenosti OrangeFS“ (PDF).CS1 maint: používá parametr autoři (odkaz)
  2. ^ Jeff Darcy (24. února 2011). „Kontrola soutěže“. Archivovány od originál dne 30. září 2012.CS1 maint: používá parametr autoři (odkaz)
  3. ^ „Paralelní souborový systém OrangeFS začíná vytvářet následující“. HPCwire. 18. listopadu 2011.
  4. ^ Erick Slack (29. června 2012). „Alternativa vysoce výkonného souborového systému s otevřeným zdrojovým kódem“.CS1 maint: používá parametr autoři (odkaz)
  5. ^ Michael Moore, David Bonnie, Walt Ligon, Nicholas Mills a Shuangyang Yang, Clemson University; Becky Ligon, Mike Marshall, Elaine Quarles, Sam Sampson a Boyd Wilson (2011). OrangeFS: Pokrok v PVFS (PDF). RYCHLE 2011.CS1 maint: používá parametr autoři (odkaz)
  6. ^ Shuangyang Yang. Walter B.Ligon III. Elaine C. Quarles Clemson University (2011), „Scalable Distributed Directory Implementation on Orange File System“, SNAPI 2011.
  7. ^ http://lkml.iu.edu/hypermail/linux/kernel/1603.3/01187.html
  8. ^ http://news.softpedia.com/news/linux-kernel-4-6-officially-released-introduces-orangefs-usb-3-1-ssp-support-504088.shtml
  9. ^ Becky Ligon (27. října 2016). „Oznamujeme vydání OrangeFS 2.9.6“.CS1 maint: používá parametr autoři (odkaz)
  10. ^ Mike Marshall (18. září 2016). „Soubor Readme jádra OrangeFS“.CS1 maint: používá parametr autoři (odkaz)
  11. ^ https://www.spinics.net/lists/fedora-package-announce/msg234344.html
  12. ^ Mike Marshall (10. května 2019). „Committing OrangeFS Kernel 5.2“.CS1 maint: používá parametr autoři (odkaz)

externí odkazy