Porovnání distribuovaných souborových systémů - Comparison of distributed file systems

Viz také: Porovnání distribuovaných paralelních souborových systémů odolných proti chybám

Ve výpočetní technice, a distribuovaný souborový systém (DFS) nebo síťový souborový systém je libovolný souborový systém který umožňuje přístup k soubory od více hostitelů sdílení přes a počítačová síť. To umožňuje sdílení souborů a úložných prostředků pro více uživatelů na více počítačích.

Distribuované souborové systémy se liší svým výkonem, proměnlivostí obsahu, zpracováním souběžných zápisů, zpracováním trvalé nebo dočasné ztráty uzlů nebo úložiště a svou politikou ukládání obsahu.

Lokálně spravováno

FOSS

KlientNapsánoLicenceAccess APIVysoká dostupnostStřepyEfektivní redundanceGranularita nadbytečnostiRok počátečního vydáníPožadavky na paměť (GB)
Alluxio (virtuální distribuovaný systém souborů)JávaLicence Apache 2.0HDFS, POJISTKA, HTTP /ZBYTEK, S3horký pohotovostní režimNeReplikace[1]Soubor[2]2013
CephC ++LGPLlibrados (C, C ++, Python, Ruby), S3, Swift, POJISTKAAnoAnoPřipojitelné výmazové kódy[3]Bazén[4]20101 za TB úložiště
CodaCGPLCAnoAnoReplikaceObjem[5]1987
GlusterFSCGPLv3libglusterfs, POJISTKA, NFS, SMB, Swift, libgfapiAnoAnoReed-Solomon[6]Objem[7]2005
MooseFSCGPLv2POSIX, POJISTKAmistrNeReplikace[8]Soubor[9]2008
Systém souborů QuantcastCLicence Apache 2.0Klient C ++, POJISTKA (C ++ server: MetaServer a ChunkServer are both in C ++)mistrNeReed-Solomon[10]Soubor[11]2012
IPFSJítApache 2.0 nebo MITBrána HTTP, POJISTKA, Přejít klient, Javascriptový klient, nástroj příkazového řádkuAnos Klastr IPFSReplikace[12]Blok[13]2015[14]
Kertish-DFSJítGPLv3HTTP (REST), CLI, C # klient, klient GoAnoReplikace2020
JeštěrkaC ++GPLv3POSIX, POJISTKA, NFS-Ganéša, Ceph FSAL (prostřednictvím libcephfs)mistrNeReed-Solomon[15]Soubor[16]2013
LeskCGPLv2POSIX, NFS-Ganéša, NFS, SMBAnoAnoŽádná nadbytečnost[17]Žádná nadbytečnost[18]2003
MinIOJítLicence Apache 2.0AWS S3 APIAnoAnoReed-Solomon[19]Objekt[20]2014
OpenAFSCVeřejná licence IBMVirtuální souborový systém, Instalovatelný systém souborůReplikaceObjem[21]2000 [22]
OpenIO[23]CAGPLv3 / LGPLv3Nativní (Krajta, C, Jáva ), HTTP /ZBYTEK, S3, Rychlý, POJISTKA (POSIX, NFS, SMB, FTP )AnoPřipojitelné výmazové kódy[24]Objekt[25]20150.5
RozoFSC, PythonGPLv2POJISTKA, SMB, NFS, klíč / hodnotaAnoMojette[26]Objem[27]2011[28]
Mořské řasyJdi, JavaLicence Apache 2.0HTTP (ZBYTEK ), POSIX, POJISTKA, S3, HDFSreplikovaný obchod s fileryReed-Solomon[29]Objem[30]2015
Tahoe-LAFSKrajtaGNU GPL [31]HTTP (prohlížeč nebo CLI ), SFTP, FTP, POJISTKA přes SSHFS, pyfilesystemReed-Solomon[32]Soubor[33]2007
HDFSJávaLicence Apache 2.0Klient Java a C, HTTP, FUSE[34]transparentní hlavní převzetí služeb při selháníNeReed-Solomon[35]Soubor[36]2005
XtreemFSJava, C ++Licence BSDlibxtreemfs (Java, C ++), POJISTKAReplikace[37]Soubor[38]2009
Nebo já[39]C, C ++MITlibori, POJISTKAReplikaceSouborový systém[40]2012

Proprietární

KlientNapsánoLicenceAccess API
BeeGFSC / C ++FRAUNHOFER FS (FhGFS) EULA,[41]

Klient GPLv2

POSIX
ObjectiveFS[42]CProprietárníPOSIX, POJISTKA
Stupnice spektra (GPFS)C, C ++ProprietárníPOSIX, NFS, SMB, Swift, S3, HDFS
MapR-FSC, C ++ProprietárníPOSIX, NFS, POJISTKA, S3, HDFS, CLI
PanFSC, C ++ProprietárníDirectFlow, POSIX, NFS, SMB / CIFS, HTTP, CLI
Nekonečný[43]C ++Proprietární (bude otevřený zdroj)[44]POJISTKA, Instalovatelný systém souborů, NFS /SMB, POSIX, CLI, SDK (libinfinit)
Isilon OneFSC / C ++ProprietárníPOSIX, NFS, SMB / CIFS, HDFS, HTTP, FTP, Objekt SWIFT, CLI, Rest API
MěřítkoCProprietárníPOJISTKA, NFS, ZBYTEK, AWS S3
QuobyteJava, C ++ProprietárníPOSIX, POJISTKA, NFS, SMB / CIFS, HDFS, AWS S3, Plugin TensorFlow, CLI, Rest API

Vzdálený přístup

názevSpuštěnAccess API
Amazon S3Amazon.comHTTP (ZBYTEK /MÝDLO )
Cloudové úložiště GoogleGoogleHTTP (ZBYTEK )
SWIFT (součást OpenStack )Rackspace, Hewlett Packard, ostatníHTTP (ZBYTEK )
Microsoft AzureMicrosoftHTTP (ZBYTEK )
IBM Cloud Object StorageIBM (dříve Bezpečně )[45]HTTP (ZBYTEK )

Srovnání

Někteří vědci provedli funkční a experimentální analýzu několika distribuovaných souborových systémů včetně HDFS, Ceph, Gluster, Luster a staré (1.6.x) verze MooseFS, ačkoli tento dokument je z roku 2013 a mnoho informací je zastaralých (např. MooseFS měl v té době žádné HA pro server metadat).[46]

Cloudové vzdálené distribuované úložiště od hlavních dodavatelů má různá rozhraní API a různé modely konzistence.[47]

Viz také

Reference

  1. ^ „Ukládání do mezipaměti: Správa replikace dat v Alluxiu“.
  2. ^ „Ukládání do mezipaměti: Správa replikace dat v Alluxiu“.
  3. ^ „Profily vymazání kódu“.
  4. ^ "Bazény".
  5. ^ Satyanarayanan, Mahadev; Kistler, James J .; Kumar, Puneet; Okasaki, Maria E .; Siegel, Ellen H .; Steere, David C. „Coda: vysoce dostupný systém souborů pro prostředí distribuované pracovní stanice“ (PDF). Citovat deník vyžaduje | deník = (Pomoc)
  6. ^ „Vymazání implementace kódování“.
  7. ^ „Nastavení svazků GlusterFS“.
  8. ^ K dispozici pouze v proprietární verzi 4.x. „[feature] erasure-coding # 8“.
  9. ^ „mfsgoal (1)“.
  10. ^ „Systém Quantcast File“ (PDF).
  11. ^ „qfs / src / cc / tools / cptoqfs_main.cc“.
  12. ^ Plán mazání: „Reed-Solomonova vrstva přes IPFS # 196“., „Mazací kódovací vrstva # 6“.
  13. ^ „CLI Commands: ipfs bitswap wantlist“.
  14. ^ „Proč internet potřebuje IPFS, než bude příliš pozdě“.
  15. ^ „Konfigurace režimů replikace“.
  16. ^ "Konfigurace režimů replikace: Nastavit a zobrazit cíl souboru / adresáře".
  17. ^ „Manuál k používání lesku: Co je to systém souborů s leskem (a co to není)“. Reed-Solomon probíhá: "LU-10911 FLR2: Vymazání kódování".
  18. ^ „Manuál k používání lesku: Co je to systém souborů s leskem (a co to není)“. Plán redundance na úrovni souborů: „Architektura řešení redundance na úrovni souborů“.
  19. ^ „Průvodce rychlým spuštěním kódu MinIO Erasure Code“.
  20. ^ „Průvodce rychlým spuštěním třídy úložiště MiniIO“.
  21. ^ „Replikace svazků (vytváření svazků jen pro čtení)“.
  22. ^ https://www.openafs.org/release/openafs-1.0.html
  23. ^ „Dokumentace OpenIO SDS“. docs.openio.io.
  24. ^ „Erasure Coding“.
  25. ^ „Deklarovat zásady úložiště“.
  26. ^ „O RozoFS: Mojette Transform“.
  27. ^ "Nastavení RozoFS: Exportd konfigurační soubor".
  28. ^ „Počáteční potvrzení“.
  29. ^ „Erasure Coding for warm storage“.
  30. ^ „Replikace“.
  31. ^ „About Tahoe-LAFS“.
  32. ^ „zfec - rychlá implementace C vymazání kódování podle Reeda-Solomona“.
  33. ^ „Tahoe-LAFS Architecture: File Encoding“.
  34. ^ „MountableHDFS“.
  35. ^ „HDFS-7285 Erasure Coding Support inside HDFS“.
  36. ^ "Apache Hadoop: setrep".
  37. ^ „Under the Hood: File Replication“.
  38. ^ „Rychlý start: Replikace souboru“.
  39. ^ „Ori: Zabezpečený distribuovaný systém souborů“.
  40. ^ Mashtizadeh, Ali Jose; Bittau, Andrea; Huang, Yifeng Frank; Mazières, David. „Replikace, historie a roubování v systému souborů Ori“ (PDF). Citovat deník vyžaduje | deník = (Pomoc)
  41. ^ „LICENČNÍ SMLOUVA KONCOVÉHO UŽIVATELE FRAUNHOFER FS (FhGFS)“. Fraunhoferova společnost. 2012-02-22.
  42. ^ „Oficiální web ObjectiveFS“.
  43. ^ „Platforma Infinit Storage“.
  44. ^ „Projekty Infinit s otevřeným zdrojovým kódem“.
  45. ^ „IBM plánuje získat Cleversafe pro cloudové úložiště objektů“. www-03.ibm.com. 2015-10-05. Citováno 2019-05-06.
  46. ^ Séguin, Cyril; Depardon, Benjamin; Le Mahec, Gaël. „Analýza šesti distribuovaných souborových systémů“ (PDF). HAL.
  47. ^ „Modely konzistence dat veřejných cloudových úložných služeb: Amazon S3, Google Cloud Storage a Windows Azure Storage“. SysTutorials. Citováno 19. června 2017.