Moose File System - Moose File System

Moose File System
Logo MooseFS.png
VývojářiJakub Kruszona-Zawadzki[1] / Základní technologie[2]
První vydání30. května 2008; Před 12 lety (2008-05-30)[3] (v. 1.5.0[4])
Stabilní uvolnění
3.0.115-1 / 10. Října 2020; Před 44 dny (2020-10-10)[5][6][7]
Náhled verze
3.0.115-1 / 10. Října 2020; Před 44 dny (2020-10-10)[5][6][7]
Úložiště
Upravte to na Wikidata
Operační systémLinux, FreeBSD, NetBSD, Operační Systém Mac, Solaris, OpenIndiana,[8]
TypDistribuovaný systém souborů
LicenceGPLv2 / proprietární
webová stránkahttps://moosefs.com

Moose File System (MooseFS) je Otevřený zdroj, POSIX kompatibilní distribuovaný souborový systém vyvinutý společností Core Technology. MooseFS chce být tolerantní k chybám, vysoce dostupný, vysoce výkonný, škálovatelný univerzální síťový distribuovaný systém souborů pro datová centra. Zpočátku proprietární software, byl propuštěn pro veřejnost jako otevřený zdroj dne 30. května 2008.

V současné době jsou k dispozici dvě vydání MooseFS:

  • MooseFS - vydáno pod licencí GPLv2,
  • MooseFS Professional Edition (MooseFS Pro) - vydání pod proprietární licencí ve formě binárních balíčků.

Design

MooseFS se řídí podobnými konstrukčními principy jako Fosilní (souborový systém), Souborový systém Google, Lesk nebo Ceph. Souborový systém se skládá ze tří komponent:

  • Server metadat (MDS) - spravuje umístění (rozložení) souborů, přístup k souborům a hierarchii jmenného prostoru. Aktuální verze MooseFS podporuje více serverů metadat a automaticky převzetí služeb při selhání. Klienti pouze komunikují s MDS, aby načetli / aktualizovali rozložení a atributy souboru; samotná data jsou přenášena přímo mezi klienty a bloky serverů. Server metadat je uživatelský prostor démon; metadata jsou uložena v paměti a líně uložena na místním disku.
  • Metalogger server - pravidelně stahuje metadata z MDS a ukládá je pro zálohování. Od verze 1.6.5 je to volitelná funkce.
  • Chunk servery (CSS) - ukládají data a volitelně je replikují mezi sebou. Může jich být mnoho, i když limit škálovatelnosti nebyl publikován. Největší dosud hlášený klastr se skládá ze 160 serverů.[9] Server Chunk je také uživatelským prostorem démon který se při správě skutečného úložiště spoléhá na podkladový místní souborový systém.
  • Klienti - hovořte s MDS i CSS. Klienti MooseFS připojují souborový systém do uživatelského prostoru pomocí POJISTKA.

Funkce

K dosažení vysoké spolehlivosti a výkonu nabízí MooseFS následující funkce:

  • Odolnost proti chybám - MooseFS používá replikace, data lze replikovat napříč chunkservery, poměr replikace (N) je nastaven na soubor / adresář. Pokud (N-1) repliky selžou, data budou stále k dispozici. V tuto chvíli MooseFS nenabízí žádnou jinou techniku odolnost proti chybám. Odolnost proti chybám pro velmi velké soubory tedy vyžaduje obrovské množství prostoru - N * velikost souboru místo velikosti souboru + (N * velikost pruhu), jak by tomu bylo v případě RAID 4, RAID 5 nebo RAID 6. Verze 4.x PRO MooseFS implementuje 8 + n Kódování výmazu.
  • Pruhování - Velké soubory jsou rozděleny na bloky (až 64 megabajtů ), které mohou být uloženy na různých blokových serverech, aby se dosáhlo vyšší agregované šířky pásma.
  • Vyrovnávání zatížení - MooseFS se pokouší využívat úložné prostředky stejně, zdá se, že aktuální algoritmus zohledňuje pouze spotřebovaný prostor.
  • Bezpečnostní - Kromě klasických POSIX souborová oprávnění, protože vydání 1.6 MooseFS nabízí jednoduchý, NFS podobný, ověřování /oprávnění.
  • Soudržné snímky - Rychlé snímky s nízkou režií.
  • Transparentní „koš“ - odstraněné soubory jsou uchovány po nastavitelnou dobu.
  • Třídy vrstvení / ukládání dat - Možnost „označit“ servery, vytvořit definice štítků s názvem „Třídy úložiště“ a rozhodnout, na jaké typy serverů jsou data uložena[10]
  • „Projektové“ kvóty Podpěra, podpora
  • POSIX zámky, podpora flockových zámků

Hardware, software a sítě

Podobně jako u jiných souborových systémů založených na klastrech používá systém MooseFS komoditní hardware běh a POSIX kompatibilní operační systém. TCP / IP se používá jako propojení.

MooseFS v číslech[11]

  • Velikost úložiště je: 264 Bajty = 16 EiB = 16 384 PiB
  • Velikost jednoho souboru je až: 257 Bajty = 128 PiB
  • Počet souborů je až: 231 = 2.1 × 109
  • Počet aktivních klientů je neomezený, záleží na počtu deskriptorů souborů v systému

Viz také

Reference

  1. ^ https://github.com/moosefs/moosefs/graphs/contributors
  2. ^ „O nás - Základní technologie - MooseFS odolný proti chybám v síťovém distribuovaném systému souborů“. Základní technologie.
  3. ^ „Datum prvního veřejného vydání: 30. 5. 2008“ https://github.com/moosefs/moosefs/blob/master/README.md
  4. ^ „MooseFS 1.5 (2008-05-30)“ https://github.com/moosefs/moosefs/blob/master/NEWS
  5. ^ A b „Podpora - dokumentace, stav a osvědčené postupy - MooseFS“.
  6. ^ A b „moosefs / NOVINKY u pána · moosefs / moosefs“.
  7. ^ A b „Vydání · moosefs / moosefs“.
  8. ^ „Úspěšně jsme také sestavili MooseFS ze zdrojů na OpenIndiana Hipster.“ https://moosefs.com/download.html
  9. ^ Mariusz Gądarowski (01.04.2010). "MooseFS: Bezpieczny i rozproszony system plików" (PDF) (v polštině). Linux Magazine Polsko.
  10. ^ Příručka tříd úložiště MooseFS 3.0 https://moosefs.com/Content/Downloads/moosefs-storage-classes-manual.pdf
  11. ^ https://moosefs.com/factsheet

externí odkazy