Hierarchická správa úložiště - Hierarchical storage management

Hierarchická správa úložiště (HSM) je datové úložiště technika, která automaticky přesouvá data mezi vysokými a nízkými náklady paměťová média. Systémy HSM existují, protože vysokorychlostní paměťová zařízení, jako např jednotka SSD pole, jsou dražší (per byte uloženy) než pomalejší zařízení, jako např pevné disky, optické disky a magnetické páskové jednotky. I když by bylo ideální mít neustále k dispozici všechna data na vysokorychlostních zařízeních, je to pro mnoho organizací neúnosně drahé. Místo toho systémy HSM ukládají většinu podnikových dat na pomalejší zařízení a poté je v případě potřeby kopírují na rychlejší diskové jednotky. HSM ve skutečnosti změní rychlé diskové jednotky na mezipaměti pro pomalejší velkokapacitní paměťová zařízení. Systém HSM sleduje způsob, jakým se data používají, a nejlépe odhaduje, která data lze bezpečně přesunout na pomalejší zařízení a která by měla zůstat na rychlých zařízeních.

HSM lze také použít tam, kde je k dispozici robustnější úložiště pro dlouhodobou archivaci, ale přístup k němu je pomalý. To může být stejně jednoduché jako off-site zálohování, na ochranu před požárem budovy.

HSM je dlouhodobě zavedený koncept, jehož počátky sahají do počátků komerčního zpracování dat. Použité techniky se však významně změnily, jakmile bude k dispozici nová technologie, jak pro ukládání, tak pro komunikaci velkých souborů dat na dálku. Rozsah opatření, jako je „velikost“ a „doba přístupu“, se dramaticky změnil. Navzdory tomu se mnoho základních konceptů vrací k upřednostňování o několik let později, i když v mnohem větším nebo rychlejším měřítku.[1]

Implementace

V typickém scénáři HSM[i] často používané datové soubory jsou uloženy na diskových jednotkách, ale nakonec jsou migroval na pásku, pokud se nepoužívají po určitou dobu, obvykle několik měsíců. Pokud uživatel znovu použije soubor na pásku, automaticky se přesune zpět na diskové úložiště. Výhodou je, že celkové množství uložených dat může být mnohem větší než kapacita dostupného úložného prostoru na disku, ale protože jsou na pásku použity jen zřídka použité soubory, většina uživatelů si obvykle nevšimne žádného zpomalení.

HSM se někdy označuje jako odstupňované úložiště.[1]

HSM (původně DFHSM, nyní DFSMShsm) byl první[Citace je zapotřebí ] implementováno IBM Na jejich sálové počítače snížit náklady na ukládání dat a zjednodušit načítání dat z pomalejších médií. Uživatel by nemusel vědět, kde byla data uložena a jak je získat zpět; počítač by data načetl automaticky. Jediným rozdílem pro uživatele byla rychlost, jakou byla data vrácena.

CSIRO Australia's Division of Computing Research implementoval HSM ve svém operačním systému DAD (Drums and Display) s jeho Regionem dokumentů v 60. letech, kdy byly kopie dokumentů zapisovány na 7stopou pásku a automatické načítání při přístupu k dokumentům.

HSM ve tvaru velkokapacitního úložiště IBM 3850 bylo (podle IBM) oznámeno v roce 1974.

Později IBM přenesla HSM na své Operační systém AIX a poté na další Unixový operační systémy jako Solaris, HP-UX a Linux.

HSM byl také implementován na DEC VAX / VMS systémy a systémy Alpha / VMS. První datum implementace by mělo být snadno stanoveno v příručkách pro implementaci systému VMS nebo v brožurách s popisem produktu VMS.

V poslední době se vývoj Serial ATA Disky (SATA) vytvořily významný trh pro třístupňové HSM: soubory se migrují z vysokého výkonu Fibre Channel síť úložiště zařízení na poněkud pomalejší, ale mnohem levnější SATA disková pole celkem několik terabajtů nebo více a nakonec z disků SATA na pásku.

Nejnovější vývoj v HSM je s pevné disky a flash paměť, přičemž flash paměť je více než 30krát rychlejší než disky, ale disky jsou podstatně levnější.

Koncepčně je HSM analogický s mezipaměti najdete ve většině počítačů CPU, kde jsou malé částky drahé SRAM paměť běžící velmi vysokou rychlostí se používá k ukládání často používaných dat, ale Nejméně uživaný v poslední době data jsou vypuzována na pomalejší, ale mnohem větší hlavní DOUŠEK paměť, když je třeba načíst nová data.

V praxi se HSM obvykle provádí pomocí vyhrazeného softwaru, jako je IBM Tivoli Storage Manager, Oracle SAM-QFS, Správce úložiště Versity, Kvantové, Dynamická technologie ukládání dat (DST) společnosti Novell na platformě Linux Open Enterprise Server (OES), HPE Rámec správy dat (DMF, dříve SGI Data Migration Facility), StorNext nebo EMC Legato OTG DiskXtender.

Odstranění souborů z vyšší úrovně hierarchie (např. Magnetického disku) poté, co byly přesunuty na nižší úroveň (např. Optické médium), se někdy nazývá kartáčování.[2]

Případy užití

HSM se často používá k hlubokému archivaci dat, která mají být dlouhodobě uchovávána za nízkou cenu. Automatizovaní páskoví roboti mohou účinně silovat velké množství dat s nízkou spotřebou energie.

Některé softwarové produkty HSM umožňují uživateli umístit části datových souborů do mezipaměti vysokorychlostního disku a zbytek na pásku. Používá se v aplikacích, které streamují video přes internet - počáteční část videa je doručena okamžitě z disku, zatímco robot najde, připojí a streamuje zbytek souboru ke koncovému uživateli. Takový systém výrazně snižuje náklady na disk u systémů poskytujících velký obsah.

Algoritmy

Klíčovým faktorem HSM je politika migrace dat, která řídí přenosy souborů v systému. Přesněji řečeno, zásada rozhoduje, na které úrovni má být soubor uložen, aby mohl být celý úložný systém dobře organizovaný a měl nejkratší dobu odezvy na požadavky. Existuje několik algoritmů, které tento proces realizují, jako je například nejméně použitá náhrada (LRU),[3] Výměna velikosti a teploty (STP), Heuristická prahová hodnota (STEP)[4] atd. Ve výzkumu posledních let se objevují také některé inteligentní politiky využívající technologie strojového učení.

Víceúrovňové úložiště

Víceúrovňové úložiště je datové úložiště prostředí skládající se ze dvou nebo více druhů úložišť vymezených rozdíly alespoň v jednom z těchto čtyř atributů: cena, výkon, kapacita a funkce.[1]

Jakýkoli významný rozdíl v jednom nebo více ze čtyř definujících atributů může stačit k ospravedlnění samostatné úrovně úložiště.

Příklady:

  • Disk a páska: dvě samostatné úrovně úložiště identifikované rozdíly ve všech čtyřech definujících atributech.
  • Disk se starou technologií a disk s novou technologií: dvě samostatné úrovně úložiště identifikované rozdíly v jednom nebo více atributech.
  • Vysoce výkonné diskové úložiště a levnější a pomalejší disk se stejnou kapacitou a funkcí: dvě samostatné úrovně.
  • Identický disk podnikové třídy nakonfigurovaný tak, aby využíval různé funkce, jako je NÁLET úroveň nebo replikace: samostatná vrstva úložiště pro každou sadu jedinečných funkcí.

Poznámka: Úrovně úložiště jsou ne vymezené rozdíly v dodavateli, architektuře nebo geometrii, kromě případů, kdy tyto rozdíly vedou k jasným změnám ceny, výkonu, kapacity a funkce.

Implementace

Viz také

Reference

  1. ^ Příklad z roku 2000, který i nyní vypadá, že je datován, protože páska upadá v nemilost.
  1. ^ A b C Larry Freeman. „Co je staré, to je zase nové - stupňování úložiště“ (PDF).
  2. ^ Patrick M. Dillon; David C. Leonard (1998). Multimédia a web od A do Z. ABC-CLIO. p. 116. ISBN  978-1-57356-132-7.
  3. ^ O'Neil, Elizabeth J .; O'Neil, Patrick E .; Weikum, Gerhard (01.06.1993). "Algoritmus nahrazení stránky LRU-K pro ukládání do vyrovnávací paměti databázového disku". Záznam ACM SIGMOD. 22 (2): 297–306. doi:10.1145/170036.170081. ISSN  0163-5808.
  4. ^ Verma, A .; Pease, D .; Sharma, U .; Kaplan, M .; Rubas, J .; Jain, R .; Devarakonda, M .; Beigi, M. (2005). „Architektura pro správu životního cyklu ve velmi velkých souborových systémech“. 22. konference IEEE / 13. Goddardská konference NASA o systémech a technologiích hromadného ukládání dat (MSST'05). Monterey, CA, USA: IEEE: 160–168. doi:10.1109 / MSST.2005.4. ISBN  978-0-7695-2318-7.
  5. ^ [SAM / QFS na OpenSolaris.org [1]
  6. ^ Rand Morimoto; Michael Noel; Omar Droubi; Ross Mistry; Chris Amaris (2008). Windows Server 2008 Unleashed. Sams Publishing. p. 938. ISBN  978-0-13-271563-8.
  7. ^ http://windowsitpro.com/storage/remote-storage-service