Správce zátěže Slurm - Slurm Workload Manager

Slurm
Slurm logo.svg
Stabilní uvolnění
20.02.3, 19.05.7
Úložiště
Upravte to na Wikidata
NapsánoC
Operační systémLinux, BSD
TypPlánovač úloh pro klastry a superpočítače
LicenceGNU General Public License
webová stránkaslurm.schedmd.com

The Správce zátěže Slurm, dříve známý jako Jednoduchý nástroj Linux pro správu zdrojů (SLURM), nebo jednoduše Slurm, je zdarma a open-source plánovač úloh pro Linux a Unixový jádra, používaný mnoha světovými zeměmi superpočítače a počítačové klastry.

Poskytuje tři klíčové funkce:

  • přidělení výlučného a / nebo nevýhradního přístupu k prostředkům (uzly počítače) uživatelům na určitou dobu, aby mohli vykonávat práci,
  • poskytující rámec pro zahájení, provádění a monitorování práce, obvykle paralelní úlohy, jako je Rozhraní pro předávání zpráv (MPI) na sadě přidělených uzlů a
  • rozhodování sporu o zdroje řízením fronty nevyřízených úloh.

Slurm je manažerem pracovní zátěže asi na 60% TOP500 superpočítače.[1]

Slurm používá a nejvhodnější algoritmus na základě Plánování Hilbertovy křivky nebo tlustý strom topologie sítě za účelem optimalizace lokality přiřazení úkolů na paralelních počítačích.[2]

Dějiny

Slurm zahájil vývoj jako společné úsilí především tím, že Lawrence Livermore National Laboratory, SchedMD,[3] Linux NetworX, Hewlett Packard, a Groupe Bull jako správce prostředků svobodného softwaru. Bylo inspirováno uzavřeným zdrojem Kvadrics RMS a sdílí podobnou syntaxi. Název je odkazem na soda v Futurama.[4] Do projektu přispělo více než 100 lidí z celého světa. Od té doby se vyvinul v propracovaný dávkový plánovač schopný uspokojit požadavky mnoha velkých počítačových center.

Od listopadu 2017, TOP500 seznam nejvýkonnějších počítačů na světě naznačuje, že Slurm je manažerem pracovní zátěže v šesti z deseti nejlepších systémů, včetně Sunway TaihuLight s 10 649 600 výpočetními jádry.

Struktura

Slurm má velmi modulární design s přibližně 100 volitelnými pluginy. V nejjednodušší konfiguraci jej lze nainstalovat a nakonfigurovat za pár minut. Sofistikovanější konfigurace poskytují integraci databáze pro účetnictví, správu limitů zdrojů a prioritizaci pracovního vytížení.

Pozoruhodné funkce

Pozoruhodné funkce Slurm zahrnují následující:[Citace je zapotřebí ]

  • Žádný jediný bod selhání, záložní démoni, možnosti úloh odolné vůči chybám
  • Vysoce škálovatelné (naplánuje až 100 000 nezávislých úloh na 100 000 soketů IBM Sequoia )
  • Vysoký výkon (až 1000 odeslání úlohy za sekundu a 600 provedení úlohy za sekundu)
  • Bezplatný open source software (GNU General Public License )
  • Vysoce konfigurovatelný s přibližně 100 pluginy
  • Fair-share plánování s hierarchickými bankovními účty
  • Preventivní a hromadné plánování (časové rozdělení paralelních úloh)
  • Integrováno s databází pro účetnictví a konfiguraci
  • Alokace zdrojů optimalizovaná pro topologii sítě a topologii na uzlu (zásuvky, jádra a hypervlákna)
  • Pokročilá rezervace
  • Nečinné uzly lze vypnout
  • Pro každou úlohu lze zavést různé operační systémy
  • Plánování obecných zdrojů (např. Jednotka grafického zpracování )
  • Účtování v reálném čase až na úroveň úkolů (identifikujte konkrétní úkoly s vysokým využitím procesoru nebo paměti)
  • Omezení zdrojů podle uživatele nebo bankovního účtu
  • Účtování spotřeby energie podle úlohy
  • Podpora prostředí IBM Parallel Environment (PE / POE)
  • Podpora pracovních polí
  • Profilování úloh (periodické vzorkování využití CPU každého úkolu, využití paměti, spotřeby energie, využití sítě a souborového systému)
  • Sofistikované algoritmy upřednostňování úloh více faktorů
  • Podpora pro MapReduce +
  • Podpora pro nárazový nárazník což urychluje pohyb vědeckých dat

Následující funkce jsou oznámeny pro verzi 14.11 Slurm, která byla vydána v listopadu 2014:[5]

  • Vylepšená datová struktura a škálovatelnost pole úloh
  • Podpora heterogenních obecných zdrojů
  • Přidejte uživatelské možnosti pro nastavení regulátoru CPU
  • Zásada automatického požadavku na zakázku na základě hodnoty ukončení
  • Report API use by user, type, count and time consumed
  • Uzly komunikační brány zlepšují škálovatelnost

Podporované platformy

Slurm je primárně vyvinut pro spolupráci Linux distribucí, i když existuje podpora i pro několik dalších POSIX -na základě operační systémy, počítaje v to BSD (FreeBSD, NetBSD a OpenBSD ).[6] Slurm také podporuje několik jedinečných počítačových architektur, včetně:

  • IBM BlueGene / Q modely, včetně 20 petaflop IBM Sequoia
  • Cray XT, XE a Cascade
  • Tianhe-2 systém 33,9 petaflop s 32 000 čipy Intel Ivy Bridge a 48 000 čipy Intel Xeon Phi s celkovým počtem 3,1 milionu jader
  • IBM Parallel Environment
  • Anton

Licence

Slurm je k dispozici pod GNU General Public License v2.

Obchodní podpora

V roce 2010 založili vývojáři Slurm SchedMD, který udržuje kanonický zdroj, poskytuje vývoj, komerční podporu a vzdělávací služby úrovně 3. Komerční podpora je k dispozici také na webu Bright Computing, Býk, Cray, a Věda + výpočetní technika.

Viz také

Reference

  1. ^ "Spuštění úlohy na HPC pomocí Slurm | HPC | USC". hpcc.usc.edu. Citováno 2019-03-05.[mrtvý odkaz ]
  2. ^ Pascual, Jose Antonio; Navaridas, Javier; Miguel-Alonso, Jose (2009). Účinky zásad přidělování s vědomím topologie na plánování výkonu. Strategie plánování úloh pro paralelní zpracování. Přednášky z informatiky. 5798. str. 138–144. doi:10.1007/978-3-642-04633-9_8. ISBN  978-3-642-04632-2.
  3. ^ „Komerční podpora, vývoj a instalace Slurm“. SchedMD. Citováno 2014-02-23.
  4. ^ „SLURM: Simple Linux Utility for Resource Management“ (PDF). 23. června 2003. Citováno 11. ledna 2016.
  5. ^ „Slurm - co je nového“. SchedMD. Citováno 2014-08-29.
  6. ^ Slurm platformy

Další čtení

externí odkazy