QPACE2 - QPACE2 - Wikipedia

Prototyp QPACE 2 na univerzitě v Řezně

QPACE 2 (QCD Parallel Computing Engine) je a masivně paralelní a škálovatelné superpočítač. Byl navržen pro aplikace v mřížková kvantová chromodynamika ale je vhodný i pro širší škálu aplikací ..

Přehled

QPACE 2 navazuje na QPACE superpočítač[1] a iDataCool projekt chlazení horkou vodou.[2]Jedná se o společné úsilí skupiny částicové fyziky na University of Regensburg a italská společnost Eurotech. Akademický designový tým se skládal z přibližně 10 juniorských a vyšších fyziků. Podrobnosti o projektu jsou popsány v.[3]

QPACE 2 používá Intel Xeon Phi procesory (aka KNC), vzájemně propojené kombinací PCI Express (zkráceně PCIe) a FDR InfiniBand Hlavní vlastnosti prototypu QPACE 2 instalovaného na univerzitě v Řezně jsou

  • škálovatelnost
  • vysoká hustota balení
  • teplovodní chlazení (nejsou potřeba žádné chladiče)
  • vysoká energetická účinnost
  • nákladově efektivní design

Prototyp je instalace s jedním stojanem, která se skládá ze 64 uzlů s celkem 15 872 fyzickými jádry a špičkovým výkonem 310 TFlop / s. Byl nasazen v létě 2015[4] a používá se pro simulace mřížková kvantová chromodynamika. V listopadu 2015 se QPACE 2 zařadil na 500 Top500 seznam nejvýkonnějších superpočítačů[5] a # 15 na Zelená 500 seznam energeticky nejúčinnějších superpočítačů na světě.[6]

QPACE 2 byl financován Německá výzkumná nadace (DFG) v rámci SFB / TRR-55 a Eurotech.

Architektura

Mnoho současných superpočítačů jsou hybridní architektury, které používají karty akcelerátoru s rozhraním PCIe ke zvýšení výpočetního výkonu. Obecně platí, že serverové procesory kvůli omezenému počtu podporují pouze omezený počet akcelerátorů Pásy PCIe (obvykle 40 pro Architektura Intel Haswell ). Běžným přístupem k integraci více karet akcelerátoru do hostitelského systému je uspořádat více serverových procesorů, obvykle dva nebo čtyři, jako distribuovaná sdílená paměť systémy. Tento přístup umožňuje vyšší počet akcelerátorů na výpočetní uzel kvůli vyššímu počtu pruhů PCIe. Přichází však také s několika nevýhodami:

  • Procesory serveru, jejich propojení (QPI pro procesory Intel) a paměťové čipy výrazně zvyšují stopu hostitelského systému.
  • Výdaje na design s více procesory jsou obvykle vysoké.
  • Serverové procesory významně přispívají k celkovému podpisu napájení hybridních počítačových architektur a vyžadují odpovídající chladicí kapacity.
  • Propojení procesoru serveru může bránit efektivní komunikaci uvnitř uzlu a omezovat výkon komunikace mezi uzly prostřednictvím externí sítě.
  • Výpočtový výkon serverových procesorů je obvykle řádově nižší než u akceleračních karet, takže jejich příspěvek k celkovému výkonu může být poměrně malý.
  • Architektury instrukčních sad a hardwarové prostředky serverových procesorů a akcelerátorů se výrazně liší. Proto není vždy možné, aby byl kód vyvíjen a spouštěn na obou architekturách.

Architektura QPACE 2 řeší tyto nevýhody designem uzlu, ve kterém je jedna nízká spotřeba Intel Haswell E3 hostitelský procesor pojme čtyři Xeon Phi Akční karty 7120X pro výpočetní výkon a jeden dvouportový FDR InfiniBand karta síťového rozhraní pro externí komunikaci. K dosažení tohoto cíle jsou komponenty v uzlu propojeny přepínačem PCIe s 96 pruhy.

Stojan QPACE 2 obsahuje 64 výpočetních uzlů (a tedy 256 Xeon Phi celkem). Každý z 32 uzlů je na přední a zadní straně stojanu. Energetický subsystém se skládá z 48 napájecích zdrojů, které poskytují celkový špičkový výkon 96 kW. QPACE 2 se při dosažení tohoto balení a hustoty výkonu spoléhá na řešení chlazení teplou vodou.

Vypočítat uzel

Návrh schematického uzlu QPACE 2

Uzel QPACE 2 se skládá z komoditního hardwaru propojeného pomocí PCIe. The střední letadlo hostí 96pruh Přepínač PCIe (PEX8796 od společnosti Avago, dříve PLX Technology), poskytuje šest 16proudových slotů PCIe Gen3 a dodává energii do všech slotů. Jeden slot se používá pro CPU karta, což je karta PCIe v provedení factor factor obsahující jednu Intel Haswell E3-1230L v3 serverový procesor s 16 GB pamětí DDR3 a také mikrokontrolér monitorovat a ovládat uzel. Používají se čtyři sloty Xeon Phi Karty 7120X, každá s 16 GB GDDR5, a jedním slotem pro dvouportový FDR InfiniBand karta síťového rozhraní (Connect-IB od Mellanox).

Střední rovina a karta CPU byly navrženy pro projekt QPACE 2, ale lze je znovu použít pro jiné projekty nebo produkty.

Serverový procesor Intel E3-1230L v3 s nízkou spotřebou energie je energeticky efektivní, ale ve srovnání s jinými serverovými procesory dostupnými kolem roku 2015 (ale zejména slabší než většina karet s akcelerátorem) má nízkou výpočetní sílu. The procesor nepřispívá významně k výpočetnímu výkonu uzlu. Je to pouze běh operačního systému a ovladačů relevantních pro systém. Technicky CPU slouží jako a kořenový komplex pro strukturu PCIe. Přepínač PCIe rozšiřuje omezený počet linek PCIe hostitelského procesoru na celkem 80 linek, což umožňuje připojení mnoha komponent (4x Xeon Phi a 1x InfiniBand, každý x16 PCIe) k CPU jako Koncové body PCIe. Tato architektura také umožňuje Xeon Phis komunikovat peer-to-peer přes PCIe a přímo přistupovat k externí síti bez nutnosti procházet hostitelským CPU.

Každý uzel QPACE 2 obsahuje 248 fyzických jader (hostitelský procesor: 4, Xeon Phi: každý 61). Hostitelský procesor a akcelerátory podporují multithreading. Počet logických jader na uzel je 984.

Konstrukce uzlu se neomezuje pouze na komponenty použité v QPACE 2. V zásadě platí, že všechny karty podporující PCIe, např. Akcelerátory jako GPU a další síťové technologie než InfiniBand, lze použít, pokud jsou splněny technické parametry a výkonové specifikace.

Sítě

8x8 hyper příčka. Každý ze 64 uzlů (každý se 2 porty) je připojen k jednomu přepínači ve směru x (červený) a jednom přepínači ve směru y (modrý). Přepínače (označené obdélníky) jsou uspořádány do sítě 2x2.

Komunikace uvnitř uzlu probíhá prostřednictvím přepínače PCIe bez zapojení hostitelského CPU. Komunikace mezi uzly je založena na FDR InfiniBand. Topologie sítě InfiniBand je dvourozměrný hyperpříčník. To znamená, že je vytvořena dvourozměrná síť přepínačů InfiniBand a dva porty InfiniBand uzlu jsou připojeny k jednomu přepínači v každé z dimenzí. Topologie hyper-příčníku byla poprvé představena japonskou CP-PACS spoluprací fyziků částic.[7]

Síť InfiniBand se také používá pro I / O do a Lesklý souborový systém.

Karta CPU poskytuje dva Gigabitový Ethernet rozhraní, která se používají k ovládání uzlů ak zavedení operačního systému.

Chlazení

Střední letadlo s jedním vodou chlazeným Xeon Phi a 5 prázdnými sloty.

Uzly superpočítače QPACE 2 jsou chlazeny vodou pomocí inovativního konceptu založeného na roll-bond technologie.[8] Voda protéká válcovací deskou vyrobenou z hliníku, která je tepelně spojena s horkými součástmi pomocí hliníkových nebo měděných vložek a tepelného maziva nebo materiálu tepelného rozhraní. Tímto způsobem jsou chlazeny všechny komponenty uzlu. Výkon koncepce chlazení umožňuje bezplatné chlazení celoročně.

V syntetických testech byla naměřena spotřeba energie uzlu až 1400 Watt. Pro typické výpočty v mřížkové kvantové chromodynamice je zapotřebí kolem 1000 Wattů.

Systémový software

Bezdiskové uzly jsou provozovány pomocí standardu Linux rozdělení (CentOS 7 ), který je spuštěn přes síť Ethernet. Xeon Phis provozuje volně dostupný balíček Intel Manycore Platform Software Stack (MPSS). Komunikace InfiniBand je založena na OFED stack, který je také volně dostupný.

Viz také

Reference

  1. ^ H. Baier a kol., PoS LAT2009 (2009) 001, (arXiv:0911.2174 )
  2. ^ N. Meyer a kol., Přednášky v informatice 7905 (2013) 383, (arXiv:1309.4887 )
  3. ^ P. Arts a kol., PoS LAT2014 (2014) 021, (arXiv:1502.04025 )
  4. ^ Tisková zpráva společnosti Eurotech
  5. ^ Seznam Top500, listopad 2015, http://top500.org/system/178607
  6. ^ Seznam Green500, listopad 2015, http://green500.org/lists/green201511&green500from=1&green500to=100
  7. ^ Y. Iwasaki, Nucl. Phys. Proc. Suppl. 34 (1994) 78, (arXiv:hep-lat / 9401030 )
  8. ^ J. Beddoes a M. Bibby, Principy procesů výroby kovů, Elsevier Science (1999)