DeepSpeed - DeepSpeed - Wikipedia
| Původní autoři | Microsoft Research |
|---|---|
| Vývojáři | Microsoft |
| První vydání | 18. května 2020 |
| Stabilní uvolnění | v0.3.1 / 12. listopadu 2020 |
| Úložiště | github |
| Napsáno | Krajta, CUDA, C ++ |
| Typ | Softwarová knihovna |
| Licence | Licence MIT |
| webová stránka | hluboká rychlost |
DeepSpeed je otevřený zdroj hluboké učení optimalizační knihovna pro PyTorch.[1] Knihovna je navržena tak, aby snižovala výpočetní výkon a využití paměti a trénovat ve velkém distribuováno modely s lepšími rovnoběžnost na existující počítačový hardware.[2][3] DeepSpeed je optimalizován pro trénink s nízkou latencí a vysokou propustností. Zahrnuje Optimalizace nulové redundance (ZeRO) pro tréninkové modely se 100 miliardami parametrů nebo více.[4] Mezi funkce patří trénink smíšené přesnosti, trénink s jedním GPU, trénink s více GPU a s více uzly, stejně jako paralelní model. Zdrojový kód DeepSpeed podléhá licenci pod Licence MIT a k dispozici na GitHub.[5]
Viz také
Reference
- ^ „Microsoft aktualizuje Windows, nástroje Azure s pohledem na budoucnost“. PCMag UK. 22. května 2020.
- ^ Yegulalp, Serdar (10. února 2020). „Microsoft zrychluje PyTorch s DeepSpeed“. InfoWorld.
- ^ Microsoft představuje „pátý nejvýkonnější“ superpočítač na světě - Neowin
- ^ „Microsoft trénuje největší světový model jazyka Transformer“. 10. února 2020.
- ^ „Microsoft / DeepSpeed“. 10. července 2020 - přes GitHub.
Další čtení
- Rajbhandari, Samyam; Rasley, Jeff; Ruwase, Olatunji; On, Yuxiong (2019). „ZeRO: Optimalizace paměti směrem k tréninku modelů bilionů parametrů“ (PDF). Citovat deník vyžaduje
| deník =(Pomoc)
externí odkazy
- AI v měřítku - Microsoft Research
- GitHub - Microsoft / DeepSpeed
- ZeRO & DeepSpeed: Nové optimalizace systému umožňují tréninkové modely s více než 100 miliardami parametrů - Microsoft Research
Kategorie | Tento článek o softwaru vytvořeném nebo vyrobeném společností Microsoft je pahýl. Wikipedii můžete pomoci pomocí rozšiřovat to. |