Vowpal Wabbit - Vowpal Wabbit - Wikipedia

Vowpal Wabbit
Snímek obrazovky Vowpal Wabbit
Screenshot z Vowpal Wabbit
VývojářiYahoo! Výzkum & později Microsoft Research
Stabilní uvolnění
8.9.0 / 12. listopadu 2020; Před 32 dny (2020-11-12)
Úložištěgithub.com/ VowpalWabbit/ vowpal_wabbit
NapsánoC ++
Operační systémLinux, Operační Systém Mac, Microsoft Windows
PlošinaCross-platform
TypStrojové učení
LicenceLicence BSD
webová stránkavowpalwabbit.org

Vowpal Wabbit (také známý jako „VW“) je open-source rychle online interaktivní strojové učení systémová knihovna a program původně vyvinutý na Yahoo! Výzkum a aktuálně v Microsoft Research. Bylo to zahájeno a je vedeno John Langford. Obzvláště pozoruhodná je interaktivní podpora učení Vowpal Wabbit Kontextoví bandité, Aktivní učení a formy vedení Posílení učení. Vowpal Wabbit poskytuje efektivní škálovatelné řešení mimo jádro implementace s podporou řady strojového učení redukce, váha důležitosti a výběr různých ztrátové funkce a optimalizační algoritmy.

Pozoruhodné funkce

Program VW podporuje:

  • Několik pod dohledem (a částečně pod dohledem) problémy s učením:
    • Klasifikace (binární i více tříd)
    • Regrese
    • Aktivní učení (částečně označená data) pro regresi i klasifikaci
  • Více algoritmů učení (typy / reprezentace modelů)
  • Násobek ztrátové funkce:
    • čtvercová chyba
    • kvantil
    • závěs
    • logistické
    • jed
  • Několik optimalizačních algoritmů
  • Regulace (Norma L1, Norma L2, & elastická regularizace sítě )
  • Flexibilní vstup - vstupní funkce mohou být:
    • Binární
    • Numerické
    • Kategorické (prostřednictvím flexibilního pojmenování funkcí a hash trik )
    • Dokáže řešit chybějící hodnoty / řídké funkce
  • Další funkce
    • Za běhu generování interakcí funkcí (kvadratické a kubické)
    • Za běhu generace N gramů s volitelnými přeskoky (užitečné pro datové sady slov / jazyků)
    • Automatické pozastavení testovací sady a předčasné ukončení při více průchodech
    • bootstrapping
    • Uživatelem nastavitelná online zpráva o průběhu učení + audit modelu
    • Optimalizace hyperparametru

Škálovatelnost

Vowpal wabbit byl použit k učení tera-funkce (1012) datová sada na 1000 uzlech za hodinu.[1] Jeho škálovatelnosti napomáhá několik faktorů:

  • Out-of-core online učení: není třeba načítat všechna data do paměti
  • The hashovací trik: identity prvků jsou převedeny na váhový index pomocí hash (používá 32bitový MurmurHash 3)
  • Využívání vícejádrových procesorů: analýza vstupu a učení se provádí v samostatných vláknech.
  • Kompilovaný C ++ kód

Reference

  1. ^ Agarwal, Alekh; Chapelle, Olivier; Dudik, Miroslav; Langford, John (2011). "Spolehlivý efektivní systém lineárního učení Terascale". arXiv:1110.4198 [cs.LG ].

externí odkazy