Zahrnuje větu - Covers theorem - Wikipedia

Coverova věta je prohlášení v teorie výpočetního učení a je jednou z hlavních teoretických motivací pro použití nelineárních metody jádra v strojové učení aplikace. Věta říká, že daný soubor tréninkových dat není lineárně oddělitelné, lze jej s vysokou pravděpodobností transformovat na tréninkovou sadu, která je lineárně oddělitelná promítnutím do a prostor vyšší dimenze přes některé nelineární transformace. Věta je pojmenována po informačním teoretikovi Thomas M. Cover který ji uvedl v roce 1965. Zhruba lze větu vyjádřit jako:

Složitý problém klasifikace vzorů, který je nelineárně vržen ve vysokodimenzionálním prostoru, bude pravděpodobněji lineárně oddělitelný než v nízkodimenzionálním prostoru za předpokladu, že prostor není hustě osídlen.

Důkaz

A deterministické mapování lze použít: předpokládejme, že existují Vzorky. Zvedněte je na vrcholy simplexní v dimenzionální skutečný prostor. Protože každý rozdělit vzorků do dvou sad lze oddělit a lineární oddělovač následuje věta.

Levý obrázek ukazuje 100 vzorků ve dvourozměrném reálném prostoru. Tyto vzorky nejsou lineárně oddělitelné, ale zvedání vzorků do trojrozměrného prostoru pomocí trik s jádrem, vzorky se stanou lineárně oddělitelnými. Všimněte si, že v tomto případě a v mnoha dalších případech nebude nutné zvedat vzorky do 99 dimenzionálního prostoru jako v důkazu věty.

Reference

  • Haykin, Simon (2009). Neuronové sítě a výukové stroje (Třetí vydání.). Upper Saddle River, New Jersey: Pearson Education Inc. str. 232–236. ISBN  978-0-13-147139-9.
  • Cover, T.M. (1965). "Geometrické a statistické vlastnosti systémů lineárních nerovností s aplikacemi v rozpoznávání vzorů" (PDF). Transakce IEEE na elektronických počítačích. EC-14 (3): 326–334. doi:10.1109 / pgec.1965.264137. S2CID  18251470.
  • Mehrotra, K .; Mohan, C. K .; Ranka, S. (1997). Prvky umělých neuronových sítí (2. vyd.). MIT Stiskněte. ISBN  0-262-13328-8. (Oddíl 3.5)

Viz také