Přizpůsobení domény - Domain adaptation
tento článek může být pro většinu čtenářů příliš technická na to, aby je pochopili. Prosím pomozte to vylepšit na aby to bylo srozumitelné pro neodborníky, aniž by byly odstraněny technické podrobnosti. (Února 2015) (Zjistěte, jak a kdy odstranit tuto zprávu šablony) |
Přizpůsobení domény[1][2][3] je pole spojené s strojové učení a přenos učení. Tento scénář nastává, když se zaměřujeme na to, abychom se ze zdrojové distribuce dat naučili dobře fungující model na jiné (ale související) distribuci cílových dat. Například jeden z úkolů společného problém s filtrováním spamu spočívá v přizpůsobení modelu od jednoho uživatele (zdrojová distribuce) novému uživateli, který dostává výrazně odlišné e-maily (cílová distribuce). Ukázalo se také, že přizpůsobení domény je přínosné pro učení nesouvisejících zdrojů.[4]Všimněte si, že když je k dispozici více než jedna zdrojová distribuce, problém se označuje jako vícezdrojová doménová adaptace.[5]
Přehled
Adaptací domény je schopnost aplikovat algoritmus trénovaný v jedné nebo více „zdrojových doménách“ na jinou (ale související) „cílovou doménu“. Adaptace domény je podkategorií přenosu učení. V adaptaci domén mají zdrojová i cílová doména všechny stejné prostor funkcí (ale různé distribuce); na rozdíl od toho přenosové učení zahrnuje případy, kdy se prostor funkcí cílové domény liší od prostoru nebo prostorů zdrojových funkcí.[6]
Posun domény
A posun domény,[7] nebo distribuční posun,[8] je změna v distribuci dat mezi tréninkovou datovou sadou algoritmu a datovou sadou, se kterou se setká při nasazení. Tyto posuny domény jsou běžné v praktických aplikacích umělé inteligence. Konvenční algoritmy strojového učení se často špatně přizpůsobují posunům domény. Moderní komunita strojového učení má mnoho různých strategií, aby se pokusila získat lepší přizpůsobení domény.[7]
Příklady
- Algoritmus vycvičený na novinkách se možná bude muset přizpůsobit novému souboru dat biomedicínských dokumentů.[9]
- Filtr nevyžádané pošty, proškolený určitou skupinou uživatelů e-mailu během školení, se musí při nasazení přizpůsobit novému cílovému uživateli.[10]
- Uplatnění diagnostických algoritmů AI vycvičených na označených datech souvisejících s předchozími chorobami na nová neznačená data spojená s Pandemie covid-19.[11]
- Náhlá společenská změna, jako je vypuknutí pandemie, může představovat posun domény a způsobit selhání algoritmů strojového učení vyškolených na nyní zastaralých datech spotřebitelů a vyžadovat zásah.[12][13]
Mezi další aplikace patří detekce lokalizace wifi a mnoho dalších aspektů počítačové vidění.[6]
Formalizace
Nechat být vstupním prostorem (nebo popisným prostorem) a nechat být výstupním prostorem (nebo prostorem pro popisky). Cílem algoritmu strojového učení je naučit se matematický model (hypotéza) schopen připojit štítek z na příklad z . Tento model se učí z ukázky učení .
Obvykle v učení pod dohledem (bez přizpůsobení domény), předpokládáme, že příklady jsou kresleny i.i.d. z distribuce podpory (neznámé a pevné). Cílem je pak se učit (z ) tak, že se dopustí nejmenší možné chyby při označování nových příkladů z distribuce .
Hlavní rozdíl mezi supervizovaným učením a adaptací domény je ten, že v druhé situaci studujeme dvě různé (ale související) distribuce a na [Citace je zapotřebí ]. Úkol přizpůsobení domény pak sestává z přenosu znalostí ze zdrojové domény k cílovému . Cílem je pak se učit (ze značených nebo neoznačených vzorků pocházejících ze dvou domén) tak, aby se v cílové doméně dopustil co nejmenší chyby [Citace je zapotřebí ].
Hlavní problém je následující: pokud se model učí ze zdrojové domény, jaká je jeho schopnost správně označovat data pocházející z cílové domény?
Různé typy přizpůsobení domény
Existuje několik kontextů přizpůsobení domény. Liší se informacemi uvažovanými pro cílový úkol.
- The bezobslužná adaptace domény: ukázka učení obsahuje sadu označených příkladů zdrojů, sadu neoznačených příkladů zdrojů a sadu neoznačených cílových příkladů.
- The adaptace domény pod dohledem: v této situaci uvažujeme také o „malé“ sadě označených cílových příkladů.
- The přizpůsobená doména pod dohledem: všechny uvažované příklady mají být označeny.
Čtyři algoritmické principy
Převažovací algoritmy
Cílem je změnit váhu vzorku označeného zdrojem tak, aby „vypadal jako“ cílový vzorek (z hlediska uvažovaného chybového opatření).[14][15]
Iterativní algoritmy
Metoda přizpůsobení spočívá v iterativním „automatickém označování“ cílových příkladů. Princip je jednoduchý:
- model se učí z označených příkladů;
- automaticky označí některé cílové příklady;
- nový model se učí z nových označených příkladů.
Všimněte si, že existují i jiné iterační přístupy, ale obvykle potřebují příklady označené jako cíl.[16][17]
Hledání společného reprezentačního prostoru
Cílem je najít nebo zkonstruovat společný reprezentační prostor pro dvě domény. Cílem je získat prostor, ve kterém jsou domény blízko u sebe, při zachování dobrého výkonu v úloze označování zdrojů. Toho lze dosáhnout použitím Adversarial strojové učení techniky, kde se doporučuje, aby reprezentace funkcí ze vzorků v různých doménách byly nerozeznatelné.[18][19]
Hierarchický Bayesiánský model
Cílem je vytvořit Bayesovský hierarchický model , což je v zásadě faktorizační model pro počty , k odvození latentních reprezentací závislých na doméně, které umožňují jak latentní faktory specifické pro doménu, tak globálně sdílené latentní faktory.[4]
Reference
- ^ Redko, Ievgen; Morvant, Emilie; Habrard, Amaury; Sebban, Marc; Bennani, Younès (2019). Pokroky v teorii adaptace domény. ISTE Press - Elsevier. str. 187. ISBN 9781785482366.
- ^ Bridle, John S .; Cox, Stephen J (1990). „RecNorm: Současná normalizace a klasifikace aplikovaná na rozpoznávání řeči“ (PDF). Konference o systémech zpracování neurálních informací (NIPS). 234–240.
- ^ Ben-David, Shai; Blitzer, John; Crammer, Koby; Kulesza, Alex; Pereira, Fernando; Wortman Vaughan, Jennifer (2010). „Teorie učení z různých domén“ (PDF). Strojové učení. 79 (1–2): 151–175. doi:10.1007 / s10994-009-5152-4.
- ^ A b Hajiramezanali, Ehsan; Siamak Zamani Dadaneh; Karbalayghareh, Alireza; Zhou, Mingyuan; Qian, Xiaoning (2018). „Bayesovské vícedoménové učení pro objevování podtypů rakoviny z údajů o počtu sekvenování příští generace“. arXiv:1810.09433 [stat.ML ].
- ^ Crammer, Koby; Kearns, Michael; Wortman, Jeniifer (2008). „Učení z více zdrojů“ (PDF). Journal of Machine Learning Research. 9: 1757–1774.
- ^ A b Sun, Shiliang; Shi, Honglei; Wu, Yuanbin (červenec 2015). "Průzkum adaptace vícezdrojových domén". Informační fúze. 24: 84–92. doi:10.1016 / j.inffus.2014.12.003.
- ^ A b Sun, Baochen, Jiashi Feng a Kate Saenko. „Návrat frustrující snadné adaptace domény.“ Na třicáté konferenci AAAI o umělé inteligenci. 2016.
- ^ Amodei, Dario, Chris Olah, Jacob Steinhardt, Paul Christiano, John Schulman a Dan Mané. „Konkrétní problémy v bezpečnosti AI.“ arXiv předtisk arXiv: 1606.06565 (2016).
- ^ Daumé III, Hal. „Frustrující snadné přizpůsobení domény.“ arXiv předtisk arXiv: 0907.1815 (2009).
- ^ Ben-David, Shai, John Blitzer, Koby Crammer a Fernando Pereira. "Analýza reprezentací pro adaptaci domény." In Advances in neurural information processing systems, s. 137-144. 2007.
- ^ Hu, Yipeng; Jacob, Joseph; Parker, Geoffrey J. M .; Hawkes, David J .; Hurst, John R .; Stoyanov, Danail (červen 2020). „Výzvy nasazení modelů umělé inteligence v rychle se rozvíjející pandemii“. Nature Machine Intelligence. 2 (6): 298–300. doi:10.1038 / s42256-020-0185-2. ISSN 2522-5839.
- ^ Matthews, Dylan (26. března 2019). „Katastrofa AI nebude vypadat jako Terminátor. Bude to strašidelnější.“. Vox. Citováno 21. června 2020.
- ^ „Naše podivné chování během pandemie se potýká s modely AI“. Recenze technologie MIT. 11. května 2020. Citováno 21. června 2020.
- ^ Huang, Jiayuan; Smola, Alexander J .; Gretton, Arthur; Borgwardt, Karster M .; Schölkopf, Bernhard (2006). "Oprava zkreslení výběru vzorku podle neoznačených dat" (PDF). Konference o systémech zpracování neurálních informací (NIPS). str. 601–608.
- ^ Shimodaira, Hidetoshi (2000). „Zlepšení prediktivní inference pod kovariantním posunem vážením funkce logaritmické pravděpodobnosti“. Journal of Statistical Planning and Inference. 90 (2): 227–244. doi:10.1016 / S0378-3758 (00) 00115-4.
- ^ Arief-Ang, I.B .; Salim, F.D .; Hamilton, M. (08.11.2017). DA-HOC: adaptace domény s částečným dohledem pro predikci obsazenosti místnosti pomocí dat ze senzoru CO2. 4. mezinárodní konference ACM o systémech pro energeticky efektivní zastavěná prostředí (BuildSys). Delft, Nizozemsko. s. 1–10. doi:10.1145/3137133.3137146. ISBN 978-1-4503-5544-5.
- ^ Arief-Ang, I.B .; Hamilton, M .; Salim, F.D. (01.12.2018). „Škálovatelná předpověď obsazenosti místnosti s přenositelnou časovou řadou rozkladu dat ze senzorů CO2“. Transakce ACM v senzorových sítích. 14 (3–4): 21:1–21:28. doi:10.1145/3217214.
- ^ Ganin, Yaroslav; Ustinova, Evgeniya; Ajakan, Hana; Germain, Pascal; Larochelle, Hugo; Laviolette, François; Marchand, Mario; Lempitsky, Victor (2016). „Domain-Adversarial Training of Neural Networks“ (PDF). Journal of Machine Learning Research. 17: 1–35.
- ^ Hajiramezanali, Ehsan; Siamak Zamani Dadaneh; Karbalayghareh, Alireza; Zhou, Mingyuan; Qian, Xiaoning (2017). "Řešení změny vzhledu ve venkovní robotice pomocí Adversarial Adaptace domény". arXiv:1703.01461 [cs.RO ].