Naučit se hodnotit - Learning to rank - Wikipedia

Část série na
Strojové učení
a
dolování dat

Naučit se hodnotit[1] nebo strojově naučené hodnocení (MLR) je aplikace strojové učení, typicky pod dohledem, částečně pod dohledem nebo posilování učení, při stavbě hodnocení modelů pro vyhledávání informací systémy.[2] Údaje o školení se skládá ze seznamů položek s některými částečná objednávka mezi položkami v každém seznamu. Toto pořadí je obvykle vyvoláno číselným nebo řadovým skóre nebo binárním úsudkem (např. „Relevantní“ nebo „nerelevantní“) pro každou položku. Účelem modelu hodnocení je pořadí, tj. Vytvoření a permutace položek v nových, neviditelných seznamech podobným způsobem jako hodnocení v tréninkových datech.

Aplikace

Při vyhledávání informací

Možná architektura strojově naučeného vyhledávače.

Hodnocení je ústřední součástí mnoha vyhledávání informací problémy, jako např načítání dokumentů, společné filtrování, analýza sentimentu, a internetová reklama.

Na přiloženém obrázku je uvedena možná architektura strojově naučeného vyhledávače.

Údaje o tréninku se skládají z dotazů a dokumentů, které je odpovídají, spolu s mírou relevance každé shody. Může být připraven ručně člověkem hodnotitelé (nebo hodnotitelé, tak jako Google volá), který zkontroluje výsledky u některých dotazů a určí relevantnost každého výsledku. Není možné zkontrolovat relevanci všech dokumentů, a tak se obvykle používá technika zvaná sdružování - kontroluje se pouze několik nejlepších dokumentů získaných některými existujícími hodnotícími modely. Alternativně lze tréninková data odvodit automaticky analýzou protokoly prokliku (tj. výsledky vyhledávání, na které uživatelé klikli),[3] řetězce dotazů,[4] nebo funkce takových vyhledávačů jako Google SearchWiki.

Výcviková data používají učící algoritmus k vytvoření hodnotícího modelu, který počítá relevanci dokumentů pro skutečné dotazy.

Uživatelé obvykle očekávají, že vyhledávací dotaz bude dokončen v krátké době (například několik set milisekund pro vyhledávání na webu), což znemožňuje vyhodnotit komplexní hodnotící model pro každý dokument v korpusu, a proto je dvoufázové schéma použitý.[5] Nejprve je identifikován malý počet potenciálně relevantních dokumentů pomocí jednodušších modelů načítání, které umožňují rychlé vyhodnocení dotazu, například vektorový vesmírný model, booleovský model, vážené A,[6] nebo BM25. Tato fáze se nazývá horní- načítání dokumentů a pro jeho urychlení byla v literatuře navržena řada heuristik, například použití statického skóre kvality dokumentu a odstupňovaných indexů.[7] Ve druhé fázi se k přehodnocení těchto dokumentů používá přesnější, ale výpočetně nákladný strojově naučený model.

V jiných oblastech

Algoritmy naučit se hodnotit byly použity v jiných oblastech než získávání informací:

Vektory prvků

Pro usnadnění algoritmů MLR jsou páry dotaz-dokument obvykle reprezentovány numerickými vektory, které jsou volány vektory funkcí. Takový přístup se někdy nazývá taška funkcí a je analogický s pytel slov model a vektorový vesmírný model používá se při vyhledávání informací k reprezentaci dokumentů.

Složky těchto vektorů se nazývají funkce, faktory nebo hodnotící signály. Lze je rozdělit do tří skupin (prvky z načítání dokumentů jsou uvedeny jako příklady):

  • Nezávisle na dotazech nebo statický funkce - ty funkce, které závisí pouze na dokumentu, ale ne na dotazu. Například, PageRank nebo délku dokumentu. Tyto funkce lze během indexování předpočítat v režimu offline. Mohou být použity k výpočtu dokumentů statické skóre kvality (nebo statická hodnost), který se často používá k urychlení vyhodnocení vyhledávacího dotazu.[7][11]
  • Závisí na dotazu nebo dynamický funkce - ty funkce, které závisí jak na obsahu dokumentu, tak na dotazu, jako např TF-IDF skóre nebo jiné funkce, které se nenaučí stroj.
  • Funkce na úrovni dotazu nebo funkce dotazu, které závisí pouze na dotazu. Například počet slov v dotazu. Další informace: funkce na úrovni dotazu

Některé příklady funkcí, které byly použity ve známých DOPIS datová sada:

Výběr a návrh dobrých funkcí je důležitou oblastí strojového učení, které se říká funkce inženýrství.

Hodnotící opatření

Hlavní článek: Evaluation_measures_ (information_retrieval) § Offline_metrics

Existuje několik měřítek (metrik), které se běžně používají k posouzení, jak dobře si algoritmus vede s tréninkovými daty, a k porovnání výkonu různých algoritmů MLR. Problém učení se k zařazení je často přeformulován jako problém optimalizace s ohledem na jednu z těchto metrik.

Příklady hodnocení kvality opatření:

DCG a jeho normalizovaná varianta NDCG jsou obvykle preferovány v akademickém výzkumu, když je použito více úrovní relevance.[12] Další metriky, jako je MAP, MRR a přesnost, jsou definovány pouze pro binární úsudky.

Nedávno bylo navrženo několik nových metrik hodnocení, které tvrdí, že modeluje spokojenost uživatelů s výsledky vyhledávání lépe než metrika DCG:

Obě tyto metriky jsou založeny na předpokladu, že uživatel po prozkoumání relevantnějšího dokumentu s větší pravděpodobností přestane prohlížet výsledky vyhledávání než po méně relevantním dokumentu.

Přístupy

Tie-Yan Liu z Microsoft Research Asia analyzoval stávající algoritmy pro učení problémů s hodnocením ve své práci „Learning to Rank for Information Retrieval“.[1] Rozdělil je do tří skupin podle jejich vstupních reprezentací a funkce ztráty: bodový, párový a listový přístup. V praxi listové přístupy často překonávají párové a bodové přístupy. Toto tvrzení bylo dále podpořeno rozsáhlým experimentem týkajícím se výkonu různých metod učení podle pořadí u velké sbírky srovnávacích datových sad.[15]

Bodový přístup

V tomto případě se předpokládá, že každá dvojice dotaz-dokument v tréninkových datech má číselné nebo pořadové skóre. Poté lze problém učení-k-pořadí aproximovat regresním problémem - vzhledem k jedinému páru dotaz-dokument předpovídejte jeho skóre.

Řada existujících pod dohledem pro tento účel lze snadno použít algoritmy strojového učení. Ordinální regrese a klasifikace Algoritmy lze také použít v bodovém přístupu, když se používají k predikci skóre jednoho páru dotaz-dokument a trvá malý, konečný počet hodnot.

Párový přístup

V tomto případě je problém učení se hodnocen aproximován problémem klasifikace - učení a binární klasifikátor který dokáže zjistit, který dokument je v dané dvojici dokumentů lepší. Cílem je minimalizovat průměrný počet inverze v žebříčku.

Postupný přístup

Tyto algoritmy se snaží přímo optimalizovat hodnotu jednoho z výše uvedených hodnotících opatření, zprůměrovaného na všechny dotazy v tréninkových datech. To je obtížné, protože většina hodnotících opatření nejsou spojité funkce s ohledem na parametry hodnotícího modelu, a proto je nutné použít spojité aproximace nebo meze hodnotících opatření.

Seznam metod

Částečný seznam publikovaných algoritmů učení se k hodnocení je uveden níže s roky prvního vydání každé metody:

RoknázevTypPoznámky
1989OPRF [16]2 bodověPolynomiální regrese (namísto strojového učení se tato práce týká rozpoznávání vzorů, ale myšlenka je stejná)
1992SLR [17]2 bodověPostupná logistická regrese
1994NMOpt [18]2 postupněNemetrická optimalizace
1999MART (Více aditivních regresních stromů)2 po párech
2000Hodnocení SVM (RankSVM)2 po párechNovější expozice je v[3] který popisuje aplikaci pro hodnocení pomocí protokolů prokliku.
2002Žert[19]1 bodověOrdinální regrese.
2003RankBoost2 po párech
2005RankNet2 po párech
2006IR-SVM2 po párechHodnocení SVM s normalizací na úrovni dotazu ve ztrátové funkci.
2006LambdaRankpárové / listovéRankNet, ve kterém je funkce párových ztrát vynásobena změnou IR metriky způsobenou swapem.
2007AdaRank3 postupně
2007Upřímný2 po párechNa základě RankNet používá jinou funkci ztráty - ztráta věrnosti.
2007GBRank2 po párech
2007ListNet3 postupně
2007McRank1 bodově
2007QBRank2 po párech
2007RankCosine3 postupně
2007RankGP[20]3 po směrech
2007RankRLS2 po párech

Regularizované hodnocení podle nejmenších čtverců. Práce je rozšířena v[21] naučit se hodnotit z grafů obecných preferencí.

2007SVMmapa3 po směrech
2008LambdaSMART / LambdaMARTpárové / listovéVítězný příspěvek v nedávné soutěži Yahoo Learning to Rank používal soubor modelů LambdaMART. Na základě MART (1999)[22] „LambdaSMART“ pro Lambda-submodel-MART nebo LambdaMART pro případ bez submodelu (https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/tr-2008-109.pdf ).
2008ListMLE3 postupněNa základě ListNet.
2008PermuRank3 postupně
2008SoftRank3 postupně
2008Vylepšení hodnocení[23]2 po párechPřístup k učení se pod dohledem s částečným dohledem, který využívá posilování.
2008SSRankBoost[24]2 po párechRozšíření RankBoost pro učení s částečně označenými daty (semi-supervised learning to rank)
2008SortNet[25]2 po párechSortNet, adaptivní hodnotící algoritmus, který objednává objekty pomocí neurální sítě jako komparátoru.
2009MPBoost2 po párechVarianta RankBoost zachovávající velikost. Myšlenka spočívá v tom, že čím nerovnější jsou popisky dvojice dokumentů, tím těžší by se měl algoritmus pokusit je řadit.
2009BoltzRank3 postupněNa rozdíl od dřívějších metod vytváří BoltzRank hodnotící model, který se během doby dotazu dívá nejen na jeden dokument, ale také na dvojice dokumentů.
2009BayesRank3 postupněMetoda kombinuje Plackett-Luce model a neurální síť, aby se minimalizovalo očekávané Bayesovo riziko související s NDCG z hlediska rozhodování.
2010NDCG Boost[26]3 po směrechPosilující přístup k optimalizaci NDCG.
2010GBlend2 po párechRozšiřuje GBRank na problém učení se sloučení společného řešení několika problémů učení se zařazením s některými sdílenými funkcemi.
2010IntervalRank2 párové a listové
2010CRR2 pointwise & pairwiseKombinovaná regrese a hodnocení. Použití stochastický gradient optimalizovat lineární kombinaci bodové kvadratické ztráty a párové ztráty závěsu z Ranking SVM.
2015FaceNetpo párechHodnotí obrázky obličeje pomocí metriky tripletů prostřednictvím hluboké konvoluční sítě.
2016XGBoostpo párechPodporuje různé hodnotící cíle a metriky hodnocení.
2017ES-Rankpo směrechEvoluční strategie Technika učení k hodnocení se 7 metrikami hodnocení kondice
2018PolyRank[27]po párechUčí se současně hodnocení a základní generativní model z párových srovnání.
2018FATE-Net / FETA-Net [28]postupněEnd-to-end trénovatelné architektury, které explicitně berou všechny položky v úvahu při modelování kontextových efektů.
2019FastAP [29]postupněOptimalizuje průměrnou přesnost, aby se naučil hluboké vkládání
2019Morušelistwise & hybridNaučí se zásady hodnocení maximalizující více metrik v celé datové sadě
2019DirectRankerpo párechZobecnění architektury RankNet

Poznámka: jako většina učení pod dohledem Algoritmy lze použít na bodový případ, pouze ty metody, které jsou speciálně navrženy s ohledem na hodnocení, jsou uvedeny výše.

Dějiny

Norbert Fuhr představil obecnou myšlenku MLR v roce 1992, popisující přístupy učení při získávání informací jako zobecnění odhadu parametrů;[30] specifická varianta tohoto přístupu (pomocí polynomiální regrese ) byl publikován jím o tři roky dříve.[16] Navrhl Bill Cooper logistická regrese za stejným účelem v roce 1992 [17] a použil ji se svými Berkeley výzkumná skupina pro výcvik úspěšné funkce hodnocení pro TREC. Manning a kol.[31] naznačují, že tyto rané práce dosáhly ve své době omezených výsledků kvůli malému množství dostupných dat o tréninku a špatným technikám strojového učení.

Několik konferencí, jako např NIPS, SIGIR a ICML od poloviny dvacátých let (desetiletí) pořádal workshopy věnované problému učení se do hodnosti.

Praktické využití vyhledávači

Komerční webové vyhledávače od roku 2000 (desetiletí) začal používat strojově hodnocené hodnotící systémy. Jeden z prvních vyhledávačů, který jej začal používat, byl AltaVista (později jeho technologii získala společnost Předehra, a pak Yahoo ), který zahájil a zvýšení gradientu - trénovaná hodnotící funkce v dubnu 2003.[32][33]

Bing Vyhledávání je údajně založeno na RankNet algoritmus,[34][když? ] který byl vynalezen v Microsoft Research v roce 2005.

V listopadu 2009 ruský vyhledávač Yandex oznámil[35] že významně zvýšila kvalitu vyhledávání díky nasazení nového proprietárního softwaru MatrixNet algoritmus, varianta zvýšení gradientu metoda, která používá lhostejné rozhodovací stromy.[36] Nedávno také sponzorovali strojově naučenou hodnotící soutěž „Internet Mathematics 2009“[37] na základě výrobních údajů vlastního vyhledávače. Yahoo vyhlásilo podobnou soutěž v roce 2010.[38]

Od roku 2008, Google je Peter Norvig popřel, že by se jejich vyhledávač spoléhal výhradně na strojově naučené hodnocení.[39] Cuil Generální ředitel Tom Costello navrhuje, aby upřednostňovali ručně vyráběné modely, protože mohou překonat strojově naučené modely, když jsou měřeny oproti metrikám, jako je míra prokliku nebo čas na vstupní stránce, což je proto, že strojově naučené modely „se učí, co lidé říkají se jim líbí, ne to, co se lidem opravdu líbí “.[40]

V lednu 2017 byla technologie zahrnuta do otevřený zdroj vyhledávač Apache Solr ™,[41] díky tomu je strojově vyhledávané vyhledávací pole široce dostupné i pro podnikové vyhledávání.

Zranitelnosti

Podobně jako aplikace pro rozpoznávání v počítačové vidění, bylo také zjištěno, že nedávné hodnotící algoritmy založené na neuronových sítích jsou náchylné k skrytí nepřátelské útoky, a to jak na kandidáty, tak na dotazy.[42] S malými poruchami nepostřehnutelnými pro lidské bytosti by se pořadí pořadí mohlo libovolně změnit. Kromě toho se zjistí, že jsou možné modelově agnostické přenositelné kontradiktorní příklady, které umožňují útoky kontradiktorních útoků na systémy s hlubokým hodnocením bez nutnosti přístupu k jejich základním implementacím.[42][43]

Naopak, odolnost takovýchto hodnotících systémů lze zlepšit prostřednictvím nepřátelské obrany, jako je Madryho obrana.[44]

Viz také

Reference

  1. ^ A b Tie-Yan Liu (2009), „Learning to Rank for Information Retrieval“, Základy a trendy v získávání informací, 3 (3): 225–331, doi:10.1561/1500000016, ISBN  978-1-60198-244-5. Prezentace z rozhovoru Tie-Yan Liu v WWW 2009 konference jsou dostupný online
  2. ^ Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar (2012) Základy strojového učení„TheMIT Press ISBN  9780262018258.
  3. ^ A b Joachims, T. (2002), „Optimalizace vyhledávačů pomocí dat prokliku“ (PDF), Sborník z konference ACM o získávání znalostí a dolování dat
  4. ^ Joachims T .; Radlinski F. (2005), „Řetězce dotazů: Naučit se hodnotit z implicitní zpětné vazby“ (PDF), Sborník z konference ACM o získávání znalostí a dolování dat, arXiv:cs / 0605035, Bibcode:2006cs ........ 5035R
  5. ^ B. Cambazoglu; H. Zaragoza; O. Chapelle; J. Chen; C. Liao; Z. Zheng; J. Degenhardt., „Předčasné opuštění optimalizace pro systémy hodnocení aditivních strojů“ (PDF), WSDM '10: Proceedings of the Third ACM International Conference on Web Search and Data Mining, 2010.
  6. ^ Broder A .; Carmel D .; Herscovici M .; Soffer A .; Zien J. (2003), "Efektivní vyhodnocení dotazu pomocí dvouúrovňového procesu načítání" (PDF), Sborník příspěvků z dvanácté mezinárodní konference o řízení informací a znalostí: 426–434, ISBN  978-1-58113-723-1, archivovány z originál (PDF) dne 2009-05-21, vyvoláno 2009-12-15
  7. ^ A b Manning C .; Raghavan P .; Schütze H. (2008), Úvod do získávání informací, Cambridge University Press. Sekce 7.1
  8. ^ A b Kevin K. Duh (2009), Naučit se hodnotit s částečně označenými daty (PDF)
  9. ^ Yuanhua Lv, Taesup Moon, Pranam Kolari, Zhaohui Zheng, Xuanhui Wang a Yi Chang, Naučte se modelovat souvislost pro doporučení zpráv Archivováno 2011-08-27 na Wayback Machine, in International Conference on World Wide Web (WWW), 2011.
  10. ^ Xuan, Jifeng; Monperrus, Martin (2014). „Naučit se kombinovat více metrik hodnocení pro lokalizaci chyb“. Mezinárodní konference IEEE 2014 o údržbě a vývoji softwaru. 191–200. CiteSeerX  10.1.1.496.6829. doi:10.1109 / ICSME.2014.41. ISBN  978-1-4799-6146-7. S2CID  11223473.
  11. ^ Richardson, M .; Prakash, A .; Brill, E. (2006). „Beyond PageRank: Machine Learning for Static Ranking“ (PDF). Sborník příspěvků z 15. mezinárodní konference o WWW. 707–715.
  12. ^ http://www.stanford.edu/class/cs276/handouts/lecture15-learning-ranking.ppt
  13. ^ Olivier Chapelle; Donald Metzler; Ya Zhang; Pierre Grinspan (2009), „Očekávané vzájemné hodnocení pro odstupňovanou relevanci“ (PDF), CIKM, archivovány z originál (PDF) dne 2012-02-24
  14. ^ Gulin A .; Karpovich P .; Raskovalov D ​​.; Segalovič I. (2009), „Yandex at ROMIP'2009: optimization of ranking algorithms by machine learning methods“ (PDF), Sborník ROMIP'2009: 163–168 (v Rusku)
  15. ^ Tax, Niek; Bockting, Sander; Hiemstra, Djoerd (2015), „Cross-benchmark comparison of 87 learning to rank methods“ (PDF), Zpracování a správa informací, 51 (6): 757–772, doi:10.1016 / j.ipm.2015.07.002, archivovány z originál (PDF) dne 9. 8. 2017, vyvoláno 2017-10-15
  16. ^ A b Fuhr, Norbert (1989), „Optimální funkce vyhledávání polynomů na základě principu pravděpodobnosti“, Transakce ACM v informačních systémech, 7 (3): 183–204, doi:10.1145/65943.65944, S2CID  16632383
  17. ^ A b Cooper, William S .; Gey, Frederic C .; Dabney, Daniel P. (1992), „Pravděpodobnostní vyhledávání na základě postupné logistické regrese“, SIGIR '92 Sborník příspěvků z 15. výroční mezinárodní konference ACM SIGIR o výzkumu a vývoji v oblasti získávání informací: 198–210, doi:10.1145/133160.133199, ISBN  978-0897915236, S2CID  125993
  18. ^ Bartell, Brian T .; Cottrell Garrison W .; Belew, Richard K. (1994), „Automatická kombinace více hodnocených vyhledávacích systémů“, SIGIR '94 Sborník 17. výroční mezinárodní konference ACM SIGIR o výzkumu a vývoji v oblasti získávání informací: 173–181, ISBN  978-0387198897
  19. ^ „Žertování“. CiteSeerX  10.1.1.20.378. Citovat deník vyžaduje | deník = (Pomoc)
  20. ^ "RankGP". CiteSeerX  10.1.1.90.220. Citovat deník vyžaduje | deník = (Pomoc)
  21. ^ Pahikkala, Tapio; Tsivtsivadze, Evgeni; Airola, Antti; Järvinen, Jouni; Boberg, Jorma (2009), „Efektivní algoritmus pro učení hodnocení z grafů preferencí“, Strojové učení, 75 (1): 129–165, doi:10.1007 / s10994-008-5097-z.
  22. ^ C. Burges. (2010). Od RankNet po Lambda Hodnocení od LambdaMART: Přehled.
  23. ^ Rong Jin, Hamed Valizadegan, Hang Li, Vylepšení hodnocení a jeho aplikace pro získávání informací, na mezinárodní konferenci o World Wide Web (WWW), 2008.
  24. ^ Massih-Reza Amini, Vinh Truong, Cyril Goutte, Posilující algoritmus pro učení bipartitních hodnotících funkcí s částečně označenými daty Archivováno 02.08.2010 na Wayback Machine, Mezinárodní konference ACM SIGIR, 2008. The kód Archivováno 2010-07-23 na Wayback Machine je k dispozici pro výzkumné účely.
  25. ^ Leonardo Rigutini, Tiziano Papini, Marco Maggini, Franco Scarselli, „SortNet: učení se hodnocení pomocí neuronového třídicího algoritmu“, Workshop SIGIR 2008: Learning to Rank for Information Retrieval, 2008
  26. ^ Hamed Valizadegan, Rong Jin, Ruofei Zhang, Jianchang Mao, Naučit se hodnotit optimalizací měření NDCG, Proceeding of Neural Information Processing Systems (NIPS), 2010.
  27. ^ Davidov, Ori; Ailon, Nir; Oliveira, Ivo F. D. (2018). „Nový a flexibilní přístup k analýze párových srovnávacích údajů“. Journal of Machine Learning Research. 19 (60): 1–29. ISSN  1533-7928.
  28. ^ Pfannschmidt, Karlson; Gupta, Pritha; Hüllermeier, Eyke (2018). „Hluboké architektury pro učení kontextových funkcí hodnocení“. arXiv:1803.05796 [stat.ML ].
  29. ^ Fatih Cakir, Kun He, Xide Xia, Brian Kulis, Stan Sclaroff, Deep Metric Learning to Rank, V Proc. Konference IEEE o počítačovém vidění a rozpoznávání vzorů (CVPR), 2019.
  30. ^ Fuhr, Norbert (1992), „Pravděpodobnostní modely při získávání informací“, Počítačový deník, 35 (3): 243–255, doi:10.1093 / comjnl / 35.3.243
  31. ^ Manning C .; Raghavan P .; Schütze H. (2008), Úvod do získávání informací, Cambridge University Press. Sekce 7.4 a 15.5
  32. ^ Jan O. Pedersen. Příběh MLR Archivováno 13.07.2011 na Wayback Machine
  33. ^ Americký patent 7 197 497
  34. ^ Blog Bing Search: Uživatelské potřeby, funkce a věda za Bingem
  35. ^ Vstup do firemního blogu Yandex o novém hodnotícím modelu "Snezhinsk" (v Rusku)
  36. ^ Algoritmus nebyl zveřejněn, ale zveřejněno bylo několik podrobností [1] a [2].
  37. ^ „Soutěžní stránka Yandex's Internet Mathematics 2009“. Archivovány od originál dne 2015-03-17. Citováno 2009-11-11.
  38. ^ „Yahoo Learning to Rank Challenge“. Archivovány od originál dne 01.03.2010. Citováno 2010-02-26.
  39. ^ Rajaraman, Anand (2008-05-24). „Jsou strojově naučené modely náchylné ke katastrofickým chybám?“. Archivováno od originálu 2010-09-18. Citováno 2009-11-11.
  40. ^ Costello, Tom (26.06.2009). „Cuil Blog: Tak jak se má Bing?“. Archivovány od originál dne 2009-06-27.
  41. ^ „Jak Bloomberg integroval učení do hodnocení do Apache Solr | Tech v Bloomberg“. Tech ve společnosti Bloomberg. 2017-01-23. Citováno 2017-02-28.
  42. ^ A b Zhou, Mo; Niu, Zhenxing; Wang, Le; Zhang, Qilin; Hua, Gang (2020). Msgstr "Útok a obrana na základě kontradiktorního hodnocení". arXiv:2002.11293v2 [cs.CV ].
  43. ^ Li, Jie; Ji, Rongrong; Liu, Hong; Hong, Xiaopeng; Gao, Yue; Tian, ​​Qi. „Universal Perturbation Attack Against Retrieval“. Mezinárodní konference o počítačovém vidění (ICCV 2019). 4899–4908.
  44. ^ Madry, Aleksander; Makelov, Aleksandar; Schmidt, Ludwig; Tsipras, Dimitris; Vladu, Adrian (2017-06-19). "Směrem k modelům hlubokého učení odolným proti nepřátelským útokům". arXiv:1706.06083v4 [stat.ML ].


externí odkazy

Soutěže a veřejné datové soubory
Otevřený zdrojový kód