Kolaborativní filtrování - Collaborative filtering - Wikipedia

Tento obrázek ukazuje příklad predikce hodnocení uživatele pomocí spolupráce filtrování. Nejprve lidé hodnotí různé položky (například videa, obrázky, hry). Poté systém vyrábí předpovědi o hodnocení uživatele pro položku, kterou uživatel ještě nehodnotil. Tyto předpovědi jsou postaveny na stávajících hodnoceních ostatních uživatelů, kteří mají podobná hodnocení jako aktivní uživatel. Například v našem případě systém předpověděl, že se aktivnímu uživateli video nebude líbit.

Kolaborativní filtrování (CF) je technika používaná doporučující systémy.^[1] Kolaborativní filtrování má dva smysly, úzký a obecnější.^[2]

V novějším užším smyslu je společné filtrování metodou automatizace předpovědi (filtrování) o zájmech a uživatel shromažďováním preferencí nebo chuť informace od mnoho uživatelů (spolupracující). Základním předpokladem přístupu založeného na spolupráci je, že pokud jde o osobu A má stejný názor jako člověk B pokud jde o problém, je pravděpodobnější, že A bude mít názor B na jiný problém než názor náhodně vybrané osoby. Například systém doporučení pro filtrování spolupráce pro televize vkus by mohl předpovědět, která televizní show by se uživateli měla líbit, a to díky částečnému seznamu chutí tohoto uživatele (líbí se nebo nelíbí).^[3] Všimněte si, že tyto předpovědi jsou specifické pro uživatele, ale používají informace shromážděné od mnoha uživatelů. To se liší od jednoduššího přístupu při poskytování průměrný (nespecifické) skóre pro každou zajímavou položku, například na základě jejího počtu hlasů.

V obecnějším smyslu je kolaborativní filtrování proces filtrování informací nebo vzorců pomocí technik zahrnujících spolupráci mezi více agenty, hledisky, zdroji dat atd.^[2] Aplikace společného filtrování obvykle zahrnují velmi velké datové sady. Metody společné filtrace byly použity na mnoho různých druhů dat, včetně: snímání a monitorování dat, například při průzkumu nerostů, snímání prostředí na velkých plochách nebo více senzorů; finanční údaje, jako jsou instituce poskytující finanční služby, které integrují mnoho finančních zdrojů; nebo v elektronickém obchodu a webových aplikacích, kde je kladen důraz na uživatelská data atd. Zbývající část této diskuse se zaměřuje na společné filtrování uživatelských dat, ačkoli některé z metod a přístupů se mohou vztahovat i na další hlavní aplikace.

Přehled

The růst z Internet efektivně znesnadnil extrahovat užitečné informace ze všech dostupných online informace. Drtivé množství dat vyžaduje efektivní mechanismy filtrování informací. Kolaborativní filtrování je jednou z technik používaných při řešení tohoto problému.

Motivace pro společné filtrování vychází z myšlenky, že lidé často dostávají nejlepší doporučení od někoho, kdo má podobný vkus. Kolaborativní filtrování zahrnuje techniky pro porovnávání lidí s podobnými zájmy a vytváření doporučení na tomto základě.

Algoritmy pro společnou filtraci často vyžadují (1) aktivní účast uživatelů, (2) snadný způsob, jak zastupovat zájmy uživatelů, a (3) algoritmy, které jsou schopné spojit lidi s podobnými zájmy.

Pracovní postup systému pro spolupráci při filtrování je obvykle:

1. Uživatel vyjadřuje své preference hodnocením položek systému (např. Knih, filmů nebo CD). Tato hodnocení lze považovat za přibližné vyjádření zájmu uživatele o odpovídající doménu.
2. Systém porovnává hodnocení tohoto uživatele s ostatními uživateli a vyhledává lidi s nejvíce „podobným“ vkusem.
3. U podobných uživatelů systém doporučuje položky, které mají podobní uživatelé vysoce hodnocené, ale dosud nebyli tímto uživatelem hodnoceni (pravděpodobně je absence hodnocení často považována za neznámost položky)

Klíčovým problémem společného filtrování je způsob, jak kombinovat a vážit preference sousedů uživatelů. Někdy mohou uživatelé okamžitě doporučit doporučené položky. Výsledkem je, že systém v průběhu času získává stále přesnější vyjádření uživatelských preferencí.

Metodologie

Kolaborativní filtrování v doporučovacích systémech

Kolaborativní filtrační systémy mají mnoho forem, ale mnoho běžných systémů lze snížit na dva kroky:

1. Hledejte uživatele, kteří sdílejí stejné vzorce hodnocení s aktivním uživatelem (uživatelem, pro kterého je předpověď určena).
2. Použijte hodnocení od podobně smýšlejících uživatelů nalezená v kroku 1 k výpočtu predikce pro aktivního uživatele

To spadá do kategorie uživatelského společného filtrování. Specifickou aplikací je uživatelská Algoritmus nejbližšího souseda.

Alternativně, filtrování spolupráce založené na položkách (uživatelé, kteří si koupili x také koupili y), probíhá způsobem zaměřeným na položky:

1. Vytvořte matici položky a položky určující vztahy mezi dvojicemi položek
2. Vyvodit chutě aktuálního uživatele prozkoumáním matice a porovnáním dat tohoto uživatele

Viz například Sklon jedna rodina kolaborativní filtrační rodiny na základě položek.

Další forma filtrování založené na spolupráci může být založena na implicitních pozorováních normálního chování uživatelů (na rozdíl od umělého chování uloženého úkolem hodnocení). Tyto systémy sledují, co uživatel udělal, spolu s tím, co udělali všichni uživatelé (jakou hudbu poslouchali, jaké položky si koupili) a pomocí těchto dat předpovídají chování uživatele v budoucnu nebo předpovídají, jak by se uživateli mohl líbit chovat se vzhledem k této příležitosti. Tyto předpovědi pak musí být filtrovány obchodní logika určit, jak mohou ovlivnit akce obchodního systému. Například není užitečné nabízet někomu prodej určitého alba hudby, pokud již prokázal, že tuto hudbu vlastní.

Spoléhání se na bodovací nebo hodnotící systém, který je zprůměrován u všech uživatelů, ignoruje specifické požadavky uživatele a je obzvláště špatný v úkolech, kde je velký rozdíl v zájmu (jako v doporučení hudby). Existují však i jiné metody boje proti informační explozi, jako např web hledat a shlukování dat.

Typy

Na základě paměti

Přístup založený na paměti využívá data hodnocení uživatelů k výpočtu podobnosti mezi uživateli nebo položkami. Typickými příklady tohoto přístupu jsou CF založená na sousedství a doporučení top-N založená na položce / uživateli. Například v uživatelských přístupech je hodnota hodnocení uživatele u dává položce i se počítá jako agregace hodnocení položky od podobných uživatelů:

${ displaystyle r_ {u, i} = operatorname {aggr} _ {u ^ { prime} v U} r_ {u ^ { prime}, i}}$

kde U označuje sadu nahoře N uživatelé, kteří jsou nejvíce podobní uživateli u kdo hodnotil položku i. Mezi příklady agregační funkce patří:

${ displaystyle r_ {u, i} = { frac {1} {N}} součet limity _ {u ^ { prime} v U} r_ {u ^ { prime}, i}}$

${ displaystyle r_ {u, i} = k sum limity _ {u ^ { prime} v U} operatorname {simil} (u, u ^ { prime}) r_ {u ^ { prime} , i}}$

kde k je normalizační faktor definovaný jako ${ displaystyle k = 1 / součet _ {u ^ { prime} v U} | operatorname {podobný} (u, u ^ { prime}) |}$, a

${ displaystyle r_ {u, i} = { bar {r_ {u}}} + k součet limity _ {u ^ { prime} v U} operatorname {simil} (u, u ^ { prime}) (r_ {u ^ { prime}, i} - { bar {r_ {u ^ { prime}}}})}$

kde ${ displaystyle { bar {r_ {u}}}}$ je průměrné hodnocení uživatele u pro všechny položky hodnocené uživatelem u.

Algoritmus založený na sousedství vypočítá podobnost mezi dvěma uživateli nebo položkami a vytvoří předpověď pro uživatele tak, že vážený průměr ze všech hodnocení. Důležitou součástí tohoto přístupu je výpočet podobnosti mezi položkami nebo uživateli. Několik opatření, například Pearsonova korelace a vektorový kosinus k tomu se používá podobnost založená na bázi.

Pearsonova korelační podobnost dvou uživatelů X, y je definován jako

${ displaystyle operatorname {simil} (x, y) = { frac { sum limity _ {i v I_ {xy}} (r_ {x, i} - { bar {r_ {x}}} ) (r_ {y, i} - { bar {r_ {y}}})}} {{ sqrt { sum limity _ {i v I_ {xy}} (r_ {x, i} - { bar {r_ {x}}}) ^ {2}}} { sqrt { sum limits _ {i in I_ {xy}} (r_ {y, i} - { bar {r_ {y}} }) ^ {2}}}}}}$

kde já_xy je sada položek hodnocených oběma uživateli X a uživatel y.

Kosinový přístup definuje kosinovou podobnost mezi dvěma uživateli X a y tak jako:^[4]

${ displaystyle operatorname {simil} (x, y) = cos ({ vec {x}}, { vec {y}}) = { frac {{ vec {x}} cdot { vec {y}}} {|| { vec {x}} || times || { vec {y}} ||}} = { frac { sum limity _ {i v I_ {xy} } r_ {x, i} r_ {y, i}} {{ sqrt { sum limity _ {i v I_ {x}} r_ {x, i} ^ {2}}} { sqrt { součet limity _ {i v I_ {y}} r_ {y, i} ^ {2}}}}}}$

Uživatelský doporučovací algoritmus top-N používá k identifikaci vektorový model založený na podobnosti k nejvíce podobní uživatelé jako aktivní uživatel. Po k většina podobných uživatelů je nalezena, jejich odpovídající matice uživatelských položek jsou agregovány, aby identifikovaly sadu položek, které mají být doporučeny. Populární metodou pro nalezení podobných uživatelů je Hašování citlivé na lokalitu, který implementuje mechanismus nejbližšího souseda v lineárním čase.

Mezi výhody tohoto přístupu patří: vysvětlitelnost výsledků, což je důležitý aspekt systémů doporučení; snadná tvorba a použití; snadné usnadnění nových dat; obsahová nezávislost doporučovaných položek; dobré škálování u položek se společným hodnocením.

Tento přístup má také několik nevýhod. Jeho výkon klesá, když data jsou řídká, který se často vyskytuje u položek souvisejících s webem. To brání škálovatelnost tohoto přístupu a vytváří problémy s velkými soubory dat. I když dokáže efektivně zpracovat nové uživatele, protože se spoléhá na datová struktura, přidávání nových položek se stává komplikovanějším, protože tato reprezentace se obvykle spoléhá na konkrétní vektorový prostor. Přidání nových položek vyžaduje zahrnutí nové položky a opětovné vložení všech prvků do struktury.

Na základě modelu

V tomto přístupu jsou modely vyvíjeny pomocí různých dolování dat, strojové učení algoritmy pro predikci hodnocení uživatelů položek bez hodnocení. Existuje mnoho modelových CF algoritmů. Bayesovské sítě, shlukovací modely, latentní sémantické modely jako rozklad singulární hodnoty, pravděpodobnostní latentní sémantická analýza, multiplikativní multiplikační faktor, latentní Dirichletova alokace a Markovův rozhodovací proces založené modely.^[5]

Prostřednictvím tohoto přístupu snížení rozměrů metody se většinou používají jako doplňková technika ke zlepšení robustnosti a přesnosti přístupu založeného na paměti. V tomto smyslu jsou metody jako rozklad singulární hodnoty, analýza hlavních komponent, známé jako modely latentních faktorů, komprimují matici uživatelských položek do nízkodimenzionální reprezentace, pokud jde o latentní faktory. Jednou z výhod použití tohoto přístupu je, že namísto matice s vysokou dimenzí, která obsahuje velké množství chybějících hodnot, se budeme zabývat mnohem menší maticí v prostoru s nižší dimenzí. Omezenou prezentaci lze použít buď pro uživatelské nebo pro jednotlivé sousední algoritmy, které jsou uvedeny v předchozí části. Toto paradigma má několik výhod. Zvládá to řídkost původní matice lepší než ty založené na paměti. Také porovnání podobnosti na výsledné matici je mnohem škálovatelnější, zejména při řešení velkých řídkých datových sad.^[6]

Hybridní

Řada aplikací kombinuje algoritmy CF založené na paměti a modelu založené na modelu. Ty překonávají omezení nativních přístupů CF a zlepšují výkon predikce. Důležité je, že překonávají problémy CF, jako je řídkost a ztráta informací. Mají však zvýšenou složitost a jejich implementace je nákladná.^[7] Většina komerčních doporučovacích systémů je obvykle hybridní, například systém doporučování zpráv Google.^[8]

Hluboké učení

V posledních letech byla navržena řada neurálních technik a technik hlubokého učení. Někteří zobecňují tradiční Maticová faktorizace algoritmy prostřednictvím nelineární neurální architektury,^[9] nebo využít nové typy modelů, jako je Variational Autoencoders.^[10]Zatímco hluboké učení bylo aplikováno na mnoho různých scénářů: kontextové, sekvenční, sociální značkování atd., Jeho skutečná účinnost při použití v jednoduchém scénáři doporučení pro spolupráci byla zpochybněna. Systematická analýza publikací aplikujících hluboké učení nebo neurální metody na problém doporučení top-k, publikovaná na špičkových konferencích (SIGIR, KDD, WWW, RecSys), ukázala, že v průměru je méně než 40% článků reprodukovatelných, s tak malým počtem jako 14% na některých konferencích. Celkově studie identifikuje 18 článků, pouze 7 z nich bylo možné reprodukovat a 6 z nich by mohlo překonat mnohem starší a jednodušší správně vyladěné základní linie. Tento článek také zdůrazňuje řadu potenciálních problémů současného výzkumného stipendia a požaduje zlepšení vědeckých postupů v této oblasti.^[11] Podobné problémy byly zaznamenány také v doporučovacích systémech doporučujících pořadí.^[12]

Kontextové filtrování spolupráce

Mnoho doporučujících systémů při poskytování doporučení k položkám jednoduše ignoruje další kontextové informace, které existují vedle hodnocení uživatele.^[13] Avšak všudypřítomnou dostupností kontextových informací, jako je čas, poloha, sociální informace a typ zařízení, které uživatel používá, je stále důležitější než kdy jindy, aby úspěšný doporučující systém poskytl kontextově citlivé doporučení. Podle Charu Aggrawal „Kontextově doporučující systémy přizpůsobují svá doporučení dalším informacím, které definují konkrétní situaci, za níž jsou doporučení vydávána. Tyto dodatečné informace se označují jako kontext.“^[6]

Vezmeme-li v úvahu kontextové informace, budeme mít další dimenzi k existující matici hodnocení uživatelských položek. Jako příklad předpokládejme systém doporučení hudby, který poskytuje různá doporučení v závislosti na denní době. V tomto případě je možné, že má uživatel různé předvolby pro hudbu v různé denní době. Místo použití matice uživatelských položek tedy můžeme použít tenzor řádu 3 (nebo vyšší z hlediska jiných kontextů), které představují preference uživatelů závislých na kontextu.^[14][15][16]

Aby bylo možné využít výhody kolaborativního filtrování a zejména metod založených na sousedství, lze přístupy rozšířit z dvourozměrné matice hodnocení na tenzor vyššího řádu^{[Citace je zapotřebí ]}. Z tohoto důvodu je přístupem najít nejpodobnější / podobně smýšlející uživatele cílovému uživateli; lze extrahovat a vypočítat podobnost řezů (např. matice položky a času) odpovídající každému uživateli. Na rozdíl od kontextově necitlivého případu, pro který se počítá podobnost dvou hodnotících vektorů, v kontextové přístupy, podobnost hodnotících matic odpovídajících každému uživateli se vypočítá pomocí Pearsonovy koeficienty.^[6] Poté, co jsou nalezeni uživatelé s podobným smýšlením, jsou jejich odpovídající hodnocení agregována, aby byla identifikována sada položek, které mají být doporučeny cílovému uživateli.

Nejdůležitější nevýhodou převzetí kontextu do modelu doporučení je schopnost vypořádat se s větší datovou sadou, která obsahuje mnohem více chybějících hodnot ve srovnání s maticí hodnocení uživatelských položek^{[Citace je zapotřebí ]}. Proto podobně jako maticová faktorizace metody, faktorizace tenzoru techniky lze použít ke snížení rozměrnosti původních dat před použitím jakýchkoli metod založených na sousedství^{[Citace je zapotřebí ]}.

Aplikace na sociálním webu

Na rozdíl od tradičního modelu mainstreamových médií, ve kterém je jen několik editorů, kteří stanovují pokyny, mohou mít společná filtrovaná sociální média velmi velký počet editorů a obsah se zvyšuje s rostoucím počtem účastníků. Služby jako Reddit, Youtube, a Last.fm jsou typickými příklady médií založených na společném filtrování.^[17]

Jedním ze scénářů aplikace pro filtrování na základě spolupráce je doporučení zajímavých nebo populárních informací podle posouzení komunity. Jako typický příklad se příběhy objevují na titulní stránce Reddit protože jsou komunitou „voleni“ (kladně hodnoceni). Jak se komunita stává větší a rozmanitější, mohou propagované příběhy lépe odrážet průměrný zájem členů komunity.

Dalším aspektem spolupracujících filtračních systémů je schopnost generovat více přizpůsobená doporučení na základě analýzy informací z minulé aktivity konkrétního uživatele nebo z historie ostatních uživatelů, kteří jsou považováni za podobné vkusy danému uživateli. Tyto prostředky se používají jako profilování uživatelů a pomáhají webu doporučovat obsah podle jednotlivých uživatelů. Čím více daný uživatel systém využívá, tím lepší jsou doporučení, protože systém získává data, aby zlepšil svůj model daného uživatele.

Problémy

Systém pro spolupráci při filtrování nemusí nutně uspět v automatickém přiřazování obsahu k jeho preferencím. Pokud platforma nedosáhne neobvykle dobré rozmanitosti a nezávislosti názorů, jeden úhel pohledu bude vždy dominovat druhému v konkrétní komunitě. Stejně jako ve scénáři přizpůsobených doporučení může zavedení nových uživatelů nebo nových položek způsobit studený start problém, protože o těchto nových položkách nebude k dispozici dostatečné množství dat, aby filtrování spolupráce fungovalo přesně. Aby mohl nový uživatel učinit vhodná doporučení, musí se systém nejprve naučit uživatelské preference analýzou minulých hlasovacích nebo hodnotících aktivit. Systém filtrování pro spolupráci vyžaduje, aby značný počet uživatelů ohodnotil novou položku, než bude možné tuto položku doporučit.

Výzvy

Sparita dat

V praxi je mnoho systémů komerčních doporučení založeno na velkých souborech dat. Výsledkem je, že matice uživatelských položek použitá pro společné filtrování může být extrémně velká a řídká, což přináší výzvy ve výkonu doporučení.

Jeden typický problém způsobený datovou sparitou je studený start problém. Protože metody filtrování založené na spolupráci doporučují položky založené na minulých preferencích uživatelů, noví uživatelé budou muset hodnotit dostatečný počet položek, aby systém mohl přesně zachytit jejich preference, a poskytuje tak spolehlivá doporučení.

Podobně i nové položky mají stejný problém. Když jsou do systému přidány nové položky, musí být hodnoceny značným počtem uživatelů, než je bude možné doporučit uživatelům, kteří mají podobný vkus jako ti, kteří je hodnotili. Problém s novou položkou to neovlivní obsahová doporučení, protože doporučení položky je založeno spíše na její diskrétní sadě popisných kvalit než na hodnocení.

Škálovatelnost

Jak počet uživatelů a položek roste, tradiční CF algoritmy budou trpět vážnými problémy se škálovatelností^{[Citace je zapotřebí ]}. Například s desítkami milionů zákazníků ${ displaystyle O (M)}$ a miliony položek ${ displaystyle O (N)}$, algoritmus CF se složitostí ${ displaystyle n}$ je již příliš velký. Mnoho systémů také musí okamžitě reagovat na online požadavky a vydávat doporučení pro všechny uživatele bez ohledu na jejich nákupy a historii hodnocení, což vyžaduje vyšší škálovatelnost systému CF. Velké webové společnosti, jako je Twitter, používají shluky strojů k škálování doporučení pro své miliony uživatelů, přičemž většina výpočtů probíhá ve velmi velkých paměťových zařízeních.^[18]

Synonyma

Synonyma odkazuje na tendenci řady stejných nebo velmi podobných položek mít různé názvy nebo položky. Většina doporučujících systémů není schopna objevit tuto latentní asociaci a zacházet s těmito produkty odlišně.

Například zdánlivě odlišné položky „dětský film“ a „dětský film“ ve skutečnosti odkazují na stejnou položku. Ve skutečnosti je míra variability v použití popisných termínů větší, než se běžně předpokládá.^{[Citace je zapotřebí ]} Prevalence synonym snižuje výkon doporučení systémů CF. Modelování témat (jako Přidělení latentní dirichlet by to mohlo vyřešit seskupením různých slov náležejících ke stejnému tématu.^{[Citace je zapotřebí ]}

Šedá ovce

Šedá ovce označuje uživatele, jejichž názory nesouhlasí nebo nesouhlasí s žádnou skupinou lidí, a proto nemají prospěch z filtrování spolupráce. Černá ovce jsou skupinou, jejíž výstřední vkus činí doporučení téměř nemožnými. I když se jedná o selhání doporučujícího systému, neelektroničtí doporučovatelé mají v těchto případech také velké problémy, takže mít černou ovci je přijatelnou chybou.^{[sporný – diskutovat]}

Šilinkové útoky

V systému doporučení, kde každý může dát hodnocení, mohou lidé dát mnoho pozitivních hodnocení pro své vlastní položky a negativní hodnocení pro své konkurenty. Pro systémy společné filtrace je často nutné zavést preventivní opatření, která by od takových manipulací odradila.

Rozmanitost a dlouhý ocas

Očekává se, že společné filtry zvýší rozmanitost, protože nám pomáhají objevovat nové produkty. Některé algoritmy však mohou neúmyslně udělat pravý opak. Protože filtry pro spolupráci doporučují produkty na základě minulých prodejů nebo hodnocení, nemohou obvykle doporučit produkty s omezenými historickými údaji. To může u podobných produktů vytvořit podobný efekt bohatého na bohatší Pozitivní zpětná vazba. Toto zkreslení směrem k popularitě může zabránit tomu, co je jinak lepší shoda spotřebního produktu. A Whartone studie podrobně popisuje tento jev spolu s několika nápady, které mohou podporovat rozmanitost a „dlouhý ocas."^[19] Bylo vyvinuto několik algoritmů pro filtrování spolupráce, které podporují rozmanitost a „dlouhý ocas „doporučením románu, neočekávaného,^[20] a serendipitous položky.^[21]

Inovace

• Na základě CF byly vyvinuty nové algoritmy pro CF Cena Netflix.
• Cross-System Collaborative Filtering, kde jsou uživatelské profily napříč více doporučující systémy jsou kombinovány způsobem chránícím soukromí.
• Robustní společné filtrování, kde doporučení je stabilní vůči snahám o manipulaci. Tato oblast výzkumu je stále aktivní a není zcela vyřešena.^[22]

Pomocné informace

Matice uživatelských položek je základním základem tradičních technik filtrování spolupráce a trpí problémem s datovou sparitou (tj. studený start ). V důsledku toho se vědci kromě matice uživatelských položek snaží shromáždit více pomocných informací, které pomohou zvýšit výkon doporučení a vyvinout personalizované systémy doporučení.^[23] Obecně existují dvě oblíbené pomocné informace: informace o atributech a informace o interakci. Informace o atributu popisují vlastnosti uživatele nebo položky. Například atribut uživatele může zahrnovat obecný profil (např. Pohlaví a věk) a sociální kontakty (např. Sledující nebo přátelé v sociální sítě ); Atribut položky znamená vlastnosti, jako je kategorie, značka nebo obsah. Kromě toho se informace o interakci vztahují na implicitní data ukazující, jak uživatelé hrají s položkou. Široce používané informace o interakci obsahují tagy, komentáře nebo recenze a historii procházení atd. Pomocné informace hrají významnou roli v různých aspektech. Výslovné sociální vazby se jako spolehlivý zástupce důvěry nebo přátelství vždy používají při výpočtu podobnosti k nalezení podobných osob, které sdílejí zájem s cílovým uživatelem.^[24][25] Informace spojené s interakcí - tagy - se berou jako třetí dimenze (kromě uživatele a položky) v pokročilém filtrování spolupráce, aby se vytvořila trojrozměrná tenzorová struktura pro zkoumání doporučení.^[26]

Viz také

Reference

externí odkazy

• Beyond Doporučující systémy: Pomoc lidem, aby si navzájem pomáhali, strana 12, 2001
• Doporučující systémy. Prem Melville a Vikas Sindhwani. V Encyclopedia of Machine Learning, Claude Sammut a Geoffrey Webb (Eds), Springer, 2010.
• Doporučovací systémy v průmyslových kontextech - diplomová práce (2012) včetně komplexního přehledu mnoha spolupracujících doporučovacích systémů
• Směrem k další generaci doporučovacích systémů: přehled nejmodernějších a možných rozšíření^{[mrtvý odkaz ]}. Adomavicius, G. a Tuzhilin, A. IEEE Transactions on Knowledge and Data Engineering 06.2005
• Vyhodnocení systémů doporučujících filtrování spolupráce (DOI: 10.1145/963770.963772 )
• Skupinové výzkumné práce.
• Kolaborativní filtrování obohacené o obsah pro vylepšená doporučení. Prem Melville, Raymond J. Mooney a Ramadass Nagarajan. Sborník z osmnácté národní konference o umělé inteligenci (AAAI-2002), s. 187–192, Edmonton, Kanada, červenec 2002.
• Sbírka minulých a současných projektů „filtrování informací“ (včetně filtrování na základě spolupráce) v MIT Media Lab
• Eigentaste: Algoritmus pro spolupráci při filtrování v konstantním čase. Ken Goldberg, Theresa Roeder, Dhruv Gupta a Chris Perkins. Získávání informací, 4 (2), 133-151. Červenec 2001.
• Průzkum technik společného filtrování Su, Xiaoyuan a Khoshgortaar, Taghi. M
• Personalizace Zpráv Google: Škálovatelné online společné filtrování Abhinandan Das, Mayur Datar, Ashutosh Garg a Shyam Rajaram. International World Wide Web Conference, Proceedings of the 16. international conference on World Wide Web
• Factor in the Neighbors: Scalable and Accurate Collaborative Filtering Yehuda Koren, Transaction on Knowledge Discovery from Data (TKDD) (2009)
• Predikce hodnocení pomocí společného filtrování
• Doporučující systémy
• Berkeley Collaborative Filtering