Optimistický gradient znalostí - Optimistic knowledge gradient

tento článek je sirotek, jako žádné další články odkaz na to. Prosím zavést odkazy na tuto stránku z související články; zkuste Najít odkaz nástroj pro návrhy. (Červen 2015)

v statistika The optimistický gradient znalostí^[1] je politika přibližování, kterou navrhli Xi Chen, Qihang Lin a Dengyong Zhou v roce 2013. Tato politika je vytvořena za účelem vyřešení problému spočívajícího ve výpočetně neřešitelné velké velikosti optimální výpočetní alokace rozpočtu problém v binárním / vícetřídovém značení davu, kde každý štítek z davu má určitou cenu.^[2]

Motivace

The optimální výpočetní alokace rozpočtu problém je formulován jako Bayesian Markovův rozhodovací proces^[3](MDP) a řeší se pomocí dynamické programování Algoritmus (DP), kde se politika optimistického znalostního gradientu používá k řešení výpočtově neřešitelného dynamické programování^[4] (DP) algoritmus.

Zvažte problém s přidělením rozpočtu v crowdsourcing. Zvláštní problém crowdsourcingu, který zvažujeme, je označování davů. Značení davu je velké množství Značení úkoly, které se těžko řeší strojem, se ukázaly být snadno vyřešitelnými lidmi, pak jsme pouze zadali neidentifikovanou skupinu náhodných lidí v distribuovaném prostředí.

Metodologie

Chceme dokončit tento úkol označování, doufejme, že se spoléháme na sílu davu. Předpokládejme například, že chceme identifikovat obrázek podle toho, že lidé na obrázku jsou dospělí nebo ne, to je Bernoulli problém označování a každý z nás to zvládne za jednu nebo dvě sekundy, je to pro člověka snadný úkol. Pokud však máme takové desítky tisíc obrázků, už to není snadný úkol. Proto se musíme spolehnout crowdsourcing rámec, aby to bylo rychlé. Crowdsourcing rámec se skládá ze dvou kroků. Krok první, jen dynamicky získáváme z davu předměty. Na druhé straně se jedná o dynamický postup. Tento obrázek neposíláme jen všem a zaměřujeme každou odpověď, místo toho to děláme v množství. Rozhodneme se, který obrázek jej pošleme v příštím, a kterého pracovníka si najmeme v davu v dalším. Podle jeho historických výsledků označování. Každý obrázek lze odeslat více pracovníkům a každý pracovník může také pracovat na různých obrázcích. Poté, co shromáždíme dostatečný počet štítků pro jiný obrázek, přejdeme k druhým krokům, kde chceme odvodit skutečný štítek každého obrázku na základě shromážděných štítků. Existuje tedy několik způsobů, jak můžeme odvodit. Například nejjednodušší, co můžeme udělat, je hlasování většinou. Problém je v tom, že žádný oběd zdarma, musíme platit za pracovníka za každý štítek, který poskytuje, a máme pouze omezený rozpočet projektu. Otázkou tedy je, jak chytře utratit omezený rozpočet.

Výzvy

Před ukázáním matematického modelu se práce zmiňuje o tom, jakým výzvám čelíme.

Výzva 1

Za prvé, položky mají jinou úroveň obtížnosti pro výpočet štítku, v předchozím příkladu lze některé obrázky snadno klasifikovat. V tomto případě obvykle uvidíte velmi konzistentní štítky z davu. Pokud jsou však některé obrázky nejednoznačné, lidé mohou mezi sebou nesouhlasit, což vede k vysoce nekonzistentnímu označování. Můžeme tedy přidělit více zdrojů na tento nejednoznačný úkol.

Výzva 2

A dalším problémem, který často máme, je to, že pracovník není dokonalý, někdy tento pracovník není odpovědný, pouze poskytuje náhodný štítek, proto bychom samozřejmě za tento rozpočet neutratili žádného spolehlivého pracovníka. Nyní je problémem jak obtížnost obrázků, tak spolehlivost pracovníka, kterého jsme na začátku úplně neznali. Můžeme je pouze odhadnout během postupu. Proto přirozeně čelíme průzkumu a vykořisťování a naším cílem je poskytnout přiměřeně dobrou politiku utrácení peněz správným způsobem - maximalizovat celkovou přesnost konečných odvozených štítků.

Matematický model

Pro matematický model máme K. položky, ${ displaystyle i = {1,2, ldots, k }}$a celkový rozpočet je T a předpokládáme, že každý štítek stojí 1, takže ho budeme mít T popřípadě štítky. Předpokládáme, že každá položka má skutečný štítek ${ displaystyle Z_ {i}}$které pozitivní nebo negativní, to binomické případy a můžeme rozšířit na více tříd, označování případů, to je jedinečný nápad. A pozitivní sada ${ displaystyle H ^ {*}}$ je definována jako sada položek, jejichž skutečný štítek je kladný. A ${ displaystyle theta _ {i}}$ také definoval soft-label, ${ displaystyle theta _ {i}}$ pro každou položku, které číslo mezi 0 a 1, a my definujeme ${ displaystyle theta _ {i}}$ jako základní pravděpodobnost, že bude členem náhodně vybraným ze skupiny dokonalých pracovníků označen jako pozitivní.

V tomto prvním případě předpokládáme, že každý pracovník je dokonalý, to znamená, že jsou všichni spolehliví, ale být dokonalým neznamená, že tento pracovník dává stejnou nebo správnou odpověď. Znamená to jen, že se budou snažit přijít na nejlepší odpověď ve své mysli a předpokládejme, že každý je perfektní pracovník, jen náhodně vybral jednu z nich a ${ displaystyle theta _ {i}}$ Pravděpodobně dostaneme člověka, který věří, že je pozitivní. Takto vysvětlujeme ${ displaystyle theta _ {i}}$. Předpokládáme tedy označení ${ displaystyle Y_ {i}}$ je čerpán z Bernoulli (${ displaystyle theta _ {i}}$), a ${ displaystyle theta _ {i}}$ musí být v souladu se skutečným štítkem, což znamená ${ displaystyle theta _ {i}}$ je větší nebo rovno 0,5 právě tehdy, pokud je tato položka pozitivní se skutečným pozitivním štítkem. Naším cílem je tedy naučit se H *, soubor pozitivních položek. Jinými slovy, chceme udělat odvozenou kladnou množinu H na základě shromážděných štítků, abychom maximalizovali:

${ displaystyle sum _ {i = 1} ^ {k} ({ textbf {1}} _ {(i v H)} { textbf {1}} _ {(i v H ^ { star })} + { textbf {1}} _ {(i notin H)} { textbf {1}} _ {(i notin H ^ { star})})}$

Může být také napsán jako:

${ displaystyle | H cap H ^ { star} | + | H ^ {c} cap H ^ { star c} |}$

krok 1: Bayesovský rozhodovací proces

Před ukázkou Bayesiánského rámce se v článku používá příklad ke zmínce, proč místo frekvenčního přístupu volíme Bayesian, abychom mohli na soft-labelu navrhnout nějakou zadní část předchozí distribuce ${ displaystyle theta _ {i}}$. Předpokládáme každý ${ displaystyle theta _ {i}}$ je čerpáno ze známé Beta před:

${ displaystyle theta _ {i} sim mathrm {Beta} (a_ {i} ^ {o}, b_ {i} ^ {o})}$

A matice:

${ displaystyle s ^ {o} = left langle (a_ {i} ^ {o}, b_ {i} ^ {o}) right rangle _ {i = 1} ^ {k} in { textbf {R}} ^ {k krát 2}}$

Víme tedy, že Bernoulliho konjugát beta, takže jakmile získáme nový štítek pro položku i, budeme aktualizovat zadní distribuci, distribuci beta o:

${ displaystyle theta _ {i} sim mathrm {Beta} (a_ {i} ^ {t}, b_ {i} ^ {t})}$

${ displaystyle y_ {i} mid theta _ {i} sim mathrm {Bernoulli} ( theta _ {i})}$

${ displaystyle theta _ {i} mid y_ {i} = 1 sim mathrm {Beta} (a_ {i} ^ {t} + 1, b_ {i} ^ {t})}$

${ displaystyle theta _ {i} mid y_ {i} = - 1 sim mathrm {Beta} (a_ {i} ^ {t} + 1, b_ {i} ^ {t})}$

V závislosti na štítku je pozitivní nebo negativní.

Tady je celý postup na vysoké úrovni, máme T fázi, ${ displaystyle 0 leq t leq T-1}$. A v současné fázi se podíváme na matici S, která shrnuje informace o zadní distribuci pro všechny ${ displaystyle theta _ {i}}$

${ displaystyle s ^ {t} = left langle (a_ {i} ^ {t}, b_ {i} ^ {t}) right rangle _ {i = 1} ^ {k} in { textbf {R}} ^ {k krát 2}}$

Chystáme se rozhodnout, vybrat další položku, kterou chcete označit ${ displaystyle i_ {t}}$, ${ displaystyle i_ {t} v {1,2, ldots, k }}$.

A v závislosti na tom, co je štítek pozitivní nebo negativní, přidáme matici k získání štítku:

${ displaystyle theta _ {i} sim mathrm {Beta} (a_ {i} ^ {t}, b_ {i} ^ {t})}$

${ displaystyle y_ {i} mid theta _ {i} sim mathrm {Bernoulli} ( theta _ {i})}$

${ displaystyle theta _ {i} mid y_ {i} = 1 sim mathrm {Beta} (a_ {i} ^ {t} + 1, b_ {i} ^ {t})}$

${ displaystyle theta _ {i} mid y_ {i} = - 1 sim mathrm {Beta} (a_ {i} ^ {t} + 1, b_ {i} ^ {t})}$

Především je to celý rámec.

krok 2: Odvození na kladné množině

Když t štítky jsou shromažďovány, můžeme vyvodit závěr o pozitivní sadě H_t na základě zadní distribuce dané S_t

${ displaystyle { begin {aligned} H_ {t} & = operatorname {argmax} limity _ {H podmnožina {1,2, ldots, k }} E left ( sum _ {i = 1} ^ {k} ({ textbf {1}} (i v H) { textbf {1}} (i v H ^ { star}) + { textbf {1}} (i notin H) { textbf {1}} {(i notin H ^ { star})}) mid S ^ { star} right) & = operatorname {argmax} limity _ {H podmnožina {1,2, ldots, k }} sum _ {i = 1} ^ {k} ({ textbf {1}} (i v H) Pr (i v H ^ { star } mid S ^ {t}) + { textbf {1}} (i notin H) Pr (i notin H ^ { star} mid S ^ {t})) & = { i: Pr (i v H ^ { star} mid S ^ {t}) geq 0,5 } end {zarovnáno}}}$

Takže zde se stáváme problémem Bernoulliho výběru, stačí se podívat na pravděpodobnost pozitivity nebo negativity podmínění ${ displaystyle S_ {t}}$ vidět je větší než 0,5 nebo ne, pokud je větší než 0,5, dokážeme tuto položku do aktuální kladné množiny odvození ${ displaystyle H_ {t}}$ jedná se tedy o nákladovou formu pro současné optimální řešení ${ displaystyle H_ {t}}$ na základě informací v ${ displaystyle S_ {t}}$.

Poté, co víte, co je optimální řešení, pak práce ukazuje, jaká je optimální hodnota. Zástrčka ${ displaystyle t}$ v optimální funkci,

${ displaystyle h (x) = max (x, 1-x)}$

Tato funkce je pouze jedna funkce, která volí větší mezi podmíněnou pravděpodobností kladné a záporné funkce. Jakmile získáme ještě jeden štítek pro položku i, vezmeme rozdíl mezi touto hodnotou, před a po získání nového štítku můžeme vidět, že tato podmíněná pravděpodobnost se může ve skutečnosti zjednodušit takto:

${ displaystyle { begin {aligned} R (s ^ {t}, i_ {t}, y_ {i_ {t}}) & = sum _ {i = 1} ^ {k} h ( Pr {( i in H ^ { star} mid s ^ {t + 1})}) - sum _ {i = 1} ^ {k} h ( Pr (i in H ^ { star} mid s ^ {t})) & = sum _ {i = 1} ^ {k} h ( Pr {(a_ {i} ^ {t + 1, b_ {i} ^ {t + 1}} )}) - sum _ {i = 1} ^ {k} h ( Pr (a_ {i} ^ {t}, b_ {i} ^ {t})). end {zarovnáno}}}$

Pozitivní položka, která je kladná, závisí pouze na beta zadním, tedy pokud je pouze funkce parametru distribuční funkce beta A a b, tak jako

${ displaystyle h ( Pr (a_ {i_ {t}} ^ {t + 1}, b_ {i_ {t}} ^ {t + 1})) - h ( Pr (a_ {i_ {t}} ^ {t}, b_ {i_ {t}} ^ {t}))}$

Ještě jeden štítek pro tuto konkrétní položku, zdvojnásobíme změnu zadní funkce, takže všechny tyto položky lze zrušit kromě 1, takže se jedná o změnu celé přesnosti a definovali jsme ji jako odměnu po etapách: zlepšení přesnosti odvození o další vzorek. Tento štítek má samozřejmě dvě kladné hodnoty, dostaneme pozitivní štítek nebo negativní štítek, vezměte průměr za tyto dva, získejte očekávanou odměnu. Jednoduše jsme vybrali položku, která má být označena, aby byla očekávaná odměna maximalizována pomocí Znalostní přechod:

${ displaystyle { begin {aligned} i_ {t} & = operatorname {argmax} limity _ {i in {1,2, ldots, k }} E (R (s ^ {t}, i, y_ {i}) mid s ^ {t}) & = operatorname {argmax} limity _ {i in {1,2, ldots, k }} left ({ frac {a_ {i} ^ {t}} {a_ {i} ^ {t} + b_ {i} ^ {t}}} R (s ^ {t}, i, 1) + { frac {b_ {i } ^ {t}} {a_ {i} ^ {t} + b_ {i} ^ {t}}} R (s ^ {t}, i, -1) vpravo) end {zarovnáno}}}$

Jedná se o více položek, dejte nám vědět, jak zlomíme pouta. Pokud deterministicky zlomíme kravatu, což znamená, že zvolíme nejmenší index. Budeme mít problém, protože to není konzistentní, což znamená pozitivní fázi ${ displaystyle H_ {t}}$ nekonverguje do skutečně pozitivní fáze ${ displaystyle H ^ {*}}$.

Můžeme se tedy také pokusit zlomit vazby náhodně, funguje to, ale uvidíme, že výkon bude téměř jako uniformní vzorkování, je nejlepší odměnou. Politika pisatele je něco chamtivějšího, místo abychom zvolili průměr ve fázi odměny jednou, můžeme ve skutečnosti vypočítat větší, maximální možnou odměnu ve dvou fázích, takže Optimistický gradient znalostí:

${ displaystyle i_ {t} = operatorname {argmax} limity _ {i in {1, ldots, k }} (R ^ {+} (S ^ {t}, i)) = max (R (S ^ {t}, i, 1), R (S ^ {t}, i, -1))}$

A víme, že pod optimistickým gradientem znalostí se konečná přesnost závěru sblíží na 100%. Výše je založeno na tom, že každý pracovník je dokonalý, nicméně v praxi nejsou pracovníci vždy zodpovědní. Pokud tedy u nedokonalých pracovníků předpokládáme K položek, ${ displaystyle 1 leq i leq k}$.

${ displaystyle theta _ {i} v (0,1) sim mathrm {Bet} a (a_ {i} ^ {o}, b_ {i} ^ {o})}$

Pravděpodobnost položky ${ displaystyle i}$ být dokonalým pracovníkem označen jako pozitivní. ${ displaystyle 1 leq j leq M}$ , ${ displaystyle rho _ {j} v (0,1) sim mathrm {Beta} (c_ {j} ^ {o}, d_ {j} ^ {o})}$Pravděpodobnost pracovníka ${ displaystyle j}$ dávat stejné označení jako dokonalý pracovník. Distribuce štítku ${ displaystyle Z_ {ij}}$ od pracovníka ${ displaystyle j}$ k položce ${ displaystyle i}$:

${ displaystyle Pr (Z_ {ij} = 1 mid theta _ {i}, rho _ {j}) = Pr (Z_ {ij} = 1 mid Y_ {i} = 1) Pr ( Y_ {i} = 1) + Pr (Z_ {ij} = 1 střední Y_ {i} = - 1) Pr (Y_ {i} = - 1) = rho _ {j} theta _ {i } t (1- rho _ {j}) (1- theta _ {i})}$

A akční prostor je takový

${ displaystyle Pr (Z_ {ij} = 1 mid theta _ {i}, rho _ {j}) = Pr (Z_ {ij} = 1 mid Y_ {i} = 1) Pr (Y_ {i} = 1) + Pr (Z_ {ij} = 1 střední Y_ {i} = - 1) Pr (Y_ {i} = - 1) = rho _ {j} theta _ {i} t (1- rho _ {j}) (1- theta _ {i}) = rho _ {j} theta _ {i} t (1- rho _ {j}) (1- theta _ {i}),}$

kde ${ displaystyle qquad qquad (i, j) v {1,2, ldots, k } times {1,2, ldots, M }}$, matice štítků: ${ displaystyle Z_ {ij} v {- 1,1 }}$

Je těžké to vypočítat, takže můžeme použít Variační Bayesovské metody^[5] z ${ displaystyle Pr (i v H ^ { star} střední S ^ {t})}$

Reference