Konstelační model - Constellation model

The model souhvězdí je pravděpodobnostní, generativní model pro rozpoznávání objektů na úrovni kategorie v počítačové vidění. Jako ostatní dílčí modely, model konstelace se pokouší reprezentovat třídu objektů pomocí sady N díly pod vzájemnými geometrickými omezeními. Protože zohledňuje geometrický vztah mezi různými částmi, model souhvězdí se významně liší od pouze vzhledu, nebo „pytel slov "reprezentační modely, které výslovně ignorují umístění obrazových prvků.

Problém definování generativního modelu pro rozpoznávání objektů je obtížný. Úkol se výrazně komplikuje faktory, jako je nepořádek na pozadí, okluze a variace v pohledu, osvětlení a měřítku. V ideálním případě bychom chtěli, aby konkrétní reprezentace, kterou jsme vybrali, byla robustní vůči co největšímu počtu těchto faktorů.

U uznání na úrovni kategorie je problém ještě náročnější z důvodu zásadního problému variace uvnitř třídy. I když dva objekty patří do stejné vizuální kategorie, jejich vzhled se může výrazně lišit. U strukturovaných objektů, jako jsou automobily, jízdní kola a lidé, však samostatné instance objektů ze stejné kategorie podléhají podobným geometrickým omezením. Z tohoto důvodu mají určité části objektu, jako jsou světlomety nebo pneumatiky automobilu, stále konzistentní vzhled a relativní polohy. Model Constellation využívá této skutečnosti explicitním modelováním relativního umístění, relativního měřítka a vzhledu těchto částí pro konkrétní kategorii objektu. Parametry modelu se odhadují pomocí neřízené učení algoritmus, což znamená, že vizuální koncept třídy objektu lze extrahovat z neoznačené sady tréninkových obrazů, i když tato sada obsahuje „nevyžádané“ obrázky nebo instance objektů z více kategorií. Může také zohlednit absenci částí modelu kvůli variabilitě vzhledu, okluzi, nepořádku nebo chybě detektoru.

Dějiny

Myšlenku na model „dílů a konstrukcí“ původně představili Fischler a Elschlager v roce 1973.^[1] Od té doby byl tento model postaven a rozšířen v mnoha směrech. Model Constellation, jak jej zavedl Dr. Perona a jeho kolegové, byl pravděpodobnostní adaptací tohoto přístupu.

Na konci 90. let Burl a kol.^[2][3][4][5] znovu navštívil Fischlerův a Elschlagerův model za účelem rozpoznávání tváře. Ve své práci Burl a kol. použil manuální výběr částí souhvězdí na cvičných obrázcích ke konstrukci statistického modelu pro sadu detektorů a relativních míst, kde by měly být použity. V roce 2000 Weber et al. ^[6][7][8][9] učinil významný krok v tréninku modelu pomocí nekontrolovaného procesu učení, což vylučovalo nutnost zdlouhavého ručního označování dílů. Jejich algoritmus byl obzvláště pozoruhodný, protože fungoval dobře i na přeplněných a uzavřených obrazových datech. Fergus a kol.^[10][11] poté tento model vylepšil tím, že krok učení byl plně bez dozoru, měl současně naučený tvar i vzhled a explicitně zohlednil relativní měřítko dílů.

Metoda Webera a Wellinga a kol.^[9]

V prvním kroku standard detekce zájmových bodů metoda, jako je Harris detekce rohů, se používá ke generování úrokových bodů. Funkce obrazu generované z blízkosti těchto bodů jsou poté seskupeny pomocí k-prostředky nebo jiný vhodný algoritmus. V tomto procesu vektorové kvantování, lze centroidy těchto shluků považovat za reprezentativní pro vzhled charakteristických částí objektu. Odpovídající detektory funkcí jsou poté proškoleni pomocí těchto shluků, které lze použít k získání sady kandidátních částí z obrázků.

Výsledkem tohoto procesu může být nyní každý obrázek reprezentován jako sada částí. Každá část má typ odpovídající jednomu z výše uvedených shluků vzhledu, stejně jako umístění v prostoru obrazu.

Základní generativní model

Weber & Welling zde představují koncept popředí a Pozadí. Popředí části odpovídají instanci třídy cílového objektu, zatímco Pozadí části odpovídají nepořádku na pozadí nebo falešným detekcím.

Nechat T být počet různých typů dílů. Pozice všech částí extrahovaných z obrázku pak mohou být znázorněny v následující „matici“

${displaystyle X ^ {o} = {egin {pmatrix} x_ {11}, x_ {12}, {cdots}, x_ {1N_ {1}} x_ {21}, x_ {22}, {cdots}, x_ {2N_ {2}} vdots x_ {T1}, x_ {T2}, {cdots}, x_ {TN_ {T}} konec {pmatrix}}}$

kde ${displaystyle N_ {i},}$ představuje počet částí typu ${displaystyle iin {1, tečky, T}}$ pozorováno na obrázku. Horní index Ó označuje, že tyto pozice jsou pozorovatelný, naproti tomu chybějící. Pozice částí nepozorovaného objektu mohou být reprezentovány vektorem ${displaystyle x ^ {m},}$. Předpokládejme, že objekt bude složen z ${displaystyle F,}$ odlišné popředí. Pro jednoduchost zápisu zde předpokládáme, že ${displaystyle F = T,}$, ačkoli model lze zobecnit na ${displaystyle F> T,}$. A hypotéza ${displaystyle h,}$ je pak definována jako sada indexů s ${displaystyle h_ {i} = j,}$, označující tento bod ${displaystyle x_ {ij},}$ je v popředí bod v ${displaystyle X ^ {o},}$. Generativní pravděpodobnostní model je definován prostřednictvím společné hustoty pravděpodobnosti ${displaystyle p (X ^ {o}, x ^ {m}, h),}$.

Detaily modelu

Zbytek této části shrnuje podrobnosti modelu Weber & Welling pro model s jednou komponentou. Vzorce pro vícesložkové modely^[8] jsou rozšířeními zde popsaných.

Aby bylo možné parametrizovat hustotu pravděpodobnosti kloubu, zavádí Weber & Welling pomocné proměnné ${displaystyle b,}$ a ${displaystyle n,}$, kde ${displaystyle b,}$ je binární vektor kódující přítomnost / nepřítomnost částí při detekci (${displaystyle b_ {i} = 1,}$ -li ${displaystyle h_ {i}> 0,}$, v opačném případě ${displaystyle b_ {i} = 0,}$), a ${displaystyle n,}$ je vektor, kde ${displaystyle n_ {i},}$ označuje počet Pozadí kandidáti zahrnutí do ${displaystyle i ^ {th}}$ řada ${displaystyle X ^ {o},}$. Od té doby ${displaystyle b,}$ a ${displaystyle n,}$ jsou zcela určeny ${displaystyle h,}$ a velikost ${displaystyle X ^ {o},}$, my máme ${displaystyle p (X ^ {o}, x ^ {m}, h) = p (X ^ {o}, x ^ {m}, h, n, b),}$. Rozkladem,

${displaystyle p (X ^ {o}, x ^ {m}, h, n, b) = p (X ^ {o}, x ^ {m} | h, n, b) p (h | n, b ) p (n) p (b),}$

Hustotu pravděpodobnosti nad počtem detekcí pozadí lze modelovat pomocí a Poissonovo rozdělení,

${displaystyle p (n) = prod _ {i = 1} ^ {T} {frac {1} {n_ {i}!}} (M_ {i}) ^ {n_ {i}} e ^ {- M_ { já}}}$

kde ${displaystyle M_ {i},}$ je průměrný počet detekcí pozadí typu ${displaystyle i,}$ na obrázek.

V závislosti na počtu dílů ${displaystyle F,}$, pravděpodobnost ${displaystyle p (b),}$ lze modelovat buď jako explicitní tabulku délek ${displaystyle 2 ^ {F},}$, nebo když ${displaystyle F,}$ je velký, jako ${displaystyle F,}$ nezávislé pravděpodobnosti, z nichž každá určuje přítomnost jednotlivé části.

Hustota ${displaystyle p (h | n, b),}$ je modelován uživatelem

${displaystyle p (h | n, b) = {egin {cases} {frac {1} {extstyle prod _ {f = 1} ^ {F} N_ {f} ^ {b_ {f}}}}, & { mbox {if}} hin H (b, n) 0, a {mbox {pro ostatní}} hend {případy}}}$

kde ${displaystyle H (b, n),}$ označuje soubor všech hypotéz shodných s ${displaystyle b,}$ a ${displaystyle n,}$, a ${displaystyle N_ {f},}$ označuje celkový počet detekcí částí typu ${displaystyle f,}$. To vyjadřuje skutečnost, že všechny konzistentní hypotézy, které existují ${displaystyle extstyle prod _ {f = 1} ^ {F} N_ {f} ^ {b_ {f}}}$, jsou stejně pravděpodobné při absenci informací o umístění dílů.

A nakonec,

${displaystyle p (X ^ {o}, x ^ {m} | h, n) = p_ {fg} (z) p_ {bg} (x_ {bg}),}$

kde ${displaystyle z = (x ^ {o} x ^ {m}),}$ jsou souřadnice všech detekcí popředí, pozorovaných i chybějících, a ${displaystyle x_ {bg},}$ představuje souřadnice detekcí pozadí. Všimněte si, že se předpokládá, že detekce popředí jsou nezávislé na pozadí. ${displaystyle p_ {fg} (z),}$ je modelován jako společný Gaussian se střední hodnotou ${displaystyle mu,}$ a kovariance ${displaystyle Sigma,}$.

Klasifikace

Konečným cílem tohoto modelu je zařadit obrázky do tříd "objekt přítomný" (třída ${displaystyle C_ {1},}$) a "objekt chybí" (třída ${displaystyle C_ {0},}$) vzhledem k pozorování ${displaystyle X ^ {o},}$. Aby toho bylo možné dosáhnout, Weber & Welling podrobně spouští detektory částí z kroku učení přes obraz a zkoumá různé kombinace detekcí. Pokud se uvažuje o okluzi, jsou povoleny také kombinace s chybějícími detekcemi. Cílem je poté vybrat třídu s maximální a posteriori pravděpodobností, s ohledem na poměr

${displaystyle {frac {p (C_ {1} | X ^ {o})} {p (C_ {0} | X ^ {o})}} propto {frac {sum _ {h} p (X ^ {o }, h | C_ {1})} {p (X ^ {o}, h_ {0} | C_ {0})}}}$

kde ${displaystyle h_ {0},}$ označuje nulovou hypotézu, která vysvětluje všechny části jako hluk pozadí. V čitateli zahrnuje součet všechny hypotézy, včetně nulové hypotézy, zatímco ve jmenovateli je jedinou hypotézou v souladu s absencí objektu nulová hypotéza. V praxi lze určit určitou prahovou hodnotu tak, že pokud poměr překročí tuto prahovou hodnotu, pak považujeme instanci objektu za detekovanou.

Modelové učení

Po předběžném kroku detekce zájmových bodů, generování funkcí a shlukování máme na tréninkových obrázcích velkou sadu kandidátských částí. Chcete-li se naučit model, Weber & Welling nejprve provede chamtivý průzkum možných konfigurací modelu nebo ekvivalentně potenciálních podmnožin kandidátských částí. To se děje iterativním způsobem, počínaje náhodným výběrem. Při následných iteracích se části modelu náhodně nahradí, odhadnou se parametry modelu a vyhodnotí se výkon. Proces je dokončen, když již není možné další vylepšení výkonu modelu.

Při každé iteraci parametry modelu

${displaystyle Theta = {mu, Sigma, p (b), M},}$

jsou odhadovány pomocí maximalizace očekávání. ${displaystyle mu,}$ a ${displaystyle Sigma,}$Vzpomínáme si, že jsou průměrem a kovariancí společné Gaussian ${displaystyle p_ {fg} (z),}$, ${displaystyle p (b),}$ je rozdělení pravděpodobnosti určující binární přítomnost / nepřítomnost částí a ${displaystyle M,}$ je průměrný počet detekcí pozadí u typů součástí.

M-krok

EM postupuje maximalizací pravděpodobnosti pozorovaných dat,

${displaystyle L (X ^ {o} | Theta) = součet _ {i = 1} ^ {I} log součet _ {h_ {i}} int p (X_ {i} ^ {o}, x_ {i} ^ {m}, h_ {i} | Theta) dx_ {i} ^ {m}}$

s ohledem na parametry modelu ${displaystyle Theta,}$. Jelikož je to analyticky obtížné dosáhnout, EM iterativně maximalizuje sled nákladových funkcí,

${displaystyle Q ({ilde {Theta}} | Theta) = součet _ {i = 1} ^ {I} E [log p (X_ {i} ^ {o}, x_ {i} ^ {m}, h_ { i} | {ilde {Theta}})]}$

Převzetí této derivace s ohledem na parametry a rovné nule vytvoří pravidla aktualizace:

${displaystyle {ilde {mu}} = {frac {1} {I}} součet _ {i = 1} ^ {I} E [z_ {i}]}$

${displaystyle {ilde {Sigma}} = {frac {1} {I}} součet _ {i = 1} ^ {I} E [z_ {i} z_ {i} ^ {T}] - {ilde {mu} } {ilde {mu}} ^ {T}}$

${displaystyle {ilde {p}} ({ar {b}}) = {frac {1} {I}} součet _ {i = 1} ^ {I} E [delta _ {b, {ar {b}} }]}$

${displaystyle {ilde {M}} = {frac {1} {I}} součet _ {i = 1} ^ {I} E [n_ {i}]}$

E-krok

Pravidla aktualizace v kroku M jsou vyjádřena jako dostatečné statistiky, ${displaystyle E [z],}$, ${displaystyle E [zz ^ {T}],}$, ${displaystyle E [delta _ {b, {ar {b}}}],}$ a ${displaystyle E [n],}$, které se počítají v E-kroku s ohledem na zadní hustotu:

${displaystyle p (h_ {i}, x_ {i} ^ {m} | X_ {i} ^ {o}, Theta) = {frac {p (h_ {i}, x_ {i} ^ {m}, X_ {i} ^ {o} | Theta)} {extstyle součet _ {h_ {i} v H_ {b}} int p (h_ {i}, x_ {i} ^ {m}, X_ {i} ^ {o } | Theta) dx_ {i} ^ {m}}}}$

Metoda Ferguse a kol.^[10]

Ve Weberovi a kol. Jsou modely tvarů a vzhledů konstruovány samostatně. Jakmile byla vybrána sada kandidátních částí, tvar se učí nezávisle na vzhledu. Inovace Ferguse a kol. je naučit se nejen dva, ale tři parametry modelu současně: tvar, vzhled a relativní měřítko. Každý z těchto parametrů je reprezentován Gaussovými hustotami.

Reprezentace funkcí

Zatímco předběžný krok ve Weber et al. metodou je hledání umístění zajímavých bodů, Fergus et al. použijte detektor Kadira a Bradyho^[12] najít výběžkové oblasti v obraze přes umístění (střed) i měřítko (poloměr). Tedy kromě informací o poloze ${displaystyle X,}$ tato metoda také extrahuje související informace o měřítku ${displaystyle S,}$. Fergus a kol. pak normalizujte čtverce ohraničující tyto kruhové oblasti na záplaty o rozměrech 11 x 11 pixelů nebo ekvivalentně 121-rozměrné vektory v prostoru vzhledu. Ty jsou pak zmenšeny na 10-15 rozměrů o analýza hlavních komponent, poskytující informace o vzhledu ${displaystyle A,}$.

Struktura modelu

Daný konkrétní model třídy objektu s parametry ${displaystyle Theta,}$, musíme se rozhodnout, zda nový obrázek obsahuje instanci této třídy či nikoli. Toho je dosaženo Bayesovským rozhodnutím,

${displaystyle R = {frac {p ({mbox {Object}} | X, S, A)} {p ({mbox {Žádný objekt}} | X, S, A)}}}$

${displaystyle = {frac {p (X, S, A | {mbox {Object}}) p ({mbox {Object}})} {p (X, S, A | {mbox {Žádný objekt}}) p ( {mbox {Žádný objekt}})}}}$

${displaystyle cca {frac {p (X, S, A | Theta) p ({mbox {Object}})} {p (X, S, A | Theta _ {bg}) p ({mbox {Žádný objekt}} )}}}$

kde ${displaystyle Theta _ {bg}}$ je model pozadí. Tento poměr se porovnává s prahovou hodnotou ${displaystyle T,}$ určit přítomnost / nepřítomnost objektu.

Pravděpodobnosti jsou zohledněny následovně:

${displaystyle p (X, S, A | Theta) = součet _ {hin H} p (X, S, A, h | Theta) =}$

${displaystyle sum _ {hin H} underbrace {p (A | X, S, h, Theta)} _ {mbox {Appearance}} underbrace {p (X | S, h, Theta)} _ {mbox {Shape}} underbrace {p (S | h, Theta)} _ {mbox {Rel. Scale}} underbrace {p (h | Theta)} _ {mbox {Other}}}$

Vzhled

Každá část ${displaystyle p,}$ má vzhled modelovaný Gaussovou hustotou v prostoru vzhledu, se středními a kovariančními parametry ${displaystyle Theta _ {p} ^ {app} = {c_ {p}, V_ {p}}}$, nezávisle na hustotách ostatních částí. Model na pozadí má parametry ${displaystyle Theta _ {bg} ^ {app} = {c_ {bg}, V_ {bg}}}$. Fergus a kol. předpokládejme, že vzhledem k detekovaným vlastnostem je poloha a vzhled těchto prvků nezávislý. Tím pádem, ${displaystyle p (A | X, S, h, Theta) = p (A | h, Theta),}$. Poměr pojmů vzhledu se snižuje na

${displaystyle {frac {p (A | X, S, h, Theta)} {p (A | X, S, h, Theta _ {bg})}} = {frac {p (A | h, Theta)} {p (A | h, Theta _ {bg})}}}$

${displaystyle = prod _ {p = 1} ^ {P} vlevo ({frac {G (A (h_ {p}) | c_ {p}, V_ {p})} {G (A (h_ {p}) | c_ {bg}, V_ {bg})}} hned) ^ {b_ {p}}}$

Odvolání od Webera a kol. že ${displaystyle h,}$ je hypotéza pro indexy popředí a ${displaystyle b,}$ je binární vektor poskytující stav hypotézy u každé části.

Tvar

Tvar je reprezentován společnou Gaussovou hustotou umístění dílů v konkrétní hypotéze poté, co byly tyto části transformovány do prostoru neměnného měřítka. Tato transformace vylučuje potřebu provést vyčerpávající prohledávání v měřítku. Gaussova hustota má parametry ${displaystyle Theta ^ {mbox {shape}} = {mu, Sigma},}$. Model pozadí ${displaystyle Theta _ {bg},}$ Předpokládá se rovnoměrné rozdělení po obrazu, který má plochu ${displaystyle alpha,}$. Pronájem ${displaystyle f,}$ být počet částí popředí,

${displaystyle {frac {p (X | S, h, Theta)} {p (X | S, h, Theta _ {bg})}} = G (X (h) | mu, Sigma) alfa ^ {f} }$

Relativní měřítko

Měřítko každé části ${displaystyle p,}$ vzhledem k referenčnímu rámci je modelován Gaussovou hustotou s parametry ${displaystyle Theta ^ {mbox {scale}} = {t_ {p}, U_ {p}},}$. Každá část se považuje za nezávislou na ostatních částech. Model pozadí ${displaystyle Theta _ {bg},}$ předpokládá rovnoměrné rozdělení v měřítku v rozsahu ${displaystyle r,}$.

${displaystyle {frac {p (S | h, Theta)} {p (S | h, Theta _ {bg})}} = prod _ {p = 1} ^ {P} G (S (h_ {p}) | t_ {p}, U_ {p}) ^ {d_ {p}} r ^ {f}}$

Okluze a statistika detekce funkcí

${displaystyle {frac {p (h | Theta)} {p (h | Theta _ {bg})}} = {frac {p_ {mbox {Poiss}} (n | M)} {p_ {mbox {Poiss}} (N | M)}} {frac {1} {^ {n} C_ {r} (N, f)}} p (b | Theta)}$

První faktor modeluje počet funkcí detekovaných pomocí a Poissonovo rozdělení, který má průměr M. Druhý faktor slouží jako faktor „vedení účetnictví“ pro proměnnou hypotézy. Posledním faktorem je tabulka pravděpodobnosti pro všechny možné okluzní vzory.

Učení se

Úkol naučit se parametry modelu ${displaystyle Theta = {mu, Sigma, c, V, M, p (b | Theta), t, U},}$ je dosaženo maximalizace očekávání. To se provádí v duchu podobném duchu Weber et al. Podrobnosti a vzorce pro E-krok a M-krok jsou uvedeny v literatuře.^[11]

Výkon

Model souhvězdí ve smyslu Ferguse a kol. dosahuje úspěšných kategorií kategorizace trvale nad 90% u velkých datových sad motorek, tváří, letadel a skvrnitých koček.^[13] Pro každý z těchto datových souborů je model Constellation schopen zachytit „podstatu“ třídy objektu z hlediska vzhledu a / nebo tvaru. Například datové sady obličejů a motorek generují velmi těsné modely tvarů, protože objekty v těchto kategoriích mají velmi dobře definovanou strukturu, zatímco skvrnité kočky se výrazně liší v póze, ale mají velmi výrazný skvrnitý vzhled. Model je tedy v obou případech úspěšný. Je důležité si uvědomit, že model Constellation obecně nezohledňuje významné změny v orientaci. Pokud je tedy model trénován na obrázcích horizontálních letadel, nebude fungovat dobře například na obrázcích vertikálně orientovaných letadel, pokud není model rozšířen tak, aby explicitně zohledňoval tento druh rotace.

Z hlediska výpočetní složitosti je model Constellation velmi drahý. Li ${displaystyle N,}$ je počet detekcí funkcí v obraze a ${displaystyle P,}$ počet částí v objektovém modelu, poté prostor hypotézy ${displaystyle H,}$ je ${displaystyle O (N ^ {P}),}$. Protože výpočet dostatečných statistik v E-kroku maximalizace očekávání vyžaduje vyhodnocení pravděpodobnosti pro každou hypotézu, učení se stává hlavní překážkovou operací. Z tohoto důvodu pouze hodnoty ${displaystyle Pleq 6}$ byly použity v praktických aplikacích a počet detekcí funkcí ${displaystyle N,}$ se obvykle udržuje v rozmezí přibližně 20–30 na obrázek.

Variace

Jednou z variant, která se pokouší snížit složitost, je hvězdný model navržený Fergusem a kol.^[14] Snížené závislosti tohoto modelu umožňují učení se ${displaystyle O (N ^ {2} P),}$ čas místo ${displaystyle O (N ^ {P}),}$. To umožňuje při tréninku použít větší počet modelových částí a obrazových funkcí. Vzhledem k tomu, že hvězdný model má méně parametrů, je také lepší se vyhnout problému s přesahováním, když je trénován na méně obrazů.

Reference

externí odkazy

• L. Fei-fei. Kategorizace objektů: modely konstelace. Přednáška Prezentace. (2005) (odkaz nefunguje)

Viz také

• Částečně založené modely
• Jednorázové učení