Smršťovací pole (obnova obrazu) - Shrinkage Fields (image restoration)

Smršťovací pole je náhodné pole -na základě strojové učení technika zaměřená na vysokou kvalitu restaurování obrazu (odšumění a deblurring ) s použitím nízké výpočetní režie.

Metoda

Obnovený obrázek ${ displaystyle x}$ je předpovídáno z poškozeného pozorování ${ displaystyle y}$ po tréninku na sadě ukázkových obrázků ${ displaystyle S}$.

Funkce smršťování (mapování) ${ displaystyle {f} _ {{ pi} _ {i}} vlevo (v vpravo) = { sum} _ {j = 1} ^ {M} { pi} _ {i, j} exp left (- { frac { gamma} {2}} { left (v - { mu} _ {j} right)} ^ {2} right)}$ je přímo modelován jako lineární kombinace jádra radiální základní funkce, kde ${ displaystyle gamma}$ je parametr sdílené přesnosti, ${ displaystyle mu}$ označuje pozice (ve stejné vzdálenosti) jádra a M je počet gaussovských jader.

Protože funkce smrštění je přímo modelována, optimalizační procedura se sníží na jednu kvadratickou minimalizaci na iteraci, označenou jako predikce pole smrštění ${ displaystyle {g} _ { mathrm { Theta}} left ({ text {x}} right) = { mathcal {F}} ^ {- 1} left lbrack { frac {{ mathcal {F}} left ( lambda {K} ^ {T} y + { sum} _ {i = 1} ^ {N} {F} _ {i} ^ {T} {f} _ {{ pi} _ {i}} left ({F} _ {i} x right) right)} { lambda { check {K}} ^ { text {*}} circ { check { K}} + { sum} _ {i = 1} ^ {N} { zkontrolovat {F}} _ {i} ^ { text {*}} circ { zkontrolovat {F}} _ {i} }} right rbrack = { mathrm { Omega}} ^ {- 1} eta}$ kde ${ displaystyle { mathcal {F}}}$ označuje diskrétní Fourierova transformace a ${ displaystyle F_ {x}}$ je 2D konvoluce ${ displaystyle { text {f}} další časy { text {x}}}$ s funkce rozložení bodů filtr, ${ displaystyle { breve {F}}}$ je funkce optického přenosu definovaná jako diskrétní Fourierova transformace ${ displaystyle { text {f}}}$, a ${ displaystyle { breve {F}} ^ { text {*}}}$ je komplexní konjugát ${ displaystyle { breve {F}}}$.

${ displaystyle { hat {x}} _ {t}}$ se učí jako ${ displaystyle { hat {x}} _ {t} = {g} _ {{ mathrm { Theta}} _ {t}} left ({ hat {x}} _ {t-1} že jo)}$ pro každou iteraci ${ displaystyle t}$ s původním případem ${ displaystyle { hat {x}} _ {0} = y}$, tvoří to kaskádu Gaussian podmíněná náhodná pole (nebo kaskáda smršťovacích polí (Mozkomíšní mozek)). Minimalizace ztrát se používá k učení parametrů modelu ${ displaystyle { mathrm { Theta}} _ {t} = { left lbrace { lambda} _ {t}, { pi} _ { mathit {ti}}, {f} _ { mathit {ti}} right rbrace} _ {i = 1} ^ {N}}$.

Funkce cíle učení je definována jako ${ displaystyle J left ({ mathrm { Theta}} _ {t} right) = { sum} _ {s = 1} ^ {S} l left ({ hat {x}} _ { t} ^ { left (s right)}; {x} _ {gt} ^ { left (s right)} right)}$, kde ${ displaystyle l}$ je rozlišitelný funkce ztráty který je chamtivě minimalizován pomocí tréninkových dat ${ displaystyle { left lbrace {x} _ {gt} ^ { left (s right)}, {y} ^ { left (s right)}, {k} ^ { left (s vpravo)} vpravo rbrace} _ {s = 1} ^ {S}}$ a ${ displaystyle { hat {x}} _ {t} ^ { vlevo (s vpravo)}}$.

Výkon

Předběžné testy autorem naznačují, že RTF₅^[1] získá o něco lepší výkon odšumění než ${ displaystyle { text {CSF}} _ {7 krát 7} ^ { left lbrace mathrm {3,4,5} right rbrace}}$, následován ${ displaystyle { text {CSF}} _ {5 krát 5} ^ {5}}$, ${ displaystyle { text {CSF}} _ {7 krát 7} ^ {2}}$, ${ displaystyle { text {CSF}} _ {5 krát 5} ^ { left lbrace mathrm {3,4} right rbrace}}$, a BM3D.

BM3D rychlost odšumování klesá mezi rychlostí ${ displaystyle { text {CSF}} _ {5 krát 5} ^ {4}}$ a ${ displaystyle { text {CSF}} _ {7 krát 7} ^ {4}}$, RTF je řádově pomalejší.

Výhody

• Výsledky jsou srovnatelné s výsledky získanými BM3D (odkaz na nejmodernější odšumění od jeho založení v roce 2007)
• Minimální doba běhu ve srovnání s jinými vysoce výkonnými metodami (potenciálně použitelné v rámci vestavěná zařízení )
• Paralelizovatelné (např .: možná implementace GPU)
• Předvídatelnost: ${ displaystyle O (D log D)}$ runtime kde ${ displaystyle D}$ je počet pixelů
• Rychlé školení i s CPU

Implementace

• Referenční implementace byla napsána v MATLAB a propuštěn pod BSD 2-klauzule licence: smršťovací pole

Viz také

• Náhodné pole
• Diskrétní Fourierova transformace
• Konvoluce
• Redukce hluku
• Deblurring

Reference

• Schmidt, Uwe; Roth, Stefan (2014). Smršťovací pole pro efektivní obnovu obrazu (PDF). Počítačové vidění a rozpoznávání vzorů (CVPR), konference IEEE 2014. Columbus, OH, USA: IEEE. doi:10.1109 / CVPR.2014.349. ISBN  978-1-4799-5118-5.