Deep Image Prior - Deep Image Prior

Tento článek má několik problémů. Prosím pomozte vylepši to nebo diskutovat o těchto otázkách na internetu diskusní stránka. (Zjistěte, jak a kdy tyto zprávy ze šablony odebrat) tento článek může být pro většinu čtenářů příliš technická na to, aby je pochopili. Prosím pomozte to vylepšit na aby to bylo srozumitelné pro neodborníky, aniž by byly odstraněny technické podrobnosti. (Ledna 2018) (Zjistěte, jak a kdy odstranit tuto zprávu šablony) Téma tohoto článku nemusí splňovat požadavky Wikipedie obecný pokyn k notabilitě. Pomozte prosím určit notabilitu citováním spolehlivé sekundární zdroje to jsou nezávislý tématu a poskytnout jeho významné pokrytí nad rámec pouhé triviální zmínky. Pokud nelze určit významnost, je pravděpodobné, že článek bude sloučeny, přesměrovánnebo smazáno. Najít zdroje: „Deep Image Prior“  – zprávy  · noviny  · knihy  · učenec  · JSTOR (Dubna 2018) (Zjistěte, jak a kdy odstranit tuto zprávu šablony) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

Deep Image Prior je typ konvoluční neuronová síť slouží k vylepšení daného obrazu bez předchozích tréninkových dat, kromě samotného obrazu. Neuronová síť je náhodně inicializována a použita jako před řešením inverzní problémy jako redukce hluku, super rozlišení, a malování. Statistika obrazu je zachycena spíše strukturou generátoru konvolučních obrazů, než jakoukoli dříve naučenou schopností.

Metoda

Pozadí

Inverzní problémy jako redukce hluku, super rozlišení, a malování lze formulovat jako optimalizační úkol ${ displaystyle x ^ {*} = min_ {x} E (x; x_ {0}) + R (x)}$, kde ${ displaystyle x}$ je obrázek, ${ displaystyle x_ {0}}$ poškozená reprezentace tohoto obrázku, ${ displaystyle E (x; x_ {0})}$ je datový termín závislý na úkolu a R (x) je regulátor. To vytváří problém s minimalizací energie.

Hluboké neuronové sítě naučit se generátor / dekodér ${ displaystyle x = f _ { theta} (z)}$ který mapuje náhodný vektor kódu ${ displaystyle z}$ na obrázek ${ displaystyle x}$.

Metoda poškození obrazu použitá ke generování ${ displaystyle x_ {0}}$ je vybrán pro konkrétní aplikaci.

Specifika

V tomto přístupu je ${ displaystyle R (x)}$ prior je nahrazen implicitním priorem zachyceným neurální sítí (kde ${ displaystyle R (x) = 0}$ pro obrázky, které mohou být vytvořeny a hluboké neuronové sítě a ${ displaystyle R (x) = + infty}$ v opačném případě). Tím se získá rovnice pro minimalizátor ${ displaystyle theta ^ {*} = argmin _ { theta} E (f _ { theta} (z); x_ {0})}$ a výsledek procesu optimalizace ${ displaystyle x ^ {*} = f _ { theta ^ {*}} (z)}$.

Minimalizátor ${ displaystyle theta ^ {*}}$ (obvykle a klesání ) začíná od náhodně inicializovaných parametrů a sestupuje do nejlepšího místního výsledku, čímž se získá ${ displaystyle x ^ {*}}$ restaurátorská funkce.

Overfitting

Parametr θ lze použít k obnovení jakéhokoli obrazu, včetně jeho šumu. Síť se však zdráhá zachytit šum, protože obsahuje vysokou impedanci, zatímco užitečný signál nabízí nízkou impedanci. Výsledkem je, že parametr θ se blíží dobře vypadajícímu místní optimum tak dlouho, dokud počet iterací v procesu optimalizace zůstane dostatečně nízký na to overfit data.

Aplikace

Odšumění

Princip odšumění je obnovit obrázek ${ displaystyle x}$ z hlučného pozorování ${ displaystyle x_ {0}}$, kde ${ displaystyle x_ {0} = x + epsilon}$. Distribuce ${ displaystyle epsilon}$ je někdy známý (např .: profilovací senzor a fotonový šum^[1]) a mohou být volitelně začleněny do modelu, i když tento proces funguje dobře při slepém odšumění.

Kvadratická energetická funkce ${ displaystyle E (x, x_ {0}) = || x-x_ {0} || ^ {2}}$ se používá jako datový termín, zapojením do rovnice pro ${ displaystyle theta ^ {*}}$ přináší problém s optimalizací ${ displaystyle min _ { theta} || f _ { theta} (z) -x_ {0} || ^ {2}}$.

Super rozlišení

Super rozlišení se používá ke generování verze obrazu x s ​​vyšším rozlišením. Datový termín je nastaven na ${ displaystyle E (x; x_ {0}) = || d (x) -x_ {0} || ^ {2}}$ kde d (·) je a operátor převzorkování jako Lanczos která decimuje obraz faktorem t.

Malování

Malování se používá k rekonstrukci chybějící oblasti v obraze ${ displaystyle x_ {0}}$. Tyto chybějící pixely jsou definovány jako binární maska ${ displaystyle m in {0,1 } ^ {H krát V}}$. Datový termín je definován jako ${ displaystyle E (x; x_ {0}) = || (x-x_ {0}) odot m || ^ {2}}$ (kde ${ displaystyle odot}$ je Produkt Hadamard ).

Rekonstrukce blesku bez blesku

Tento přístup lze rozšířit na více obrázků. Přímým příkladem, který autor zmínil, je rekonstrukce obrazu za účelem získání přirozeného světla a jasnosti z dvojice blesk-ne-blesk. Rekonstrukce videa je možná, ale vyžaduje zohlednění prostorových rozdílů optimalizací.

Implementace

• Přepsána referenční implementace Python 3.6 s PyTorch 0.4.0 Knihovna byla vydána autorem pod Apache 2.0 licence: deep-image-prior ^[2]
• A TensorFlow implementace na základě napsaná v Python 2 a propuštěn pod CC-SA 3.0 licence: deep-image-prior-tensorflow
• A Keras implementace na základě napsaná v Python 2 a propuštěn pod GPLv3: machine_learning_denoising

Reference

• Uljanov, Dmitrij; Vedaldi, Andrea; Lempitsky, Victor (30. listopadu 2017). "Priorita hlubokého obrazu". arXiv:1711.10925v2.