Výpočetní fotografie - Computational photography
Výpočetní fotografie označuje techniky digitalizace a zpracování digitálního obrazu, které místo optických procesů používají digitální výpočet. Výpočtová fotografie může zlepšit možnosti fotoaparátu nebo zavést funkce, které u filmové fotografie vůbec nebyly možné, nebo snížit náklady nebo velikost prvků fotoaparátu. Mezi příklady výpočetní fotografie patří digitální výpočet ve fotoaparátu panoramata,[6] obrázky s vysokým dynamickým rozsahem, a kamery pro světelné pole. Kamery pro světelné pole používají nové optické prvky k zachycení trojrozměrných informací o scéně, které pak mohou být použity k lepšímu vytváření 3D obrazů hloubka pole a selektivní rozostření (nebo „post focus“). Vylepšená hloubka ostrosti snižuje potřebu mechaniky se zaměřením systémy. Všechny tyto funkce používají výpočetní zobrazovací techniky.
Definice výpočetní fotografie se vyvinula tak, aby pokrývala řadu oblastí předmětu v počítačová grafika, počítačové vidění a aplikovánoptika. Níže jsou uvedeny tyto oblasti uspořádané podle taxonomického návrhu, který navrhl Shree K. Nayar[Citace je zapotřebí ]. V každé oblasti je seznam technik a u každé techniky je citován jeden nebo dva reprezentativní články nebo knihy. Z thetaxonomie jsou záměrně vynechány zpracování obrazu (viz také digitální zpracování obrazu ) techniky aplikované na tradičně pořízené obrázky za účelem získání lepších obrazů. Příklady takových technik jsouzměna měřítka obrazu, komprese dynamického rozsahu (tj. mapování tónů ),správa barev, doplnění obrazu (také malování nebo vyplňování otvorů),komprese obrazu, digitální vodoznak a umělecké obrazové efekty. Vynechány jsou také techniky, které vytvářejí rozsah dat,objemová data, 3D modely, 4D světelná pole, 4D, 6D nebo 8D BRDF nebo jiné vysoce dimenzionální obrazové reprezentace. Epsilon Photography je podoblast výpočetní fotografie.
Vliv na fotografii
Fotografie pořízené pomocí výpočetní fotografie mohou amatérům umožnit vytvářet fotografie, které konkurují kvalitě profesionálních fotografů, ale v současné době nepřekonávají využití vybavení na profesionální úrovni.[7]
Výpočetní osvětlení
Jedná se o řízení fotografického osvětlení strukturovaným způsobem, poté zpracování zachycených snímků za účelem vytvoření nových snímků. Mezi aplikace patří opětovné osvětlení obrazu, vylepšení obrazu, odhrotování obrazu, geometrie / využití materiálu atd.
Zobrazování s vysokým dynamickým rozsahem využívá k rozšíření dynamického rozsahu různě exponované obrázky stejné scény.[8] Mezi další příklady patří zpracování a sloučení různě osvětlených obrazů stejného předmětu („světelný prostor“).
Výpočetní optika
Jedná se o zachycení opticky kódovaných obrazů, po kterém následuje výpočetní dekódování k vytvoření nových obrazů.Kódovaná clona zobrazování bylo používáno hlavně v astronomii nebo rentgenovém zobrazování ke zvýšení kvality obrazu. Namísto jediné kolíkové díry se při zobrazování použije vzor dírky a dekonvoluce se provádí k obnovení obrazu.[9] v kódované zobrazení expozice, je stav zapnutí / vypnutí závěrky kódován tak, aby upravoval jádro rozostření pohybu.[10] Tímto způsobem se z odhrotování pohybu stává dobře podmíněný problém. Podobně v kódované cloně založené na čočce lze clonu upravit vložením a širokopásmová maska.[11] Rozostření se tak ze zaostření stane dobře podmíněným problémem. Kódovaná clona může také zlepšit kvalitu získávání světelného pole pomocí Hadamardovy transformační optiky.
Kódované vzory clony lze také navrhnout pomocí barevných filtrů, aby bylo možné použít různé kódy na různých vlnových délkách.[12][13] To umožňuje zvýšit množství světla, které dopadá na senzor kamery, ve srovnání s binárními maskami.
Výpočetní zobrazování
Výpočetní zobrazování je sada zobrazovacích technik, které kombinují získávání dat a zpracování dat a vytvářejí obraz objektu nepřímými prostředky za účelem získání vylepšené rozlišení, další informace, jako je optická fáze nebo 3D rekonstrukce. Informace se často zaznamenávají bez použití a konfigurace konvenčního optického mikroskopu nebo s omezenými datovými sadami.
Výpočetní zobrazování umožňuje překonat fyzická omezení optických systémů, jako jsou numerická clona,[14] nebo dokonce vyhlazuje potřebu optické prvky.[15]
Pro části optické spektrum kde je obtížné vyrobit zobrazovací prvky, jako jsou objektivy, nebo obrazové senzory nelze miniaturizovat, výpočetní zobrazování poskytuje užitečné alternativy v oblastech, jako je Rentgen[16] a THz záření.
Běžné techniky
Mezi běžné výpočetní zobrazovací techniky patří zobrazování bez čoček, výpočetní skvrnité zobrazování,[17] ptychografie a Fourierova ptychografie.
Výpočetní zobrazovací technika často čerpá kompresivní snímání nebo načítání fáze techniky, kdy se rekonstruuje úhlové spektrum objektu. Další techniky se vztahují k oblasti výpočetního zobrazování, jako např digitální holografie, počítačové vidění a inverzní problémy jako tomografie.
Výpočetní zpracování
Jedná se o zpracování neopticky kódovaných obrázků za účelem vytvoření nových obrázků.
Výpočtové senzory
Jedná se o detektory, které kombinují snímání a zpracování, obvykle v hardwaru, jako je převzorkovaný binární obrazový snímač.
Počáteční práce v oblasti počítačového vidění
Přestože je výpočetní fotografie v současné době populární slovo v počítačové grafice, mnoho z těchto technik se poprvé objevilo v literatuře o počítačovém vidění, a to buď pod jinými názvy, nebo v dokumentech zaměřených na analýzu 3D tvarů.
Historie umění


Výpočetní fotografie jako umělecká forma byla praktikována pořizováním různě exponovaných obrazů stejného předmětu a jejich kombinováním. To byla inspirace pro rozvoj přenosný počítač v 70. a začátku 80. let. Výpočetní fotografie byla inspirována prací Charles Wyckoff, a tedy datové sady výpočetní fotografie (např. různě exponované obrázky stejného předmětu, které jsou pořízeny za účelem vytvoření jediného kompozitního obrazu) se na jeho počest někdy označují jako Wyckoff Sets.
Rané práce v této oblasti (společný odhad projekce obrazu a hodnoty expozice) podnikli Mann a Candoccia.
Charles Wyckoff věnoval velkou část svého života tvorbě speciálních druhů třívrstvých fotografických filmů, které zachytávaly různé expozice stejného tématu. Na obálce se objevil snímek jaderného výbuchu pořízený na Wyckoffově filmu Life Magazine a ukázal dynamický rozsah od tmavých vnějších oblastí po vnitřní jádro.
Viz také
- Adaptivní optika
- Multispektrální zobrazování
- Simultánní lokalizace a mapování
- Mikroskopie s vysokým rozlišením
- Kamera pro čas letu
Reference
- ^ Steve Mann. „Compositing Multiple Pictures of the Same Scene“, Sborník 46. výroční konference o zobrazovacích vědách a technologiích, 9. – 14. Května, Cambridge, Massachusetts, 1993
- ^ S. Mann, C. Manders a J. Fung, "Rovnice omezení světelného prostoru (LCCE) s praktickou aplikací pro odhad projektivity + transformace zisku mezi více obrázky stejného předmětu „Mezinárodní konference IEEE o akustice, řeči a zpracování signálu, 6. – 10. Dubna 2003, s. III - 481-4 sv. 3.
- ^ společný odhad parametrů jak v doméně, tak v rozsahu funkcí na stejné oběžné dráze skupiny projektivní-Wyckoff „“, IEEE International Conference on Image Processing, Vol.3, 16-19, pp.193-196 September 1996
- ^ Frank M. Candocia: Společná registrace obrázků v doméně a rozsahu po částech lineární srovnávací analýzou. Transakce IEEE na zpracování obrazu 12 (4): 409-419 (2003)
- ^ Frank M. Candocia: Simultánní homografické a srovnávací zarovnání několika snímků stejné expozice upravených z hlediska expozice. Transakce IEEE na zpracování obrazu 12 (12): 1485-1494 (2003)
- ^ Steve Mann a R. W. Picard. "Virtuální měchy: vytváření vysoce kvalitních fotografií z videa. “, Ve sborníku z první mezinárodní konference IEEE o zpracování obrazu Austin, Texas, 13. – 16. Listopadu 1994
- ^ „The Edge of Computational Photography“.
- ^ O BÝT „NEDIGITÁLNÍ“ S DIGITÁLNÍMI FOTOAPARÁTY: ROZŠÍŘENÍ DYNAMICKÉHO ROZSAHU KOMBINOVÁNÍM RŮZNÝCH EXPOZICNÍCH OBRAZŮ, 48. výroční konference IS & T (Society for Imaging Science and Technology), Cambridge, Massachusetts, květen 1995, strany 422-428
- ^ Martinello, Manuel. „Zobrazování kódované clony“ (PDF).
- ^ Raskar, Ramesh; Agrawal, Amit; Tumblin, Jack (2006). „Kodované expoziční fotografie: Odkrytí pohybu pomocí rozmazané závěrky“. Citováno 29. listopadu 2010.
- ^ Veeraraghavan, Ashok; Raskar, Ramesh; Agrawal, Amit; Mohan, Ankit; Tumblin, Jack (2007). „Dappled Photography: Mask Enhanced Cameras for Heterodyned Light Fields and Coded Aperture Refocusing“. Citováno 29. listopadu 2010.
- ^ Martinello, Manuel; Wajs, Andrew; Quan, Shuxue; Lee, Hank; Lim, Chien; Woo, Taekun; Lee, Wonho; Kim, Sang-Sik; Lee, David (2015). „Fotografie s dvojitou clonou: obraz a hloubka z mobilního fotoaparátu“ (PDF). Mezinárodní konference o počítačové fotografii.
- ^ Chakrabarti, A .; Zickler, T. (2012). „Hloubka a odhrotování ze spektrálně se měnící hloubky ostrosti“. IEEE Evropská konference o počítačovém vidění. 7576: 648–666.
- ^ Ou a kol., „Fourierova ptychografie s vysokou numerickou aperturou: princip, implementace a charakterizace“Optics Express 23, 3 (2015)
- ^ Boominathan a kol., „Lensless Imaging: A Computational Renaissance“[trvalý mrtvý odkaz ] (2016)
- ^ Miyakawa a kol., „Detektor kódované clony: obrazový snímač s rozlišením pixelů pod 20 nm“, Optika Express 22, 16 (2014)
- ^ Katz a kol., „Neinvazivní jednorázové zobrazování rozptylujícími se vrstvami a kolem rohů pomocí skvrnitých korelací“, Nature Photonics 8, 784–790 (2014)
externí odkazy
- Nayar, Shree K. (2007). „Výpočetní kamery“, Konference o aplikacích strojového vidění.
- Výpočetní fotografie (Raskar, R., Tumblin, J.,), A.K. Peters. V tisku.
- Zvláštní vydání o výpočetní fotografii, IEEE Computer, srpen 2006.
- Kultura fotoaparátu a výpočetní žurnalistika: Zachycování a sdílení vizuálních zkušeností „Zvláštní vydání IEEE CG&A, únor 2011.
- Rick Szeliski (2010), Počítačové vidění: Algoritmy a aplikace Springer.
- Výpočetní fotografie: metody a aplikace (Ed. Rastislav Lukac), CRC Press, 2010.
- Inteligentní zpracování obrazu (John Wiley and Sons informace o knize).
- Srovnávací rovnice.
- GJB-1: Zvýšení dynamického rozsahu digitálního fotoaparátu pomocí Wyckoffova principu
- Příklady nositelné výpočetní fotografie jako umělecké formy
- Kurz Siggraph ve výpočetní fotografii