Zobrazování v super rozlišení - Super-resolution imaging

Zobrazování v super rozlišení (SR) je třída technik, které vylepšují (zvyšují) rozlišení z zobrazování Systém. v optický SR the difrakční limit v systému je překročen geometrický SR rozlišení digitálního zobrazovací senzory je vylepšena.

V některých radar a sonar zobrazovací aplikace (např. magnetická rezonance (MRI), počítačová tomografie s vysokým rozlišením ), podprostor metody založené na rozkladu (např. HUDBA[1]) a komprimované snímání - založené na algoritmech (např. SAMV[2]) se používají k dosažení SR nad standard periodogram algoritmus.

Obecně se používají zobrazovací techniky s vysokým rozlišením zpracování obrazu a v mikroskopie s vysokým rozlišením.

Základní pojmy

Vzhledem k tomu, že některé myšlenky týkající se superrozlišování vyvolávají zásadní problémy, je třeba na začátku prozkoumat příslušné fyzikální a informační teoretické principy:

  • Difrakční limit: Detail fyzického objektu, který může optický přístroj reprodukovat v obraze, má limity, které jsou nařízeny zákony fyziky, ať už jsou formulovány difrakce rovnice v vlnová teorie světla[3] nebo ekvivalentně princip nejistoty pro fotony v kvantová mechanika.[4] Za touto hranicí nelze nikdy zvýšit přenos informací, ale pakety mimo limity lze chytře vyměnit za (nebo multiplexovat) s některými uvnitř.[5] Jeden se ani tak „nerozbije“, než „obíhá“ difrakční limit. Nové postupy sondování elektromagnetických poruch na molekulární úrovni (v tzv. Blízkém poli)[6] zůstat plně v souladu s Maxwellovy rovnice.
    • Prostorofrekvenční doména: Stručné vyjádření difrakčního limitu je uvedeno v prostorové frekvenční doméně. v Fourierova optika distribuce světla jsou vyjádřeny jako superpozice řady mřížkových světelných vzorů v řadě šířek třásní, technicky prostorové frekvence. Obecně se učí, že difrakční teorie stanoví horní mez, mezní prostorovou frekvenci, za kterou se prvky vzoru nepodaří přenést do optického obrazu, tj. Nejsou vyřešeny. Ve skutečnosti je ale podle difrakční teorie stanovena šířka propustného pásma, nikoli pevná horní hranice. Žádné fyzikální zákony nejsou porušeny, když je prostorové frekvenční pásmo mimo mezní prostorovou frekvenci vyměněno za jedno uvnitř: toto je již dlouho implementováno v mikroskopie tmavého pole. Při překrývání několika pásem nejsou porušena ani informační teoretická pravidla,[7][8] jejich rozmotání do přijímaného obrazu vyžaduje předpoklady invariance objektů během více expozic, tj. nahrazení jednoho druhu nejistoty druhým.
  • Informace: Když se termín superrozlišení používá v technikách odvozování detailů objektů ze statistického zpracování obrazu v mezích standardního rozlišení, například při průměrování více expozic, zahrnuje výměnu jednoho druhu informací (extrakce signálu ze šumu) za jiný (předpoklad, že cíl zůstal neměnný).
  • Rozlišení a lokalizace: Skutečné rozlišení zahrnuje rozlišení, zda cíl, např. hvězda nebo spektrální čára, je jednoduchá nebo dvojitá, obvykle vyžaduje oddělitelné vrcholy v obraze. Když je známo, že cíl je jediný, jeho umístění lze určit s vyšší přesností než šířka obrazu, a to nalezením těžiště jeho rozložení světla obrazu. Slovo ultra-rozlišení bylo navrženo pro tento proces[9] ale nezachytilo se to a velmi přesný postup lokalizace se obvykle označuje jako superrozlišení.

Technické výdobytky zvyšování výkonu zobrazovacích a snímacích zařízení, které jsou nyní klasifikovány jako superrozlišovací, se využívají naplno, ale vždy zůstávají v mezích daných zákony fyziky a informační teorie.

Techniky, na které byl použit termín super rozlišení

Optické nebo difrakční super rozlišení

Nahrazení prostorových frekvenčních pásem: Ačkoli šířka pásma povolená difrakcí je pevná, lze ji umístit kdekoli v prostorovém frekvenčním spektru. Osvětlení tmavého pole v mikroskopii je příklad. Viz také syntéza clony.

S tím souvisí technika „strukturovaného osvětlení“ superrozlišení moaré vzory. Terč, pás jemných proužků (horní řada), je za hranicí difrakce. Když je pás poněkud hrubších rozložitelných třásní (druhá řada) uměle navrstven, kombinace (třetí řada) obsahuje moaré komponenty, které jsou v difrakčním limitu, a proto jsou obsaženy v obraze (spodní řádek), což umožňuje odvodit přítomnost jemných třásní, i když samy nejsou v obraze zastoupeny.

Multiplexování prostorových frekvenčních pásem

Obraz se vytváří pomocí normálního propustného pásma optického zařízení. Poté se na cíl umístí nějaká známá světelná struktura, například sada světelných proužků, která je také v propustném pásmu.[8] Obrázek nyní obsahuje komponenty, které jsou výsledkem kombinace cíle a superponované světelné struktury, např. moaré třásně, a nese informace o detailu cíle, které jednoduché nestrukturované osvětlení ne. „Superřešené“ komponenty je však třeba odhalit. Příklad najdete ve strukturovaném osvětlení (obrázek vlevo).

Použití více parametrů v rámci tradičního difrakčního limitu

Pokud cíl nemá žádné speciální vlastnosti polarizace nebo vlnové délky, lze ke kódování detailů cíle použít dva stavy polarizace nebo nepřekrývající se oblasti vlnové délky, jeden v pásmu prostorové frekvence uvnitř mezní hodnoty a druhý za ním. Oba by využívali normální přenos v pásmu, ale poté se samostatně dekódují, aby rekonstituovali cílovou strukturu s rozšířeným rozlišením.

Sondování elektromagnetického rušení blízkého pole

Obvyklá diskuse o super-rozlišení zahrnovala konvenční snímky objektu optickým systémem. Moderní technologie však umožňuje zkoumat elektromagnetické rušení v molekulárních vzdálenostech zdroje[6] který má vynikající vlastnosti rozlišení, viz také postupné vlny a vývoj nového Super objektiv.

Geometrické nebo obrazové super rozlišení

Ve srovnání s jediným obrazem poškozeným šumem během jeho pořizování nebo přenosu (vlevo), odstup signálu od šumu je vylepšena vhodnou kombinací několika samostatně získaných obrázků (vpravo). Toho lze dosáhnout pouze v rámci schopnosti vnitřního rozlišení zobrazovacího procesu odhalit takové podrobnosti.

Redukce šumu obrazu s více expozicemi

Když je obraz degradován šumem, může být v průměru mnoha expozic více podrobností, a to i v rámci difrakčního limitu. Viz příklad vpravo.

Odjehlování jednoho snímku

Hlavní článek: Deblurring

Známé vady v dané zobrazovací situaci, jako např rozostření nebo aberace, lze někdy zcela nebo zčásti zmírnit vhodným prostorově-frekvenčním filtrováním i jediného obrazu. Všechny tyto procedury zůstávají v pásmu s difrakčním mandátem a nerozšiřují jej.

Obě funkce se rozprostírají přes 3 pixely, ale v různých množstvích, což umožňuje jejich lokalizaci s přesností lepší než je rozměr pixelu.

Lokalizace subpixelového obrazu

Umístění jediného zdroje lze určit výpočtem „těžiště“ (těžiště ) distribuce světla přes několik sousedních pixelů (viz obrázek vlevo). Za předpokladu, že je dostatek světla, lze toho dosáhnout s libovolnou přesností, mnohem lepší než šířka pixelu detekčního zařízení a limit rozlišení pro rozhodnutí, zda je zdroj jednoduchý nebo dvojitý. Tato technika, která vyžaduje předpoklad, že veškeré světlo pochází z jednoho zdroje, je základem toho, co se stalo známé jako mikroskopie s vysokým rozlišením, např. stochastická optická rekonstrukční mikroskopie (STORM), kde fluorescenční sondy připojené k molekulám dávají nanoměřítku informace o vzdálenosti. Je to také mechanismus, který je základem vizuálu hyperacuity.[10]

Bayesiánská indukce za tradičním difrakčním limitem

Hlavní článek: Bayesovský závěr

O některých objektových prvcích, i když přesahují difrakční limit, může být známo, že jsou spojeny s jinými objektovými vlastnostmi, které jsou v mezích, a tudíž obsaženy v obrazu. Potom lze pomocí dostupných statistických metod vyvodit závěry z dostupných obrazových dat o přítomnosti celého objektu.[11] Klasickým příkladem je návrh Toraldo di Francia[12] posuzování, zda je obrazem jednoduché nebo dvojité hvězdy, určením, zda jeho šířka přesahuje šíření od jedné hvězdy. Toho lze dosáhnout při separacích hluboko pod hranicemi klasického rozlišení a vyžaduje předchozí omezení volby „jednoduché nebo dvojité?“

Přístup může mít podobu extrapolovat obraz ve frekvenční doméně, za předpokladu, že objekt je analytická funkce, a že můžeme přesně vědět funkce hodnoty v některých interval. Tato metoda je silně omezena všudypřítomným šumem v digitálních zobrazovacích systémech, ale může fungovat radar, astronomie, mikroskopie nebo magnetická rezonance.[13] Více nedávno, rychlý algoritmus super rozlišení s jediným obrazem založený na uzavřeném řešení byly navrženy a prokázány problémy, které by významně urychlily většinu stávajících Bayesovských metod superrozlišení.[14]

Aliasing

Geometrická rekonstrukce SR algoritmy jsou možné tehdy a jen tehdy, pokud byly vstupní obrázky s nízkým rozlišením nedostatečně vzorkovány, a proto obsahují aliasing. Kvůli tomuto aliasingu je vysokofrekvenční obsah požadovaného rekonstruovaného obrazu vložen do nízkofrekvenčního obsahu každého ze sledovaných obrazů. Vzhledem k dostatečnému počtu pozorovacích obrazů a pokud se množina pozorování liší ve své fázi (tj. Jsou-li obrazy scény posunuty o velikost dílčího pixelu), lze pomocí fázové informace oddělit aliasy s vysokou frekvencí obsah ze skutečného nízkofrekvenčního obsahu a obraz v plném rozlišení lze přesně rekonstruovat.[15]

V praxi se tento kmitočtový přístup nepoužívá k rekonstrukci, ale ani v případě prostorových přístupů (např. Fúze[16]), přítomnost aliasingu je stále nezbytnou podmínkou pro rekonstrukci SR.

Technické implementace

Existují varianty SR s jedním i více snímky. SR s více snímky používá dílčíposuny pixelů mezi více snímky stejné scény s nízkým rozlišením. Vytváří sloučené informace se zlepšeným rozlišením ze všech obrázků s nízkým rozlišením a vytvořené obrázky s vyšším rozlišením jsou lepším popisem scény. Metody SR s jedním snímkem se pokoušejí zvětšit obraz bez rozmazání. Tyto metody používají k odhadu, jak by měl obrázek ve vysokém rozlišení vypadat, jiné části obrázků s nízkým rozlišením nebo jiné nesouvisející obrázky. Algoritmy lze také rozdělit podle jejich domény: frekvence nebo vesmírná doména. Metody super rozlišení původně fungovaly dobře pouze u obrázků ve stupních šedi,[17] ale vědci našli způsoby, jak je přizpůsobit barevným fotoaparátům.[16] Nedávno bylo také ukázáno použití super-rozlišení pro 3D data.[18]

Výzkum

Existuje slibný výzkum používání hluboké konvoluční sítě provést superrozlišení.[19] Zejména byla prokázána práce ukazující transformaci 20x mikroskop obrázek pylových zrn do 1500x rastrovací elektronový mikroskop pomocí něj.[20] I když tato technika může zvýšit informační obsah obrázku, není zaručeno, že v původním obrazu a v rozšířeném měřítku existují funkce hluboké konvoluční upscalery by neměl být používán v analytických aplikacích s nejednoznačnými vstupy.

Viz také

Reference

  1. ^ Schmidt, R.O, „Multiple Emitter Location and Signal Parameter Estimation“, IEEE Trans. Antennas Propagation, sv. AP-34 (březen 1986), str. 276-280.
  2. ^ Abeida, Habti; Zhang, Qilin; Li, Jian; Merabtine, Nadjim (2013). „Iterativní řídké asymptotické přístupy založené na minimální variabilitě pro zpracování pole“ (PDF). Transakce IEEE při zpracování signálu. 61 (4): 933–944. arXiv:1802.03070. Bibcode:2013ITSP ... 61..933A. doi:10.1109 / tsp.2012.2231676. ISSN  1053-587X. S2CID  16276001.
  3. ^ Born M, Wolf E, Principy optiky, Cambridge Univ. Tisk, jakékoli vydání
  4. ^ Fox M, 2007 Kvantová optika Oxford
  5. ^ Zalevsky Z, Mendlovic D. 2003 Optické superrozlišení Springer
  6. ^ A b Betzig, E; Trautman, JK (1992). "Optika blízkého pole: mikroskopie, spektroskopie a povrchové úpravy nad difrakční limit". Věda. 257 (5067): 189–195. Bibcode:1992Sci ... 257..189B. doi:10.1126 / science.257.5067.189. PMID  17794749. S2CID  38041885.
  7. ^ Lukosz, W., 1966. Optické systémy s rozlišovací schopností přesahující klasický limit. J. opt. soc. Dopoledne. 56, 1463–1472.
  8. ^ A b Gustaffsson, M., 2000. Překročení limitu laterálního rozlišení o faktor dva pomocí strukturované osvětlovací mikroskopie. J. Microscopy 198, 82–87.
  9. ^ Cox, I.J., Sheppard, C.J.R., 1986. Informační kapacita a rozlišení v optickém systému. J.opt. Soc. Dopoledne. A 3, 1152–1158
  10. ^ Westheimer, G (2012). "Optické superrozlišení a vizuální hyperacuity". Prog Retin Eye Res. 31 (5): 467–80. doi:10.1016 / j.preteyeres.2012.05.001. PMID  22634484.
  11. ^ Harris, J.L., 1964. Řešení moci a rozhodování. J. opt. soc. Dopoledne. 54, 606–611.
  12. ^ Toraldo di Francia, G., 1955. Řešení moci a informací. J. opt. soc. Dopoledne. 45, 497–501.
  13. ^ D. Poot, B. Jeurissen, Y. Bastiaensen, J. Veraart, W. Van Hecke, P. M. Parizel a J. Sijbers, „Super-Resolution for Multislice Diffusion Tensor Imaging“, Magnetic Resonance in Medicine, (2012)
  14. ^ N. Zhao, Q. Wei, A. Basarab, N. Dobigeon, D. Kouamé a J-Y. Tourneret, "Rychlé superrozlišení jednoho obrázku pomocí nového analytického řešení pro problémy ", IEEE Trans. Image Process., 2016.
  15. ^ J. Simpkins, R.L. Stevenson, „An Introduction to Super-Resolution Imaging“. Matematická optika: klasická, kvantová a výpočetní metoda, Ed. V. Lakshminarayanan, M. Calvo a T. Alieva. CRC Press, 2012. 539-564.
  16. ^ A b S. Farsiu, D. Robinson, M. Elad a P. Milanfar, „Rychlé a robustní víceformátové super rozlišení, IEEE Transactions on Image Processing, sv. 13, č. 10, s. 1327–1344, říjen 2004.
  17. ^ P. Cheeseman, B. Kanefsky, R. Kraft a J. Stutz, 1994
  18. ^ S. Schuon, C. Theobalt, J. Davis a S. Thrun, "LidarBoost: Hloubkové superrozlišení pro skenování 3D tvaru ToF", Ve sborníku IEEE CVPR 2009
  19. ^ Johnson, Justin; Alahi, Alexandre; Fei-Fei, Li (26.03.2016). "Percepční ztráty při přenosu stylu v reálném čase a při super rozlišení". arXiv:1603.08155 [cs.CV ].
  20. ^ Grant-Jacob, James A; Mackay, Benita S; Baker, James AG; Xie, Yunhui; Heath, Daniel J; Loxham, Matthew; Eason, Robert W; Mills, Ben (2019-06-18). „Neurální čočka pro biologické zobrazování s vysokým rozlišením“. Journal of Physics: Communications. 3 (6): 065004. Bibcode:2019JPhCo ... 3f5004G. doi:10.1088 / 2399-6528 / ab267d. ISSN  2399-6528.

Další související práce