Oblíbené zobrazení - Foveated imaging

Komprese 16: 1. Foveatovaný obraz s fixačním bodem u sochy Stephena F. Austina.

Oblíbené zobrazení je digitální zpracování obrazu technika, při které rozlišení obrazu, nebo množství detailů, se liší napříč obraz podle jednoho nebo více „fixačních bodů“. Bod fixace označuje oblast s nejvyšším rozlišením obrazu a odpovídá středu oko je sítnice, fovea.

Umístění fixačního bodu lze určit mnoha způsoby. Například při prohlížení obrázku na a počítačový monitor, lze určit fixaci pomocí a ukazovátko, jako počítačová myš.Sledovače očí které přesně měří polohu a pohyb oka se také běžně používají k určení fixačních bodů v experimentech vnímání.[1][2]Když je displej manipulován pomocí sledování očí, je to známé jako podmíněný pohled.[3]Opravy lze také určit automaticky pomocí počítačové algoritmy.[4][5]

Některé běžné aplikace foveatovaného zobrazování zahrnují hardware zobrazovacího senzoru[6] a komprese obrazu.[7] Popis těchto a dalších aplikací najdete v seznamu níže.

Foveační zobrazování se také běžně označuje jako zobrazování vesmírných variant nebo podmíněné zobrazování pohledu.

Aplikace

Špičkové zobrazování pro progresivní přenos

Komprese

Citlivost kontrastu dramaticky odpadává, když se člověk pohybuje ze středu sítnice na periferii.[8][9]v ztrátová komprese obrazu, je možné tuto skutečnost využít ke kompaktnímu kódování obrázků. Pokud znáte přibližný bod pohledu diváka, můžete snížit množství informací obsažených v obraze, jak se zvyšuje vzdálenost od bodu pohledu. Protože pokles rozlišení oka je dramatický, může být potenciální snížení zobrazovacích informací podstatné. Foveační kódování lze také aplikovat na obraz před aplikací jiných typů komprese obrazu, a proto může vést k multiplikativní redukci.

Foveated senzory

Foveated senzory jsou hardwarová zařízení s více řešeními, která umožňují shromažďování obrazových dat s vyšším rozlišením koncentrovaným v místě fixace. Výhodou použití hardwaru foveated sensor je to, že shromažďování a kódování obrazu může probíhat mnohem rychleji než v systému, který v softwaru dodatečně zpracovává obraz s vysokým rozlišením.[10]

Simulace

Foveační zobrazování bylo použito k simulaci vizuálních polí s libovolným prostorovým rozlišením. Například lze prezentovat video obsahující rozmazanou oblast představující a skotom. Použitím sledování očí a udržením rozmazané oblasti pevně vzhledem k pohledu diváka bude mít divák vizuální zážitek podobný zážitku osoby se skutečným skotomem. Obrázek vpravo ukazuje snímek ze simulace pacienta s glaukomem s okem fixovaným na slovo „podobné“.

Video hry

Vylepšené vykreslování je nadcházející video hra technika, která používá sledování očí integrovaný s a sluchátka s virtuální realitou snížit pracovní vytížení vykreslování výrazným snížením kvality obrazu v periferní vidění (mimo zónu sledovanou fovea ).[11]

Na CES 2016, SensoMotoric Instruments (SMI) předvedl nový systém sledování očí 250 Hz a funkční řešení vykreslení vykreslení. Výsledkem bylo partnerství s výrobcem kamerových senzorů Omnivision kdo poskytl hardware kamery pro nový systém.[12]

Hodnocení kvality

Foveační zobrazování může být užitečné při zajišťování subjektivního měření kvality obrazu.[13] Tradiční měřítka kvality obrazu, jako např špičkový poměr signálu k šumu, se obvykle provádějí na obrázcích s pevným rozlišením a nezohledňují některé aspekty lidského vizuálního systému, jako je změna prostorového rozlišení napříč sítnicí. Zvýrazněný index kvality proto může přesněji určovat kvalitu obrazu vnímanou lidmi.

Načítání databáze obrázků

V databázích, které obsahují obrázky s velmi vysokým rozlišením, například a satelitní snímek databáze, může být žádoucí interaktivně načítat obrázky, aby se zkrátila doba načítání. Foveated imaging umožňuje skenovat obrázky s nízkým rozlišením a načítat pouze části s vysokým rozlišením, jak jsou potřeba. Toto se někdy nazývá progresivní přenos.

Ukázkové obrázky

  • Různé foveated obrázky

  • Obrázek s foveatovaným kanálem jasu

  • Foveatovaný obraz s fixací vybranou pomocí algoritmu minimalizace entropie

  • Foveativní zobrazování jako kompresní technika

  • Komprese 18: 1. Oblíbený obraz s fixačním bodem na náhrobku.

Viz také

Reference

  1. ^ McConkie G W a Rayner K (1975) Rozsah účinného stimulu během fixace ve čtení, Perception & Psychophysics, 17, 578–86
  2. ^ Loschky, L.C. & Wolverton, GS (2007). Jak pozdě můžete aktualizovat Ging-kontingentní displeje s více rozlišeními bez detekce? Transakce ACM v oblasti multimediálních výpočtů, komunikace a aplikací, 3 (4): 25, 1-10.
  3. ^ Duchowski, A. T., Cournia, N. a Murphy, H. 2004. Gaze-Contingent displays: A review. Cyberpsychol. Chovat se. 7, 6, 621--634.
  4. ^ Z. Wang, L. Lu a A. C. Bovik, „Foveation scalable video coding with automatic fixation selection,“ IEEE Trans. o zpracování obrazu, sv. 12, č. 2, únor 2003.
  5. ^ R. G. Raj, W. S. Geisler, R. A. Frazor, A. C. Bovik, „Statistika kontrastu pro foveativní vizuální systémy: Výběr fixace minimalizací kontrastní entropie“, Journal of the Optical Society of America.
  6. ^ J.A. Boluda, F. Pardo, T. Kayser, J.J. P'erez a J. Pelechano. Nová foveatovaná vesmírná kamera pro robotické aplikace. V IEEE, International Conference on Electronics Circuits And Systems, ICECS'96, Rodos, Řecko, říjen 1996.
  7. ^ Geisler, W.S. a Perry, J.S. (1998) Systém s více rozlišeními v reálném čase pro video komunikaci s malou šířkou pásma. In B. Rogowitz a T. Pappas (Eds.), Human Vision and Electronic Imaging, SPIE Proceedings, 3299, 294-305.
  8. ^ Wandell, Brian A. (1995) Foundations of Vision. ISBN  0-87893-853-2 . str. 236
  9. ^ Barghout-Stein, Lauren. O rozdílech mezi periferním a foveálním maskováním vzoru. Diss. University of California, Berkeley, 1999.
  10. ^ Marc Bolduc, Martin D. Levine. Foveated senzor v reálném čase s překrývajícími se vnímavými poli. Červen 1997, Real-Time Imaging, svazek 3, vydání 3
  11. ^ Parrish, Kevin (2016-07-22). „Nvidia plánuje dokázat, že nová metoda zlepšuje kvalitu obrazu ve virtuální realitě“. Digitální trendy. Citováno 2017-02-02.
  12. ^ Mason, Will (2016-01-15). „Sledování a 250fázové sledování očí SMI jsou skutečné a náklady vás mohou překvapit“. NahrátVR. Citováno 2017-02-02.
  13. ^ Z. Wang, A. C. Bovik, L. Lu a J. Kouloheris, „Index kvality obrazu vlnovky,“ 46. výroční zasedání SPIE, Proc. SPIE, Aplikace digitálního zpracování obrazu XXIV, sv. 4472, červenec-srpen 2001.

externí odkazy