Optický tok - Optical flow

Optický tok zaznamenaný rotujícím pozorovatelem (v tomto případě mouchou). Směr a velikost optického toku v každém místě je reprezentován směrem a délkou každé šipky.

Optický tok nebo optický tok je vzor zjevného pohyb objektů, povrchů a hran ve vizuální scéně způsobených relativní pohyb mezi pozorovatelem a scénou.^[1]^[2] Optický tok lze také definovat jako distribuci zdánlivých rychlostí pohybu vzoru jasu v obraze.^[3] Koncept optického toku představil americký psycholog James J. Gibson ve čtyřicátých letech popsat vizuální podnět poskytovaný zvířatům pohybujícím se po světě.^[4] Gibson zdůraznil význam optického toku pro vnímání dotace schopnost rozlišit možnosti akce v prostředí. Následovníci Gibsona a jeho ekologický přístup k psychologii dále prokázali úlohu stimulu optického toku pro vnímání pohybu pozorovatelem na světě; vnímání tvaru, vzdálenosti a pohybu předmětů ve světě; a ovládání lokomoce.^[5]

Termín optický tok používají také robotici, zahrnující související techniky od zpracování obrazu a řízení navigace včetně detekce pohybu, segmentace objektů, čas do kontaktu, zaměření výpočtů roztažnosti, jas, kódování s kompenzací pohybu a měření stereo disparity.^[6]^[7]

Odhad

Sekvence seřazených obrazů umožňují odhad pohybu buď jako okamžité rychlosti obrazu, nebo jako diskrétní posunutí obrazu.^[7] Fleet a Weiss poskytují výukový úvod do gradientního optického toku.^[8]John L. Barron, David J. Fleet a Steven Beauchemin poskytují analýzu výkonu řady technik optického toku. Zdůrazňuje přesnost a hustotu měření.^[9]

Metody optického toku se pokoušejí vypočítat pohyb mezi dvěma obrazovými snímky, které jsou pořizovány občas t a ${ displaystyle t + Delta t}$ u každého voxel pozice. Tyto metody se nazývají diferenciální, protože jsou založeny na lokálních Taylor série aproximace obrazového signálu; to znamená, že používají parciální derivace s ohledem na prostorové a časové souřadnice.

Pro 2D +t rozměrný případ (3D nebo n-D případy jsou podobné) voxel v místě ${ displaystyle (x, y, t)}$ s intenzitou ${ displaystyle I (x, y, t)}$ se přesunul o ${ displaystyle Delta x}$ , ${ displaystyle Delta y}$ a ${ displaystyle Delta t}$ mezi dvěma rámečky obrázků a následující omezení stálosti jasu lze uvést:

{ displaystyle I (x, y, t) = I (x + Delta x, y + Delta y, t + Delta t)}

Za předpokladu, že pohyb bude malý, omezení obrazu na ${ displaystyle I (x, y, t)}$ s Taylor série lze vyvinout pro získání:

{ displaystyle I (x + Delta x, y + Delta y, t + Delta t) = I (x, y, t) + { frac { částečné I} { částečné x}} Delta x + { frac { částečné I} { částečné y}} Delta y + { frac { částečné I} { částečné t}} Delta t +}

podmínky vyššího řádu

Zkrácením podmínek vyššího řádu, linearizace, vyplývá, že:

{ displaystyle { frac { částečné I} { částečné x}} Delta x + { frac { částečné I} { částečné y}} Delta y + { frac { částečné I} { částečné t} } Delta t = 0}

nebo vydělením ${ displaystyle Delta t}$ ,

{ displaystyle { frac { částečné I} { částečné x}} { frac { Delta x} { Delta t}} + { frac { částečné I} { částečné y}} { frac { Delta y} { Delta t}} + { frac { částečné I} { částečné t}} { frac { Delta t} { Delta t}} = 0}

což má za následek

{ displaystyle { frac { částečné I} { částečné x}} V_ {x} + { frac { částečné I} { částečné y}} V_ {y} + { frac { částečné I} { částečné t}} = 0}

kde ${ displaystyle V_ {x}, V_ {y}}$ jsou ${ displaystyle x}$ a ${ displaystyle y}$ složky rychlosti nebo optického toku ${ displaystyle I (x, y, t)}$ a ${ displaystyle { tfrac { částečné I} { částečné x}}}$ , ${ displaystyle { tfrac { částečné I} { částečné y}}}$ a ${ displaystyle { tfrac { částečné I} { částečné t}}}$ jsou deriváty obrazu na ${ displaystyle (x, y, t)}$ v příslušných směrech. ${ displaystyle I_ {x}}$ , ${ displaystyle I_ {y}}$ a ${ displaystyle I_ {t}}$ lze pro deriváty napsat v následujícím textu.

Tím pádem:

{ displaystyle I_ {x} V_ {x} + I_ {y} V_ {y} = - I_ {t}}

nebo

{ displaystyle nabla I cdot { vec {V}} = - I_ {t}}

Toto je rovnice ve dvou neznámých a nelze ji jako tak vyřešit. Toto je známé jako problém clony algoritmů optického toku. K nalezení optického toku je zapotřebí další sada rovnic, daná určitým dalším omezením. Všechny metody optického toku zavádějí další podmínky pro odhad skutečného toku.

Metody stanovení

Fázová korelace - inverzní k normalizovanému křížovému výkonovému spektru
Blokové metody - minimalizace součtu čtvercových rozdílů nebo součet absolutních rozdílů nebo maximalizovat normalizované vzájemná korelace
Diferenciální metody odhadu optického toku založené na parciálních derivacích obrazového signálu a / nebo hledaném poli toku a parciálních derivacích vyššího řádu, jako jsou:
- Metoda Lucas – Kanade - týkající se obrazových záplat a afinního modelu pro tokové pole^[10]
- Horn – Schunckova metoda - optimalizace funkce na základě reziduí z omezení stálosti jasu a konkrétního regularizačního členu vyjadřujícího očekávanou plynulost pole proudění^[10]
- Buxton – Buxtonova metoda - na základě modelu pohybu hran v obrazových sekvencích^[11]
- Metoda Black – Jepson - hrubý optický tok pomocí korelace^[7]
- Všeobecné variační metody - řada modifikací / rozšíření Horn – Schunck s použitím dalších datových termínů a dalších termínů hladkosti.
Metody diskrétní optimalizace - prostor pro vyhledávání je kvantován a poté je přiřazení obrazu řešeno přiřazením štítku u každého pixelu, takže odpovídající deformace minimalizuje vzdálenost mezi zdrojem a cílovým obrazem.^[12] Optimální řešení je často obnoveno Věta o maximálním toku o minimálním řezu algoritmy, lineární programování nebo metody šíření víry.

Mnoho z nich se kromě současných nejmodernějších algoritmů vyhodnocuje na datové sadě Middlebury Benchmark.^[13]^[14]

Použití

Odhad pohybu a komprese videa se vyvinuly jako hlavní aspekt výzkumu optického toku. Zatímco optické tokové pole je povrchně podobné hustému pohybovému poli odvozenému z technik odhadu pohybu, optický tok je studiem nejen stanovení samotného optického tokového pole, ale také jeho použití při odhadu trojrozměrné povahy a struktura scény, stejně jako 3D pohyb objektů a pozorovatele vzhledem ke scéně, většina z nich pomocí obrázek Jacobian.

Optický tok používali vědci v robotice v mnoha oblastech, jako například: detekce objektů a sledování, extrakce dominantní roviny obrazu, detekce pohybu, navigace robota a vizuální odometrie.^[6] Informace o optickém toku byly uznány jako užitečné pro řízení mikro vzdušných vozidel.^[15]

Aplikace optického toku zahrnuje problém odvodit nejen pohyb pozorovatele a objektů ve scéně, ale také struktura předmětů a prostředí. Protože povědomí o pohybu a tvorba mentálních map struktury našeho prostředí jsou kritickými složkami zvířat (a lidí) vidění, přeměna této vrozené schopnosti na schopnost počítače je obdobně zásadní v oblasti strojové vidění.^[16]

Vektor optického toku pohybujícího se objektu ve videosekvenci.

Vezměme si klip s pěti snímky míče pohybující se od levé dolní části zorného pole doprava nahoru. Techniky odhadu pohybu mohou určit, že na dvourozměrné rovině se koule pohybuje nahoru a doprava a ze sekvence snímků lze extrahovat vektory popisující tento pohyb. Pro účely komprese videa (např. MPEG ), posloupnost je nyní popsána tak, jak je třeba. V oblasti strojového vidění je však otázka, zda se míč pohybuje doprava, nebo zda se pozorovatel pohybuje doleva, neznámou, přesto kritickou informací. I kdyby se v pěti rámečcích nacházelo statické, vzorované pozadí, mohli bychom s jistotou tvrdit, že se míč pohyboval doprava, protože vzor mohl mít nekonečnou vzdálenost od pozorovatele.

Optický snímač průtoku

Optický snímač průtoku je snímač zraku schopný měřit optický tok nebo vizuální pohyb a vydávat měření na základě optického toku. Existují různé konfigurace optických snímačů průtoku. Jednou z konfigurací je čip obrazového snímače připojený k procesoru naprogramovanému na spuštění algoritmu optického toku. Jiná konfigurace používá čip vidění, což je integrovaný obvod s oběma obrazový snímač a procesor na stejné matrici, což umožňuje kompaktní implementaci.^[17]^[18] Příkladem toho je obecný optický senzor myši používaný v optická myš. V některých případech mohou být procesní obvody implementovány pomocí analogových nebo smíšených signálních obvodů, které umožňují rychlý výpočet optického toku s minimální spotřebou proudu.

Jednou z oblastí současného výzkumu je použití neuromorfní inženýrství techniky implementace obvodů, které reagují na optický tok, a proto mohou být vhodné pro použití v optickém senzoru toku.^[19] Takové obvody mohou čerpat inspiraci z biologických nervových obvodů, které podobně reagují na optický tok.

Optické snímače průtoku se ve velké míře používají v počítačích optické myši, jako hlavní snímací komponenta pro měření pohybu myši po povrchu.

Optické snímače průtoku se také používají v robotika aplikace, zejména tam, kde je potřeba měřit vizuální pohyb nebo relativní pohyb mezi robotem a jinými objekty v jeho blízkosti. Využití optických snímačů průtoku v bezpilotní prostředky (UAV), pro stabilitu a vyhýbání se překážkám, je také oblastí současného výzkumu.^[20]

Viz také

Reference

^ Burton, Andrew; Radford, John (1978). Perspektiva myšlení: Kritické eseje ve studiu myšlenkových procesů. Routledge. ISBN 978-0-416-85840-2.
^ Warren, David H .; Strelow, Edward R. (1985). Elektronické prostorové snímání pro nevidomé: příspěvky z vnímání. Springer. ISBN 978-90-247-2689-9.
^ Horn, Berthold K.P .; Schunck, Brian G. (srpen 1981). "Určení optického toku" (PDF). Umělá inteligence. 17 (1–3): 185–203. doi:10.1016/0004-3702(81)90024-2. hdl:1721.1/6337.
^ Gibson, J.J. (1950). Vnímání vizuálního světa. Houghton Mifflin.
^ Royden, C. S .; Moore, K. D. (2012). Msgstr "Použití rychlých signálů při detekci pohybujících se objektů pohybujícími se pozorovateli". Vision Vision. 59: 17–24. doi:10.1016 / j.visres.2012.02.006. PMID 22406544. S2CID 52847487.
^ ^A ^b Aires, Kelson R. T .; Santana, Andre M .; Medeiros, Adelardo A. D. (2008). Optický tok pomocí barevných informací (PDF). ACM New York, NY, USA. ISBN 978-1-59593-753-7.
^ ^A ^b ^C Beauchemin, S. S .; Barron, J. L. (1995). Výpočet optického toku. ACM New York, USA.
^ Fleet, David J .; Weiss, Yair (2006). „Odhad optického toku“ (PDF). V Paragios, Nikos; Chen, Yunmei; Faugeras, Olivier D. (eds.). Příručka matematických modelů v počítačovém vidění. Springer. 237–257. ISBN 978-0-387-26371-7.
^ Barron, John L .; Fleet, David J. & Beauchemin, Steven (1994). „Výkon technik optického toku“ (PDF). International Journal of Computer Vision. 12: 43–77. CiteSeerX 10.1.1.173.481. doi:10.1007 / bf01420984. S2CID 1290100.
^ ^A ^b Zhang, G .; Chanson, H. (2018). „Aplikace metod místního optického toku na vysokorychlostní toky volným povrchem: ověřování a aplikace na stupňovité žlaby“ (PDF). Experimentální termální a fluidní věda. 90: 186–199. doi:10.1016 / j.expthermflusci.2017.09.010.
^ Glyn W. Humphreys a Vicki Bruce (1989). Vizuální poznání. Psychologie Press. ISBN 978-0-86377-124-8.
^ B. Glocker; N. Komodakis; G. Tziritas; N. Navab; N. Paragios (2008). Hustá registrace obrazu prostřednictvím MRF a efektivního lineárního programování (PDF). Lékařský obraz Analýza deník.
^ Baker, Simon; Scharstein, Daniel; Lewis, J. P .; Roth, Stefan; Black, Michael J .; Szeliski, Richard (březen 2011). "Databáze a metodika hodnocení optického toku". International Journal of Computer Vision. 92 (1): 1–31. doi:10.1007 / s11263-010-0390-2. ISSN 0920-5691. S2CID 316800.
^ Baker, Simon; Scharstein, Daniel; Lewis, J. P .; Roth, Stefan; Black, Michael J .; Szeliski, Richard. „Optický tok“. vision.middlebury.edu. Citováno 2019-10-18.
^ Barrows, G. L .; Chahl, J. S .; Srinivasan, M. V. (2003). „Biologicky inspirované vizuální snímání a řízení letu“. Aeronautical Journal. 107 (1069): 159–268. doi:10.1017 / S0001924000011891 (neaktivní 11. 11. 2020) - prostřednictvím Cambridge University Press.CS1 maint: DOI neaktivní od listopadu 2020 (odkaz)
^ Brown, Christopher M. (1987). Pokroky v počítačovém vidění. Lawrence Erlbaum Associates. ISBN 978-0-89859-648-9.
^ Moini, Alireza (2000). Vision Chips. Boston, MA: Springer USA. ISBN 9781461552673. OCLC 851803922.
^ Mead, Carver (1989). Analogové VLSI a neurální systémy. Reading, Mass .: Addison-Wesley. ISBN 0201059924. OCLC 17954003.
^ Stocker, Alan A. (2006). Analogové obvody VLSI pro vnímání vizuálního pohybu. Chichester, Anglie: John Wiley & Sons. ISBN 0470034882. OCLC 71521689.
^ Floreano, Dario; Zufferey, Jean-Christophe; Srinivasan, Mandyam V .; Ellington, Charlie, eds. (2009). Létající hmyz a roboti. Heidelberg: Springer. ISBN 9783540893936. OCLC 495477442.

externí odkazy

Nalezení toku optiky
Art of Optical Flow článek na fxguide.com (použití optického toku ve Visual Effects)
Vyhodnocení optického toku a sekvence pravdivosti země.
Middlebury Hodnocení optického toku a pozemní pravdivé sekvence.
mrf-registration.net - optický odhad toku přes MRF
Francouzská letecká laboratoř: GPU implementace optického toku založeného na Lucas-Kanade
Implementace CUDA autor: CUVI (CUDA Vision & Imaging Library)
Horn a Schunckův optický tok: Online demo a zdrojový kód metody Horn a Schunck
Optický tok TV-L1: Online demo a zdrojový kód Zacha et al. metoda
Robustní optický tok: Online demo a zdrojový kód Brox et al. metoda

[1] Burton, Andrew; Radford, John (1978). Perspektiva myšlení: Kritické eseje ve studiu myšlenkových procesů. Routledge. ISBN 978-0-416-85840-2.

[2] Warren, David H .; Strelow, Edward R. (1985). Elektronické prostorové snímání pro nevidomé: příspěvky z vnímání. Springer. ISBN 978-90-247-2689-9.

[3] Horn, Berthold K.P .; Schunck, Brian G. (srpen 1981). "Určení optického toku" (PDF). Umělá inteligence. 17 (1–3): 185–203. doi:10.1016/0004-3702(81)90024-2. hdl:1721.1/6337.

[4] Gibson, J.J. (1950). Vnímání vizuálního světa. Houghton Mifflin.

[5] Royden, C. S .; Moore, K. D. (2012). Msgstr "Použití rychlých signálů při detekci pohybujících se objektů pohybujícími se pozorovateli". Vision Vision. 59: 17–24. doi:10.1016 / j.visres.2012.02.006. PMID 22406544. S2CID 52847487.

[Kelson_R._T._Aires,_Andre_M._Santana,_Adelardo_A._D._Medeiros_2008-6] A ^b Aires, Kelson R. T .; Santana, Andre M .; Medeiros, Adelardo A. D. (2008). Optický tok pomocí barevných informací (PDF). ACM New York, NY, USA. ISBN 978-1-59593-753-7.

[S._S._Beauchemin_,_J._L._Barron_1995-7] A ^b ^C Beauchemin, S. S .; Barron, J. L. (1995). Výpočet optického toku. ACM New York, USA.

[8] Fleet, David J .; Weiss, Yair (2006). „Odhad optického toku“ (PDF). V Paragios, Nikos; Chen, Yunmei; Faugeras, Olivier D. (eds.). Příručka matematických modelů v počítačovém vidění. Springer. 237–257. ISBN 978-0-387-26371-7.

[9] Barron, John L .; Fleet, David J. & Beauchemin, Steven (1994). „Výkon technik optického toku“ (PDF). International Journal of Computer Vision. 12: 43–77. CiteSeerX 10.1.1.173.481. doi:10.1007 / bf01420984. S2CID 1290100.

[Zhang2018-10] A ^b Zhang, G .; Chanson, H. (2018). „Aplikace metod místního optického toku na vysokorychlostní toky volným povrchem: ověřování a aplikace na stupňovité žlaby“ (PDF). Experimentální termální a fluidní věda. 90: 186–199. doi:10.1016 / j.expthermflusci.2017.09.010.

[11] Glyn W. Humphreys a Vicki Bruce (1989). Vizuální poznání. Psychologie Press. ISBN 978-0-86377-124-8.

[12] B. Glocker; N. Komodakis; G. Tziritas; N. Navab; N. Paragios (2008). Hustá registrace obrazu prostřednictvím MRF a efektivního lineárního programování (PDF). Lékařský obraz Analýza deník.

[13] Baker, Simon; Scharstein, Daniel; Lewis, J. P .; Roth, Stefan; Black, Michael J .; Szeliski, Richard (březen 2011). "Databáze a metodika hodnocení optického toku". International Journal of Computer Vision. 92 (1): 1–31. doi:10.1007 / s11263-010-0390-2. ISSN 0920-5691. S2CID 316800.

[14] Baker, Simon; Scharstein, Daniel; Lewis, J. P .; Roth, Stefan; Black, Michael J .; Szeliski, Richard. „Optický tok“. vision.middlebury.edu. Citováno 2019-10-18.

[15] Barrows, G. L .; Chahl, J. S .; Srinivasan, M. V. (2003). „Biologicky inspirované vizuální snímání a řízení letu“. Aeronautical Journal. 107 (1069): 159–268. doi:10.1017 / S0001924000011891 (neaktivní 11. 11. 2020) - prostřednictvím Cambridge University Press.CS1 maint: DOI neaktivní od listopadu 2020 (odkaz)

[16] Brown, Christopher M. (1987). Pokroky v počítačovém vidění. Lawrence Erlbaum Associates. ISBN 978-0-89859-648-9.

[17] Moini, Alireza (2000). Vision Chips. Boston, MA: Springer USA. ISBN 9781461552673. OCLC 851803922.

[18] Mead, Carver (1989). Analogové VLSI a neurální systémy. Reading, Mass .: Addison-Wesley. ISBN 0201059924. OCLC 17954003.

[19] Stocker, Alan A. (2006). Analogové obvody VLSI pro vnímání vizuálního pohybu. Chichester, Anglie: John Wiley & Sons. ISBN 0470034882. OCLC 71521689.

[20] Floreano, Dario; Zufferey, Jean-Christophe; Srinivasan, Mandyam V .; Ellington, Charlie, eds. (2009). Létající hmyz a roboti. Heidelberg: Springer. ISBN 9783540893936. OCLC 495477442.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]