Vizuální odometrie - Visual odometry - Wikipedia

The optický tok vektor pohybujícího se objektu ve videosekvenci.

v robotika a počítačové vidění, vizuální odometrie je proces určování polohy a orientace robota analýzou souvisejících obrazů z kamery. Používá se v nejrůznějších robotických aplikacích, například na internetu Mars Exploration Rovers.[1]

Přehled

v navigace, odometrie je použití dat z pohybu akčních členů k odhadu změny polohy v čase prostřednictvím zařízení, jako je rotační enkodéry měřit otáčky kol. I když je to užitečné pro mnoho kolových nebo pásových vozidel, nelze na ně použít tradiční odometrické techniky mobilní roboti s nestandardními metodami lokomoce, jako např nožní roboti. Kromě toho odometrie obecně trpí problémy s přesností, protože kola mají tendenci klouzat a klouzat po podlaze a vytvářet nerovnoměrnou ujetou vzdálenost ve srovnání s rotací kol. Chyba se umocňuje, když vozidlo pracuje na nerovném povrchu. Odeometrické hodnoty jsou čím dál nespolehlivější, protože se tyto chyby hromadí a časem se sčítají.

Vizuální odometrie je proces určování ekvivalentních informací o odometrii pomocí sekvenčních kamerových odhadů ujeté vzdálenosti. Vizuální odometrie umožňuje zvýšenou přesnost navigace u robotů nebo vozidel využívajících jakýkoli typ lokomoce na jakémkoli povrchu.

Typy

Existují různé typy VO.

Monokulární a stereofonní

V závislosti na nastavení kamery lze VO kategorizovat jako Monocular VO (jedna kamera), Stereo VO (dvě kamera ve stereofonním nastavení).

VIO je široce používán v komerčních kvadrokoptérách, které zajišťují lokalizaci v situacích s odepřením GPS

Přímá metoda založená na vlastnostech

Tradiční vizuální informace VO se získávají metodou založenou na vlastnostech, která extrahuje body funkcí obrazu a sleduje je v sekvenci obrázků. Nedávný vývoj ve výzkumu VO poskytl alternativu nazvanou přímá metoda, která využívá intenzitu pixelů v sekvenci obrazu přímo jako vizuální vstup. Existují také hybridní metody.

Vizuální setrvačná odometrie

Pokud setrvačná měrná jednotka (IMU) se používá v systému VO, běžně se označuje jako Visual Inertial Odometry (VIO).

Algoritmus

Většina stávajících přístupů k vizuální odometrii je založena na následujících fázích.

  1. Získávání vstupních obrázků: pomocí obou jednotlivé kamery.,[2][3] stereokamery,[3][4] nebo všesměrové kamery.[5][6]
  2. Oprava obrazu: použít zpracování obrazu techniky odstraňování zkreslení objektivu atd.
  3. Detekce funkcí: definujte operátory zájmu a porovnávejte prvky napříč snímky a vytvářejte optický tok pole.
    1. K určení použijte korelaci korespondence dvou obrázků, a to dlouhodobě sledování funkcí.
    2. Extrakce funkcí a korelace.
    3. Vytvořte optické tokové pole (Metoda Lucas – Kanade ).
  4. Zkontrolujte vektory tokového pole, zda neobsahují potenciální chyby sledování, a odstraňte odlehlé hodnoty.[7]
  5. Odhad pohybu kamery z optického toku.[8][9][10][11]
    1. Volba 1: Kalmanův filtr pro údržbu odhadu stavu odhadu.
    2. Volba 2: Najděte geometrické a 3D vlastnosti prvků, které minimalizují a nákladová funkce na základě chyby re-projekce mezi dvěma sousedními obrazy. Toho lze dosáhnout matematickou minimalizací nebo náhodný výběr.
  6. Periodická repopulace traťových bodů k udržení pokrytí celého obrazu.

Alternativou k metodám založeným na vlastnostech je „vizuální“ technika vizuální odometrie založená na vzhledu, která minimalizuje chybu přímo v prostoru senzoru a následně se vyhne shody a extrakci prvků.[4][12][13]

Další metoda, vytvořená 'visiodometrie', odhaduje planární rotační překlady mezi obrázky pomocí Fázová korelace místo extrahování funkcí.[14][15]

Egomotion

Odhad egomotoriky

Egomotion je definován jako 3D pohyb kamery v prostředí.[16] V oblasti počítačové vidění, egomotion se týká odhadu pohybu kamery ve vztahu k tuhé scéně.[17] Příkladem odhadu egomotiky by mohl být odhad pohybující se polohy automobilu vzhledem k liniím na silnici nebo ulicím, které jsou pozorovány ze samotného vozu. Odhad egomotion je důležitý v autonomní robotická navigace aplikace.[18]

Přehled

Cílem odhadu egomotion kamery je určit 3D pohyb této kamery v prostředí pomocí sekvence obrazů pořízených kamerou.[19] Proces odhadu pohybu kamery v prostředí zahrnuje použití technik vizuální odometrie na posloupnosti obrazů zachycených pohybující se kamerou.[20] To se obvykle provádí pomocí detekce funkcí postavit optický tok ze dvou obrazových snímků v sekvenci[16] generované buď z jednotlivých kamer, nebo ze stereokamer.[20] Použití dvojic stereofonních obrazů pro každý snímek pomáhá snižovat chyby a poskytuje další informace o hloubce a měřítku.[21][22]

Prvky jsou detekovány v prvním rámci a poté jsou porovnány v druhém rámci. Tato informace se poté použije k vytvoření pole optického toku pro detekované funkce v těchto dvou obrazech. Pole optického toku ilustruje, jak se funkce liší od jednoho bodu, od zaměření expanze. Ohnisko expanze lze detekovat z pole optického toku, což ukazuje směr pohybu kamery, a tím poskytuje odhad pohybu kamery.

Existují i ​​jiné metody extrakce egomotorických informací z obrazů, včetně metody, která se vyhne detekci funkcí a polím optického toku a přímo použije intenzitu obrazu.[16]

Viz také

Reference

  1. ^ Maimone, M .; Cheng, Y .; Matthies, L. (2007). „Dva roky vizuální odometrie na Mars Exploration Rovers“ (PDF). Journal of Field Robotics. 24 (3): 169–186. CiteSeerX  10.1.1.104.3110. doi:10.1002 / rob.20184. Citováno 2008-07-10.
  2. ^ Chhaniyara, Savan; KASPAR ALTHOEFER; LAKMAL D. SENEVIRATNE (2008). „Technika vizuální odometrie pomocí identifikace kruhových značek pro odhad parametrů pohybu“. Pokroky v mobilní robotice: sborník z jedenácté mezinárodní konference o šplhacích a chodících robotech a podpůrných technologiích pro mobilní stroje, Coimbra, Portugalsko. Jedenáctá mezinárodní konference o šplhacích a chodících robotech a podpůrných technologiích pro mobilní stroje. 11. World Scientific, 2008.
  3. ^ A b Nister, D; Naroditsky, O .; Bergen, J (leden 2004). Vizuální odometrie. Počítačové vidění a rozpoznávání vzorů, 2004. CVPR 2004. 1. str. I – 652 - I – 659 sv. 1. doi:10.1109 / CVPR.2004.1315094.
  4. ^ A b Comport, A.I .; Malis, E .; Rives, P. (2010). F. Chaumette; P. Corke; P. Newman (eds.). "Quadrifocal Visual Odometry v reálném čase". International Journal of Robotics Research. 29 (2–3): 245–266. CiteSeerX  10.1.1.720.3113. doi:10.1177/0278364909356601. S2CID  15139693.
  5. ^ Scaramuzza, D .; Siegwart, R. (říjen 2008). „Vzhledem vedená monokulární všesměrová vizuální odometrie pro venkovní pozemní vozidla“. Transakce IEEE na robotice. 24 (5): 1015–1026. doi:10.1109 / TRO.2008.2004490. hdl:20.500.11850/14362. S2CID  13894940.
  6. ^ Corke, P .; Strelow, D .; Singh, S. „Všesměrová vizuální odometrie pro planetární rover“. Inteligentní roboti a systémy, 2004. (IROS 2004). Řízení. 2004 Mezinárodní konference IEEE / RSJ o. 4. doi:10.1109 / IROS.2004.1390041.
  7. ^ Campbell, J .; Sukthankar, R .; Nourbakhsh, I .; Pittsburgh, I.R. "Techniky pro hodnocení optického toku pro vizuální odometrii v extrémním terénu". Inteligentní roboti a systémy, 2004. (IROS 2004). Řízení. 2004 Mezinárodní konference IEEE / RSJ o. 4. doi:10.1109 / IROS.2004.1389991.
  8. ^ Sunderhauf, N .; Konolige, K .; Lacroix, S .; Protzel, P. (2005). Msgstr "Vizuální odometrie používající řídké nastavení svazků na autonomním venkovním vozidle". V Levi; Schanz; Lafrenz; Avrutin (eds.). Tagungsband Autonome Mobile Systeme 2005 (PDF). Reihe Informatik aktuell. Springer Verlag. str. 157–163. Archivovány od originál (PDF) dne 11. 2. 2009. Citováno 2008-07-10.
  9. ^ Konolige, K .; Agrawal, M .; Bolles, R.C .; Cowan, C .; Fischler, M .; Gerkey, B.P. (2006). "Venkovní mapování a navigace pomocí stereofonního vidění". Proc. Intl. Symp. O experimentální robotice (ISER). Springerovy trakty v pokročilé robotice. 39: 179–190. doi:10.1007/978-3-540-77457-0_17. ISBN  978-3-540-77456-3.
  10. ^ Olson, C.F .; Matthies, L .; Schoppers, M .; Maimone, M.W. (2002). „Navigace Rover pomocí stereofonního ego-pohybu“ (PDF). Robotika a autonomní systémy. 43 (4): 215–229. doi:10.1016 / s0921-8890 (03) 00004-6. Citováno 2010-06-06.
  11. ^ Cheng, Y .; Maimone, M.W .; Matthies, L. (2006). "Vizuální odometrie na Mars Exploration Rovers". IEEE Robotics and Automation Magazine. 13 (2): 54–62. CiteSeerX  10.1.1.297.4693. doi:10.1109 / MRA.2006.1638016. S2CID  15149330.
  12. ^ Engel, Jakob; Schöps, Thomas; Cremers, Daniel (2014). „LSD-SLAM: Velký monokulární SLAM ve velkém měřítku“ (PDF). Ve Fleet D .; Pajdla T .; Schiele B .; Tuytelaars T. (eds.). Počítačové vidění. Evropská konference o počítačovém vidění 2014. Přednášky z informatiky. 8690. doi:10.1007/978-3-319-10605-2_54.
  13. ^ Engel, Jakob; Sturm, Jürgen; Cremers, Daniel (2013). „Polohustá vizuální odometrie pro monokulární kameru“ (PDF). Mezinárodní konference IEEE o počítačovém vidění (ICCV). CiteSeerX  10.1.1.402.6918. doi:10.1109 / ICCV.2013.183.
  14. ^ Zaman, M. (2007). "Vysoce přesná relativní lokalizace pomocí jediné kamery". Robotika a automatizace, 2007. (ICRA 2007). Řízení. 2007 Mezinárodní konference IEEE. doi:10.1109 / ROBOT.2007.364078.
  15. ^ Zaman, M. (2007). "Relativní lokalizace s vysokým rozlišením pomocí dvou kamer". Journal of Robotics and Autonomous Systems (JRAS). 55 (9): 685–692. doi:10.1016 / j.robot.2007.05.008.
  16. ^ A b C Irani, M .; Rousso, B .; Peleg S. (červen 1994). „Obnova Ego-Motion pomocí stabilizace obrazu“ (PDF). Konference IEEE Computer Society o počítačovém vidění a rozpoznávání vzorů: 21–23. Citováno 7. června 2010.
  17. ^ Burger, W .; Bhanu, B. (listopad 1990). "Odhad 3D egomotion z perspektivní sekvence obrazu". Transakce IEEE na analýze vzorů a strojové inteligenci. 12 (11): 1040–1058. doi:10.1109/34.61704. S2CID  206418830.
  18. ^ Shakernia, O .; Vidal, R .; Shankar, S. (2003). „Odhad všesměrové egomotoriky z toku zpětné projekce“ (PDF). Konference o počítačovém vidění a workshopu rozpoznávání vzorů. 7: 82. CiteSeerX  10.1.1.5.8127. doi:10.1109 / CVPRW.2003.10074. S2CID  5494756. Citováno 7. června 2010.
  19. ^ Tian, ​​T .; Tomasi, C .; Heeger, D. (1996). „Srovnání přístupů k výpočtu egomotoriky“ (PDF). Konference IEEE Computer Society o počítačovém vidění a rozpoznávání vzorů: 315. Archivováno od originál (PDF) 8. srpna 2008. Citováno 7. června 2010.
  20. ^ A b Milella, A .; Siegwart, R. (leden 2006). „Stereofonní odhad ego-pohybu pomocí sledování pixelů a iteračního nejbližšího bodu“ (PDF). Mezinárodní konference IEEE o systémech počítačového vidění: 21. Archivovány od originál (PDF) dne 17. září 2010. Citováno 7. června 2010.
  21. ^ Olson, C. F .; Matthies, L .; Schoppers, M .; Maimoneb M. W. (červen 2003). „Navigace Rover pomocí stereofonního ego-pohybu“ (PDF). Robotika a autonomní systémy. 43 (9): 215–229. doi:10.1016 / s0921-8890 (03) 00004-6. Citováno 7. června 2010.
  22. ^ Sudin Dinesh, Koteswara Rao, K.; Unnikrishnan, M.; Brinda, V.; Lalithambika, V.R. ; Dhekane, M.V. "Vylepšení algoritmu vizuální odometrie pro planetární průzkumné rovery ". IEEE International Conference on Emerging Trends in Communication, Control, Signal Processing & Computing Applications (C2SPCA), 2013