Struktura z pohybu - Structure from motion

Nesmí být zaměňována s struktura z pohybu (psychofyzika).

Struktura z pohybu (SfM)[1] je fotogrammetrické zobrazování rozsahu technika pro odhad trojrozměrných struktur z dvojrozměrných obrazových sekvencí, které mohou být spojeny s místními pohybové signály. Studuje se v oborech počítačové vidění a Vizuální vnímání. V biologickém vidění označuje SfM fenomén, kterým mohou lidé (a další živí tvorové) obnovit 3D strukturu z projektovaného 2D (sítnicového) pohybového pole pohybujícího se objektu nebo scény.

Zásada

Digitální povrchový model dálnice výměna staveniště
Skutečná fotografie x SfM s barvou textury x SfM s jednoduchým shaderem. Vyrobeno pomocí grafického uživatelského rozhraní Python Photogrammetry Toolbox a vykresleno v Blenderu s cykly.
Letiště Bezmiechowa 3D digitální povrchový model extrahováno z údajů shromážděných během 30minutového letu Pteryx UAV

Lidé vnímají spoustu informací o trojrozměrné struktuře ve svém prostředí tím, že se kolem ní pohybují. Když se pozorovatel pohybuje, objekty kolem nich se pohybují v různé míře v závislosti na jejich vzdálenosti od pozorovatele. Toto je známé jako pohybová paralaxa, a z této hloubky lze informace použít ke generování přesné 3D reprezentace světa kolem nich.[2]

Hledání struktury z pohybu představuje podobný problém jako hledání struktury z stereofonní vidění. V obou případech korespondence mezi obrázky a rekonstrukce je třeba najít 3D objekt.

Najít korespondence mezi obrázky jsou sledovány prvky, jako jsou rohové body (hrany s přechody ve více směrech) z jednoho obrázku na druhý. Jedním z nejpoužívanějších detektorů funkcí je měřítko-neměnná transformace funkcí (PROSÍT). Využívá maxima z a rozdíl Gaussianů (DOG) pyramida jako rysy. Prvním krokem v SIFT je nalezení dominantního směru gradientu. Aby byla rotace invariantní, deskriptor se otočí tak, aby odpovídal této orientaci.[3] Dalším společným rysem detektoru je SURFOVAT (zrychlené robustní funkce).[4] V SURF je DOG nahrazen a Hesenská matice - detektor blobů na bázi. Místo vyhodnocení histogramů gradientu také SURF počítá pro součty složek přechodu a součty jejich absolutních hodnot.[5] Jeho použití integrovaných obrazů umožňuje extrémně rychle detekovat funkce s vysokou mírou detekce.[6] Proto je ve srovnání s SIFT SURF rychlejší detektor vlastností s nevýhodou menší přesnosti v pozicích prvků.[5]Dalším typem prvku, který se nedávno stal praktickým pro konstrukci z pohybu, jsou obecné křivky (např. Lokálně hrana s přechody v jednom směru), součást technologie známé jako zbytečné SfM[7][8], užitečné, když jsou bodové funkce nedostatečné, běžné v umělých prostředích.[9]

Funkce detekované ze všech obrázků budou poté porovnány. Jedním z porovnávacích algoritmů, které sledují prvky z jednoho obrázku na druhý, je Lukas – Kanade tracker.[10]

Někdy jsou některé z uzavřených funkcí nesprávně spárovány. Proto by měly být zápasy filtrovány. RANSAC (shoda náhodných vzorků) je algoritmus, který se obvykle používá k odstranění odlehlých korespondencí. V příspěvku Fischlera a Bollese se k řešení problému používá RANSAC problém s určováním polohy (LDP), kde cílem je určit body ve vesmíru, které se promítají na obraz do sady orientačních bodů se známými místy.[11]

Trajektorie prvků v čase se poté použijí k rekonstrukci jejich 3D pozic a pohybu kamery.[12]Alternativu dávají takzvané přímé přístupy, kdy jsou geometrické informace (3D struktura a pohyb kamery) přímo odhadovány z obrazů, bez mezilehlé abstrakce na prvky nebo rohy.[13]

Existuje několik přístupů ke struktuře z pohybu. V přírůstkových SFM[14], pozice fotoaparátu jsou vyřešeny a přidány jeden po druhém do sbírky. V globálním SFM [15][16], jsou pozice všech kamer řešeny současně. Trochu střední přístup je mimo jádro SFM, kde se počítá několik částečných rekonstrukcí, které jsou poté integrovány do globálního řešení.

Aplikace

Geovědy

Struktura z fotogrammetrie pohybu s vícepohledovým stereem poskytuje modely hyperskálového reliéfu pomocí obrázků získaných z řady digitálních fotoaparátů a volitelně ze sítě pozemních řídicích bodů. Tato technika není omezena časovou frekvencí a může poskytnout data mračen bodů srovnatelná v hustotě a přesnosti s těmi, která jsou generována pozemním a vzdušným laserovým skenováním za zlomek nákladů.[17][18][19]. Struktura z pohybu je také užitečná ve vzdálených nebo drsných prostředích, kde je pozemní laserové skenování omezeno přenositelností zařízení a vzdušné laserové skenování je omezeno drsností terénu, což vede ke ztrátě dat a zkrácení obrazu. Tato technika byla použita v mnoha prostředích, jako jsou řeky[20], Badlands[21]písečné pobřeží[22][23], poruchové zóny[24], sesuvy půdy[25]a nastavení korálových útesů[26]. SfM byl také úspěšně použit pro hodnocení velkého akumulačního objemu dřeva[27] a pórovitost[28] ve fluviálních systémech, jakož i pro charakterizaci hornin prostřednictvím stanovení některých vlastností jako orientace, perzistence atd. diskontinuit[29][30]. Lze použít celou řadu digitálních fotoaparátů, včetně digitálních zrcadlovek, kompaktních digitálních fotoaparátů a dokonce i chytrých telefonů. Obecně však bude vyšší přesnosti dosaženo u dražších fotoaparátů, které obsahují objektivy vyšší optické kvality. Tato technika proto nabízí vzrušující příležitosti charakterizovat topografii povrchu v bezprecedentních detailech a s více časovými daty detekovat výškové, polohové a objemové změny, které jsou příznačné pro procesy zemského povrchu. Struktura z pohybu může být umístěna v kontextu jiných digitálních geodetických metod.

Kulturní dědictví

Kulturní dědictví je přítomno všude. Jeho strukturální kontrola, dokumentace a ochrana je jednou z hlavních povinností lidstva (UNESCO ). Z tohoto pohledu se SfM používá k správnému odhadu situací a také k plánování a údržbě a nákladům, kontrole a obnově. Protože často existují vážná omezení spojená s přístupností místa a nemožností instalovat invazivní geodetické pilíře, které neumožňovaly použití tradičních geodetických rutin (jako jsou totální stanice), poskytuje SfM neinvazivní přístup ke struktuře bez přímé interakce mezi strukturou a jakýmkoli operátorem. Použití je přesné, protože jsou zapotřebí pouze kvalitativní úvahy. Je dostatečně rychlý, aby reagoval na okamžité potřeby správy památníku.[31]První provozní fází je přesná příprava fotogrammetrického zaměření, kde je stanoven vztah mezi nejlepší vzdáleností od objektu, ohniskovou vzdáleností, zemskou vzorkovací vzdáleností (GSD) a rozlišením senzoru. S touto informací musí být naprogramované fotografické akvizice provedeny pomocí vertikálního překrytí alespoň 60% (obrázek 02).[32]

Viz také

Další čtení

  • Jonathan L. Carrivick, Mark W. Smith, Duncan J. Quincey (2016). Struktura z pohybu v geovědách. Wiley-Blackwell. 208 stránek. ISBN  978-1-118-89584-9
  • Richard Hartley a Andrew Zisserman (2003). Geometrie více pohledů v počítačovém vidění. Cambridge University Press. ISBN  978-0-521-54051-3.

Reference

  1. ^ S. Ullman (1979). „Interpretace struktury z pohybu“ (PDF). Sborník královské společnosti v Londýně. 203 (1153): 405–426. Bibcode:1979RSPSB.203..405U. doi:10.1098 / rspb.1979.0006. hdl:1721.1/6298. PMID  34162. S2CID  11995230.
  2. ^ Linda G. Shapiro; George C. Stockman (2001). Počítačové vidění. Prentice Hall. ISBN  978-0-13-030796-5.
  3. ^ D. G. Lowe (2004). Msgstr "Charakteristické rysy obrazu z klíčových bodů neměnných v měřítku". International Journal of Computer Vision. 60 (2): 91–110. CiteSeerX  10.1.1.73.2924. doi:10.1023 / b: visi.0000029664,99615,94. S2CID  221242327.
  4. ^ H. Bay; T. Tuytelaars & L. Van Gool (2006). "Surf: Zrychlil robustní funkce". 9. evropská konference o počítačovém vidění.
  5. ^ A b K. Häming & G. Peters (2010). „Potrubí rekonstrukce struktury z pohybu - průzkum se zaměřením na krátké sekvence obrazu“. Kybernetika. 46 (5): 926–937.
  6. ^ Viola, P .; Jones, M. (2001). „Rychlá detekce objektů pomocí vylepšené kaskády jednoduchých funkcí“. Sborník z konference IEEE Computer Society o počítačovém vidění a rozpoznávání vzorů z roku 2001. CVPR 2001. Kauai, HI, USA: IEEE Comput. Soc. 1: I – 511 – I-518. doi:10.1109 / CVPR.2001.990517. ISBN  978-0-7695-1272-3. S2CID  2715202.
  7. ^ Nurutdinova, Andrew; Fitzgibbon, Andrew (2015). „Směrem k nesmyslné struktuře z pohybu: 3D rekonstrukce a parametry kamery z obecných 3D křivek“ (PDF). Sborník mezinárodní konference IEEE o počítačovém vidění (ICCV 2015): 2363–2371. doi:10.1109 / ICCV.2015.272. ISBN  978-1-4673-8391-2. S2CID  9120123.
  8. ^ Fabbri, Ricardo; Giblin, Peter; Kimia, Benjamin (2012). „Odhad pozice kamery pomocí diferenciální geometrie křivky prvního řádu“ (PDF). Přednášky z informatiky (ECCV 2012). Přednášky z informatiky. 7575: 231–244. doi:10.1007/978-3-642-33765-9_17. ISBN  978-3-642-33764-2.
  9. ^ Apple, tým ARKIT (2018). „Porozumění sledování a detekci ARKit“. WWDC.
  10. ^ B. D. Lucas a T. Kanade. Msgstr "Iterativní technika registrace obrazu s aplikací pro stereofonní vidění". Ijcai81.
  11. ^ M. A. Fischler a R. C. Bolles (1981). "Náhodná shoda vzorků: paradigma pro přizpůsobení modelu aplikacím pro analýzu obrazu a automatickou kartografii". Commun. ACM. 24 (6): 381–395. doi:10.1145/358669.358692. S2CID  972888.
  12. ^ F. Dellaert; S. Seitz; C. Thorpe a S. Thrun (2000). „Struktura z pohybu bez korespondence“ (PDF). Konference IEEE Computer Society o počítačovém vidění a rozpoznávání vzorů.
  13. ^ Engel, Jakob; Schöps, Thomas; Cremers, Daniel (2014). „LSD-SLAM: Velký monokulární SLAM ve velkém měřítku“. Evropská konference o počítačovém vidění (ECCV) 2014 (PDF).
  14. ^ J.L. Schönberger & J.M.Frahm (2016). „Struktura z pohybu znovu navštívena“ (PDF). Konference IEEE Computer Society o počítačovém vidění a rozpoznávání vzorů.
  15. ^ C. Tomasi a T. Kanade (1992). "Tvar a pohyb z obrazových proudů v pravopisu: faktorizační metoda". International Journal of Computer Vision. 9 (2): 137–154. CiteSeerX  10.1.1.131.9807. doi:10.1007 / BF00129684. S2CID  2931825.
  16. ^ V.M. Govindu (2001). "Kombinace omezení dvou pohledů pro odhad pohybu". Konference IEEE Computer Society o počítačovém vidění a rozpoznávání vzorů. 2: II-218 – II-225. doi:10.1109 / CVPR.2001.990963. ISBN  0-7695-1272-0. S2CID  8252027.
  17. ^ Westoby, M. J .; Brasington, J .; Glasser, N.F .; Hambrey, M. J .; Reynolds, J. M. (2012-12-15). "'Fotogrammetrie Struktura z pohybu: nízkonákladový a efektivní nástroj pro aplikace geověd ". Geomorfologie. 179: 300–314. Bibcode:2012Geomo.179..300W. doi:10.1016 / j.geomorph.2012.08.021.
  18. ^ James, M. R.; Robson, S. (01.09.2012). „Přímá rekonstrukce 3D povrchů a topografie pomocí kamery: Přesnost a geovědní aplikace“ (PDF). Journal of Geophysical Research: Earth Surface. 117 (F3): F03017. Bibcode:2012JGRF..117,3017J. doi:10.1029 / 2011jf002289. ISSN  2156-2202.
  19. ^ Fonstad, Mark A .; Dietrich, James T .; Courville, Brittany C .; Jensen, Jennifer L .; Carbonneau, Patrice E. (2013-03-30). „Topografická struktura z pohybu: nový vývoj ve fotogrammetrickém měření“ (PDF). Procesy a formy zemského povrchu. 38 (4): 421–430. Bibcode:2013ESPL ... 38..421F. doi:10,1002 / zejména 3366. ISSN  1096-9837.
  20. ^ Javernick, L .; Brasington, J .; Caruso, B. (2014). „Modelování topografie mělkých spletených řek pomocí fotogrammetrie Structure-from-Motion“. Geomorfologie. 213: 166–182. Bibcode:2014Geomo.213..166J. doi:10.1016 / j.geomorph.2014.01.006.
  21. ^ Smith, Mark William; Vericat, Damià (2015-09-30). „Od experimentálních pozemků k experimentálním krajinám: topografie, eroze a depozice v subhumidních Badlands z fotogrammetrie Structure-from-Motion“ (PDF). Procesy a formy zemského povrchu. 40 (12): 1656–1671. Bibcode:2015ESPL ... 40.1656S. doi:10,1002 / zvláště 3747. ISSN  1096-9837.
  22. ^ Goldstein, Evan B; Oliver, Amber R; deVries, Elsemarie; Moore, Laura J; Jass, Theo (2015-10-22). „Požadavky na pozemní kontrolní bod pro topografii odvozenou z konstrukce v pohybu v pobřežních prostředích s nízkým sklonem“. Předtisky PeerJ. doi:10,7287 / peerj.preprints.1444v1. ISSN  2167-9843.
  23. ^ Mancini, Francesco; Dubbini, Marco; Gattelli, Mario; Stecchi, Francesco; Fabbri, Stefano; Gabbianelli, Giovanni (09.12.2013). „Využívání bezpilotních vzdušných prostředků (UAV) k rekonstrukci topografie s vysokým rozlišením: přístup založený na konstrukci z pohybu v pobřežních prostředích“. Dálkový průzkum Země. 5 (12): 6880–6898. Bibcode:REMS 2013 ... 5,6880 mil. doi:10,3390 / rs5126880.
  24. ^ Johnson, Kendra; Nissen, Edwin; Saripalli, Srikanth; Arrowsmith, J. Ramón; McGarey, Patrick; Scharer, Katherine; Williams, Patrick; Blisniuk, Kimberly (01.10.2014). "Rychlé mapování ultrajemné topografie poruchové zóny se strukturou z pohybu". Geosféra. 10 (5): 969–986. Bibcode:2014Geosp..10..969J. doi:10.1130 / GES01017.1.
  25. ^ Del Soldato, M .; Riquelme, A .; Bianchini, S .; Tomàs, R .; Di Martire, D .; De Vita, P .; Moretti, S .; Calcaterra, D. (06.06.2018). „Vícezdrojová integrace dat pro zkoumání jednoho století evoluce sesuvu půdy Agnone (Molise, jižní Itálie)“. Sesuvy půdy. 15 (11): 2113–2128. doi:10.1007 / s10346-018-1015-z. ISSN  1612-510X.
  26. ^ Bryson, Mitch; Duce, Stephanie; Harris, Dan; Webster, Jody M .; Thompson, Alisha; Vila-Concejo, Ana; Williams, Stefan B. (2016). "Geomorfní změny korálového šindele cay měřené pomocí Kite Aerial Photography". Geomorfologie. 270: 1–8. Bibcode:2016Geomo.270 ... 1B. doi:10.1016 / j.geomorph.2016.06.018.
  27. ^ Spreitzer, Gabriel; Tunnicliffe, Jon; Friedrich, Heide (01.12.2019). "Využití fotogrammetrie Struktura z pohybu k posouzení akumulace velkého dřeva (LW) v terénu". Geomorfologie. 346: 106851. Bibcode:2019Geomo.34606851S. doi:10.1016 / j.geomorph.2019.106851.
  28. ^ Spreitzer, Gabriel; Tunnicliffe, Jon; Friedrich, Heide (2020). "Mapování a hodnocení akumulace 3D dřeva (LW) pomocí struktury z fotogrammetrie pohybu v laboratoři". Journal of Hydrology. 581: 124430. Bibcode:2020JHyd..58124430S. doi:10.1016 / j.jhydrol.2019.124430.
  29. ^ Riquelme, A .; Cano, M .; Tomás, R .; Abellán, A. (01.01.2017). „Identifikace sad diskontinuity skalního svahu z laserového skeneru a fotogrammetrických mračen bodů: srovnávací analýza“. Procedia Engineering. 191: 838–845. doi:10.1016 / j.proeng.2017.05.251. ISSN  1877-7058.
  30. ^ Jordá Bordehore, Luis; Riquelme, Adrian; Cano, Miguel; Tomás, Roberto (01.09.2017). „Porovnání sběru diskontinuity pole ručního a dálkového průzkumu použitého při hodnocení kinematické stability neúspěšných svahů hornin“ (PDF). International Journal of Rock Mechanics and Mining Sciences. 97: 24–32. doi:10.1016 / j.ijrmms.2017.06.004. hdl:10045/67528. ISSN  1365-1609.
  31. ^ Guidi. G.; Beraldin, J. A.; Atzeni, C. Vysoce přesné 3D modelování kulturního dědictví: Digitalizace Donatella. IEEE Trans. Proces obrazu. 2004, 13, 370–380
  32. ^ Kraus, K., 2007. Fotogrammetrie: Geometrie z obrazového a laserového skenování. Walter de Gruyter, 459 stran ISBN  978-3-11-019007-6

externí odkazy

Software

Viz také: Software pro fotogrammetrii a Úprava svazku § Software
Open source řešení
  • Vyzkoušejte všechny bezplatné nástroje pro fotogrammetrii[1]

C ++

Matlab

Krajta

Software s uzavřeným zdrojem
  1. ^ pfalkingham (2016-09-14). „Vyzkoušejte veškerou fotogrammetrii zdarma!“. Dr. Peter L. Falkingham. Citováno 2017-05-16.