Trifokální tenzor - Trifocal tensor

v počítačové vidění, trifokální tenzor (taky tritensor) je pole čísel 3 × 3 × 3 (tj. a tenzor ), který zahrnuje všechny projektivní geometrické vztahy mezi třemi pohledy. Souvisí se souřadnicemi odpovídajících bodů nebo čar ve třech pohledech, přičemž je nezávislý na struktuře scény a závisí pouze na relativním pohybu (tj. póza ) mezi třemi pohledy a jejich vlastními kalibračními parametry. Trifokální tenzor lze tedy považovat za zobecnění základní matice ve třech pohledech. Je třeba poznamenat, že navzdory tomu, že tenzor je složen z 27 prvků, pouze 18 z nich je ve skutečnosti nezávislých.

Existuje také tzv kalibrovaný trifokální tenzor, který spojuje souřadnice bodů a čar ve třech pohledech vzhledem k jejich vnitřním parametrům a kóduje relativní polohu kamer až do globálního měřítka, celkem 11 nezávislých prvků nebo stupňů volnosti. Snížené stupně volnosti umožňují, aby se do modelu vešlo méně korespondencí, a to za cenu zvýšené nelinearity.^[1]

Korelační řezy

Tenzor lze také chápat jako soubor tří matic 3 x 3 druhé řady ${ displaystyle { mathbf {T}} _ {1}, ; { mathbf {T}} _ {2}, ; { mathbf {T}} _ {3}}$ známý jako jeho korelační řezy. Za předpokladu, že projekční matice ze tří pohledů jsou ${ displaystyle { mathbf {P}} = [{ mathbf {I}} ; | ; { mathbf {0}}]}$ , ${ displaystyle { mathbf {P}} ^ {'} = [{ mathbf {A}} ; | ; { mathbf {a}} _ {4}]}$ a ${ displaystyle { mathbf {P} ^ {''}} = [{ mathbf {B}} ; | ; { mathbf {b}} _ {4}]}$ , korelační řezy odpovídajícího tenzoru lze vyjádřit v uzavřené formě jako ${ displaystyle { mathbf {T}} _ {i} = { mathbf {a}} _ {i} { mathbf {b}} _ {4} ^ {t} - { mathbf {a}} _ {4} { mathbf {b}} _ {i} ^ {t}, ; i = 1 ldots 3}$ , kde ${ displaystyle { mathbf {a}} _ {i}, ; { mathbf {b}} _ {i}}$ jsou respektive i^th sloupce matic kamery. V praxi se však tenzor odhaduje z bodové a přímkové shody napříč třemi pohledy.

Trilineární omezení

Jednou z nejdůležitějších vlastností trifokálního tenzoru je to, že ve třech obrazech vede k lineárním vztahům mezi čarami a body. Přesněji řečeno, pro trojice odpovídajících bodů ${ displaystyle { mathbf {x}} ; leftrightarrow ; { mathbf {x}} ^ {'} ; leftrightarrow ; { mathbf {x}} ^ {' '}}$ a všechny odpovídající řádky ${ displaystyle { mathbf {l}} ; leftrightarrow ; { mathbf {l}} ^ {'} ; leftrightarrow ; { mathbf {l}} ^ {' '}}$ prostřednictvím nich následující trilineární omezení držet:

{ displaystyle ({ mathbf {l}} ^ {'t} vlevo [{ mathbf {T}} _ {1}, ; { mathbf {T}} _ {2}, ; { mathbf {T}} _ {3} right] { mathbf {l}} ^ {''}) [{ mathbf {l}}] _ { times} = { mathbf {0}} ^ {t} }

{ displaystyle { mathbf {l}} ^ {'t} vlevo ( sum _ {i} x_ {i} { mathbf {T}} _ {i} vpravo) { mathbf {l}} ^ {''} = 0}

{ displaystyle { mathbf {l}} ^ {'t} vlevo ( sum _ {i} x_ {i} { mathbf {T}} _ {i} vpravo) [{ mathbf {x}} ^ {''}] _ { times} = { mathbf {0}} ^ {t}}

{ displaystyle [{ mathbf {x}} ^ {'}] _ { times} left ( sum _ {i} x_ {i} { mathbf {T}} _ {i} right) { mathbf {l}} ^ {''} = { mathbf {0}}}

{ displaystyle [{ mathbf {x}} ^ {'}] _ { times} left ( sum _ {i} x_ {i} { mathbf {T}} _ {i} right) [{ mathbf {x}} ^ {''}] _ { times} = { mathbf {0}} _ {3 krát 3}}

kde ${ displaystyle [ cdot] _ { times}}$ označuje zešikmení symetrické křížová matice produktu.

Převod

Vzhledem k trifokálnímu tenzoru tří pohledů a dvojici shodných bodů ve dvou pohledech je možné určit polohu bodu ve třetím pohledu bez dalších informací. Toto je známé jako přenos bodu a podobný výsledek platí pro přímky a kuželosečky. U obecných křivek lze přenos uskutečnit prostřednictvím modelu lokální diferenciální křivky oscilačních kružnic (tj. Zakřivení), který lze poté přenést jako kuželosečky.^[2] Byl studován přenos modelů třetího řádu odrážející prostorovou torzi pomocí kalibrovaných trifokálních tenzorů,^[3] ale zůstává otevřeným problémem pro nekalibrované trifokální tenzory.

Odhad

Nekalibrovaný

Klasickým případem je 6bodová korespondence^[4]^[5] dávat 3 řešení.

Případ odhadující trifokální tenzor z 9 řádkových korespondencí byl vyřešen teprve nedávno.^[6]

Kalibrováno

Odhad kalibrovaného trifokálního tenzoru byl citován jako notoricky obtížný a vyžaduje 4 bodovou korespondenci.^[7]

Nedávno byl vyřešen případ použití pouze tříbodových korespondencí, kde jsou body přiřazeny tečnými směry nebo přímkami; pouze u dvou z bodů s dopadajícími čarami se jedná o minimální problém stupně 312 (může tedy existovat maximálně 312 řešení) a je relevantní pro případ obecných křivek (jejichž body mají tečny) nebo hraničních bodů s přiřazenými směry (například pokyny SIFT).^[8] Stejná technika vyřešila smíšený případ tříbodové korespondence a jedné liniové korespondence, což se také ukázalo jako minimální u stupně 216.

Reference

^ Martyushev, E. V. (2017). "O některých vlastnostech kalibrovaných trifokálních tenzorů". Journal of Mathematical Imaging and Vision. 58 (2): 321–332. arXiv:1601.01467. doi:10.1007 / s10851-017-0712-x.
^ Schmid, Cordelia (2000). „Geometrie a shoda čar a křivek v několika pohledech“ (PDF). International Journal of Computer Vision. 40 (3): 199–233. doi:10.1023 / A: 1008135310502.
^ Fabbri, Ricardo; Kimia, Benjamin (2016). "Vícerozměrová diferenciální geometrie křivek". International Journal of Computer Vision. 120 (3): 324–346. arXiv:1604.08256. Bibcode:2016arXiv160408256F. doi:10.1007 / s11263-016-0912-7.
^ Richard Hartley a Andrew Zisserman (2003). „Online kapitola: Trifocal Tensor“ (PDF). Geometrie více pohledů v počítačovém vidění. Cambridge University Press. ISBN 978-0-521-54051-3.
^ Heyden, A. (1995). "Rekonstrukce z obrazových sekvencí pomocí relativních hloubek". Sborník mezinárodní konference IEEE o počítačovém vidění. 1058–1063. doi:10.1109 / ICCV.1995.466817. ISBN 0-8186-7042-8.
^ Larsson, Viktor; Astrom, Kalle; Oskarsson, Magnus (2017). „Efektivní řešení pro minimální problémy redukcí na základě Syzygy“. Konference IEEE 2017 o počítačovém vidění a rozpoznávání vzorů (CVPR). 2383–2392. doi:10.1109 / CVPR.2017.256. ISBN 978-1-5386-0457-1.
^ Nister, David; Schaffalitzky, Frederik (2006). "Čtyři body ve dvou nebo třech kalibrovaných pohledech: teorie a praxe". International Journal of Computer Vision. 67 (2): 211–231. doi:10.1007 / s11263-005-4265-x.
^ Fabbri, Ricardo; Duff, Timothy; Fan, Hongyi; Regan, Margaret; de Pinho, David; Tsigaridas, Elias; Wampler, Charles; Hauenstein, Jonathan; Kimia, Benjamin; Leykin, Anton; Pajdla, Tomáš (23. března 2019). „Trifocal Relative Pose from Lines at Points and its Efficient Solution“. arXiv:1903.09755 [cs.CV ].

Další čtení

Hartley, Richard I. (1997). "Čáry a body ve třech pohledech a trifokální tenzor". International Journal of Computer Vision. 22 (2): 125–140. doi:10.1023 / A: 1007936012022.
Torr, P. H. S .; Zisserman, A. (1997). "Robustní parametrizace a výpočet trifokálního tenzoru". Výpočet obrazu a vidění. 15 (8): 591–607. CiteSeerX 10.1.1.41.3172. doi:10.1016 / S0262-8856 (97) 00010-3.

externí odkazy

Vizualizace trifokální geometrie (původně Sylvain Bougnoux z INRIA Robotvis, vyžaduje Jáva )

Algoritmy

Matlab implementace nekalibrovaného trifokálního tenzoru odhad a srovnání s párovými základními maticemi
C ++ implementace kalibrovaného trifokálního tenzoru odhad pomocí optimalizovaného kódu pokračování Homotopy. V současné době zahrnuje případy tří odpovídajících bodů s úsečkami v těchto bodech (jako v pozicích a orientacích prvků nebo křivkových bodech s tečnami) a také pro tři odpovídající body a korespondenci jedné úsečky.

[1] Martyushev, E. V. (2017). "O některých vlastnostech kalibrovaných trifokálních tenzorů". Journal of Mathematical Imaging and Vision. 58 (2): 321–332. arXiv:1601.01467. doi:10.1007 / s10851-017-0712-x.

[2] Schmid, Cordelia (2000). „Geometrie a shoda čar a křivek v několika pohledech“ (PDF). International Journal of Computer Vision. 40 (3): 199–233. doi:10.1023 / A: 1008135310502.

[3] Fabbri, Ricardo; Kimia, Benjamin (2016). "Vícerozměrová diferenciální geometrie křivek". International Journal of Computer Vision. 120 (3): 324–346. arXiv:1604.08256. Bibcode:2016arXiv160408256F. doi:10.1007 / s11263-016-0912-7.

[hzbook-4] Richard Hartley a Andrew Zisserman (2003). „Online kapitola: Trifocal Tensor“ (PDF). Geometrie více pohledů v počítačovém vidění. Cambridge University Press. ISBN 978-0-521-54051-3.

[5] Heyden, A. (1995). "Rekonstrukce z obrazových sekvencí pomocí relativních hloubek". Sborník mezinárodní konference IEEE o počítačovém vidění. 1058–1063. doi:10.1109 / ICCV.1995.466817. ISBN 0-8186-7042-8.

[6] Larsson, Viktor; Astrom, Kalle; Oskarsson, Magnus (2017). „Efektivní řešení pro minimální problémy redukcí na základě Syzygy“. Konference IEEE 2017 o počítačovém vidění a rozpoznávání vzorů (CVPR). 2383–2392. doi:10.1109 / CVPR.2017.256. ISBN 978-1-5386-0457-1.

[7] Nister, David; Schaffalitzky, Frederik (2006). "Čtyři body ve dvou nebo třech kalibrovaných pohledech: teorie a praxe". International Journal of Computer Vision. 67 (2): 211–231. doi:10.1007 / s11263-005-4265-x.

[8] Fabbri, Ricardo; Duff, Timothy; Fan, Hongyi; Regan, Margaret; de Pinho, David; Tsigaridas, Elias; Wampler, Charles; Hauenstein, Jonathan; Kimia, Benjamin; Leykin, Anton; Pajdla, Tomáš (23. března 2019). „Trifocal Relative Pose from Lines at Points and its Efficient Solution“. arXiv:1903.09755 [cs.CV ].

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]