Základní matice (počítačové vidění) - Fundamental matrix (computer vision)

v počítačové vidění, základní matice ${displaystyle mathbf {F}}$ je 3 × 3 matice který souvisí s odpovídajícími body v stereofonní obrazy. v epipolární geometrie, s homogenní souřadnice obrazu, X a X′, Odpovídajících bodů ve dvojici stereofonního obrazu, Fx popisuje řádek (an epipolární čára ) na kterém je odpovídající bod X′ Na druhém obrázku musí ležet. To znamená, že pro všechny páry odpovídajících bodů platí

${displaystyle mathbf {x} '^ {op} mathbf {Fx} = 0.}$

Jelikož je hodnost dva a určuje se pouze do měřítka, lze základní matici odhadnout na základě alespoň sedmibodové korespondence. Jeho sedm parametrů představuje jediné geometrické informace o kamerách, které lze získat pouze prostřednictvím bodové korespondence.

Termín „základní matice“ vytvořil QT Luong ve své vlivné disertační práci. Někdy se také označuje jako „bifokální tenzorJako tenzor je to dvoubodový tenzor v tom, že je bilineární forma související body v odlišných souřadnicových systémech.

Výše uvedený vztah, který definuje základní matici, byl publikován v roce 1992 oběma Olivier Faugeras a Richard Hartley. Ačkoli H. Christopher Longuet-Higgins ' základní matice uspokojuje podobný vztah, základní matice je metrický objekt vztahující se ke kalibrovaným kamerám, zatímco základní matice popisuje korespondenci v obecnějších a základních pojmech projektivní geometrie, což je matematicky zachyceno vztahem mezi základní maticí${displaystyle mathbf {F}}$ a odpovídající základní matice ${displaystyle mathbf {E}}$,který je

${displaystyle mathbf {E} = ({mathbf {K} '}) ^ {op}; mathbf {F}; mathbf {K}}$

${displaystyle mathbf {K}}$ a ${displaystyle mathbf {K} '}$ což je vnitřní kalibrační matice obou zúčastněných obrazů.

Úvod

Základní matice je vztah mezi libovolnými dvěma obrazy stejné scény, který omezuje, kde může dojít k promítnutí bodů ze scény do obou obrazů. Vzhledem k projekci bodu scény do jednoho z obrazů je odpovídající bod v druhém obrazu omezen na čáru, což pomáhá při hledání a umožňuje detekci nesprávných korespondencí. Vztah mezi odpovídajícími obrazovými body, který představuje základní matice, se označuje jako epipolární omezení, odpovídající omezení, omezení diskrétní shodynebo vztah výskytu.

Věta o projektivní rekonstrukci

Základní matici lze určit sadou bodové korespondence. Kromě toho mohou být tyto odpovídající obrazové body trojúhelníkové do světových bodů pomocí kamerových matic odvozených přímo z této základní matice. Scéna složená z těchto světových bodů je uvnitř a projektivní transformace skutečné scény.^[1]

Důkaz

Řekněme, že korespondence obrazových bodů ${displaystyle mathbf {x} leftrightarrow mathbf {x '}}$ pochází ze světového bodu ${displaystyle {extbf {X}}}$ pod maticemi fotoaparátu ${displaystyle left ({extbf {P}}, {extbf {P}} 'ight)}$ tak jako

${displaystyle {egin {aligned} mathbf {x} & = {extbf {P}} {extbf {X}} mathbf {x '} & = {extbf {P}}' {extbf {X}} konec {zarovnáno} }}$

Řekněme, že transformujeme prostor generálem homografie matice ${displaystyle {extbf {H}} _ {4 obrázky 4}}$ takhle ${displaystyle {extbf {X}} _ {0} = {extbf {H}} {extbf {X}}}$.

Kamery se poté transformují jako

${displaystyle {egin {aligned} {extbf {P}} _ {0} & = {extbf {P}} {extbf {H}} ^ {- 1} {extbf {P}} _ {0} '& = {extbf {P}} '{extbf {H}} ^ {- 1} konec {zarovnáno}}}$

${displaystyle {extbf {P}} _ {0} {extbf {X}} _ {0} = {extbf {P}} {extbf {H}} ^ {- 1} {extbf {H}} {extbf {X }} = {extbf {P}} {extbf {X}} = mathbf {x}}$ a podobně s ${displaystyle {extbf {P}} _ {0} '}$ stále nám získáte stejné obrazové body.

Odvození základní matice pomocí podmínky koplanárnosti

Základní matici lze také odvodit pomocí podmínky koplanárnosti. ^[2]

Pro satelitní snímky

Základní matice vyjadřuje epipolární geometrii ve stereofonních obrazech. The Epipolární geometrie na snímcích pořízených perspektivními kamerami se jeví jako přímé čáry. Nicméně v satelitní snímky, obraz se vytváří během pohybu snímače podél jeho oběžné dráhy (čidlo pushbroom ). Existuje tedy několik projekčních center pro jednu obrazovou scénu a epipolární čára je vytvořena jako epipolární křivka. Za zvláštních podmínek, jako jsou malé obrazové dlaždice, však bylo možné satelitní snímky opravit pomocí základní matice.^[3]

Vlastnosti

Základní matice je z hodnost 2. Jeho jádro definuje epipole.

Viz také

• Epipolární geometrie
• Základní matice
• Trifokální tenzor
• Osmibodový algoritmus

Poznámky

Reference

• Olivier D. Faugeras (1992). „Co lze vidět ve třech rozměrech s nekalibrovanou stereofonní soupravou?“. Sborník z Evropské konference o počítačovém vidění. CiteSeerX  10.1.1.462.4708.

• Olivier D. Faugeras; Q.T. Luong; Steven Maybank (1992). "Autokalibrace kamery: teorie a experimenty". Sborník z Evropské konference o počítačovém vidění. doi:10.1007/3-540-55426-2_37.

• Q.T. Luong a Olivier D. Faugeras (1996). „Základní matice: teorie, algoritmy a stabilitní analýza“. International Journal of Computer Vision. 17 (1): 43–75. doi:10.1007 / BF00127818. S2CID  2582003.

• Olivier Faugeras a Q.T. Luong (2001). Geometrie více obrázků. MIT Stiskněte. ISBN  978-0-262-06220-6.

• Richard I.Hartley (1992). "Odhad relativních pozic kamer pro nekalibrované kamery" (PDF). Sborník z Evropské konference o počítačovém vidění.

• Richard Hartley a Andrew Zisserman (2003). Geometrie více pohledů v počítačovém vidění. Cambridge University Press. ISBN  978-0-521-54051-3.

• Richard I.Hartley (1997). „Na obranu osmibodového algoritmu“. Transakce IEEE na analýze vzorů a strojové inteligenci. 19 (6): 580–593. doi:10.1109/34.601246.
• Nurollah Tatar (2019). "Stereo rektifikace satelitních snímků pushbroom pomocí robustního odhadu základní matice". International Journal of Remote Sensing. 40 (20): 1–19. doi:10.1080/01431161.2019.1624862.

• Q.T. Luong (1992). Matrice fondamentale et auto-identification en vision par ordinateur. Disertační práce, Pařížská univerzita, Orsay.

• Yi Ma; Stefano Soatto; Jana Košecká; S. Shankar Sastry (2004). Pozvánka na 3D vizi. Springer. ISBN  978-0-387-00893-6.

• Marc Pollefeys, Reinhard Koch a Luc van Gool (1999). "Autokalibrace a metrická rekonstrukce navzdory různým a neznámým parametrům vnitřní kamery". International Journal of Computer Vision. 32 (1): 7–25. doi:10.1023 / A: 1008109111715. S2CID  306722.

• Philip H. S. Torr (1997). „Vývoj a srovnání robustních metod pro odhad základní matice“. International Journal of Computer Vision. 24 (3): 271–300. doi:10.1023 / A: 1007927408552. S2CID  12031059.

• Philip H. S. Torr a A. Zisserman (2000). "MLESAC: Nový robustní odhad s aplikací pro odhad geometrie obrazu". Počítačové vidění a porozumění obrazu. 78 (1): 138–156. CiteSeerX  10.1.1.110.5740. doi:10.1006 / cviu.1999.0832.

• Gang Xu a Zhengyou Zhang (1996). Epipolární geometrie ve stereu, pohybu a rozpoznávání objektů. Kluwer Academic Publishers. ISBN  978-0-7923-4199-4.

• Zhengyou Zhang (1998). "Určení epipolární geometrie a její nejistoty: Přehled". International Journal of Computer Vision. 27 (2): 161–195. doi:10.1023 / A: 1007941100561. S2CID  3190498.

Panely nástrojů

• fundest je GPL C /C ++ knihovna pro robustní, nelineární (na základě Algoritmus Levenberg – Marquardt ) odhad základní matice z párů párovaných bodů a různých objektivních funkcí (Manolis Lourakis).
• Structure and Motion Toolkit in MATLAB (Philip H. S. Torr)
• Sada nástrojů pro základní odhad matice (Joaquim Salvi)
• Sada nástrojů pro epipolární geometrii (EGT)

externí odkazy

• Epipolární geometrie a základní matice (kapitola Hartley & Zisserman)
• Určení epipolární geometrie a její nejistoty: Přehled (Zhengyou Zhang)
• Vizualizace epipolární geometrie (původně Sylvain Bougnoux z INRIA Robotvis, vyžaduje Jáva )
• Základní maticová píseň Video demonstrující zákony epipolární geometrie.