Základní matice - Essential matrix

v počítačové vidění, základní matice je ${displaystyle 3 imes 3}$ matice, ${displaystyle mathbf {E}}$ to souvisí odpovídající body v stereofonní obrazy za předpokladu, že kamery splňují model dírkové komory.

Funkce

Přesněji řečeno, pokud ${displaystyle mathbf {y}}$ a ${displaystyle mathbf {y} '}$ jsou homogenní normalizováno souřadnice obrazu pak na obrázku 1 a 2

{displaystyle (mathbf {y} ') ^ {op}, mathbf {E}, mathbf {y} = 0}

-li ${displaystyle mathbf {y}}$ a ${displaystyle mathbf {y} '}$ odpovídají stejnému 3D bodu na scéně.

Výše uvedený vztah, který definuje základní matici, byl publikován v roce 1981 autorem H. Christopher Longuet-Higgins, představení konceptu komunitě počítačového vidění. Richard Hartley a Andrew Zisserman Kniha uvádí, že se v ní objevila analogická matice fotogrammetrie dlouho předtím. Dokument Longuet-Higgins obsahuje algoritmus pro odhad ${displaystyle mathbf {E}}$ ze sady odpovídajících normalizovaných souřadnic obrazu a také algoritmu pro určení relativní polohy a orientace dvou kamer vzhledem k tomu, že ${displaystyle mathbf {E}}$ je známo. Nakonec ukazuje, jak lze pomocí základní matice určit 3D souřadnice obrazových bodů.

Použití

Základní matici lze považovat za předchůdce základní matice. Obě matice lze použít pro stanovení omezení mezi odpovídajícími obrazovými body, ale základní matici lze použít pouze ve vztahu ke kalibrovaným kamerám, protože vnitřní parametry kamery musí být známy, aby se dosáhlo normalizace. Pokud jsou však kamery kalibrovány, může být základní matice užitečná pro určení relativní polohy a orientace mezi kamerami a 3D polohy odpovídajících obrazových bodů.

Odvození a definice

Tento původ vychází z článku Longuet-Higgins.

Dvě normalizované kamery promítají 3D svět do příslušných obrazových rovin. Nechte 3D souřadnice bodu P být ${displaystyle (x_ {1}, x_ {2}, x_ {3})}$ a ${displaystyle (x '_ {1}, x' _ {2}, x '_ {3})}$ vzhledem k souřadnicovému systému každé kamery. Protože jsou kamery normalizovány, jsou odpovídající souřadnice obrazu

{displaystyle {egin {pmatrix} y_ {1} y_ {2} end {pmatrix}} = {frac {1} {x_ {3}}} {egin {pmatrix} x_ {1} x_ {2} end { pmatrix}}}

a

{displaystyle {egin {pmatrix} y '_ {1} y' _ {2} end {pmatrix}} = {frac {1} {x '_ {3}}} {egin {pmatrix} x' _ {1 } x '_ {2} konec {pmatrix}}}

Homogenní reprezentace dvou obrazových souřadnic je pak dána vztahem

{displaystyle {egin {pmatrix} y_ {1} y_ {2} 1end {pmatrix}} = {frac {1} {x_ {3}}} {egin {pmatrix} x_ {1} x_ {2} x_ {3} konec {pmatrix}}}

a

{displaystyle {egin {pmatrix} y '_ {1} y' _ {2} 1end {pmatrix}} = {frac {1} {x '_ {3}}} {egin {pmatrix} x' _ { 1} x '_ {2} x' _ {3} konec {pmatrix}}}

které lze také psát kompaktněji jako

{displaystyle mathbf {y} = {frac {1} {x_ {3}}}, {ilde {mathbf {x}}}}

a

{displaystyle mathbf {y} '= {frac {1} {x' _ {3}}}, {ilde {mathbf {x}}} '}

kde ${displaystyle mathbf {y}}$ a ${displaystyle mathbf {y} '}$ jsou homogenní reprezentace souřadnic 2D obrazu a ${displaystyle {ilde {mathbf {x}}}}$ a ${displaystyle {ilde {mathbf {x}}} '}$ jsou správné 3D souřadnice, ale ve dvou různých souřadnicových systémech.

Dalším důsledkem normalizovaných kamer je to, že jejich příslušné souřadnicové systémy jsou spojeny pomocí translace a rotace. To znamená, že dvě sady 3D souřadnic jsou příbuzné jako

{displaystyle {ilde {mathbf {x}}} '= mathbf {R}, ({ilde {mathbf {x}}} - mathbf {t})}

kde ${displaystyle mathbf {R}}$ je ${displaystyle 3 imes 3}$ rotační matice a ${displaystyle mathbf {t}}$ je trojrozměrný překladový vektor.

Základní matice je pak definována jako:

{displaystyle mathbf {E} = mathbf {R}, [mathbf {t}] _ {imes}}

kde ${displaystyle [mathbf {t}] _ {imes}}$ je maticová reprezentace křížového produktu s ${displaystyle mathbf {t}}$ .

Chcete-li vidět, že tato definice základní matice popisuje omezení na násobení odpovídajících souřadnic obrazu ${displaystyle mathbf {E}}$ zleva a zprava s 3D souřadnicemi bodu P ve dvou různých souřadnicových systémech:

{displaystyle ({ilde {mathbf {x}}} ') ^ {T}, mathbf {E}, {ilde {mathbf {x}}}, {stackrel {(1)} {=}}, ({ilde { mathbf {x}}} - mathbf {t}) ^ {T}, mathbf {R} ^ {T}, mathbf {R}, [mathbf {t}] _ {imes}, {ilde {mathbf {x}} }, {stackrel {(2)} {=}}, ({ilde {mathbf {x}}} - mathbf {t}) ^ {T}, [mathbf {t}] _ {imes}, {ilde {mathbf {x}}}, {stackrel {(3)} {=}}, 0}

Vložte výše uvedené vztahy mezi ${displaystyle {ilde {mathbf {x}}} '}$ a ${displaystyle {ilde {mathbf {x}}}}$ a definice ${displaystyle mathbf {E}}$ ve smyslu ${displaystyle mathbf {R}}$ a ${displaystyle mathbf {t}}$ .
${displaystyle mathbf {R} ^ {T}, mathbf {R} = mathbf {I}}$ od té doby ${displaystyle mathbf {R}}$ je rotační matice.
Vlastnosti maticová reprezentace křížového produktu.

Nakonec lze předpokládat, že obojí ${displaystyle x_ {3}}$ a ${displaystyle x '_ {3}}$ jsou> 0, jinak nejsou viditelné v obou kamerách. To dává

{displaystyle 0 = ({ilde {mathbf {x}}} ') ^ {T}, mathbf {E}, {ilde {mathbf {x}}} = {frac {1} {x' _ {3}}} ({ilde {mathbf {x}}} ') ^ {T}, mathbf {E}, {frac {1} {x_ {3}}} {ilde {mathbf {x}}} = (mathbf {y}' ) ^ {T}, mathbf {E}, mathbf {y}}

což je omezení, které základní matice definuje mezi odpovídajícími obrazovými body.

Vlastnosti

Ne každý svévolně ${displaystyle 3 imes 3}$ matice může být základní maticí pro některé stereokamery. Chcete-li vidět toto upozornění, že je definován jako maticový produkt jednoho rotační matice a jeden šikmo symetrická matice, oba ${displaystyle 3 imes 3}$ . Symetrická matice zkosení musí mít dvě singulární hodnoty které jsou stejné a jiné, které jsou nulové. Násobení rotační matice nemění singulární hodnoty, což znamená, že také základní matice má dvě singulární hodnoty, které jsou stejné a jedna nulová. Vlastnosti zde popsané jsou někdy označovány jako vnitřní omezení základní matice.

Pokud základní matice ${displaystyle mathbf {E}}$ je vynásoben nenulovým skalárem, výsledkem je opět základní matice, která definuje přesně stejné omezení jako ${displaystyle mathbf {E}}$ dělá. Tohle znamená tamto ${displaystyle mathbf {E}}$ může být viděn jako prvek a projektivní prostor, to znamená, že dvě takové matice jsou považovány za ekvivalentní, pokud je jedna nenulovou skalární multiplikací druhé. Jedná se o relevantní pozici, například pokud ${displaystyle mathbf {E}}$ se odhaduje z obrazových dat. Je však také možné zaujmout stanovisko, že ${displaystyle mathbf {E}}$ je definován jako

{displaystyle mathbf {E} = [mathbf {widetilde {t}}] _ {imes}, mathbf {R}}

kde ${displaystyle mathbf {widetilde {t}} = -mathbf {R} mathbf {t}}$ , a pak ${displaystyle mathbf {E}}$ má dobře definované „měřítko“. Záleží na aplikaci, která pozice je relevantnější.

Omezení lze také vyjádřit jako

{displaystyle det mathbf {E} = 0}

a

{displaystyle 2mathbf {E} mathbf {E} ^ {T} mathbf {E} -operatorname {tr} (mathbf {E} mathbf {E} ^ {T}) mathbf {E} = 0.}

Zde je poslední rovnicí omezení matice, které lze považovat za 9 omezení, jedno pro každý prvek matice. Tato omezení se často používají k určení základní matice z pěti odpovídajících dvojic bodů.

Základní matice má pět nebo šest stupňů volnosti, v závislosti na tom, zda je či není považována za projektivní prvek. Rotační matice ${displaystyle mathbf {R}}$ a překladový vektor ${displaystyle mathbf {t}}$ mít každý tři stupně volnosti, celkem šest. Pokud je základní matice považována za projektivní prvek, je třeba odečíst jeden stupeň volnosti související se skalárním násobením, přičemž celkem zůstane pět stupňů volnosti.

Odhad

Vzhledem k sadě odpovídajících obrazových bodů je možné odhadnout základní matici, která splňuje definující epipolární omezení pro všechny body v sadě. Pokud však obrazové body podléhají šumu, což je běžný případ v jakékoli praktické situaci, není možné najít základní matici, která přesně splňuje všechna omezení.

V závislosti na tom, jak se měří chyba související s každým omezením, je možné určit nebo odhadnout základní matici, která optimálně splňuje omezení pro danou sadu odpovídajících obrazových bodů. Nejpřímějším přístupem je nastavení a celkem nejméně čtverců problém, běžně známý jako osmibodový algoritmus.

Extrakce rotace a překladu

Vzhledem k tomu, že základní pára byla určena pro pár stereokamery - například pomocí výše uvedené metody odhadu - lze tuto informaci použít k určení také rotace ${displaystyle mathbf {R}}$ a překlad ${displaystyle mathbf {t}}$ (až do měřítka) mezi souřadnicovými systémy obou kamer. V těchto derivacích ${displaystyle mathbf {E}}$ je vnímán spíše jako projektivní prvek než s dobře určeným měřítkem.

Hledání jednoho řešení

Následující metoda pro určení ${displaystyle mathbf {R}}$ a ${displaystyle mathbf {t}}$ je založen na provedení a SVD z ${displaystyle mathbf {E}}$ viz kniha Hartleyho a Zissermana. Je také možné určit ${displaystyle mathbf {R}}$ a ${displaystyle mathbf {t}}$ například bez SVD podle papíru Longuet-Higgins.

SVD z ${displaystyle mathbf {E}}$ dává

{displaystyle mathbf {E} = mathbf {U}, mathbf {Sigma}, mathbf {V} ^ {T}}

kde ${displaystyle mathbf {U}}$ a ${displaystyle mathbf {V}}$ jsou kolmé ${displaystyle 3 imes 3}$ matice a ${displaystyle mathbf {Sigma}}$ je ${displaystyle 3 imes 3}$ diagonální matice s

{displaystyle mathbf {Sigma} = {egin {pmatrix} s & 0 & 0 0 & s & 0 0 & 0 & 0end {pmatrix}}}

Diagonální položky ${displaystyle mathbf {Sigma}}$ jsou singulární hodnoty ${displaystyle mathbf {E}}$ které podle vnitřní omezení základní matice, musí sestávat ze dvou identických a jedné nulové hodnoty. Definovat

{displaystyle mathbf {W} = {egin {pmatrix} 0 & -1 & 0 1 & 0 & 0 0 & 0 & 1end {pmatrix}}}

s

{displaystyle mathbf {W} ^ {- 1} = mathbf {W} ^ {T} = {egin {pmatrix} 0 & 1 & 0 -1 & 0 & 0 0 & 0 & 1end {pmatrix}}}

a proveďte následující ansatz

{displaystyle [mathbf {t}] _ {imes} = mathbf {U}, mathbf {W}, mathbf {Sigma}, mathbf {U} ^ {T}}

{displaystyle mathbf {R} = mathbf {U}, mathbf {W} ^ {- 1}, mathbf {V} ^ {T}}

Od té doby ${displaystyle mathbf {Sigma}}$ alternativa nemusí zcela splňovat omezení při práci s daty z reálného světa (např. snímky z kamery)

{displaystyle [mathbf {t}] _ {imes} = mathbf {U}, mathbf {Z}, mathbf {U} ^ {T}}

s

{displaystyle mathbf {Z} = {egin {pmatrix} 0 & 1 & 0 -1 & 0 & 0 0 & 0 & 0end {pmatrix}}}

může pomoci.

Důkaz

Nejprve tyto výrazy pro ${displaystyle mathbf {R}}$ a ${displaystyle [mathbf {t}] _ {imes}}$ splňují určující rovnici pro základní matici

{displaystyle [mathbf {t}] _ {imes}, mathbf {R} = mathbf {U}, mathbf {W}, mathbf {Sigma}, mathbf {U} ^ {T} mathbf {U}, mathbf {W} ^ {- 1}, mathbf {V} ^ {T}, = mathbf {U}, mathbf {Sigma}, mathbf {V} ^ {T} = mathbf {E}}

Zadruhé je třeba prokázat, že toto ${displaystyle [mathbf {t}] _ {imes}}$ je maticová reprezentace křížového produktu pro některé ${displaystyle mathbf {t}}$ . Od té doby

{displaystyle mathbf {W}, mathbf {Sigma} = {egin {pmatrix} 0 & -s & 0 s & 0 & 0 0 & 0 & 0end {pmatrix}}}

je tomu tak ${displaystyle mathbf {W}, mathbf {Sigma}}$ je šikmo symetrický, tj. ${displaystyle (mathbf {W}, mathbf {Sigma}) ^ {T} = - mathbf {W}, mathbf {Sigma}}$ . To je případ i našeho ${displaystyle [mathbf {t}] _ {imes}}$ , od té doby

{displaystyle ([mathbf {t}] _ {imes}) ^ {T} = mathbf {U}, (mathbf {W}, mathbf {Sigma}) ^ {T}, mathbf {U} ^ {T} = - mathbf {U}, mathbf {W}, mathbf {Sigma}, mathbf {U} ^ {T} = - [mathbf {t}] _ {imes}}

Podle obecných vlastností maticová reprezentace křížového produktu z toho pak vyplývá ${displaystyle [mathbf {t}] _ {imes}}$ musí být operátorem křížového produktu přesně jednoho vektoru ${displaystyle mathbf {t}}$ .

Zatřetí, musí být také prokázáno, že výše uvedený výraz pro ${displaystyle mathbf {R}}$ je rotační matice. Je to produkt tří matic, které jsou všechny ortogonální, což znamená, že ${displaystyle mathbf {R}}$ je také ortogonální nebo ${displaystyle det (mathbf {R}) = pm 1}$ . Aby to byla správná rotační matice, musí také vyhovovat ${displaystyle det (mathbf {R}) = 1}$ . Protože v tomto případě ${displaystyle mathbf {E}}$ je považován za projektivní prvek, čehož lze dosáhnout obrácením znaménka ${displaystyle mathbf {E}}$ Pokud je potřeba.

Nalezení všech řešení

Zatím jedno možné řešení pro ${displaystyle mathbf {R}}$ a ${displaystyle mathbf {t}}$ byl stanoven daný ${displaystyle mathbf {E}}$ . Není to však jediné možné řešení a z praktického hlediska to nemusí být ani platné řešení. Za prvé, od změny měřítka ${displaystyle mathbf {E}}$ je nedefinováno, měřítko ${displaystyle mathbf {t}}$ je také nedefinováno. Musí ležet v prázdný prostor z ${displaystyle mathbf {E}}$ od té doby

{displaystyle mathbf {E}, mathbf {t} = mathbf {R}, [mathbf {t}] _ {imes}, mathbf {t} = mathbf {0}}

Pro následnou analýzu řešení však přesné měřítko ${displaystyle mathbf {t}}$ není tak důležité jako jeho „znaménko“, tj. kterým směrem ukazuje. Nechat ${displaystyle {hat {mathbf {t}}}}$ být normalizován vektor v nulovém prostoru ${displaystyle mathbf {E}}$ . Pak platí, že obojí ${displaystyle {hat {mathbf {t}}}}$ a ${displaystyle - {hat {mathbf {t}}}}$ jsou platné překladové vektory relativní ${displaystyle mathbf {E}}$ . Je také možné změnit ${displaystyle mathbf {W}}$ do ${displaystyle mathbf {W} ^ {- 1}}$ v derivacích ${displaystyle mathbf {R}}$ a ${displaystyle mathbf {t}}$ výše. U překladového vektoru to způsobí pouze změnu znaménka, která již byla popsána jako možnost. Na druhé straně to pro rotaci způsobí jinou transformaci, alespoň v obecném případě.

Stručně řečeno ${displaystyle mathbf {E}}$ jsou možné dva opačné směry ${displaystyle mathbf {t}}$ a dvě různé rotace, které jsou kompatibilní s touto základní maticí. Celkově to poskytuje čtyři třídy řešení pro rotaci a translaci mezi dvěma souřadnicovými systémy kamery. Kromě toho existuje také neznámé škálování ${displaystyle s> 0}$ pro zvolený směr překladu.

Ukazuje se však, že v praxi lze realizovat pouze jednu ze čtyř tříd řešení. Vzhledem k dvojici odpovídajících obrazových souřadnic vytvoří tři řešení vždy 3D bod, který leží za alespoň jednu ze dvou kamer, a proto ji nelze vidět. Pouze jedna ze čtyř tříd bude důsledně vytvářet 3D body, které jsou před oběma kamerami. To pak musí být správné řešení. Přesto však má neurčené pozitivní měřítko související s překladovou složkou.

Výše uvedené stanovení ${displaystyle mathbf {R}}$ a ${displaystyle mathbf {t}}$ to předpokládá ${displaystyle mathbf {E}}$ uspokojit vnitřní omezení základní matice. Pokud tomu tak není, například obvykle je tomu tak v případě ${displaystyle mathbf {E}}$ byla odhadnuta ze skutečných (a hlučných) obrazových dat, je třeba předpokládat, že přibližně vyhovuje vnitřním omezením. Vektor ${displaystyle {hat {mathbf {t}}}}$ je poté zvolen jako pravý singulární vektor ${displaystyle mathbf {E}}$ odpovídá nejmenší singulární hodnotě.

3D body z odpovídajících obrazových bodů

Pro výpočet existuje mnoho metod ${displaystyle (x_ {1}, x_ {2}, x_ {3})}$ dané odpovídající normalizované souřadnice obrazu ${displaystyle (y_ {1}, y_ {2})}$ a ${displaystyle (y '_ {1}, y' _ {2})}$ , pokud je známa základní matice a byly určeny odpovídající rotační a translační transformace.

Viz také

Panely nástrojů

Základní odhad matice v MATLABU (Manolis Lourakis).

externí odkazy

Vyšetřování základní matice R.I. Hartley

Reference

David Nistér (červen 2004). "Efektivní řešení pětibodového relativního problému problému". Transakce IEEE na analýze vzorů a strojové inteligenci. 26 (6): 756–777. doi:10.1109 / TPAMI.2004.17. PMID 18579936.
H. Stewénius a C. Engels a D. Nistér (červen 2006). "Poslední vývoj v přímé relativní orientaci". ISPRS Journal of Photogrammetry and Remote Sensing. 60 (4): 284–294. Bibcode:2006JPRS ... 60..284S. CiteSeerX 10.1.1.61.9329. doi:10.1016 / j.isprsjprs.2006.03.005.
H. Christopher Longuet-Higgins (září 1981). "Počítačový algoritmus pro rekonstrukci scény ze dvou projekcí". Příroda. 293 (5828): 133–135. Bibcode:1981Natur.293..133L. doi:10.1038 / 293133a0.
Richard Hartley a Andrew Zisserman (2003). Geometrie více pohledů v počítačovém vidění. Cambridge University Press. ISBN 978-0-521-54051-3.
Yi Ma; Stefano Soatto; Jana Košecká; S. Shankar Sastry (2004). Pozvánka na 3D vizi. Springer. ISBN 978-0-387-00893-6.
Gang Xu a Zhengyou Zhang (1996). Epipolární geometrie ve stereu, pohybu a rozpoznávání objektů. Kluwer Academic Publishers. ISBN 978-0-7923-4199-4.