Pohybové pole - Motion field - Wikipedia

v počítačové vidění the pohybové pole je ideální reprezentací 3D pohybu při jeho promítání na obraz z kamery. Vzhledem ke zjednodušenému modelu fotoaparátu je každý bod ${ displaystyle (y_ {1}, y_ {2})}$ v obraze je projekce nějakého bodu ve 3D scéně, ale poloha projekce pevného bodu v prostoru se může časem měnit. Pohybové pole lze formálně definovat jako časovou derivaci polohy obrazu všech obrazových bodů za předpokladu, že jsou korespondovat na pevné 3D body. To znamená, že pohybové pole může být reprezentováno jako funkce, která mapuje souřadnice obrazu na dvourozměrný vektor. Pohybové pole je ideálním popisem promítaného 3D pohybu v tom smyslu, že ho lze formálně definovat, ale v praxi je obvykle možné z obrazových dat určit pouze aproximaci pohybového pole.

Úvod

Ilustrace některých 3D bodů a jejich odpovídajících obrazových bodů, jak je popsáno v model dírkové komory. Jak se 3D body pohybují v prostoru, pohybují se také odpovídající obrazové body. Pohybové pole se skládá z pohybových vektorů v obraze pro všechny body v obraze.

Kamerový model mapuje každý bod ${ displaystyle (x_ {1}, x_ {2}, x_ {3})}$ ve 3D prostoru do bodu 2D obrazu ${ displaystyle (y_ {1}, y_ {2})}$ podle některých mapovacích funkcí ${ displaystyle m_ {1}, m_ {2}}$:

${ displaystyle { begin {pmatrix} y_ {1} y_ {2} end {pmatrix}} = { begin {pmatrix} m_ {1} (x_ {1}, x_ {2}, x_ {3 }) m_ {2} (x_ {1}, x_ {2}, x_ {3}) end {pmatrix}}}$

Za předpokladu, že scéna zobrazená kamerou je dynamická; skládá se z vzájemně se pohybujících objektů, objektů, které se deformují a případně se také pohybuje kamera vzhledem ke scéně, pevný bod ve 3D prostoru je mapován na různé body v obraze. Diferenciace předchozího výrazu s ohledem na čas dává

${ displaystyle { begin {pmatrix} { frac {dy_ {1}} {dt}} [2mm] { frac {dy_ {2}} {dt}} end {pmatrix}} = { begin {pmatrix} { frac {dm_ {1} (x_ {1}, x_ {2}, x_ {3})} {dt}} [2mm] { frac {dm_ {2} (x_ {1} , x_ {2}, x_ {3})} {dt}} end {pmatrix}} = { begin {pmatrix} { frac {dm_ {1}} {dx_ {1}}} & { frac { dm_ {1}} {dx_ {2}}} a { frac {dm_ {1}} {dx_ {3}}} [2mm] { frac {dm_ {2}} {dx_ {1}}} & { frac {dm_ {2}} {dx_ {2}}} & { frac {dm_ {2}} {dx_ {3}}} end {pmatrix}} , { begin {pmatrix} { frac {dx_ {1}} {dt}} [2mm] { frac {dx_ {2}} {dt}} [2mm] { frac {dx_ {3}} {dt}} konec { pmatrix}}}$

Tady

${ displaystyle mathbf {u} = { begin {pmatrix} { frac {dy_ {1}} {dt}} [2mm] { frac {dy_ {2}} {dt}} end {pmatrix }}}$

je pohybové pole a vektor u je závislé na poloze obrazu ${ displaystyle (y_ {1}, y_ {2})}$ stejně jako na čas t. Podobně,

${ displaystyle mathbf {x '} = { begin {pmatrix} { frac {dx_ {1}} {dt}} [2mm] { frac {dx_ {2}} {dt}} [ 2 mm] { frac {dx_ {3}} {dt}} konec {pmatrix}}}$

je pohyb odpovídajícího 3D bodu a jeho vztah k pohybovému poli je dán vztahem

${ displaystyle mathbf {u} = mathbf {M} , mathbf {x} '}$

kde ${ displaystyle mathbf {M}}$ je závislá na poloze obrazu ${ displaystyle 2 krát 3}$ matice

${ displaystyle mathbf {M} = { begin {pmatrix} { frac {dm_ {1}} {dx_ {1}}} & { frac {dm_ {1}} {dx_ {2}}} & { frac {dm_ {1}} {dx_ {3}}} [2mm] { frac {dm_ {2}} {dx_ {1}}} a { frac {dm_ {2}} {dx_ {2 }}} & { frac {dm_ {2}} {dx_ {3}}} end {pmatrix}}}$

Tento vztah znamená, že pohybové pole je v určitém bodě obrazu neměnné vůči 3D pohybům, které leží v prázdný prostor z ${ displaystyle mathbf {M}}$. Například v případě a dírková komora v pohybovém poli nelze detekovat všechny 3D komponenty pohybu, které jsou směrovány do nebo z ohniska kamery.

Speciální případy

Pohybové pole ${ displaystyle mathbf {v}}$ je definován jako:

${ displaystyle mathbf {v} = f { frac {Z mathbf {V} -V_ {z} mathbf {P}} {Z ^ {2}}}}$

kde

${ displaystyle mathbf {V} = - mathbf {T} - mathbf { omega} times mathbf {P}}$.

kde

• ${ displaystyle mathbf {P}}$ je bod ve scéně, kde Z je vzdálenost k tomuto bodu scény.
• ${ displaystyle mathbf {V}}$ je relativní pohyb mezi kamerou a scénou,
• ${ displaystyle mathbf {T}}$ je translační složka pohybu a
• ${ displaystyle mathbf { omega}}$ je úhlová rychlost pohybu.

Vztah k optickému toku

Pohybové pole je ideální konstrukce, založená na myšlence, že je možné určit pohyb každého obrazového bodu, a výše je popsáno, jak tento 2D pohyb souvisí s 3D pohybem. V praxi však lze skutečné pole pohybu aproximovat pouze na základě měření na obrazových datech. Problém je v tom, že ve většině případů má každý obrazový bod individuální pohyb, který musí být proto lokálně měřen pomocí a sousedská operace na obrazových datech. V důsledku toho nelze pro určité typy sousedství určit správné pohybové pole a místo toho aproximaci, často označovanou jako optický tok, musí být použito. Například sousedství, které má konstantní intenzitu, může odpovídat nenulovému pohybovému poli, ale optický tok je nulový, protože nelze měřit žádný lokální pohyb obrazu. Podobně sousedství, které je vnitřní 1-dimenzionální (například hrana nebo čára) může odpovídat libovolnému pohybovému poli, ale optický tok může zachytit pouze normální složku pohybového pole. Existují také další efekty, jako je obrazový šum, 3D okluze, časové aliasing, které jsou vlastní jakékoli metodě měření optického toku a způsobují odchylku výsledného optického toku od skutečného pole pohybu.

Stručně řečeno, pohybové pole nelze správně měřit pro všechny obrazové body a optický tok je aproximací pohybového pole. Existuje několik různých způsobů, jak vypočítat optický tok na základě různých kritérií, jak by měl být proveden optický odhad.

Reference

• Bernd Jähne a Horst Haußecker (2000). Počítačové vidění a aplikace, Průvodce pro studenty a odborníky z praxe. Akademický tisk. ISBN  0-13-085198-1.

• Linda G. Shapiro a George C. Stockman (2001). Počítačové vidění. Prentice Hall. ISBN  0-13-030796-3.

• Milan Sonka, Václav Hlavac a Roger Boyle (1999). Zpracování obrazu, analýza a strojové vidění. PWS Publishing. ISBN  0-534-95393-X.