Tok vektoru přechodu - Gradient vector flow
Tok vektoru přechodu (GVF), a počítačové vidění rámec zavedený Chenyang Xu a Jerry L. Prince[1][2], je vektorové pole, které je vytvořeno procesem, který vyhlazuje a rozptyluje vstupní vektorové pole. Obvykle se používá k vytvoření vektorového pole z obrázků, které směřují na hrany objektů z dálky. Je široce používán v aplikacích pro analýzu obrazu a počítačové vidění pro sledování objektů, rozpoznávání tvarů, segmentace, a Detekce hrany. Zejména se běžně používá ve spojení s aktivní obrysový model.
Pozadí
Hledání objektů nebo homogenních oblastí v obrazech je proces známý jako segmentace obrazu. V mnoha aplikacích lze umístění okrajů objektů odhadnout pomocí místních operátorů, které přinášejí nový obrázek zvaný mapa hran. Okrajovou mapu lze poté použít k vedení deformovatelného modelu, který se někdy nazývá aktivní kontura nebo had, tak, aby plynule procházel okrajovou mapou, a definoval tak samotný objekt.
Běžným způsobem, jak povzbudit deformovatelný model, aby se posunul směrem k hranové mapě, je prostorový gradient okrajové mapy, čímž se získá vektorové pole. Vzhledem k tomu, že okrajová mapa má nejvyšší intenzitu přímo na okraji a klesá na nulu směrem od okraje, poskytují tyto vektory přechodu směry pro pohyb aktivní kontury. Když jsou vektory přechodu nulové, aktivní kontura se nebude pohybovat, a toto je správné chování, když kontura spočívá na vrcholu samotné hranové mapy. Protože je však hrana sama o sobě definována místními operátory, budou tyto vektory přechodu také nula daleko od hrany, a proto se aktivní kontura nebude pohybovat směrem k hraně, pokud bude inicializována daleko od hrany.
Tok vektoru přechodu (GVF) je proces, který prostorově rozšiřuje vektory přechodu hranové mapy a poskytuje nové vektorové pole, které obsahuje informace o umístění hran objektů v celé doméně obrazu. GVF je definován jako difúzní proces působící na složky vstupního vektorového pole. Je navržen tak, aby vyvážil věrnost původního vektorového pole, takže se příliš nezmění, s regularizací, která je určena k vytvoření hladkého pole na jeho výstupu.
Ačkoli byl GVF navržen původně za účelem segmentace objektů pomocí aktivních kontur přitahovaných k hranám, byl sinceadapted a používán pro mnoho alternativních účelů. Některé novější účely, včetně definování spojité reprezentace střední osy[3], regularizující algoritmy anizotropní difúze obrazu[4], vyhledání středů předmětů podobných pásu karet[5], konstrukce grafů pro optimální segmentaci povrchu[6], vytvoření tvaru před[7], a mnohem víc.
Teorie
Teorie GVF byla původně popsána v[2]. Nechat být hranová mapa definovaná v doméně obrázku. Pro jednotnost výsledků je důležité omezit intenzitu okrajové mapy na hodnotu mezi 0 a 1 a podle konvence přebírá větší hodnoty (blízké 1) na okrajích objektu. Pole gradientního vektorového toku (GVF) je dáno vektorovým polem který minimalizuje energetickou funkčnost
| (1) |
V této rovnici značí dolní indexy částečné derivace a gradient okrajové mapy je dán vektorovým polem . Obrázek 1 ukazuje mapu hran, gradaci (mírně rozmazané) mapy hran a pole GVF generované minimalizací .
Rovnice 1 je variační formulace, která má jak datový termín, tak regularizační termín. První člen v integrand je datový člen. Podporuje řešení úzce souhlasit s přechody hranové mapy, protože to bude dělat malý. To se však musí stát jen tehdy, když jsou přechody okrajových map od té doby velké se vynásobí druhou mocninou délky těchto přechodů. Druhý člen v integrand je termín regularizace. Podporuje malé prostorové variace v komponentách řešení penalizací součtu všech dílčích alternativ . Jak je u těchto typů variačních formulací obvyklé, existuje regularizační parametr které musí uživatel specifikovat, aby mohl obchodovat s vlivem každého z těchto dvou výrazů. Li je například velké, pak bude výsledné pole velmi plynulé a nemusí souhlasit s podkladovými přechody hran.
Teoretické řešení. Nález pro minimalizaci Rovnice 1 vyžaduje použití variačního počtu od roku je funkce, nikoli proměnná. V souladu s tím jsou Eulerovy rovnice, které poskytují nezbytné podmínky pro být řešením lze nalézt pomocí variačního počtu, poddajných
(2a)
(2b)
kde je laplaciánský operátor. Je poučné zkoumat tvar rovnic v (2). Každý z nich je parciální diferenciální rovnice, kterou komponenty a z musí uspokojit. Pokud je velikost okrajového gradientu malá, pak se řešení každé rovnice řídí zcela Laplaceovou rovnicí, například , které vytvoří hladké skalární pole zcela závislé na jeho okrajových podmínkách. Okrajové podmínky jsou účinně zajištěny místy v obraze, kde je velikost gradientu hrany velká, kde je řešení řízeno tak, aby více souhlasilo s gradienty hran.
Výpočetní řešení. Existují dva základní způsoby výpočtu GVF. Nejprve energetická funkce sám o sobě (1) může být přímo diskretizován a minimalizován, například gradientním sestupem. Zadruhé, parciální diferenciální rovnice v bodě (2) lze diskretizovat a iterativně řešit. Původní papír GVF používal iterativeapeapach, zatímco pozdější články představily podstatně rychlejší implementace, jako je metoda založená na oktávě[8], metoda s více mřížkami[9]a rozšířená Lagrangeova metoda[10]. Kromě toho byly v roce vyvinuty velmi rychlé implementace GPU[11][12]
Rozšíření a zálohy. GVF lze snadno rozšířit na vyšší rozměry. Energetická funkce je snadno napsána ve vektorové podobě jako
| (3) |
který lze vyřešit gradientním sestupem nebo nalezením a řešením jeho rovnice Euler. Obrázek 2 ukazuje ilustrace trojrozměrného pole GVF na hranové mapě jednoduchého objektu (viz [13]).
Lze také upravit datové a regularizační výrazy v integrandu funkční části GVF. Popsaná modifikace[14], volala zobecněný gradientní vektorový tok (GGVF) definuje dvě skalární funkce a přeformuluje energii na
| (4) |
Zatímco možnosti a snížit GGVF na GVF, alternativní možnosti a , pro uživatelem vybraná konstanta, může v některých aplikacích zlepšit kompromis mezi datovým termínem a jeho regularizací.
Formulace GVF byla dále rozšířena na obrazy s vektorovou hodnotou v[15] kde se používá tenzor vážené struktury obrazu s vektorovou hodnotou. V roce bylo navrženo pravděpodobnostní vážené rozšíření GVF založené na učení[16] k dalšímu zlepšení segmentace obrázků se silně přeplněnými texturami nebo vysokou úrovní šumu.
Variační formulace GVF byla také upravena v pohyb GVF (MGVF) k začlenění pohybu objektu do sekvence obrazu[17]. Zatímco difúze vektorů GVF z konvenční mapy hran působí izotropně, formulace MGVF zahrnuje očekávaný pohyb objektu mezi obrazovými snímky.
Alternativa k GVF zvaná konvoluce vektorového pole (VFC) poskytuje mnoho výhod GVF, má vynikající odolnost proti šumu a lze ji vypočítat velmi rychle[18]. Pole VFC je definována jako konvoluce hranové mapy s jádrem vektorového pole
| (5) |
kde
| (6) |
Jádro vektorového pole má vektory, které vždy směřují k počátku, ale jejich velikosti, podrobně určené funkcí , klesají na nulu s rostoucí vzdáleností od počátku.
Krása VFC spočívá v tom, že jej lze vypočítat velmi rychle pomocí rychlé Fourierovy transformace (FFT), násobení a inverzní FFT. Rozsah zachycení může být velký a je výslovně dán poloměrem jádra vektorového pole. Možnou nevýhodou VFC je, že slabiny mohou být přemoženy silnými hranami, ale tento problém lze zmírnit použitím hybridní metody, která se přepne na konvenční síly, když se had přiblíží k hranici.
Vlastnosti. GVF má vlastnosti, díky nimž je užitečný v mnoha různých aplikacích. Již bylo poznamenáno, že jeho primárním původním účelem bylo rozšířit lokální okrajové pole v celé doméně obrazu, daleko od skutečného okraje v mnoha případech. Tato vlastnost byla popsána jako rozšíření dosah vnější síly aktivního obrysového modelu. Je také schopen přesouvat aktivní kontury do konkávních oblastí hranice objektu. Tyto dvě vlastnosti jsou znázorněny na obrázku 3.
Předchozí síly, které byly použity jako vnější síly (na základě gradientů mapy okrajů a jednoduše souvisejících variant), vyžadovaly tlakové síly, aby mohly přesouvat hranice z velkých vzdáleností a do konkávních oblastí. Tlakové síly, nazývané také balónové síly, poskytují spojitou sílu na hranici v jednom směru (směrem ven nebo dovnitř) a mají tendenci tlačit skrz slabé hranice. GVF může často v takových situacích nahradit tlakové síly a přinést lepší výkon.
Protože proces difúze je nedílnou součástí řešení GVF, mají vektory, které směřují v opačných směrech, tendenci soutěžit, když se setkávají v acentrálním místě, čímž definují typ geometrického prvku, který souvisí s hraniční konfigurací, ale není přímo patrný z okrajové mapy. Například, percepční hrany jsou mezery v hranové mapě, které mají tendenci být vizuálně spojeny lidským vnímáním[19]. GVF pomáhá spojit je rozptylováním vektorů gradientů protilehlých okrajů přes mezeru; a přestože neexistuje žádná skutečná mapa hran, aktivní kontura bude konvergovat k percepční hraně, protože tam je vedou vektory GVF (vizXu, C .; Prince, J.L. (2012). "Aktivní obrysy, deformovatelné modely a tok vektoru přechodu". Online zdroj včetně stahování kódu.) .Tato vlastnost se přenáší, když existují tzv slabé hrany identifikovány regiony okrajových map, které mají nižší hodnoty.
Vektory GVF se také setkávají v opozici na centrálních místech objektů, čímž definují typ mediality. Tato vlastnost byla využívána jako alternativní definice kostry objektů[20] a také jako způsob inicializace deformovatelných modelů v objektech, takže konvergence k hranici je pravděpodobnější.
Aplikace
Nejzásadnější aplikací GVF je jako vnější síla v deformovatelném modelu. Typická aplikace považuje obraz s objektem vymezeným intenzitou z jeho pozadí. Tedy vhodná hranová mapa lze definovat pomocí
| (7) |
kde je Gaussovo rozmazané jádro se standardní odchylkou a je konvoluce. Tato definice je použitelná v jakékoli dimenzi a poskytuje okrajovou mapu, která spadá do rozsahu . Gaussovo rozostření se používá především k tomu, aby bylo možné vždy vypočítat cílený vektor přechodu, ale je obecně udržována poměrně malá, aby nedošlo k přehnanému zkreslení skutečných pozic hran. Vzhledem k této okrajové mapě je vektorové pole GVF lze vypočítat řešením (2).
Samotný deformovatelný model lze implementovat různými způsoby, včetně parametrických modelů, jako je například originalsnake[19] nebo aktivní povrchy a implicitní modely včetně geometrických deformovatelných modelů[21]. V případě parametrických deformovatelných modelů vektorové pole GVF lze použít přímo jako vnější síly v modelu. Pokud je deformovatelný model definován vývojem (dvourozměrného) aktivního obrysu , potom lze jednoduchou parametrickou rovnici pro aktivní obrysový vývoj napsat jako
| (8) |
Zde dolní indexy označují částečné derivace a a jsou uživatelem vybrané konstanty.
V případě geometrických deformovatelných modelů pak vektorové pole GVF se nejprve promítá proti normálnímu směru implicitní vlny, která definuje další rychlostní funkci. V souladu s tím pak vývoj podepsané funkce vzdálenosti definování jednoduché geometrické deformovatelné kontury lze zapsat jako
| (9) |
kde je zakřivení obrysu a je uživatelem zvolená konstanta.
Byla navržena sofistikovanější deformovatelná formulace modelu, která kombinuje geodetické aktivní vrstevnicové proudění se silami GVF[22]. Tento dokument také ukazuje, jak použít schéma rozdělení AdditiveOperator[23] pro rychlý výpočet této metody segmentace. Jedinečnost a existence tohoto kombinovaného modelu byla prokázána v roce[24]. Další modifikace tohoto modelu pomocí termínu vnější síly minimalizující divergenci GVF byla navržena v[25] dosáhnout ještě lepší segmentace obrázků se složitými geometrickými objekty.
GVF se používá k nalezení vnitřního, středního a středního kortikálního povrchu při analýze mozkových obrazů[5], jak je znázorněno na obrázku 4. Proces nejprve najde vnitřní povrch pomocí trojrozměrného geometrického deformovatelného modelu s konvenčními silami. Poté je střední povrch nalezen využitím vlastnosti centrální tendence GVF. Zejména funkce kortikální příslušnosti lidského mozkového kortexu, odvozená pomocí fuzzy klasifikátoru, se používá k výpočtu GVF, jako by sama byla silnou mapou hrany. Vypočítané vektory GVF směřují do středu mozkové kůry a mohou být poté použity jako vnější síly k pohonu vnitřního povrchu k centrálnímu povrchu. Nakonec se použije další geometrický deformovatelný model s konvenčními silami, aby se centrální povrch dostal do polohy na vnějším povrchu kůry.
Několik pozoruhodných nedávných aplikací GVF zahrnuje konstrukci grafů pro optimální segmentaci povrchu v objektech optické koherenční tomografie spektrální domény[6], pravděpodobnostní GVF aktivní obrysová formulace založená na učení, která dává větší váhu objektům zájmu v segmentaci ultrazvukového obrazu[16]a adaptivní multifunkční aktivní kontura GVF pro vylepšenou segmentaci ultrazvukového obrazu bez ručně vyladěných parametrů[26]
Související pojmy
Reference
- ^ Xu, C .; Prince, J.L. (červen 1997). „Gradientní vektorový tok: nová vnější síla pro hady“ (PDF). Proc. Konf. IEEE na Comp. Vis. Patt. Recog. (CVPR). Los Alamitos: Comp. Soc. Lis. s. 66–71.
- ^ A b Xu, C .; Prince, J.L. (1998). „Hadi, tvary a přechodový vektorový tok“ (PDF). Transakce IEEE na zpracování obrazu. 7 (3): 359–369.
- ^ Hassouna, M.S .; Farag, A.Y. (2009). Msgstr "Kostry variačních křivek pomocí gradientního vektorového toku". Transakce IEEE na analýze vzorů a strojové inteligenci. 31 (12): 2257–2274.
- ^ Yu, H .; Chua, C.S. (2006). "Anizotropní difúzní modely založené na GVF". Transakce IEEE na zpracování obrazu. 15 (6): 1517--1524.
- ^ A b Han, X .; Pham, D.L .; Tosun, D .; Rettmann, ME; Xu, C .; Prince, J.L .; et al. (2004). "CRUISE: kortikální rekonstrukce pomocí implicitní evoluce povrchu". NeuroImage. 23 (3): 997--1012.
- ^ A b Miri, M.S .; Robles, V.A .; Abràmoff, M.D .; Kwon, Y.H .; Garvin, M.K. (2017). „Incorporation of gradient vector flow field in a multimodal graph-theoretic approach for segmenting the internal limiting memb from glaukcomatous optical nerv head-centered volumes SD-OCT“. Počítačové lékařské zobrazování a grafika. 55: 87–94.
- ^ Bai, J .; Shah, A .; Wu, X. (2018). Msgstr "Optimální segmentace více objektů s novými tvary přechodu na základě vektorového přechodu". Počítačové lékařské zobrazování a grafika. Elsevier. 69: 96–111.
- ^ Esteban, C.H .; Schmitt, F. (2004). "Silueta a stereofonní fúze pro 3D modelování objektů". Počítačové vidění a porozumění obrazu. Elsevier. 96 (3): 367–392.
- ^ Han, X .; Xu, C .; Prince, J.L. (2007). Msgstr "Rychlé numerické schéma pro výpočet toku vektoru gradientu pomocí multigridové metody". Zpracování obrazu IET. 1 (1): 48–55.
- ^ Ren, D .; Zuo, W .; Zhao, X .; Lin, Z .; Zhang, D. (2013). Msgstr "Rychlý výpočet vektorového toku gradientu na základě rozšířené Lagrangeovy metody". Písmena pro rozpoznávání vzorů. Elsevier. 34 (2): 219–225.
- ^ Smistad, E .; Elster, A.C .; Lindseth, F. (2015). Msgstr "Tok vektorového gradientu v reálném čase na GPU pomocí OpenCL". Journal of Real-Time Image Processing. Springer. 10 (1): 67–74.
- ^ Smistad, E .; Lindseth, F. (2016). Msgstr "Výpočet toku vektoru s více mřížkovým gradientem na GPU". Časopis zpracování obrazu v reálném čase. Springer. 12 (3): 593–601.
- ^ Xu, C .; Han, X .; Prince, J.L. (2008). "Modely s přechodovým vektorovým deformovatelným tokem". In Isaac Bankman (ed.). Příručka pro lékařské zpracování a analýzu obrazu (2. vyd.). Akademický tisk. 181–194.
- ^ Xu, C .; Prince, J.L. (1998). Msgstr "Zobecněné gradientní vektorové proudění vnějších sil pro aktivní kontury". Zpracování signálu. 71 (2): 131–139.
- ^ Jaouen, V .; Gonzalez, P .; Stute, S .; Guilloteau, D .; Chalon, S .; et al. (2014). Msgstr "Variační segmentace obrazů s vektorovou hodnotou s přechodovým vektorovým tokem". Transakce IEEE na zpracování obrazu. 23 (11): 4773–4785.
- ^ A b Hafiane, A .; Vieyres, P .; Delbos, A. (2014). "Fázově založený pravděpodobnostní aktivní obrys pro detekci nervů v ultrazvukových obrazech pro regionální anestezii". Počítače v biologii a medicíně. 52: 88–95.
- ^ Ray, N .; Acton, S.T. (2004). "Pohybový vektorový tok: Vnější síla pro sledování valivých leukocytů s aktivními konturami omezenými tvarem a velikostí". Transakce IEEE na lékařském zobrazování. 23 (12): 1466–1478.
- ^ Li, B .; Acton, S.T. (2007). Msgstr "Aktivní vnější síla obrysu pomocí konvoluce vektorového pole pro segmentaci obrazu". Transakce IEEE na zpracování obrazu. 16 (8): 2096–2106.
- ^ A b Kass, M .; Witkin, A .; Terzopoulos, D. (1988). "Hadi: aktivní konturové modely". International Journal of Computer Vision. 1: 321–331.
- ^ Hassouna, M.S .; Farag, A.Y. (2009). Msgstr "Kostry variačních křivek pomocí gradientního vektorového toku". Transakce IEEE na analýze vzorů a strojové inteligenci. 31 (12): 2257–2274.
- ^ Xu, C .; Yezzi, A .; Prince, J.L. (říjen 2000). "O vztahu mezi parametrickými a geometrickými aktivními obrysy a jeho aplikacemi". 34. asilomarská konference o signálech, systémech a počítačích. 1. str. 483–489.
- ^ Paragios, N .; Mellina-Gottardo, O .; Ramesh, V. (2004). Msgstr "Přechod vektorového toku, rychlé geometrické aktivní kontury". Transakce IEEE na analýze vzorů a strojové inteligenci. 26 (3): 402–407.
- ^ Goldenberg, R .; Kimmel, R .; Rivlin, E .; Rudzsky, M. (2001). Msgstr "Rychlé geodetické aktivní kontury". Transakce IEEE na zpracování obrazu. {10 (10): 1467–1475.
- ^ Guilot, L .; Bergounioux, M. (2009). "Existence a jedinečnost výsledků pro gradientní vektorový tok a smíšený model geodetických aktivních kontur". Sdělení o čisté a aplikované analýze. 8 (4): 1333–1349.
- ^ Msgstr "Aktivní obrysy vyvolané divergencí gradientního vektorového toku". Zpracování signálu. Elsevier. 120: 185–199. 2016.
- ^ Rodtook, A .; Makhanov, S. S. (2013). "Multifunkční gradientní vektorový tok hadů pro adaptivní segmentaci ultrazvukových obrazů rakoviny prsu". Journal of Visual Communication and Image Representation. Elsevier. 24 (8): 1414–1430.