Saliency mapa - Saliency map - Wikipedia

Pohled na pevnost Marburg (Německo) a hlavní mapa obrázku pomocí barvy, intenzity a orientace.

v počítačové vidění, a mapa výběžku je obraz který ukazuje každý pixel jedinečná kvalita.^[1] Cílem mapy výběžku je zjednodušit a / nebo změnit reprezentaci obrazu na něco smysluplnějšího a snadněji analyzovatelného. Například pokud má pixel vysoký úroveň šedé nebo jinou jedinečnou kvalitu barev v barevném obrázku, kvalita tohoto pixelu se zobrazí v mapě výběžku a zjevným způsobem. Saliency je druh segmentace obrazu.

Saliency jako problém segmentace

Odhad výběžku lze považovat za instanci segmentace obrazu. v počítačové vidění, segmentace obrazu je proces rozdělení digitálního obrazu na více segmentů (sady pixelů, známé také jako superpixely ). Cílem segmentace je zjednodušit a / nebo změnit zobrazení obrazu na něco smysluplnějšího a snadněji analyzovatelného. Segmentace obrazu se obvykle používá k vyhledání objektů a hranic (čar, křivek atd.) V obrazech. Přesněji řečeno, segmentace obrazu je proces přiřazení štítku ke každému pixelu v obraze, takže pixely se stejným štítkem sdílejí určité vlastnosti.^[2]

Příklad implementace

Nejprve bychom měli vypočítat vzdálenost každého pixelu od zbytku pixelů ve stejném rámečku:

{ displaystyle mathrm {SALS} (I_ {k}) = součet _ {i = 1} ^ {N} | I_ {k} -I_ {i} |}

${ displaystyle I_ {i}}$ je hodnota pixelu ${ displaystyle i}$ , v rozmezí [0,255]. Následující rovnice je rozšířená forma této rovnice.

PRODEJ (Já k) = | Já k - Já 1 | + | Já k - Já 2 | + ... + | Já k - Já N |

Kde N je celkový počet pixelů v aktuálním rámci. Poté můžeme naši strukturu dále restrukturalizovat. Dali jsme dohromady hodnotu, která má stejnou já.

PRODEJ (Já k) = \sum F n \times | Já k - Já n |

Kde $F n$ je frekvence $Já n$ . A hodnota n patří [0,255]. Frekvence jsou vyjádřeny ve formě histogramu a výpočetní čas histogramu je ${ displaystyle O (N)}$ časová složitost.

Časová složitost

Tento algoritmus mapy výběžku má ${ displaystyle O (N)}$ časová složitost. Protože výpočetní doba histogramu je ${ displaystyle O (N)}$ časová složitost, kterou N je počet pixelů v počtu snímků. Kromě toho část mínus a část násobení této rovnice vyžadují 256krát operaci. V důsledku toho je časová složitost tohoto algoritmu ${ displaystyle O (N + 256)}$ což se rovná ${ displaystyle O (N)}$ .

Pseudo kód

Všechny následující kódy jsou pseudo Matlab kód. Nejprve si přečtěte Data z videosekvencí.

pro k = 2 : 1 : 13  %, což znamená od rámce 2 do 13, a v každé smyčce se hodnota K. zvýší o jednu.  Já = imread (currentfilename); % čte aktuální snímek  I1 = im2single (Já);    % převede dvojitý obrázek na jeden (požadavek na příkaz vlslic)  l = imread (previousfilename); % přečíst předchozí snímek  I2 = im2single (l); regionSize = 10; % nastavení parametru SLIC toto nastavení parametru je experimentální výsledek. RegionSize znamená velikost superpixelu.  regularizer = 1; % nastavuje parametr SLIC   segmenty1 = vl_slic (I1, regionSize, regularizer); % získat superpixel aktuálního snímku  segmenty2 = vl_slic (I2, regionSize, regularizer); % získat superpixel předchozího snímku  numsuppix = max (segmenty1 (:)); % získat počet superpixelů, ve kterých jsou všechny informace o superpixelu tento odkaz  regstats1 = regionprops (segmenty1, 'Všechno'); regstats2 = regionprops (segmenty2, 'Všechno'); % získá charakteristiku regionu na základě segmentů1

Poté, co načteme data, provedeme proces superpixelů na každý snímek. Spnum1 a Spnum2 představují počet pixelů aktuálního snímku a předchozího pixelu.

% Nejprve vypočítáme hodnotovou vzdálenost každého pixelu.% Toto je náš základní kódpro i=1:1:spnum1   % Od prvního pixelu po poslední. A v každé smyčce i ++      pro j = 1: 1: spnum2 % Z the za prvé pixel na the poslední jeden. j ++. předchozí rám           centredista(i:j) = součet((centrum(i)-centrum(j))); % vypočítá vzdálenost od středu       koneckonec

Poté vypočítáme barevnou vzdálenost každého pixelu, tento proces nazýváme kontrakční funkcí.

pro i=1:1:spnum1 % Od prvního pixelu aktuálního snímku po poslední jeden pixel. I ++      pro j = 1: 1: spnum2% Od prvního pixelu předchozího snímku k poslednímu pixelu. J ++           posdiff(i,j) = součet((regstats1(j).Těžiště’-mupwtd(:,i))); % Vypočítejte barevnou vzdálenost.      koneckonec

Po těchto dvou procesech získáme mapu saliency a poté všechny tyto mapy uložíme do nové FileFolder.

Rozdíl v algoritmech

Hlavní rozdíl mezi funkcí jedna a dvě je rozdíl kontrakční funkce. Pokud spnum1 a spnum2 představují číslo pixelu aktuálního snímku, pak je tato kontrakční funkce pro první funkci saliency. Pokud spnum1 je počet pixelů aktuálního snímku a spnum2 představuje počet pixelů předchozího snímku, pak je tato kontrakční funkce pro druhou funkci saliency. Pokud použijeme druhou kontrakční funkci, která pomocí pixelu stejného snímku získá středovou vzdálenost, aby získala mapu saliency, pak použijeme tuto saliency funkci na každý snímek a použijeme mapu saliency aktuálního snímku minus mapu saliency předchozího snímku, abychom získali nový obrázek což je nový výsledek saliency třetí funkce saliency.

Výsledek výběžku

Reference

^ Kadir, Timor; Brady, Michael (2001). Msgstr "Výběžek, měřítko a popis obrázku". International Journal of Computer Vision. 45 (2): 83–105. CiteSeerX 10.1.1.154.8924. doi:10.1023 / A: 1012460413855.
^ A. Maity (2015). "Improvizovaná detekce a manipulace hlavních objektů". arXiv:1511.02999 [cs.CV ].

externí odkazy

Zhai, Yun; Shah, Mubarak (2006-10-23). Detekce vizuální pozornosti ve video sekvencích pomocí časoprostorových signálů. Sborník příspěvků ze 14. mezinárodní konference multimédií ACM. MM '06. New York, NY, USA: ACM. 815–824. CiteSeerX 10.1.1.80.4848. doi:10.1145/1180639.1180824. ISBN 978-1595934475.
VLfeat: http://www.vlfeat.org/index.html
Saliency mapa na Scholarpedia

Viz také

[1] Kadir, Timor; Brady, Michael (2001). Msgstr "Výběžek, měřítko a popis obrázku". International Journal of Computer Vision. 45 (2): 83–105. CiteSeerX 10.1.1.154.8924. doi:10.1023 / A: 1012460413855.

[2] A. Maity (2015). "Improvizovaná detekce a manipulace hlavních objektů". arXiv:1511.02999 [cs.CV ].

[1]

[2]