Strukturální podobnost - Structural similarity - Wikipedia

Zdá se, že hlavní přispěvatel do tohoto článku má úzké spojení s jeho předmětem. Může vyžadovat vyčištění, aby vyhovovalo zejména obsahovým zásadám Wikipedie neutrální hledisko. Diskutujte prosím dále o diskusní stránka. (Březen 2019) (Zjistěte, jak a kdy odstranit tuto zprávu šablony)

The strukturální podobnost indexová míra (SSIM) je metoda pro předpovídání vnímané kvality digitální televize a filmových obrazů, jakož i dalších druhů digitálních obrazů a videí. SSIM se používá k měření podobnosti mezi dvěma obrazy. Index SSIM je a úplná referenční metrika; jinými slovy, měření nebo předpověď kvalita obrazu je založen na počátečním nekomprimovaném nebo nezkresleném obrázku jako reference.

SSIM je model založený na vnímání, který považuje degradaci obrazu za vnímaná změna strukturálních informací, a zároveň zahrnuje důležité percepční jevy, včetně výrazů maskování jasu a maskování kontrastu. Rozdíl s jinými technikami, jako je MSE nebo PSNR je to, že tyto přístupy odhadují absolutní chyby. Strukturální informace je myšlenka, že pixely mají silné vzájemné závislosti, zvláště když jsou prostorově blízko. Tyto závislosti nesou důležité informace o struktuře objektů ve vizuální scéně. Maskování jasu je jev, při kterém jsou zkreslení obrazu (v tomto kontextu) obvykle méně viditelná ve světlých oblastech, zatímco maskování kontrastu je jev, při kterém jsou zkreslení méně viditelná, pokud je v obraze významná aktivita nebo „struktura“.

Dějiny

Byl povolán předchůdce SSIM Univerzální index kvality (UQI) nebo Wang – Bovikův index, který vyvinuli Zhou Wang a Alan Bovik v roce 2001. To se vyvinulo díky jejich spolupráci s Hamidem Sheikhem a Eero Simoncelli, do aktuální verze SSIM, která byla zveřejněna v dubnu 2004 v Transakce IEEE na zpracování obrazu.^[1] Kromě definování indexu kvality SSIM tento dokument poskytuje obecný kontext pro vývoj a hodnocení percepčních opatření kvality, včetně připojení k lidské vizuální neurobiologii a vnímání a přímé ověření indexu proti hodnocení lidských subjektů.

Základní model byl vyvinut v Laboratoři pro obrazové a video inženýrství (LIVE) na adrese Texaská univerzita v Austinu a dále rozvíjeny společně s Laboratory for Computational Vision (LCV) v Newyorská univerzita. Další varianty modelu byly vyvinuty v Image and Visual Computing Laboratory na adrese University of Waterloo a byly komerčně uvedeny na trh.

SSIM následně našel silné přijetí v komunitě zpracování obrazu. Dokument SSIM z roku 2004 byl citován více než 20 000krát Google Scholar,^[2] což z něj činí jeden z nejlépe citovaných článků v oblasti zpracování obrazu a videoinženýrství. Bylo přiznáno Společnost pro zpracování signálů IEEE Cena za nejlepší papír za rok 2009.^[3] Rovněž obdržela Společnost pro zpracování signálů IEEE Cena Sustained Impact Award za rok 2016 svědčí o tom, že příspěvek má neobvykle vysoký dopad po dobu nejméně 10 let po jeho zveřejnění.

Algoritmus

Index SSIM se počítá na různých oknech obrázku. Míra mezi dvěma okny ${ displaystyle x}$ a ${ displaystyle y}$ běžné velikosti N×N je:^[4]

$${ displaystyle { hbox {SSIM}} (x, y) = { frac {(2 mu _ {x} mu _ {y} + c_ {1}) (2 sigma _ {xy} + c_ {2})} {( mu _ {x} ^ {2} + mu _ {y} ^ {2} + c_ {1}) ( sigma _ {x} ^ {2} + sigma _ { y} ^ {2} + c_ {2})}}}$$

s:

• ${ displaystyle scriptstyle mu _ {x}}$ the průměrný z ${ displaystyle scriptstyle x}$;
• ${ displaystyle scriptstyle mu _ {y}}$ the průměrný z ${ displaystyle scriptstyle y}$;
• ${ displaystyle scriptstyle sigma _ {x} ^ {2}}$ the rozptyl z ${ displaystyle scriptstyle x}$;
• ${ displaystyle scriptstyle sigma _ {y} ^ {2}}$ the rozptyl z ${ displaystyle scriptstyle y}$;
• ${ displaystyle scriptstyle sigma _ {xy}}$ the kovariance z ${ displaystyle scriptstyle x}$ a ${ displaystyle scriptstyle y}$;
• ${ displaystyle scriptstyle c_ {1} = (k_ {1} L) ^ {2}}$, ${ displaystyle scriptstyle c_ {2} = (k_ {2} L) ^ {2}}$ dvě proměnné pro stabilizaci rozdělení se slabým jmenovatelem;
• ${ displaystyle scriptstyle L}$ the dynamický rozsah hodnot pixelů (obvykle je to ${ displaystyle scriptstyle 2 ^ { # bitů na pixel} -1}$);
• ${ displaystyle scriptstyle k_ {1} = 0,01}$ a ${ displaystyle scriptstyle k_ {2} = 0,03}$ ve výchozím stavu.

Složky vzorce

Vzorec SSIM je založen na třech srovnávacích měřeních mezi vzorky ${ displaystyle x}$ a ${ displaystyle y}$: jas (${ displaystyle l}$), kontrast (${ displaystyle c}$) a struktura (${ displaystyle s}$). Jednotlivé porovnávací funkce jsou:^[4]

$${ displaystyle l (x, y) = { frac {2 mu _ {x} mu _ {y} + c_ {1}} { mu _ {x} ^ {2} + mu _ {y } ^ {2} + c_ {1}}}}$$

$${ displaystyle c (x, y) = { frac {2 sigma _ {x} sigma _ {y} + c_ {2}} { sigma _ {x} ^ {2} + sigma _ {y } ^ {2} + c_ {2}}}}$$

$${ displaystyle s (x, y) = { frac { sigma _ {xy} + c_ {3}} { sigma _ {x} sigma _ {y} + c_ {3}}}}$$

s, kromě výše uvedených definic:

• ${ displaystyle c_ {3} = c_ {2} / 2}$

SSIM je pak vážená kombinace těchto komparativních opatření:

${ displaystyle { text {SSIM}} (x, y) = left [l (x, y) ^ { alpha} cdot c (x, y) ^ { beta} cdot s (x, y ) ^ { gamma} vpravo]}$

Nastavení váhy ${ displaystyle alpha, beta, gamma}$ na 1, vzorec lze zredukovat do výše uvedené formy.

Matematické vlastnosti

SSIM uspokojuje nezápornost, identitu nerozporných a vlastnosti symetrie, ale ne nerovnost trojúhelníku, a proto není funkce vzdálenosti. Za určitých podmínek však může být SSIM převeden na normalizované kořenové měřítko MSE, což je funkce vzdálenosti.^[5] Čtverec takové funkce není konvexní, ale je lokálně konvexní a kvazikonvexní,^[5] SSIM je proveditelným cílem optimalizace.

Použití vzorce

Za účelem vyhodnocení kvality obrazu se tento vzorec obvykle používá pouze pro luma, ačkoli to může být také aplikováno na barvu (např. RGB ) hodnoty nebo chromatické (např. YCbCr ) hodnoty. Výsledný index SSIM je desetinná hodnota mezi -1 a 1 a hodnota 1 je dosažitelná pouze v případě dvou identických sad dat, a proto označuje dokonalou strukturní podobnost. Hodnota 0 označuje žádnou strukturální podobnost. U obrázku se obvykle počítá pomocí posuvného gaussovského okna o velikosti 11x11 nebo blokového okna o velikosti 8 × 8. Okno lze na obrázku posunout pixel po pixelu a vytvořit tak mapu kvality SSIM obrázku. V případě hodnocení kvality videa^[6] autoři navrhují použít pouze podskupinu možných oken, aby se snížila složitost výpočtu.

Varianty

Multi-Scale SSIM

Pokročilejší forma SSIM, nazývaná Multiscale SSIM (MS-SSIM)^[4] je prováděno na více stupnicích procesem několika fází dílčího vzorkování, což připomíná víceúrovňové zpracování v systému raného vidění. Ukázalo se, že funguje stejně dobře nebo lépe než SSIM v různých subjektivních databázích obrazů a videí.^[4][7][8]

Třísložkový SSIM

Třísložkový SSIM (3-SSIM) je forma SSIM, která bere v úvahu skutečnost, že lidské oko může vidět rozdíly přesněji v texturovaných nebo okrajových oblastech než v hladkých oblastech.^[9] Výsledná metrika se počítá jako vážený průměr SSIM pro tři kategorie oblastí: hrany, textury a hladké oblasti. Navrhovaná váha je 0,5 pro hrany, 0,25 pro texturované a hladké oblasti. Autoři uvádějí, že vážení 1/0/0 (ignorování všeho kromě zkreslení hran) vede k výsledkům, které se blíží subjektivnímu hodnocení. To naznačuje, že okrajové regiony hrají dominantní roli ve vnímání kvality obrazu.

Strukturální odlišnost

Strukturální odlišnost (DSSIM) může být odvozena z SSIM, ačkoli nepředstavuje funkci vzdálenosti, protože nerovnost trojúhelníku nemusí být nutně splněna.

$${ displaystyle { hbox {DSSIM}} (x, y) = { frac {1 - { hbox {SSIM}} (x, y)} {2}}}$$

Metriky kvality videa a časové varianty

Stojí za zmínku, že původní verze SSIM byla navržena pro měření kvality statických obrázků. Neobsahuje žádné parametry přímo související s časovými dopady lidského vnímání a lidského úsudku.^[7] Běžnou praxí je výpočet průměrné hodnoty SSIM přes všechny snímky ve videosekvenci. Bylo však vyvinuto několik časových variant SSIM.^[10][6][11]

Komplexní wavelet SSIM

Komplexní varianta transformace waveletové transformace SSIM (CW-SSIM) je navržena tak, aby řešila problémy změny měřítka, překladu a rotace obrazu. Místo toho, aby obrázky s takovými podmínkami získaly nízké skóre, využívá CW-SSIM výhodu komplexní vlnkové transformace, a proto poskytuje vyšší skóre uvedeným obrazům. CW-SSIM je definován následovně:

$${ displaystyle { text {CW-SSIM}} (c_ {x}, c_ {y}) = { bigg (} { frac {2 sum _ {i = 1} ^ {N} | c_ {x , i} || c_ {y, i} | + K} { sum _ {i = 1} ^ {N} | c_ {x, i} | ^ {2} + sum _ {i = 1} ^ {N} | c_ {y, i} | ^ {2} + K}} { bigg)} { bigg (} { frac {2 | sum _ {i = 1} ^ {N} c_ {x , i} c_ {y, i} ^ {*} | + K} {2 sum _ {i = 1} ^ {N} | c_ {x, i} c_ {y, i} ^ {*} | + K}} { bigg)}}$$

Kde ${ displaystyle c_ {x}}$ je komplexní vlnková transformace signálu ${ displaystyle x}$ a ${ displaystyle c_ {y}}$ je komplexní vlnková transformace signálu ${ displaystyle y}$. Dodatečně, ${ displaystyle K}$ je malé kladné číslo používané pro účely funkční stability. V ideálním případě by to mělo být nula. Stejně jako SSIM má CW-SSIM maximální hodnotu 1. Maximální hodnota 1 znamená, že oba signály jsou strukturálně dokonale podobné, zatímco hodnota 0 označuje žádnou strukturální podobnost.^[12]

SSIMPLUS

Index SSIMPLUS je založen na SSIM a je komerčně dostupným nástrojem.^[13] Rozšiřuje možnosti SSIM, zejména na cílové video aplikace. Poskytuje skóre v rozsahu 0–100, lineárně přizpůsobené lidským subjektivním hodnocením. Umožňuje také přizpůsobit skóre zamýšlenému zobrazovacímu zařízení a porovnávat video v různých rozlišeních a obsahu.

Podle jeho autorů dosahuje SSIMPLUS vyšší přesnosti a vyšší rychlosti než jiné metriky kvality obrazu a videa. Nebylo však provedeno žádné nezávislé hodnocení SSIMPLUS, protože samotný algoritmus není veřejně dostupný.

aplikace

SSIM má aplikace v řadě různých problémů. Některé příklady jsou:

• Komprese obrazu: ve ztrátě komprese obrazu, informace jsou záměrně zahozeny, aby se zmenšil úložný prostor obrázků a videa. MSE se obvykle používá v takových schématech komprese. Podle jeho autorů se doporučuje použít SSIM místo MSE, aby se dosáhlo lepších výsledků pro dekomprimované obrázky.^[12]
• Obnova obrazu: Obnova obrazu se zaměřuje na řešení problému ${ displaystyle y = h * x + n}$ kde ${ displaystyle y}$ je rozmazaný obraz, který by měl být obnoven, ${ displaystyle h}$ je rozmazané jádro, ${ displaystyle n}$ je aditivní hluk a ${ displaystyle x}$ je původní obrázek, který chceme obnovit. Tradiční filtr, který se používá k řešení tohoto problému, je Wienerův filtr. Návrh Wienerova filtru je však založen na MSE. Podle autorů algoritmu se tvrdí, že použití varianty SSIM, konkrétně Stat-SSIM, produkuje lepší vizuální výsledky.^[12]
• Rozpoznávání vzorů: Protože SSIM napodobuje aspekty lidského vnímání, lze jej použít k rozpoznávání vzorů. Když se potýkají s problémy, jako je změna měřítka obrazu, překlad a rotace, autoři algoritmu tvrdí, že je lepší použít CW-SSIM,^[14] který je necitlivý na tyto variace a může být přímo aplikován pomocí porovnávání šablon bez použití jakéhokoli cvičného vzorku. Protože přístupy rozpoznávání vzorů založené na datech mohou produkovat lepší výkon, když je k dispozici velké množství dat pro školení, autoři navrhují použít CW-SSIM v přístupech založených na datech.^[14]

Porovnání výkonu

Vzhledem ke své popularitě je SSIM často srovnáván s jinými metrikami, včetně jednodušších metrik, jako jsou MSE a PSNR, a dalších percepčních obrazů a metriky kvality videa. Bylo opakovaně prokázáno, že SSIM výrazně překonává MSE a jeho deriváty v přesnosti, včetně výzkumu jeho vlastních autorů a dalších.^{[7][15][16][17][18][19]}

Dokument autorů Dosselmann a Yang tvrdí, že výkon SSIM je „mnohem blíže výkonu MSE“, než se obvykle předpokládalo. I když nezpochybňují výhodu SSIM oproti MSE, uvádějí analytickou a funkční závislost mezi těmito dvěma metrikami.^[8] Podle jejich výzkumu bylo zjištěno, že SSIM koreluje stejně jako metody založené na MSE na jiných subjektivních databázích, než jsou databáze od tvůrců SSIM. Jako příklad uvádějí Reibmana a Pooleho, kteří zjistili, že MSE překonal SSIM v databázi obsahující video se ztrátou paketů.^[20] V jiném článku byla identifikována analytická souvislost mezi PSNR a SSIM.^[21]

Viz také

• Průměrná čtvercová chyba
• Špičkový poměr signálu k šumu
• Kvalita videa

Reference

externí odkazy

• Domovská stránka
• Realizace rezu
• Implementace C / C ++
• Implementace DSSIM C ++
• Chris Lomont C # implementace
• implementace qpsnr (C ++ s více vlákny)
• Implementace v softwaru VQMT
• Implementace v Pythonu