Načítání obrázků podle obsahu - Content-based image retrieval

Obecné schéma načítání obrázků podle obsahu

Načítání obrázků podle obsahu, také známý jako dotaz podle obsahu obrázku (QBIC) a načítání vizuálních informací na základě obsahu (CBVIR), je aplikace počítačové vidění techniky k načítání obrázků problém, tedy problém hledání digitální obrázky ve velkém databáze (viz tento průzkum[1] pro nedávný vědecký přehled v oblasti CBIR). Načítání obrázků podle obsahu je na rozdíl od tradičních koncepční přístupy (vidět Konceptuální indexování obrázků).

„Obsahové“ znamená, že vyhledávání analyzuje spíše obsah obrázku než metadata například klíčová slova, značky nebo popisy spojené s obrázkem. Pojem „obsah“ v tomto kontextu může odkazovat na barvy, tvary, textury nebo jakékoli jiné informace, které lze odvodit ze samotného obrázku. CBIR je žádoucí, protože vyhledávání, která spoléhají čistě na metadata, jsou závislá na anotace kvalita a úplnost.

Ruční ruční anotace obrázků lidmi zadáním klíčových slov nebo metadat do velké databáze může být časově náročné a nemusí zachytit klíčová slova požadovaná k popisu obrázku. Hodnocení efektivity vyhledávání obrázků klíčových slov je subjektivní a nebylo přesně definováno. Ve stejném ohledu mají systémy CBIR podobné výzvy při definování úspěchu.[2] „Klíčová slova také omezují rozsah dotazů na sadu předem stanovených kritérií.“ a „mít nastaveno“ jsou méně spolehlivé než používat samotný obsah.[3]

Dějiny

Zdá se, že termín „načítání obrázků podle obsahu“ vznikl v roce 1992, kdy byl používán Japonci Elektrotechnická laboratoř inženýr Toshikazu Kato, aby popsal experimenty s automatickým načítáním obrázků z databáze na základě přítomných barev a tvarů.[2][4] Od té doby se tento termín používá k popisu procesu načítání požadovaných obrázků z velké sbírky na základě funkcí syntaktických obrázků. Použité techniky, nástroje a algoritmy pocházejí z polí, jako jsou statistiky, rozpoznávání vzorů, zpracování signálu a počítačové vidění.[1]

Na základě obsahu procházení videa představili íránský inženýr Farshid Arman, tchajwanský počítačový vědec Arding Hsu a počítačový vědec Ming-Yee Chiu, při práci v Siemens, a byl představen na ACM mezinárodní konference v srpnu 1993.[5][6] Popsali a detekce výstřelu algoritmus pro komprimované video který byl původně zakódován diskrétní kosinová transformace (DCT) standardy kódování videa jako JPEG, MPEG a H.26x. Základní myšlenkou bylo, že jelikož DCT koeficienty matematicky souvisí s prostorovou doménou a představují obsah každého snímku, lze je použít k detekci rozdílů mezi videorámečky. V algoritmu je podmnožina bloků v rámci a podmnožina DCT koeficientů pro každý blok použita jako pohybový vektor reprezentace rámu. Tím, že pracuje na komprimovaných reprezentacích DCT, algoritmus významně snižuje výpočetní požadavky na dekompresi a umožňuje efektivní procházení videa.[7] Algoritmus představuje samostatné snímky videosekvence pomocí r-snímku, miniatury snímku orámované oblastí sledování pohybu. Varianta tohoto konceptu byla později přijata pro mozaiky videoobsahu QBIC, kde každý r-snímek je výběžkem ještě od snímku, který představuje.[8]

QBIC - Dotaz na obsah obrázku

Nejstarší komerční systém CBIR byl vyvinut společností IBM a byl volán QBIC (Query By Jákouzelník Cčasto).[9][10] Nedávné přístupy založené na síti a grafech představily jednoduchou a atraktivní alternativu ke stávajícím metodám.[11]

Zatímco ukládání více obrázků jako součásti jedné entity předcházelo tomuto termínu KAPKA (Binary Large OBject),[12] schopnost plně vyhledávat podle obsahu, nikoli podle popisu, musela čekat na QBIC IBM.[3]

Technický pokrok

Zájem o CBIR vzrostl kvůli omezením, která jsou vlastní systémům založeným na metadatech, a také díky široké škále možných využití pro efektivní načítání obrázků. Textové informace o obrázcích lze snadno prohledávat pomocí existující technologie, ale to vyžaduje, aby lidé každý obrázek v databázi ručně popsali. To může být nepraktické pro velmi velké databáze nebo pro obrázky, které se generují automaticky, např. ti z bezpečnostní kamery. Je také možné vynechat obrázky, které ve svých popisech používají různá synonyma. Systémy založené na kategorizaci obrázků v sémantických třídách, jako je „kočka“ jako podtřída „zvířete“, se mohou vyhnout problémům s nesprávnou kategorizací, ale budou vyžadovat větší úsilí uživatele, aby našly obrázky, které mohou být „kočkami“, ale jsou klasifikovány pouze jako „ zvíře". Bylo vyvinuto mnoho standardů pro kategorizaci obrázků, ale všechny stále čelí problémům s měřítkem a nesprávnou kategorizací.[2]

Počáteční systémy CBIR byly vyvinuty k prohledávání databází na základě barev, textur a tvarových vlastností obrazu. Po vývoji těchto systémů byla zřejmá potřeba uživatelsky přívětivých rozhraní. Proto úsilí v oblasti CBIR začalo zahrnovat design zaměřený na člověka, který se snažil vyhovět potřebám uživatele provádějícího vyhledávání. To obvykle znamená zahrnutí: dotazovacích metod, které mohou umožňovat popisnou sémantiku, dotazů, které mohou zahrnovat zpětnou vazbu od uživatelů, systémů, které mohou zahrnovat strojové učení, a systémů, které mohou rozumět úrovním spokojenosti uživatelů.[1]

Techniky

Bylo vyvinuto mnoho systémů CBIR, ale od roku 2006, problém načítání obrázků na základě jejich pixelového obsahu zůstává do značné míry nevyřešen.[1][potřebuje aktualizaci ]

Různé techniky dotazů a implementace CBIR využívají různé typy uživatelských dotazů.

Dotaz podle příkladu

QBE (Query By Epříklad ) je technika dotazu[13] to zahrnuje poskytnutí systému CBIR s ukázkovým obrázkem, na kterém poté založí své hledání. Základní vyhledávací algoritmy se mohou lišit v závislosti na aplikaci, ale výsledné obrázky by měly všechny sdílet společné prvky s poskytnutým příkladem.[14]

Viz také: Zpětné vyhledávání obrázků

Mezi možnosti poskytnutí vzorových obrázků do systému patří:

  • Již existující obrázek může být dodán uživatelem nebo vybrán z náhodné sady.
  • Uživatel nakreslí přibližnou aproximaci obrázku, který hledá, například pomocí barevných bloků nebo obecných tvarů.[14]

Tato technika dotazu odstraňuje potíže, které mohou nastat při pokusu popsat obrázky slovy.

Sémantické vyhledávání

Sémantický načítání začíná tím, že uživatel zadá požadavek jako „najít obrázky Abrahama Lincolna“. Tento typ úlohy s otevřeným koncem je pro počítače velmi obtížný - Lincoln nemusí vždy čelit fotoaparátu nebo být ve stejné póze. Mnoho systémů CBIR proto obecně využívá funkce nižší úrovně, jako je textura, barva a tvar. Tyto funkce se používají buď v kombinaci s rozhraními, která umožňují snadnější zadávání kritérií, nebo s databázemi, které již byly vyškoleny, aby odpovídaly funkcím (například tváře, otisky prstů nebo shoda tvarů). Obecně však vyhledávání obrázků vyžaduje zpětnou vazbu od člověka, aby bylo možné identifikovat koncepty na vyšší úrovni.[10]

Relevantní zpětná vazba (interakce člověka)

Kombinace dostupných vyhledávacích technik CBIR se širokou škálou potenciálních uživatelů a jejich záměry může být obtížným úkolem. Aspekt úspěšného CBIR závisí zcela na schopnosti porozumět záměru uživatele.[15] Systémy CBIR mohou využívat relevantní zpětná vazba, kde uživatel postupně upřesňuje výsledky hledání tak, že ve výsledcích označí obrázky jako „relevantní“, „nerelevantní“ nebo „neutrální“ a poté hledání opakuje s novými informacemi. Byly vyvinuty příklady tohoto typu rozhraní.[16]

Iterativní / strojové učení

Strojové učení a aplikace iteračních technik jsou v CBIR stále běžnější.[17]

Další metody dotazu

Mezi další metody dotazování patří procházení například obrázků, navigace v přizpůsobených / hierarchických kategoriích, dotazování podle oblasti obrázku (spíše než celého obrázku), dotazování podle více příkladů obrázků, dotazování podle vizuálního náčrtu, dotazování přímou specifikací vlastností obrazu a multimodální dotazy ( např. kombinace dotyku, hlasu atd.)[18]

Porovnání obsahu pomocí měření vzdálenosti obrazu

Nejběžnější metodou pro porovnání dvou obrazů při načítání obrazů podle obsahu (obvykle ukázkový obraz a obraz z databáze) je použití míry vzdálenosti obrazu. Měření vzdálenosti obrazu porovnává podobnost dvou obrázků v různých rozměrech, jako je barva, textura, tvar a další. Například vzdálenost 0 znamená přesnou shodu s dotazem, pokud jde o dimenze, které byly brány v úvahu. Jak je možné intuitivně shromáždit, hodnota větší než 0 označuje různé stupně podobnosti mezi obrázky. Výsledky vyhledávání pak lze třídit na základě jejich vzdálenosti od dotazovaného obrázku.[14] Bylo vyvinuto mnoho měr vzdálenosti obrazu (modely podobnosti).[19]

Barva

Výpočet míry vzdálenosti založené na podobnosti barev je dosaženo výpočtem a barevný histogram pro každý obrázek, který identifikuje podíl pixelů v obrázku, který obsahuje konkrétní hodnoty.[2] Zkoumání obrázků na základě barev, které obsahují, je jednou z nejpoužívanějších technik, protože jej lze dokončit bez ohledu na velikost nebo orientaci obrázku.[10] Výzkum se však také pokusil segmentovat podíl barev podle oblasti a podle prostorového vztahu mezi několika barevnými oblastmi.[18]

Textura

Textura míry hledají vizuální vzory v obrazech a jejich prostorové vymezení. Textury jsou reprezentovány texels které jsou poté umístěny do několika sad, v závislosti na tom, kolik textur je v obrázku detekováno. Tyto sady nejen definují texturu, ale také to, kde se v obrázku textura nachází.[14]

Textura je obtížně představitelný koncept. Identifikace konkrétních textur v obraze se dosahuje především modelováním textury jako dvourozměrné variace úrovně šedé. Relativní jas párů pixelů se vypočítá tak, že lze odhadnout stupeň kontrastu, pravidelnosti, hrubosti a směrovosti.[10][20] Problém spočívá v identifikaci vzorů variace co-pixelů a jejich přidružení k určitým třídám textur, jako jsou hedvábnýnebo hrubý.

Mezi další metody klasifikace textur patří:

Tvar

Tvar neodkazuje na tvar obrázku, ale na tvar konkrétní oblasti, která je vyhledávána. Tvary se často určí nejprve při použití segmentace nebo Detekce hrany na obrázek. Jiné metody používají tvarové filtry k identifikaci daných tvarů obrazu.[21] Deskriptory tvaru mohou také potřebovat invariant k překladu, rotaci a škálování.[10]

Některé deskriptory tvarů zahrnují:[10]

Zranitelnosti, útoky a obrana

Stejně jako ostatní úkoly v počítačové vidění jako je rozpoznávání a detekce, jsou citlivé na nejnovější algoritmy vyhledávání založené na neuronových sítích nepřátelské útoky, jak na kandidátské, tak na dotazové útoky.[22] Je prokázáno, že získaný žebříček by mohl být dramaticky změněn s pouze malými poruchami, které jsou pro člověka nepostřehnutelné. Kromě toho jsou také možné modelově agnostické přenositelné nepřátelské příklady, které umožňují útoky typu black-box adversarial na systémy s hlubokým hodnocením bez nutnosti přístupu k jejich základním implementacím.[22][23]

A naopak, odolnost vůči takovým útokům lze zlepšit pomocí nepřátelské obrany, jako je obrana Madry.[24]


Vyhodnocení načítání obrázků

Míry načítání obrázků lze definovat pomocí přesnost a odvolání. Zvažují se však i jiné metody.[25]

Načítání obrazu v systému CBIR současně různými technikami

Obraz je získáván v systému CBIR současným přijetím několika technik, jako je integrace indexování klastrových pixelů, průnik histogramu a diskrétní metody transformace vlnky.[26]

Aplikace

Potenciální použití pro CBIR zahrnují:[2]

Komerční systémy, které byly vyvinuty, zahrnují:[2]

  • QBIC od IBM
  • Virage's VIR Image Engine
  • Excalibur's Image RetrievalWare
  • VisualSEEk a WebSEEk
  • Netra
  • MARS
  • Vhoto
  • Pixolution

Experimentální systémy zahrnují:[2]

  • Fotokniha MIT
  • WebSEEk z Kolumbijské univerzity
  • Informedia Carnegie-Mellon University
  • iSearch - OBRÁZEK

Viz také

Reference

  1. ^ A b C d Načítání multimediálních informací podle obsahu: stav techniky a výzvy (Původní zdroj, 404'd)Načítání multimediálních informací podle obsahu: stav techniky a výzvy Archivováno 2007-09-28 na Wayback Machine, Michael Lew, et al., Transakce ACM na multimediálních počítačích, komunikacích a aplikacích, s. 1–19, 2006.
  2. ^ A b C d E F G Eakins, John; Graham, Margaret. „Načítání obrázků podle obsahu“. University of Northumbria v Newcastlu. Archivovány od originál dne 2012-02-05. Citováno 2014-03-10.
  3. ^ A b Julie Anderson (29. dubna 1996). „Search Images / Object Design Inc - Výprodej roku Skladová diskusní fóra (6. srpna 1996)“. Informační týden (OnLine-reprinted in Silicon Investor's Stock Discussion Forums (6. srpna 1996). str. 69 (IW). Na DB Expo v San Francisku na začátku tohoto měsíce ...[trvalý mrtvý odkaz ]
  4. ^ Kato, Toshikazu (duben 1992). Msgstr "Architektura databáze pro načítání obrázků na základě obsahu". Systémy pro ukládání a načítání obrázků. Mezinárodní společnost pro optiku a fotoniku. 1662: 112–123. Bibcode:1992SPIE.1662..112K. doi:10.1117/12.58497. S2CID  14342247.
  5. ^ Arman, Farshid; Hsu, Arding; Chiu, Ming-Yee (srpen 1993). „Zpracování obrazu na komprimovaná data pro velké video databáze“. Sborník z první mezinárodní konference ACM o multimédiích. Sdružení pro výpočetní techniku: 267–272. doi:10.1145/166266.166297. ISBN  0897915968. S2CID  10392157.
  6. ^ Arman, Farshid; Depommier, Remi; Hsu, Arding; Chiu, Ming-Yee (říjen 1994). „Prohlížení video sekvencí podle obsahu“. Sborník z druhé mezinárodní konference ACM o multimédiích. Sdružení pro výpočetní techniku: 97–103. CiteSeerX  10.1.1.476.7139. doi:10.1145/192593.192630. ISBN  0897916867. S2CID  1360834.
  7. ^ Zhang, HongJiang (1998). „Procházení a načítání videa podle obsahu“. Ve Furht, Borko (ed.). Příručka pro internet a multimediální systémy a aplikace. CRC Press. str.83–108 (89). ISBN  9780849318580.
  8. ^ Steele, Michael; Hearst, Marti A .; Lawrence, A. Rowe (1998). „Video Workbench: rozhraní pro přímou manipulaci pro úpravy digitálních médií amatérskými kameramany“. Sémantický učenec: 1-19 (14). S2CID  18212394.
  9. ^ Flickner, M .; Sawhney, H .; Niblack, W .; Ashley, J .; Qian Huang; Dom, B .; Gorkani, M .; Hafner, J .; Lee, D .; Petkovic, D .; Steele, D .; Yanker, P. (1995). Msgstr "Dotaz na obraz a video obsah: systém QBIC". Počítač. 28 (9): 23–32. doi:10.1109/2.410146. Abstrakt: Výzkum způsobů, jak rozšířit a vylepšit metody dotazování pro databáze obrázků, je velmi rozšířený. Vyvinuli jsme QBIC (Query by Image Content) ...
  10. ^ A b C d E F Rui, Yong; Huang, Thomas S .; Chang, Shih-Fu (1999). „Načítání obrázků: současné techniky, slibné směry a otevřené problémy“. Journal of Visual Communication and Image Representation. 10: 39–62. CiteSeerX  10.1.1.32.7819. doi:10.1006 / jvci.1999.0413.[trvalý mrtvý odkaz ]
  11. ^ Banerjee, S. J .; et al. (2015). „Využívání komplexních sítí k získávání a diagnostice informací ve vícerozměrném zobrazování“. Vědecké zprávy. 5: 17271. arXiv:1506.02602. Bibcode:2015NatSR ... 517271B. doi:10.1038 / srep17271. PMC  4667282. PMID  26626047.
  12. ^ „Pravdivý příběh BLOBů“. Archivovány od originál dne 23. 7. 2011.
  13. ^ „Dotaz podle příkladu“. IBM.com KnowledgeCenter. QBE je jazyk pro dotazování ...
  14. ^ A b C d Shapiro, Linda; George Stockman (2001). Počítačové vidění. Upper Saddle River, NJ: Prentice Hall. ISBN  978-0-13-030796-5.
  15. ^ Datta, Ritendra; Dhiraj Joshi; Jia Li; James Z. Wang (2008). „Image Retrieval: Ideas, Influences, and Trends of the New Age“. ACM Computing Surveys. 40 (2): 1–60. doi:10.1145/1348246.1348248. S2CID  7060187.
  16. ^ A b Bird, C.L .; P.J. Elliott, Griffiths (1996). Msgstr "Uživatelská rozhraní pro načítání obrázků podle obsahu". Citovat deník vyžaduje | deník = (Pomoc)
  17. ^ Cardoso, Douglas; et al. „Iterační technika pro načítání obrázků podle obsahu pomocí více souborů SVM“ (PDF). Federální univerzita v Paraně (Brazílie). Citováno 2014-03-11.
  18. ^ A b Liam M. Mayron. „Načítání obrazu pomocí vizuální pozornosti“ (PDF). Mayron.net. Citováno 2012-10-18.
  19. ^ Eidenberger, Horst (2011). „Fundamental Media Understanding“, atpress. ISBN  978-3-8423-7917-6.
  20. ^ Tamura, Hidejuki; Mori, Shunji; Yamawaki, Takashi (1978). Msgstr "Texturní prvky odpovídající vizuálnímu vnímání". Transakce IEEE na systémech, člověku a kybernetice. 8 (6): 460, 473. doi:10.1109 / tsmc.1978.4309999. S2CID  32197839.
  21. ^ Tushabe, F .; M.H.F. Wilkinson (2008). Načítání obrazu podle obsahu pomocí kombinovaného spektra vzorů 2D atributů (PDF). Springerova přednáška v informatice. Přednášky z informatiky. 5152. str. 554–561. doi:10.1007/978-3-540-85760-0_69. ISBN  978-3-540-85759-4.
  22. ^ A b Zhou, Mo; Niu, Zhenxing; Wang, Le; Zhang, Qilin; Hua, Gang (2020). Msgstr "Útok a obrana na základě kontradiktorního hodnocení". arXiv:2002.11293v2 [cs.CV ].
  23. ^ Li, Jie; Ji, Rongrong; Liu, Hong; Hong, Xiaopeng; Gao, Yue; Tian, ​​Qi. „Universal Perturbation Attack Against Retrieval“. Mezinárodní konference o počítačovém vidění (ICCV 2019). 4899–4908.
  24. ^ Madry, Aleksander; Makelov, Aleksandar; Schmidt, Ludwig; Tsipras, Dimitris; Vladu, Adrian (2017-06-19). "Směrem k modelům hlubokého učení odolným proti nepřátelským útokům". arXiv:1706.06083v4 [stat.ML ].
  25. ^ Deselaers, Thomas; Keysers, Daniel; Ney, Hermann (2007). „Funkce pro načítání obrázků: experimentální srovnání“ (PDF). RWTH Aachen University. Citováno 11. března 2014.
  26. ^ Bhattacharjee, Pijush kanti (2010). „Integrace indexování klastrových pixelů, průnik histogramu a diskrétní metody transformace vlnky pro barevné obrázky Systém načítání obrázků podle obsahu“ (PDF). International Journal of Computer and Electrical Engineering [IJCEE], Singapur, sv. 2, č. 2, str. 345-352, 2010.
  27. ^ Wang, James Ze; Jia Li; Gio Wiederhold; Oscar Firschein (1998). "Systém pro screening závadných obrázků". Počítačová komunikace. 21 (15): 1355–1360. CiteSeerX  10.1.1.78.7689. doi:10.1016 / s0140-3664 (98) 00203-5.

Další čtení

Relevantní výzkumné práce

externí odkazy