Databáze výrazů obličeje - Facial expression databases

A databáze výrazů obličeje je sbírka obrázků nebo videoklipů s výrazy obličeje z řady emoce Dobře anotované (emoce označený) mediální obsah chování obličeje je nezbytný pro trénink, testování a validaci algoritmy pro rozvoj systémy rozpoznávání výrazů. Anotaci emocí lze provést v diskrétní emoce etiketách nebo v průběžném měřítku. Většina databází je obvykle založena na základní emoce teorie (podlePaul Ekman ), který předpokládá existenci šesti samostatných základních emocí (hněv, strach, znechucení, překvapení, radost, smutek). Některé databáze však obsahují značení emocí v měřítku kontinuální valence.

V databázích pózových výrazů jsou účastníci požádáni, aby zobrazovali různé základní emocionální výrazy, zatímco v databázi spontánních výrazů jsou výrazy přirozené. Spontánní výrazy se od pózujících výrazně liší, pokud jde o intenzitu, konfiguraci a trvání. Kromě toho je syntéza některých AU stěží dosažitelná, aniž by prošla přidruženým emočním stavem. Proto jsou ve většině případů představované výrazy přehnané, zatímco spontánní jsou jemné a liší se vzhledem.

Mnoho veřejně dostupných databází je zde zařazeno do kategorií.[1][2] Zde je několik podrobností o výraz tváře databáze.

DatabázeVýraz tvářePočet předmětůPočet obrázků / videíŠedá / BarvaRozlišení, snímková frekvenceZákladní pravdaTyp
FERG-3D-DB (Facial Expression Research Group 3D Database) pro stylizované postavy [3]vztek, znechucení, strach, radost, neutrální, smutný, překvapení439574 anotovaných příkladůBarvaEmoce štítkyČelní pozice
Ryersonova audiovizuální databáze emoční řeči a písně (RAVDESS) [4]Řeč: Klidná, šťastná, smutná, naštvaná, ustráchaná, překvapená, znechucená a neutrální.

Píseň: Klidná, šťastná, smutná, naštvaná, ustráchaná a neutrální. Každý výraz má dvě úrovně emoční intenzity.

24 7356 video a audio souborůBarva1280x720 (720p)Štítky výrazu obličeje

Hodnocení poskytlo 319 hodnotitelů

Pózoval
Rozšířená datová sada Cohn-Kanade (CK +)[5]neutrální, smutek, překvapení, štěstí, strach, hněv, pohrdání a znechucení123 593 obrazových sekvencí (327 sekvencí s diskrétními popisky emocí)Většinou šedá640* 490Štítky výrazu obličeje a FACS (štítek AU pro finální snímek v každé sekvenci obrazu)Pózoval; spontánní úsměvy
Japonské výrazy obličeje (JAFFE)[6]neutrální, smutek, překvapení, štěstí, strach, hněv a znechucení10213 statických obrázkůŠedá256* 256Popisek výrazu obličejePózoval
MMI databáze[7]431280 videí a více než 250 obrázkůBarva720* 576Štítek AU pro rámeček obrázku s vrcholovým výrazem obličeje v každé sekvenci obrazuPózoval a spontánně
Belfastská databáze[8]Sada 1 (znechucení, strach, zábava, frustrace, překvapení)114570 videoklipůBarva720*576Přírodní emoce
Sada 2 (znechucení, strach, zábava, frustrace, překvapení, hněv, smutek)82650 videoklipůBarva
Sada 3 (znechucení, strach, zábava)60180 videoklipůBarva1920*1080
Indická databáze poloaktivních výrazů obličeje (iSAFE)[9]Šťastný, smutný, strach, překvapení, vztek, neutrální, znechucení44395 klipůBarva1920x1080

(60 fps)

Emoce štítkySpontánní
DISFA[10]-274 845 videozáznamůBarva1024 * 768; 20 fpsIntenzita AU pro každý snímek videa (12 AU)Spontánní
Skupina pro porozumění multimédií (MUG)[11]neutrální, smutek, překvapení, štěstí, strach, hněv a znechucení861462 sekvencíBarva896 * 896, 19 sn./sEmoce štítkyPózoval
Indická databáze spontánních projevů (ISED)[12]smutek, překvapení, štěstí a znechucení50428 videíBarva1920 * 1080, 50 fpsEmoce štítkySpontánní
Radboud Faces Database (RaFD)[13]neutrální, smutek, pohrdání, překvapení, štěstí, strach, hněv a znechucení67Tři různé směry pohledu a pět úhlů kamery (8 * 67 * 3 * 5 = 8040 obrázků)Barva681*1024Emoce štítkyPózoval
Databáze Oulu-CASIA NIR-VISpřekvapení, štěstí, smutek, hněv, strach a znechucení80tři různé podmínky osvětlení: normální, slabé a tmavé (celkem 2880 videosekvencí)Barva320×240Pózoval
FERG (databáze skupiny pro výzkum výrazu obličeje) - DB[14] pro stylizované znakyvztek, znechucení, strach, radost, neutrální, smutný, překvapení655767Barva768 x 768Emoce štítkyČelní pozice
AffectNet[15]neutrální, šťastný, smutný, překvapení, strach, znechucení, hněv, pohrdání~ 450 000 ručně anotovaných

~ 500 000 automaticky anotovaných

BarvaRozličnýEmoční štítky, valence, vzrušeníDivoké prostředí
IMPA-FACE3D[16]neutrální frontální, radost, smutek, překvapení, hněv, znechucení, strach, otevřený, zavřený, polibek, levá strana, pravá strana, neutrální sagitální levice, neutrální sagitální pravice, šíje a čelo (někdy získané)38534 statických obrázkůBarva640 x 480Emoce štítkyPózoval
Databáze obličejů FEIneutrální, úsměv2002 800 statických obrázkůBarva640 x 480Emoce štítkyPózoval
Aff-Wild[17] [18]valence a vzrušení200~ 1 250 000 ručně anotovanýchBarvaRůzné (průměr = 640 x 360)Valence, vzrušeníNastavení ve volné přírodě
Aff-Wild2[19] [20]neutrální, štěstí, smutek, překvapení, strach, znechucení, hněv + valenční vzrušení + akční jednotky 1,2,4,6,12,15,20,25458~ 2 800 000 ručně anotovanýchBarvaRůzné (průměr = 1030x630)Valence, Arousal, 7 základních výrazů, akční jednotky pro každý snímek videaNastavení ve volné přírodě
Databáze afektivních tváří v reálném světě (RAF-DB)[21][22]6 tříd základní emoce (Překvapen, strach, znechucení, šťastný, smutný, naštvaný) plus neutrální a 12 tříd složené emoce (Strašně překvapený, Strašně znechucený, Smutně naštvaný, Smutně strašný, Naštvaně znechucený, Vztekle překvapený, Smutně znechucený, Znechuceně překvapen, Štěstí Překvapen, Smutně překvapen, Strašně vzteklý, Štěstí znechucen)29672 anotovaných příkladůBarvaRůzné pro původní datovou sadu a 100 x 100 pro zarovnanou datovou saduEmoce štítkyPózoval a spontánně

Reference

  1. ^ "sbírka emočních databází". Archivovány od originál dne 2018-03-25.
  2. ^ „databáze výrazů obličeje“.
  3. ^ Aneja, Deepali a kol. „Naučit se generovat 3D stylizované výrazy znaků od lidí.“ 2018 IEEE Winter Conference on Applications of Computer Vision (WACV). IEEE, 2018.
  4. ^ Livingstone & Russo (2018). Ryersonova audiovizuální databáze emoční řeči a písně (RAVDESS): Dynamická, multimodální sada výrazů obličeje a hlasu v severoamerické angličtině. doi:10.1371 / journal.pone.0196391
  5. ^ P. Lucey, J. F. Cohn, T. Kanade, J. Saragih, Z. Ambadar a I. Matthews, „Rozšířená datová sada Cohn-Kanade (CK +): Kompletní datová sada výrazu obličeje pro akční jednotku a výraz specifikovaný emocemi,“ v 3. workshop IEEE o CVPR pro analýzu lidského komunikativního chování, 2010
  6. ^ Lyons, Michael; Kamachi, Miyuki; Gyoba, Jiro (1998). Databáze japonských výrazů obličeje (JAFFE). doi:10,5281 / zenodo.3451524.
  7. ^ M. Valstar a M. Pantic, „Vyvolání znechucení, štěstí a překvapení: doplněk databáze výrazů obličeje MMI,“ v Proc. Int. Konf. Jazykové zdroje a hodnocení, 2010
  8. ^ I. Sneddon, M. McRorie, G. McKeown a J. Hanratty, „Belfastská databáze přirozených emocí“, IEEE Trans. Afektivní výpočetní technika, sv. 3, č. 1, s. 32-41, 2012
  9. ^ Singh, Shivendra; Benedikt, Shajulin (2020). Thampi, Sabu M .; Hegde, Rajesh M .; Krishnan, Sri; Mukhopadhyay, Jayanta; Chaudhary, Vipin; Marques, Oge; Piramuthu, Selwyn; Corchado, Juan M. (eds.). „Datová sada indického poloaktivního výrazu obličeje (iSAFE) pro rozpoznávání lidských emocí“. Pokroky v systémech zpracování signálu a inteligentního rozpoznávání. Komunikace v počítačové a informační vědě. Singapur: Springer: 150–162. doi:10.1007/978-981-15-4828-4_13. ISBN  978-981-15-4828-4.
  10. ^ S. M. Mavadati, M. H. Mahoor, K. Bartlett, P. Trinh a J. Cohn., „DISFA: Databáze intenzity spontánní akce obličeje“ IEEE Trans. Afektivní výpočetní technika, sv. 4, č. 2, s. 151–160, 2013
  11. ^ N. Aifanti, C. Papachristou a A. Delopoulos, The MUG Facial Expression Database, v Proc. 11. Int. Workshop o analýze obrazu pro multimediální interaktivní služby (WIAMIS), Desenzano, Itálie, 12. – 14. Dubna 2010.
  12. ^ S L Happy, P. Patnaik, A. Routray a R. Guha, „Indická databáze spontánních výrazů pro rozpoznávání emocí“, v IEEE Transaction on Affective Computing, 2016, doi:10.1109 / TAFFC.2015.2498174.
  13. ^ Langner, O., Dotsch, R., Bijlstra, G., Wigboldus, D.H.J., Hawk, S. T. a van Knippenberg, A. (2010). Prezentace a ověření databáze Radboud Faces. Cognition & Emotion, 24 (8), 1377—1388. doi:10.1080/02699930903485076
  14. ^ „Databáze výzkumné skupiny pro výraz obličeje (FERG-DB)“. grail.cs. washington.edu. Citováno 2016-12-06.
  15. ^ Mollahosseini, A .; Hasani, B .; Mahoor, M. H. (2017). „AffectNet: Databáze pro výraz obličeje, valenci a vzrušení ve volné přírodě“. Transakce IEEE na efektivní výpočetní technice. PP (99): 18–31. arXiv:1708.03985. doi:10.1109 / TAFFC.2017.2740923. ISSN  1949-3045.
  16. ^ „Technické zprávy IMPA-FACE3D“. visgraf.impa.br. Citováno 2018-03-08.
  17. ^ Zafeiriou, S .; Kollias, D .; Nicolaou, M. A.; Papaioannou, A .; Zhao, G .; Kotsia, I. (2017). „Aff-Wild: Valence and Arousal in-the-wild Challenge“ (PDF). Workshopy o počítačovém vidění a rozpoznávání vzorů (CVPRW), 2017.
  18. ^ Kollias, D .; Tzirakis, P .; Nicolaou, M. A.; Papaioannou, A .; Zhao, G .; Schuller, B .; Kotsia, I .; Zafeiriou, S. (2019). „Deep Affect Predikce ve volné přírodě: Aff-Wild Database and Challenge, Deep Architectures, and Beyond“. International Journal of Computer Vision (IJCV), 2019.
  19. ^ Kollias, D .; Zafeiriou, S. (2019). „Výraz, afekt, rozpoznávání akčních jednotek: Aff-wild2, multi-task learning a arcface“ (PDF). British Machine Vision Conference (BMVC), 2019.
  20. ^ Kollias, D .; Schulc, A .; Hajiyev, E .; Zafeiriou, S. (2020). „Analýza afektivního chování v první soutěži abaw 2020“. Mezinárodní konference IEEE o automatickém rozpoznávání tváře a gest (FG), 2020.
  21. ^ Li., S. „RAF-DB“. Skutečná databáze afektivních tváří.
  22. ^ Li, S .; Deng, W .; Du, J. (2017). „Spolehlivé crowdsourcing a hluboké učení zachovávající lokalitu pro rozpoznávání výrazů ve volné přírodě“. Konference IEEE 2017 o počítačovém vidění a rozpoznávání vzorů (CVPR): 2584–2593. doi:10.1109 / CVPR.2017.277.