OpenSMILE - OpenSMILE

openSMILE
VývojářiaudEERING GmbH
První vydáníZáří 2010; před 10ti lety (2010-09)
Stabilní uvolnění
3.0[1] / 20. října 2020; Před 45 dny (2020-10-20)
NapsánoC ++
PlošinaLinux, Operační Systém Mac, Okna, Android, iOS
TypStrojové učení
LicenceZdroj dostupný, proprietární
webová stránkaaudeering.com

openSMILE[2] je dostupný zdroj software pro automatickou extrakci funkcí z zvukové signály a pro klasifikaci řečových a hudebních signálů. „SMILE“ znamená „Interpretace řeči a hudby pomocí extrakce velkého prostoru“. Software se používá hlavně v oblasti automatických rozpoznávání emocí a je široce používán v afektivní výpočetní technika výzkumná komunita. Projekt openSMILE existuje od roku 2008 a je udržován německou společností audEERING GmbH od roku 2013. openSMILE je poskytován zdarma pro výzkumné účely a pro osobní použití na základě licence dostupné pro zdroj. Pro komerční použití nástroje nabízí společnost audEERING možnosti vlastní licence.

Oblasti použití

openSMILE se používá pro akademický výzkum i pro komerční aplikace za účelem automatické analýzy řečových a hudebních signálů v reálném čase. Na rozdíl od automatické rozpoznávání řeči který extrahuje mluvený obsah z řečového signálu, openSMILE je schopen rozpoznat vlastnosti daného řečového nebo hudebního segmentu. Příklady takových charakteristik zakódovaných v lidské řeči jsou mluvčí emoce[3], věk, pohlaví a osobnost, stejně jako stavy mluvčích jako Deprese, opojení nebo patologické poruchy hlasu. Tento software dále zahrnuje technologii klasifikace hudby pro automatickou detekci a rozpoznávání nálady hudby refrén segmenty, klíč, akordy, tempo, metr, taneční styl a žánr.

Sada nástrojů openSMILE slouží jako měřítko v různých výzkumných soutěžích, jako je Interspeech ComParE[4], AVEC[5], MediaEval[6]a EmotiW[7].

Dějiny

Projekt openSMILE zahájili v roce 2008 Florian Eyben, Martin Wöllmer a Björn Schuller na Technická univerzita v Mnichově v rámci Evropská unie výzkumný projekt SEMAINE. Cílem projektu SEMAINE bylo vyvinout virtuálního agenta s emocionálním a sociální inteligence. V tomto systému byl openSMILE použit pro analýzu řeči a emocí v reálném čase. Konečné vydání softwaru SEMAINE je založeno na openSMILE verze 1.0.1.

V roce 2009 byla na základě openSMILE vydána sada nástrojů pro rozpoznávání emocí (openEAR). „EAR“ znamená „Rozpoznání emocí a afektů“.

V roce 2010 byla zveřejněna verze openSMILE 1.0.1, která byla představena a oceněna na ACM Multimedia Open-source softwarová výzva.

V letech 2011 až 2013 byla technologie openSMILE rozšířena a vylepšena Florianem Eybenem a Felixem Weningerem v rámci jejich disertační práce na Technická univerzita v Mnichově. Tento software byl také použit pro projekt ASC-Inclusion, který byl financován z Evropská unie. Pro tento projekt byl software rozšířen Erikem Marchim, aby se naučil emoční výraz autistický děti, založené na automatickém rozpoznávání emocí a vizualizaci.

V roce 2013 získala společnost auditující práva na kódovou základnu od Technická univerzita v Mnichově a verze 2.0 byla publikována pod licencí k výzkumu dostupnou u zdroje.

Do roku 2016 byl openSMILE stažen více než 50 000krát po celém světě a etabloval se jako standardní sada nástrojů pro rozpoznávání emocí.

Ocenění

openSMILE byl oceněn v roce 2010 v rámci ACM Multimedia Soutěž s otevřeným zdrojovým kódem. Softwarový nástroj je používán v mnoha vědeckých publikacích o automatickém rozpoznávání emocí. openSMILE[8] a jeho rozšíření openEAR[9] byly dosud citovány ve více než 1000 vědeckých publikacích.

Reference

  1. ^ „Release openSMILE 3.0“. Citováno 28. října 2020.
  2. ^ F. Eyben, M. Wöllmer, B. Schuller: „openSMILE - Mnichovský všestranný a rychlý extraktor zvukových funkcí s otevřeným zdrojovým kódem “, V Proc. ACM Multimedia (MM), ACM, Florencie, Itálie, ACM, str. 1459-1462, říjen 2010.
  3. ^ B. Schuller, B. Vlasenko, F. Eyben, M. Wöllmer, A. Stuhlsatz, A. Wendemuth, G. Rigoll, "Cross-Corpus Acoustic Emotion Recognition: Variance and Strategies (Extended Abstract) „, Proc. of ACII 2015, Xi'an, Čína, pozval na zvláštní zasedání k nejvlivnějším článkům v transakcích IEEE o efektivním výpočtu.
  4. ^ B. Schuller, S. Steidl, A. Batliner, J. Hirschberg, J. K. Burgoon, A. Elkins, Y. Zhang, E. Coutinho: "Výzva výpočetní paralingvistiky INTERSPEECH 2016: Podvod a upřímnost Archivováno 09.06.2017 na Wayback Machine ", Proceedings INTERSPEECH 2016, ISCA, San Francisco, USA, 2016.
  5. ^ F. Ringeval, B. Schuller, M. Valstar, R. Cowie, M. Pantic, “AVEC 2015 - 5. mezinárodní výzva a seminář pro audio / vizuální emoce, “Ve sborníku z 23. mezinárodní konference multimédií ACM, MM 2015, (Brisbane, Austrálie), ACM, říjen 2015.
  6. ^ M. Eskevich, R. Aly, D. Racca, R. Ordelman, S. Chen, G. J. Jones, "Úkol hledání a hypertextových odkazů na MediaEval 2014 ".
  7. ^ F. Ringeval, S. Amiriparian, F. Eyben, K. Scherer, B. Schuller, “Rozpoznávání emocí ve volné přírodě: Začlenění aktivity hlasu a rtů do multimodální fúze na úrovni rozhodnutí, “Ve sborníku konference ICMI 2014 EmotiW - Emotion Recognition In The Wild Challenge and Workshop (EmotiW 2014), Satellite of the 16. ACM International Conference on Multimodal Interaction (ICMI 2014), (Istanbul, Turkey), pp. 473–480, ACM, listopad 2014
  8. ^ Eyben, Florian; Wöllmer, Martin; Schuller, Björn (26. dubna 2018). „Opensmile: mnichovský všestranný a rychlý extraktor zvukových funkcí s otevřeným zdrojovým kódem“. ACM. 1459–1462 - přes Google Scholar.
  9. ^ Eyben, Florian; Wöllmer, Martin; Schuller, Björn (26. dubna 2018). „OpenEAR - představení mnichovské open-source emoce a ovlivnění nástroje pro rozpoznávání“. IEEE. s. 1–6 - prostřednictvím Google Scholar.

Webové odkazy