OpenSMILE
# OpenSMILE

openSMILE ist eine quelloffene Software zur automatischen Extraktion von Merkmalen aus Audiosignalen sowie zur Klassifikation von Sprach- und Musiksignalen. „SMILE“ steht für „Speech & Music Interpretation by Large-space Extraction“. Die Software wird vor allem im Bereich der automatischen Emotionserkennung angewendet und ist in der Affective Computing-Forschungsgemeinde weit verbreitet. Das openSMILE-Projekt existiert seit dem Jahr 2008 und wird seit 2013 von der deutschen Firma audEERING GmbH weitergeführt. openSMILE wird für Forschungszwecke und persönlichen Gebrauch im Rahmen einer Open-Source-Lizenz kostenlos angeboten. Für den kommerziellen Einsatz des Tools bietet das Unternehmen audEERING individuelle Lizenz-Optionen an.

## Anwendungsgebiete

openSMILE wird sowohl in der akademischen Forschung als auch in kommerziellen Anwendungen eingesetzt, um Sprach- und Musiksignale in Echtzeit automatisiert zu analysieren. Im Gegensatz zur automatischen Spracherkennung, welche den gesprochenen Inhalt aus einem Sprachsignal extrahiert, erkennt openSMILE die Charakteristik eines Sprach- oder Musiksegments. Beispiele für Charakteristiken in der menschlichen Sprache sind Emotion, Alter, Geschlecht und Persönlichkeit des Sprechers, sowie Sprecherzustände wie Depression, Trunkenheit oder krankhafte Beeinträchtigungen der Stimme. Die Software beinhaltet außerdem Musik-Klassifikations-Technologien zur Erkennung von Stimmung, Refrain-Segmenten, Tonart, Akkorden, Tempo, Taktart, Tanzstil und Genre.

Das openSMILE-Toolkit dient als Benchmark für viele Forschungswettbewerbe wie Interspeech ComParE, AVEC, MediaEval und EmotiW.

## Geschichte

Das openSMILE-Projekt wurde 2008 an der Technischen Universität München im Rahmen des EU-Forschungsprojekts SEMAINE von Florian Eyben, Martin Wöllmer und Björn Schuller gestartet. Ziel des SEMAINE-Projekts war die Entwicklung eines virtuellen Agenten mit emotionaler und sozialer Intelligenz. In diesem System wurde openSMILE für die Echtzeit-Analyse von Sprache und Emotion verwendet. In der finalen Veröffentlichung von SEMAINE kommt die openSMILE-Version 1.0.1 zum Einsatz.

Im Jahr 2009 wurde basierend auf openSMILE das erste quelloffene Emotionserkennungs-Toolkit (openEAR) veröffentlicht. „EAR“ steht dabei für „Emotion and Affect Recognition“.

2010 wurde die openSMILE-Version 1.0.1 auf der ACM-Multimedia Open-Source Software Challenge vorgestellt und ausgezeichnet.

Zwischen 2011 und 2013 wurde openSMILE von Florian Eyben und Felix Weninger im Rahmen ihrer Doktorarbeit an der TU München weiterentwickelt. Die Software kam auch in dem von der EU geförderten Projekt ASC-Inclusion zum Einsatz und wurde hierfür von Erik Marchi erweitert.

Im Jahr 2013 erwarb die Firma audEERING die Rechte an der Code-Basis von der TU München, und die Version 2.0 wurde unter einer Open-Source-Forschungslizenz veröffentlicht.

Bis zum Jahr 2016 wurde openSMILE weltweit mehr als 50.000 Mal abgerufen und hat sich als Standard-Toolkit für Emotionserkennung etabliert.

## Auszeichnungen

openSMILE wurde 2010 im Kontext der ACM Multimedia Open Source Competition ausgezeichnet. Das Tool wird in vielen wissenschaftlichen Publikationen zum Thema automatische Emotionserkennung eingesetzt. openSMILE und die Erweiterung openEAR wurden in über tausend wissenschaftlichen Publikationen zitiert.

