Audio Intelligence.ai

Transkript

1 Audio Intelligence.ai Emotionale künstliche Intelligenz Next Generation Audio-KI in Diagnostik und Therapie CEO & Co-Founder, audeering Digital Health Conference, 20. September

2 Was wir mit Audio Intelligence erkennen Alcohol consumption Depression Health Stress Heart rate Diseases Anger Happiness Emotion Sadness Relief Height Dialect Nationality Person Identity Gender Age Social setting Context Environmental sounds Confidence Personality Extroversion 2

3 Holism. Analyse sämtlicher Faktoren 3

4 4 Audio Intelligence aktuell # Classes %UA/*AUC/ + CC Addressee INTERSPEECH Cold Snoring COMPARE Deception Sincerity # Classes %UA/*AUC/ [0,1] + CC Personality Native Lang. 5x # Classes %UA/*AUC/+CC Likability Nativeness 2 [0,1] Affect: Atypical Intelligibility Parkinson s 2 [0,100] Affect: Self-Ass Intoxication Eating Crying Sleepiness Cognitive Load Heart Beats Age Physical Load Gender Social Signals x2 92.7* Interest Conflict [-1,1] Emotion Emotion Negativity Autism

5 Nur EIN Wort WIE man etwas sagt, zeigt mehr Ewa Placzynska: HOW TO SPEAK VIENNESE USING ONLY ONE WORD 5

6 Wie Audio Intelligence funktioniert 1. Audio Daten werden in Echtzeit analysiert 2. Mehr als 6,000 Charakteristika (Features) werden aus dem Signal extrahiert 3. Intelligente, self-evolving context sensitive deep learning and transfer learning Methoden werden eingesetzt, 6

7 Beispiel: Diagnose I Parkinson s Disorder (PD) Voice Analysis Daten: 30 gesunde Probanden (alle Altersgruppen) 20 Probanden mit PD Diagnose Subject disjunct validation Binäre Klassifikation Accuracy 91.8% UPDRS score regression (subjects range ~20-90) Mean abs error: 11.8 Pearson corr.: 0.53 #24: sub-harmonics (laryngalisation), also occurs with PD subjects #29: erratic pitch variation (tremor), common for PD 7

8 H ECoWeb Beispiel: Diagnose II Projekt zusammen mit u.a. University of Exeter, LMU München, Universität Gent, Deutsches Jugendinstitut, University of Oxford Erkennung von Burnout / Depression speziell in der Zielgruppe Jugendliche Ziel: Entwicklung eines Modells zur frühen Diagnose und erweiterter Interventionsmöglichkeiten für Betroffene 8

9 Beispiel: Anwendung Therapie I Emotionen lernen wie eine Fremdsprache Audio-Erkennung und Feedback der Emotion für Kinder auf dem Autismusspektrum Integration der Technologie auf empathischem Roboter (embedded) Erkennen der Emotion, Klassifikation, Feedback Recognition %UA Emotion 80.0 Diagnosis %UA ASC 89.2 Rett 76.5 Erweiterung: Darstellung der Emotion durch das Kind und aktive Feedback-Funktion Zusätzliche Erweiterung im Bereich Multisensorik (Video) und Serious Gaming durch BMBF-Projekt ERIK in Zusammenarbeit mit u.a. Fraunhofer IIS, HU Berlin. 9

10 Beispiel: Therapie II OPTAPEB (gefördert durch BMBF) Verbesserte Therapie für Angstpatienten durch VR Agent Erkennung der Emotion aus dem Audio in Echtzeit in Kombination mit Multisensorik (Video + Hautsensoren) Entwicklung des Angstzustandes frühzeitig erkennen; frühzeitige Intervention; verbessertes Feedback 10

11 Beispiel : Sport - Performance Emotionserkennung von Extremsportathleten in Echtzeit Erkennen der Emotionen und sonstigen Audio- Mustern der Extremsportler während der Ausführung ihrer Tätigkeit Zusätzliche Performance Informationen wie war der Emotionszustand vor/während/nach dem Rennen Direkte Einflußnahme Verbessertes Training 11

12 Post-Analyse vs Echtzeitanalyse Web-API & embedded Lösungen Datenquelle und Annotation Daten und Technologie Beispiel: Nutzung von vorhandenen Daten aus Social Media Annotation durch Experten 12

13 Trends Zusätzliche Möglichkeiten durch verbesserte Hardwarerechenleistung (bspw. NPU) Starker Individualisierungsgrad auf die Person hin Zuerst Anlernen durch den User selbst Modell wird auf dem Gerät berechnet Daten verlassen das Gerät selbst nicht oder nur mit Zustimmung des Users Hybridlösungen möglich Zunehmende Integration in Produkte des täglichen Lebens (Smart Assistant, Hearables/Wearables) Verbesserte Möglichkeiten in Therapie & Pflege (Diagnose, Intervention, Kommunikation, etc.) Automatic Machine Learning 13

14 Vielen Dank! Q&A Kontakt: