Seminarprojekt Babyphon Entwurf und Implementierung eines Klassifikators

Transkript

1 Institut für Informatik Seminarprojekt Babyphon Entwurf und Implementierung eines Klassifikators SE Spezialgebiete der Signalverarbeitung Leitung: Dr. Olaf Hochmuth Abschlusspräsentation Gruppe B Juliane Hüttl, René Heideklang, Ralph Brandao Vidal 1

2 Gliederung 1. Einleitung 2. Klassifikatorentwurf 1. Vorverarbeitung 2. Merkmalsgewinnung und reduktion 3. Klassifikationsregel 4. Evaluation 3. Architektur des DSP 4. Implementierung 5. Ausblick 2 Seminarprojekt Babyphon Institut für Informatik

3 Einleitung gegeben: befundete Stichprobe von > 10 Klassen von Babylauten Fritze schreit, weint, erzählt, lacht, nuckelt werden zusammengefasst zu 2 Klassen: braucht Fürsorge/braucht keine Fürsorge Entwurf eines robusten Klassifikators echtzeitfähige Implementierung auf TMS320VC5505 Evaluierungsmodul 3 Seminarprojekt Babyphon Institut für Informatik

4 Gliederung 1. Einleitung 2. Klassifikatorentwurf 1. Vorverarbeitung 2. Merkmalsgewinnung und reduktion 3. Klassifikationsregel 4. Evaluation 3. Architektur des DSP 4. Implementierung 5. Ausblick 4 Seminarprojekt Babyphon Institut für Informatik

5 Klassifikatorentwurf Überwachtes Verfahren (Trainingsbeispiele benötigt) 2-Klassen-Problem: erzählen/schreien Klassifikation per Schwellwert 5 Seminarprojekt Babyphon Institut für Informatik

6 Vorverarbeitung Traininingsdatei per Hand segmentiert: 5 wav -Dateien für Fritz-Erzählt 5 wav -Dateien für Fritz-Weint 6 Seminarprojekt Babyphon Institut für Informatik

7 Merkmalsgewinnung pro Episode 11 einfache Merkmale aus [1] berechnet zentrales Moment (auch normiert) dominante Spektralkomponente normierte spektrale Energie mittlere Frequenz Bandbreite - Streuung um mittlere Frequenz Anz. d. Spektrallinien, die 10% der Energie bringen Nulldurchgangsrate 7 Seminarprojekt Babyphon Institut für Informatik

8 Merkmalsgewinnung SAS: StepDisc schrittweise Merkmalsreduktion, rückwärtsgerichtet basiert auf Variananalyse 8 Seminarprojekt Babyphon Institut für Informatik

9 Merkmalsreduktion 9 Seminarprojekt Babyphon Institut für Informatik

10 Klassifikationsregel SAS: CanDisc kanonische (lineare) Diskriminanzanalyse Linearkombination der verbleibenden Merkmale, so dass Klassenseparation maximiert wird weitere Dimensionsreduktion möglich 10 Seminarprojekt Babyphon Institut für Informatik

11 Klassifikationsregel can1 = * centr * centr * energy + 0 * domfreq + 0 * bandwidth can1 < Seminarprojekt Babyphon Institut für Informatik

12 Evaluation Konfusionsmatrix Sens = 1 Spez = Rele = Segr = 1 Korr = Fkla = Frue = Fakz = 0 12 Seminarprojekt Babyphon Institut für Informatik

13 Gliederung 1. Einleitung 2. Klassifikatorentwurf 1. Vorverarbeitung 2. Merkmalsgewinnung und reduktion 3. Klassifikationsregel 4. Evaluation 3. Architektur des DSP 4. Implementierung 5. Ausblick 13 Seminarprojekt Babyphon Institut für Informatik

14 Komponenten 14 Seminarprojekt Babyphon Institut für Informatik

15 Vereinfachtes Modell I2C DSP System Codec I2S DMA-Modul CPU SARAM LIDD Display 15 Seminarprojekt Babyphon Institut für Informatik

16 Codec AIC Inputs (Stereo) 2 Outputs (Stereo) Konfiguration durch Schreiben auf 8-bit-Register mit I2C oder SPI beschreibbar Standard Audio Interface Bus I2S 16 Seminarprojekt Babyphon Institut für Informatik

17 DMA-Modul 17 Seminarprojekt Babyphon Institut für Informatik

18 Gliederung 1. Einleitung 2. Klassifikatorentwurf 1. Vorverarbeitung 2. Merkmalsgewinnung und reduktion 3. Klassifikationsregel 4. Evaluation 3. Architektur des DSP 4. Implementierung 5. Ausblick 18 Seminarprojekt Babyphon Institut für Informatik

19 Verarbeitung auf DSP 256 Abtastwerte = 1 Episode zweites bzw. drittes zentrales Moment (centr2, centr3) berechnen spektrale Energie berechnen can1 := * centr * centr * energy can1 < -3.6? wie viele Episoden sind signifikant? 19 Seminarprojekt Babyphon Institut für Informatik

20 Probleme bei der Implementierung komplizierte Struktur der Module/des Boards schlechte Beispielprogramme (bzw. schlecht kommentiert) unterschiedliche Adressierungsmodi der Module schlechte Programmierumgebung (Debug- Modus) wenig Erfahrung mit Programmierung von DSPs 20 Seminarprojekt Babyphon Institut für Informatik

21 Gliederung 1. Einleitung 2. Klassifikatorentwurf 1. Vorverarbeitung 2. Merkmalsgewinnung und reduktion 3. Klassifikationsregel 4. Evaluation 3. Architektur des DSP 4. Implementierung 5. Ausblick 21 Seminarprojekt Babyphon Institut für Informatik

22 Ausblick (und Motivation) Implementierung auf einem DSP, der einfacher strukturiert ist Merkmalsextraktion und Klassifikationsregel einfach zu implementieren Textausgabe auf Display und Ausgabe von Warnton sind uns gelungen 22 Seminarprojekt Babyphon Institut für Informatik

23 Quellen [1] Kosellek Daniel : Algorithmen zur Erkennung arttypischer Lautäußerungen von Vögeln, Studienarbeit, Institut für Informatik HU Berlin [2] User Guides TMS320VC5505EVM (von TI) ms320vc5505.html 23 Seminarprojekt Babyphon Institut für Informatik