Mustererkennung. Termine: Montag 9:45-11:15, F138 Mittwoch 11:30-13:00, D108 Freitag 11:30-13:00, A210. Skript, Literatur, Anmeldung im Netz

Transkript

1 Mustererkennung Termine: Montag 9:45-11:15, F138 Mittwoch 11:30-13:00, D108 Freitag 11:30-13:00, A210 Skript, Literatur, Anmeldung im Netz

2 Mustererkennung Anwendungsbeispiele für Mustererkennung?

3 Mustererkennung Anwendungen Heute DARPA Grand Challenge 2005 [1], [2] DARPA Urban Challenge Jahre später Adaptive Cruise Control Night Vision Visuelle Authentifikation Spiele Authentifikation Command and Control Voice Portals Telefonauskunft Google Voice und morgen Komplexe Dialoge Unterhaltung Sprachsynthese

4 Problemstellung Mustererkennung Gegeben: Sensordaten Gesucht: Name einer Klasse (i.a. endlich viele) Klassifikationsproblem Ähnliche Vorgehensweise für Erkennung von Sprache, Bildern, Handschrift, Iris, Grundlagen: v.a. Signalverarbeitung, Vektorrechnung, Statistik, effiziente Algorithmen

5 Inhalt Mustererkennung Spracherkennung lernen an einem konkreten System zur Einzelworterkennung (Ziffern, Ortsnamen, ) Komplett selbst implementieren (Teams) Sprachdatensammlung, Training, Tests, Begleitend zur Vorlesung Hausaufgaben mit Abgabetermin (mail)

6 Mustererkennung Leistungsnachweis Projektarbeit Hausaufgaben während des Semesters Gesamtergebnis am Ende (2 Präsentationen) Gruppeneinteilung bis nächsten Montag fest ( an mich) Evtl. Klausur Beides muss bestanden werden Aufwand 5 Stunden pro Woche zu Hause Vorkenntnisse Komplexe Zahlen (Polarkoordinaten) Vektorrechnung Java Zeitmanagement

7 Zeitsignal Spektrogramm v ie ll ei ch t Segmentierung

8 Fourier Transformation

9 Menschliches Gehör: 20Hz 20,000Hz 110Hz 220Hz 440Hz 880Hz 1760Hz 3520Hz 7040Hz 14080Hz

10 Analog- Digital Wandlung

11

12 Abtastung / Quantisierung Abtastung (Zeit Diskretisierung) Abtastfrequenz Speicherplatz 6000 Hz 41 kb 8000 Hz 55 kb Telefon Qualität Hz 75 kb Hz 301 kb CD Qualität Quantisierung (Amplituden Diskretisierung) Anzahl bit pro Abtastwert 16 bit Werte zwischen und (CD Qualität) 8 bit Werte zwischen -128 und bit Werte zwischen -8 und 7 Quantisierungsrauschen

13 Abtasttheorem Bandbegrenztes Signal Signalrekonstruktion, Abtasttheorem Alias Frequenzen

14 4 Abtastwerte pro Periode Aliasing

15 Aliasing Abtastzeitpunkte

16 Aliasing Abtastzeitpunkte Drehrichtung?

17 Aliasing Abtastzeitpunkte Drehrichtung? Zwei Abtastwerte pro Periode: Zu wenig!

18 Aliasing Aliasing Aliasing Aliasing Rotation, Signalfrequenz variiert Rotation, Abtastfrequenz variiert Bildverarbeitung

19 Harmonische Schwingungen Komplexer Zeiger

20 Spektrogramme Amplitude Zeitsignal Frequenz Spektrogramm Zeit 1336 Hz 770 Hz DTMF: Dual Tone Multiple Frequency Zeit

21 1209 Hz 1336 Hz 1477 Hz 679 Hz Hz Hz Hz * 0 # DTMF: Dual Tone Multiple Frequency

22 Oberschwingungen Klangsynthese Komplexer Zeiger

23 Fourier Transformation Komplexe Zeiger

24 Diskrete Transformation (DFT)

25

26

27 n=16

28 n=32

29

30 Schnelle Fourier Transformation (FFT)

31 DFT mit n=8 reduziert auf 2 DFTs mit n=4

32 DFT mit n=8 reduziert auf 4 DFTs mit n=2

33 FFT mit n=8

34 Kurzzeit Spektralanalyse

35

36 Sprünge! Spektrum verschmiert!

37 Randnahe Abtastwerte heruntergewichten: Hamming Fenster

38

39 IDFT nur mit 4. und 5. Fourier Koeffizienten

40 Fensterbreite vs. Frequenzauflösung

41

42 T = 500ms (lang!) Frequenzauflösung 2 Hz (genau!)

43 Spektrogramme

44 Zeitsignal Spektrogramm v ie ll ei ch t Segmentierung

45 Frequenz 12-te Oberschwingung: 1968 Hz Oberschwingungen Grundfrequenz: 164 Hz t Zeit

46 Frequenz 1968 Hz 164 Hz t Zeit

47 Spektrum des Sprachsignals zum Zeitpunkt t Energie (logarithmiert) 164 Hz (Grundfrequenz) 1968 Hz (12. Oberschwingung) Frequenz

48 Spektrogramme in der Musik

49 Spektralanalyse beim Menschen Unterschiedliche Frequenzen haben an unterschiedlichen Stellen in der Schnecke Resonanz Je nachdem wo ein Hörnerv an der Schnecke anschließt, reagiert er selektiv auf eine bestimmte Frequenz.

50 Frequenzantwort einiger Hörnerven bei der Katze Nerv Aktivierung 100Hz 1000Hz Hz Frequenz

51 Vorverarbeitung

52

53

54 Mel Skalierte Filterbank Tiefe Frequenzen sind für Sprachverständlichkeit wichtiger als hohe! Bandpass Filter

55

56 Logarithmierung Einfluss einer additiven Konstante bei der Logarithmierung des Powerspektrums log(x) log(x+c) Log Powerspektrum Spektrogramm

57

58 Diskrete Cosinus Transformation DCT

59

60 Matching von Merkmalvektorfolgen

61

62

63

64 Optimale Zuordnung durch Graphsuche

65 Matching Jedem Inputvektor muss genau ein Referenzvektor zugeordnet werden (Funktion) Referenz Input Verboten! Zeitliche Reihenfolge muss beibehalten werden (Monotonie) Referenz Input Verboten!

66 Matching Die ersten und letzten Vektoren müssen einander zugeordnet werden. Referenz Input Erzwungen! Keine zwei aufeinanderfolgende Referenzvektoren dürfen übersprungen werden. Referenz Input Verboten! Mustererkennung Prof. Dr. V. Stahl

67 Matching Gesucht: Pfad durch Graph mit minimalen Kosten von links unten nach rechts oben monoton steigend maximale Steigung 2 (einen Referenzvektor überspringen) Referenzvektoren Inputvektoren Mustererkennung Prof. Dr. V. Stahl

68 Matching Erlaubte Übergänge im Graph Referenz Input next Übergang Referenz Input loop Übergang Referenz Input skip Übergang Mustererkennung Prof. Dr. V. Stahl

69 Matching Erlaubte Übergänge im Graph Referenzvektoren loop next skip Inputvektoren Mustererkennung Prof. Dr. V. Stahl

70 Effiziente Berechnung des kürzesten Pfades Algorithmus dynamische Programmierung unmöglich unmöglich 29 =36 19 = =18 =10 Referenzvektoren unmöglich unmöglich 18 =19 6 =7 5 =9 1 =5 1 =6 5 =10 2 =8 10 =20 unmöglich unmöglich = =4 =18 34 =52 unmöglich unmöglich Inputvektoren Mustererkennung Prof. Dr. V. Stahl

71

72 Matching Weitere Verbesserungen Rechenzeit sparen durch frühes Aufgeben von Pfaden, die aussichtslos erscheinen. Abstand parallel zu allen Referenz Vektorfolgen berechnen. (Pruning) Ausschließlich Pfade verfolgen, die in der Nähe des lokalen Optimums verlaufen (Strahlsuche, Beam search) Echtzeit Abstandsberechnung schon während die Aufnahme noch läuft! (Time synchronous search) Bestrafung von Loop und Skip Übergängen durch zusätzliche Summanden (Time distortion penalties) Mustererkennung Prof. Dr. V. Stahl

73

74 Akustische Wortmodelle, Viterbi Algorithmus

75 Mittelwert von Referenzmerkmalvektorfolgen

76 Mittelwert von Referenzmerkmalvektorfolgen unterschiedlicher Länge?

77 Modell darf nicht zu lang sein! Sonst kann womöglich kein Pfad gefunden werden!

78 Lineare Segmentierung Mittelwerte: Initiales Modell

79 Segmentierung von Aufnahme 1

80 Segmentierung von Aufnahme 2

81 Abstandsberechnung mit Varianzen

82

83 Varianz in zweiter Komponente größer als in erster Komponente

84 Varianz von nein größer als von ja

85 Varianz von nein in zweiter Komponente größer als in erster Komponente Varianz von ja in erster Komponente größer als in zweiter Komponente

86

87 Sprach- Pause Segmentierung zur Modelllängenschätzung

88