Signalverarbeitung 2. Volker Stahl - 1 -

Transkript

1 - 1 -

2 Überblick Bessere Modelle, die nicht nur den Mittelwert von Referenzvektoren sondern auch deren Varianz berücksichtigen Weniger Fehlklassifikationen Mahalanobis Abstand Besseres Abstandsmaß basierend auf Normalverteilungsannahme Zufallsvariablen, Dichtefunktion Zufallsvektoren, gemeinsame Dichte Anwendung im Viterbi Training - 2 -

3 Einfachster Spezialfall Vektorfolgen Länge 1 Vektordimension 1 Abstand von einfachen Zahlen Beispiel Referenzmuster Klasse A: Referenzmuster Klasse B: Zu klassifizierendes Testmuster: Abstandsmaß: Absoluter (quadrierter) Abstand zum Klassenmittelwert - 3 -

4 Beispiel: Mehrere Referenzmuster pro Klasse Referenzmuster Klasse A: Referenzmuster Klasse B: Zu klassifizierende Testmuster: - 4 -

5 Beispiel: Mehrere Referenzmuster pro Klasse Referenzmuster Klasse A: Referenzmuster Klasse B: Zu klassifizierende Testmuster: Klasse B Klasse A Klasse A? Abstandsmaß: Absoluter (quadrierter) Abstand zum Klassenmittelwert - 5 -

6 Beobachtung: Wahl der Referenzmuster ist zufällig. Streuung (Varianz) in Klasse A ist kleiner als in Klasse B. Wahrscheinlichkeitsdichte - 6 -

7 Wahrscheinlichkeitsdichte Klasse B Klasse A Klasse B 62 muss als B klassifiziert werden, obwohl 62 näher beim Mittelwert von A liegt! - 7 -

8 Empirischer Mittelwert, empirische Varianz Stichprobe von Referenzmustern einer Klasse Ziel: Schätzung der zugrundeliegenden Wahrscheinlichkeitsverteilung Empirischer Mittelwert Durchschnitt über alle Beobachtungen Empirische Varianz Maß für Streuung, mittlere quadratische Abweichung vom Mittelwert - 8 -

9 Klasse A: Klasse B: - 9 -

10 Mahalanobis Abstand Bisheriges Abstandsmaß: Quadratischer Abstand zum Klassenmittelwert Ziel: Besseres Abstandsmaß, das die Varianz einer Klasse berücksichtigt Mahalanobis Abstand: Intuition: Varianz einer Klasse groß Stichprobenelemente streuen stark quadratischen Abstand zum Mittelwert heruntergewichten!

11 Klassifikation mit Mahalanobis Abstand Klasse A: Klasse B: Abstand zu Klasse A Abstand zu Klasse B Klasse B Klasse B??? Klasse B Fehlklassifikation mit Mahalanobis Abstand!

12 Wahrscheinlichkeitsdichte Klasse B Klasse A Klasse B

13 Dichtefunktion der Normalverteilung Intuition: Je größer der Wert der Dichtefunktion bei x ist, desto wahrscheinlicher wird x beobachtet Großer Wert der Dichte Kleiner Abstand

14 Abstandsmaß: Negativer Logarithmus der Dichte Großer Wert der Dichte Kleiner Abstand Abstand

15 Abstandsmaß basierend auf Normalverteilung Mahalanobis Abstand

16 Klassifikationsergebnis mit Normalverteilungsannahme Klasse A: Klasse B: Klasse B Klasse A Klasse B

17 Vereinfachung des Abstandsmaßes: Nur relative Abstände entscheidend! Klassifikationsergebnis ändert sich nicht, wenn alle Abstände verdoppelt werden. Klassifikationsergebnis ändert sich nicht, wenn von allen Abständen eine Konstante subtrahiert wird. Korrekturterm Mahalanobis Abstand

18 Andere Wahrscheinlichkeitsdichte: Gleichverteilung Beispiel: Aufenthaltsort eines verlorenen Schlüssels auf dem Heimweg

19 Andere Wahrscheinlichkeitsdichte: Exponentialverteilung Beispiel: Wartezeit beim Zahnarzt

20 Forderungen an eine Dichtefunktion f(x)

21 Zufallsvariablen Variable, die einen Wert zufällig gemäß einer gegebenen Wahrscheinlichkeitsdichte annimmt: Modell für Unsicherheit. Notation: Zufallsvariablen werden groß geschrieben. Mit Zufallsvariablen kann gerechnet werden wie mit gewöhnlichen Variablen. Rechenoperation auf einer Zufallsvariablen Rechenoperation auf ihrer Dichte. Wahrscheinlichkeit, dass eine stetige Zufallsvariable X exakt den Wert c annimmt: Probability

22 Wahrscheinlichkeit, dass X einen Wert kleiner oder gleich c annimmt: : Dichtefunktion : Verteilungsfunktion Wahrscheinlichkeit = Fläche unter der Dichtefunktion

23 Wahrscheinlichkeit, dass X einen Wert größer oder gleich c annimmt:

24 Wahrscheinlichkeit, dass X einen Wert zwischen a und b annimmt:

25 Wahrscheinlichkeit, dass X einen Wert zwischen x und x+dx annimmt:

26 Erwartungswert einer Zufallsvariablen (vgl. empirischer Mittelwert wenn nur eine Stichprobe vorliegt und die Dichte unbekannt ist) Varianz einer Zufallsvariablen (vgl. empirische Varianz wenn nur eine Stichprobe vorliegt und die Dichte unbekannt ist)

27 Verallgemeinerung auf Zufallsvektoren Stichprobe von Referenzvektoren einer Klasse Empirischer Mittelwert, empirische Varianz Mittelwertvektor, Varianzvektor

28 Zufallsvektor mit Komponenten X und Y Dichte von X und Y Annahme: X und Y voneinander unabhängig unabhängig! Gemeinsame Dichte von X und Y

29 - 29 -

30 n-stelliger Zufallsvektor Gemeinsame Dichte falls Komponenten voneinander unabhängig sind

31 Abstandsmaß mit Normalverteilungsannahme und Annahme unabhängiger Komponenten

32 Anwendung auf Viterbi Training und Klassifikation Ziel: Besseres Modell für die Klassifikation von Merkmalvektorfolgen Beispiel Referenzmuster einer Klasse (gegeben) Länge 6 Länge 7 Modell für die Klasse (gesucht) Länge

33 Lineare Segmentierung Modellzustände Modellzustände

34 Initiale Schätzung der Modellzustände

35 Matchen der Referenzfolgen gegen das Modell mit Viterbi Algorithmus (Abstandsberechnung mit Varianzen!) Modellzustände Modellzustände

36 Neuschätzung der Modellzustände Iteriere: Matching mit neuem Modell (Viterbi Algorithmus) Modell schätzen aus neuer Zuordnung

37 - 37 -