Sie können Ihre Übungsblätter vorne in den Abgabe -Karton legen

Transkript

1 Sie können Ihre Übungsblätter vorne in den Abgabe -Karton legen

2 Kognitive Systeme Übung Klassifikation und Spracherkennung Matthias Sperber, Thai Son Nguyen KIT, Institute for Anthropomatics and Robotics, Department of Informatics, Interactive Systems Laboratories KIT University of the State of Baden-Wuerttemberg and National Research Center of the Helmholtz Association

3 Aufgabe 1: Zufallsexperiment Aufgabe 2: Fehlerwahrscheinlichkeit Aufgabe 3: k Nearest Neighbours Aufgabe 4: Perzeptronen Aufgabe 5: Neuronale Netze

4 Aufgabe 1: Zufallsexperiment 1b) n: je mehr, desto besser Erwartungswert: Varianz:

5 Aufgabe 1: Zufallsexperiment 1b) n=10 Zufallszahlen: 5.951; 6.196; 6.409; 4.908; 4.876; 5.590; 6.102; 4.915; 4.818; 6.136; Erwartungswert:

6 Aufgabe 1: Zufallsexperiment 1b) Varianz / Standardabweichung:

7 Aufgabe 1: Zufallsexperiment 1b) Geschätzte Verteilung: p(x w1) ~ N(5.590; 0.645) n variieren?

8 Aufgabe 1: Zufallsexperiment 1c) Naive Bayes Klassifikator: Bayes: naive Annahme: P(x) immer gleich: Klassifizierungsregel:

9 Aufgabe 1: Zufallsexperiment 1c) Naive Bayes Klassifikator: Bsp: Positive / negative movie review unbelievably disappointing Full of zany characters and richly applied satire, and some great plot twists this is the greatest screwball comedy ever filmed it was pathetic. The worst part about it was the boxing scenes

10 Aufgabe 1: Zufallsexperiment 1c) Naive Bayes Klassifikator: Bsp: Positive / negative movie review unbelievably disappointing Full of zany characters and richly applied satire, and some great plot twists this is the greatest screwball comedy ever filmed it was pathetic. The worst part about it was the boxing scenes Hohe WS für P(neg disappointing ), P(neg pathetic ) Hohe WS für P(pos greatest ), P(pos good ) Aber: the movie was not good

11 Aufgabe 1: Zufallsexperiment 1c) Gaussian Naive Bayes Klassifikator: Haben kontinuierliche Features brauchen WS-Dichtefunktion für P(x y) Hier: P(x y) ~ Gauß(mu,sigma) Parametrisches Lernverfahren Vorteil: sehr schnell, oft ausreichend gute Genauigkeit

12 Aufgabe 1: Zufallsexperiment 1c) Gegeben: p(x w1) ~ N(5.590; 0.645) p(x w2) ~ N(5.5; 1) p(w1) = 0.3 p(w2) = 0.7 Gesucht: P(w1 x), P(w2 x) Mit Bayes Regel: p(x): unbekannt, aber gleich für beide Klassen

13 Aufgabe 1: Zufallsexperiment 1c)

14 Aufgabe 1: Zufallsexperiment 1c)

15 Aufgabe 2: Fehlerwahrscheinlichkeit 2a) Gegeben: Fehlerwahrscheinlichkeit:

16 Aufgabe 1: Zufallsexperiment 2a)

17 Aufgabe 1: Zufallsexperiment 2b) Optimaler Schwellwert: dort, wo sich die Fehlerwahrscheinlichkeitsfunktionen kreuzen

18 Aufgabe 1: Zufallsexperiment 2b)

19 Aufgabe 1: Zufallsexperiment 2c)

20 Aufgabe 1: Zufallsexperiment 2c)

21 Aufgabe 1: Zufallsexperiment 2d) Mögliche Fehlerquellen: WS-Dichtefunktionen auf zu wenig Daten geschätzt, ungenau Daten sind in Wirklichkeit nicht Gauß-verteilt

22 Aufgabe 3: k Nearest Neighbours Recap Parametrisch?

23 Aufgabe 3: k Nearest Neighbours Recap Parametrisch? Nein Lazy Learning Klassifizierung / Regression K: wie wählen? Zu klein Outlier gewinnen Einfluss Zu groß Grenzen werden unscharf Heuristik: sqrt(n) Besser: Hyperparameter Tuning

24 Aufgabe 3: k Nearest Neighbours a) Klassifizierung für k = 1 und k = 5 2 Klassen: Kreuze Quadrate Neues Merkmal bei (6,4)

25 Aufgabe 3: k Nearest Neighbours a) Klassifizierung für k = 1 und k = 5 k = 1: (6,4) wird als Kreis klassifiziert

26 Aufgabe 3: k Nearest Neighbours a) Klassifizierung für k = 1 und k = 5 k = 5: (6,4) wird als Kreuz klassifiziert

27 Aufgabe 4: Perzeptronen (I) nicht linear separierbar

28 Aufgabe 4: Perzeptronen (II) lässt sich mit einfachem Perzeptron trennen

29 Aufgabe 4: Perzeptronen (III) Klassen nicht linear separierber

30 Aufgabe 4: Perzeptronen (IV) Klassen in Polarkoordinaten nicht linear separierber

31 Aufgabe 4: Perzeptronen (V) Klassen nicht mit einzelnem Perzeptron trennbar

32 Aufgabe 4: Perzeptronen (VI) Klassen sind mit MLP trennbar

33 Aufgabe 5: Neuronale Netze Diskriminierungsfunktion: Trenngerade bei g(x) = 0 Lernregel

34 Aufgabe 5: Neuronale Netze

35 Aufgabe 5: Neuronale Netze

36 Aufgabe 5: Neuronale Netze