Kognitive Systeme. Übung 4

Transkript

1 Kognitive Systeme Übung 4 Matthias Sperber Thai Son Nguyen

2 Wir bitten um Entschuldigung: Trotz anders lautender Ankündigung änderte sich die korrekte Lösung für Aufgabe 3e, sodass keine der online auswählbaren Antworten richtig ist Daher unser Angebot: Wir ignorieren für Blatt 4 die Online Abgabe, und werden Bonuspunkte manuell, aufgrund der schriftlichen Ausarbeitungen (exklusive Aufgabe 3e), vergeben Probleme können dann im Einzelfall besprochen werden

3 Aufgabe 1: Neuronales Netz a) XOR-Problem Aufgabe: neuronales Netz entwickeln, welches XOR-Problem löst. 1 versteckte Schicht 2 binäre Eingänge (0/1) 1 binärer Ausgang (0/1) Eingang 1 Eingang 2 Ausgang

4 Aufgabe 1: Neuronales Netz a) XOR-Problem Mögliche Lösungen z.b.:

5 Aufgabe 1: Neuronales Netz b) Online-Frage Wieviele versteckte Neuronen sind mind. nötig (direkte Verbindungen nicht erlaubt?) Antwort:

6 HMMs in der automatischen Spracherkennung

7 a) Wahrscheinlichkeit Pro Zustand Emissionswahrscheinlichkeiten summieren sich auf zu 1 Übergangswahrscheinlichkeiten summieren sich auf zu

8 a) Wahrscheinlichkeit O 1 =ABA Wahrscheinlichkeit für? P (O λ)= Q P (O, Q λ) Forward-Algorithmus α 0 ( j)= 1, wenn j = Startzustand 0, sonst N α t ( j)={ i=0 α t 1 (i) a ij } b j (O t ) mit t >

9 a) Wahrscheinlichkeit Wahrscheinlichkeit für O 1 =ABA?

25 a) Wahrscheinlichkeit Wahrscheinlichkeit für O 2 =CAB?

26 a) Wahrscheinlichkeit Wahrscheinlichkeit für O 2 =CAB? C A B

27 b) Zustandskette O 1 = ABA Mit max. Wahrscheinlichkeit für? V t (i)=max q1 q t 1 P (O 1 O t, q t =i λ) Viterbi-Algorithmus V 0 ( j)= 1, wenn j = Startzustand 0, sonst V t ( j)={max i=0 N V t (i) a ij } b j (O t ) mit t >

28 b) Zustandskette Mit max. Wahrscheinlichkeit für? O 1 = ABA

41 c) Onlinefrage Nr. 1: Wahrsch. Folge? O 1 O 2 P(O 1, Q λ)= < P(O 2, Q λ)= O

42 Aufgabe 3: Sprachmodelle Allgemein V ={abwarten,und,tee,trinken } Laut Sprachmodell: P( I go there ) > P( I go their )

43 Aufgabe 3: Sprachmodelle Allgemein 3-gram-LM mit <S>: Satzanfang </S>: Satzende V ={abwarten,und,tee,trinken }

44 Aufgabe 3: Sprachmodelle a) abwarten und Tee trinken Formel für die Berechnung der Wahrscheinlichkeit von 3-grammen: P(<S> abwarten und Tee trinken </S>) = P(abwarten n/a <S>) * P(und <S> abwarten) * P(Tee abwarten und) * P(trinken und Tee) * P(</S> Tee trinken)

45 Aufgabe 3: Sprachmodelle a) abwarten und Tee trinken Formel für die Berechnung der Wahrscheinlichkeit von 3-grammen: P(<S> abwarten und Tee trinken </S>) = P(abwarten n/a <S>) * P(und <S> abwarten) * P(Tee abwarten und) * P(trinken und Tee) * P(</S> Tee trinken) = 0,5 * 0,6 * 0,5 * 0,5 * 0,15 = 0,

46 Aufgabe 3: Sprachmodelle a) abwarten und Tee trinken Umformung:

47 Aufgabe 3: Sprachmodelle a) abwarten und Tee trinken P(<S> abwarten und Tee trinken </S>) = 0,01125 PPL(<S> abwarten und Tee trinken </S>) = 0,01125 ^ (-1/5) = 2,

48 Aufgabe 4: Dynamische Programmierung a) Programmieren Minimale Editierdistanz D 0,0 =0 D i, j =min D i 1, j 1 +0,falls match D i 1, j 1 +1,falls sub D i 1, j +1,falls del D i, j 1 +1, falls ins

49 Aufgabe 4: Dynamische Programmierung a) Programmieren Demo

50 Aufgabe 4: Dynamische Programmierung a) Programmieren def levenshtein(s1, s2): if len(s1) < len(s2): return levenshtein(s2, s1) if len(s2) == 0: return len(s1) previous_row = range(len(s2) + 1) for i, c1 in enumerate(s1): current_row = [i + 1] for j, c2 in enumerate(s2): insertions = previous_row[j + 1] + 1 deletions = current_row[j] + 1 substitutions = previous_row[j] + (c1!= c2) current_row.append(min(insertions, deletions, substitutions)) previous_row = current_row return previous_row[-1]

51 Aufgabe 3: Sprachmodelle Satz WS PPL a) abwarten 0,13 2,77 b) abwarten und abwarten 0, ,900 c) abwarten und Tee trinken 0, ,453 d) Tee trinken und abwarten 0, ,

52 Aufgabe 4: Dynamische Programmierung a) Programmieren Referenz: wenn es im Juni viel donnert kommt ein trüber Sommer Hypothese im Juni viel Sonne kommt einen trüberen Sommer 5 viel Donner im Juni einen trüben Sommer bringt 8 Juni Donner einen Sommer 8 im Juni viel Donner bringt einen trüben Sommer 6 wenns im Juno viel Donner gibts einen trüben Sommer 7 Word edit distance

53 Aufgabe 4: Dynamische Programmierung b) Programmieren Referenz: wenn es im Juni viel donnert kommt ein trüber Sommer Hypothese Word edit distance Character edit dist. im Juni viel Sonne kommt einen trüberen Sommer 5 15 viel Donner im Juni einen trüben Sommer bringt 8 33 Juni Donner einen Sommer 8 30 im Juni viel Donner bringt einen trüben Sommer 6 18 wenns im Juno viel Donner gibts einen trüben Sommer

54 Aufgabe 4: Dynamische Programmierung c) Programmieren Referenz: wenn es im Juni viel donnert kommt ein trüber Sommer Hypothese im Juni viel Sonne kommt einen trüberen Sommer Word edit distance 5 8 viel Donner im Juni einen trüben Sommer bringt 8 12 Juni Donner einen Sommer 8 10 im Juni viel Donner bringt einen trüben Sommer 6 10 Word edit distance, sub=2 wenns im Juno viel Donner gibts einen trüben Sommer

55 Aufgabe 4: Dynamische Programmierung c) Onlinefrage Nr. 4: Niedrigste Distanz 1) 4, 6 2) 1, 5 3) 2, 5 4) 3, 8 5) 1, 8 6) 2,