Institut für Informatik und Angewandte Kognitionswissenschaft

Transkript

1 Veranstaltung: Dzent: Wissensrepräsentatin (»Grundlagen der KI«), SS08 Nin Simunic M.A., Cmputerlinguistik, Campus DU Übung (4), Thema: Prbabilistisches Schließen / Statistische Verfahren Präsenzaufgaben (a)-(d), Szenari Es ist wieder sweit, und Prf. Humbug prüft wieder im Fach Mumpitzlgie. Wie immer prüft er eine Persn pr Tag diesmal an drei aufeinanderflgenden Tagen. Harry Krause, Student, wird am letzten Tag geprüft, und er will irgendwie sicherstellen, dass es auch ein Tag ist, an dem der Prfessr höchstwahrscheinlich bestehen lässt. (Gegebenenfalls will Harry sich dann lieber krank melden, falls dem nicht s ist.). Harry erinnert sich daran, dass viele Studenten behaupteten: Aussichten, bei Prf. Humbug eine Prüfung zu bestehen, hängen vn seinem Gewissen (»Ist schn ft passiert, dass, wenn er gestern hat durchfallen lassen, er heute viele Leute bestehen lässt«, ) und seiner Laune ab ( Wenn er gut drauf ist, lässt er die meisten Leute an dem Tag bestehen., ). Harry erinnert das an Wettervrhersage-Verfahren: Die Wahrscheinlichkeit, wie das Wetter wird, hängt nur vm Vrtag ab. Zudem scheint es, dass auch Prf. Humbugs Laune an einem Tag eine Rlle bei der Bewertung spielt. Harry mutmaßt, dass die Kmbinatin der beiden Infrmatinen Laune und Gewissen eine gute Vrhersagegrundlage sein könnte, und will es nun genau wissen. Er erstellt nch zwei Wchen vr seiner Prüfung Statistiken vn 100 Studierenden und Abslventen an Prf. Humbugs Lehrstuhl, um daraus zu lernen: Gewissensstatistik (Beeinflussung durch den Vrtag): An einem Prüfungstag ließ er 40-mal bestehen und 60-mal durchfallen, wenn am Vrtag bestanden wrden waren. An einem Prüfungstag ließ er 90-mal bestehen und 10-mal durchfallen, wenn am Vrtag durchgefallen wrden war. Laune-Statistik: Er war 70-mal gut und 30-mal schlecht drauf an einem Prüfungstag, an dem er hat bestehen Er war 25-mal gut und 75-mal schlecht drauf an einem Prüfungstag, an dem er hat durchfallen Interessant vielleicht auch die»start«-statistik: Wie wahrscheinlich ist ein Nicht-/Bestehen am Start (d.h. am ersten Tag) der Prüfungssequenz? 20-mal hat er die meisten Studenten am ersten der Prüfungstage bestehen und 80-mal durchfallen Wenn Harry wüsste, wie die zwei Prüfungen vr seiner sind der sein werden, könnte er nch rechtzeitig eine Entscheidung fällen. Dazu benötigt er sgar nur einen Teil der Statistiken: Bestanden Durchgefallen Bestanden Durchgefallen Bestanden Durchgefallen Start In der Vrlesung fehlte die Startwahrscheinlichkeit. Die Annahme war, dass sie für alle Wetterzustände gleich ist (als 1, und smit drt redundant). Seite 1

2 Harry überlegt: Wüsste er nach dem zweiten Prüfungstag z.b., dass die beiden vrherigen Prüfungstage»Durchfallen-Tage«waren, könnte er die Wahrscheinlichkeiten dafür ermitteln, b der dritte Tag ein Durchfallen- der eher ein»bestehen-tag«ist. Dazu muss er -- analg zu dem ihm bekannten Wettervrhersage-Verfahren -- auf Basis einer Markv-Kette (erster Ordnung) die Wahrscheinlichkeiten für beide Möglichkeiten (ermitteln und) vergleichen. (a) Wie sieht der endliche Autmat / die Markv-Kette zu den Matrizen berhalb aus? (b) Ist Bestanden der Durchgefallen der wahrscheinlichere Zustand, gegeben der bebachteten Zustandsflge D D? P( D D D ) = P( D S ) * P(D D) * P (D D) = 0.8 * 0.1 * 0.1 = 0,008 P( B D D ) = P( D S ) * P(D D) * P (B D) = 0.8 * 0.1 * 0.9 = 0,072 Prblem: Erstens: Harry kann mit dieser Vrhersage nicht viel anfangen kann, da die Prüfungsergebnisse erst eine Wche nach den Prüfungen bekannt gegeben werden, und Kntakt zu anderen Prüflingen bis dahin unter Andrhung vn Exmatrikulatin untersagt ist. Er kann als nicht bebachten, b es sich bei den Prüfungstagen vrher um»bestehen-«der»durchfallen-tage«handelte. Zweitens: Harry gehen wertvlle Infrmatinen bei dieser Berechnung verlren, denn er hat ja die starke Vermutung, dass die Kmbinatin vn Gewissen und Laune Prf. Humbugs Verhalten kmbiniert beeinflusst. Was er aber bebachten darf und kann, ist die Laune vn Prf. Humbug an den drei Prüfungstagen, da Harry ihn täglich sieht. 2 Ideal wäre als, die über einen Zeitraum (die Prüfungstage) bebachtbaren Launen des Prfessrs zusammen mit den vrhandenen Statistiken zur Vrhersage des Gewissenszustands vn Prf. Humbug an Harrys Prüfungstag zu nehmen. Anscheinend muss als versucht werden, auf Basis einer Bebachtungssequenz (Laune) die dazugehörige, versteckte Zustandssequenz (Gewissen) zu ermitteln. Hidden Markv Mdelle (Erweiterung des (sichtbaren) Markv Mdells) Harry fällt dazu eine Vrlesung ein, in der ein ähnliches Prblem vrlag: Das autmatische Auszeichnen vn Wörter mit Wrtarten (Autmatisches POS-Tagging) mittels HMM (Hidden Markv Mdel). Beim HMM-Tagging-Przess sind dabei nur die Wörter sichtbar, versteckt sind die Wrtarten, die es autmatisch für die vrliegenden Wörter bzw. eine Sequenz dessen zu ermitteln gilt. Im Vrfeld des eigentlichen Taggings werden (ähnlich wie bei Harry, Wettervrhersage) Wahrscheinlichkeiten antrainiert. Das Lernmaterial ist dabei vn Menschenhand erstellt wrden und enthält neben Text auch die richtigen, intellektuell ermittelten Wrtarten. Das Erlernte im Überblick: (1) Zustandsübergangswahrscheinlichkeiten bzw. Zustandsemissinswahrscheinlichkeiten für (Sequenzen vn) Wrtarten. - Z.B. P(DET N), P(V N) - Bei Harry z.b. die Übergänge zwischen Gewissenszuständen: P(Bestehen Durchfallen) (2) Symblemissinswahrscheinlichkeiten 3 für die Wörter und mit welcher Wrtart sie auftreten. - Wörter können verschiedene Wrtarten haben, Z.B. P(N bk), P(V bk) - Bei Harry entspricht das den Laune-Statistiken, z.b. P(Bestehen Gute Laune) (3) Startzustandswahrscheinlichkeiten: Wie häufig fängt ein Satz mit einer Wrtart an. - Z.B. P(DET START) - Bei Harry z.b. P(Bestehen START) Die spätere Bebachtung (der bebachtbare Teil des Mdells) entspricht dann den Wörtern in nch unbearbeiteten Texten, deren wahrscheinlichste Wrtartenflge zugewiesen werden sllen. Die Wrtarten entsprechen demnach dem versteckten Teil des Hidden Markv Mdels, da sie ja beim Tagging-Przess eben nicht sichtbar sndern versteckt sind. Ziel ist es auch, das versteckte zu»erraten«. Harrys HMM Harry sieht, dass er ein HMM sehr gut für seine Zwecke einsetzen kann. Ihm liegen insgesamt die flgenden (»erlernten«) Infrmatinen vr: 2 Harrys Prüfung ist erst um Uhr er kann als nch vrher sehen der sich durchgeben lassen, wir der Humbug an dem Tag drauf ist. 3 In der Vrlesung wurde ein visible (dt. sichtbares) Markv-Mdel bzw. eine slche Kette gezeigt Seite 2

3 (c) Wie sieht der endliche (dppelt-stchastische) Autmat zu den Matrizen aus? Gewissen B D B D Start B D S Laune B D B:Bestehen-Zustand; D : Durchfallen-Zustand; S : Start(-zustand); : Gute Laune; : Schlechte Laune Berechnung der Wahrscheinlichkeit einer Bebachtungssequenz/-flge: Die Wahrscheinlichkeit einer Bebachtungsflge O gegeben einer Zustandsflge T berechnet sich nun aus dem Gesamtprdukt der Einzelprdukte: P ( O T ) = P ( T1* O1 *T2 * O2 * T3 * O3 * T3 * * On * Tn ) Mit O1 ist die Wahrscheinlichkeit gemeint, dass O1 mit T1 auftritt, als bspw. dass an einem Bestehen-Tag auftritt. Mit T2 z.b. ist die Wahrscheinlichkeit vn T2 gegeben T1gemeint. T1 am Anfang der Multiplikatin berhalb ist in der Regel die Startwahrscheinlichkeit des dieses Zustands. Beispiel im Harry-Kntext. Bebachtung ist. Wie ist die Wahrscheinlichkeit, dass die Sequenz B D für diese Bebachtung»verantwrtlich«ist? P( B D ) = P ( B S ) * P( B ) * P( D B ) * P( D ) = 0.2 * 0.7 * 0.6 * 0.75 = 0,063 (Harrys) Vrhersage der wahrscheinlichsten Zustandsflge im HMM Es ist sweit: Harrys Prüfungstag. Harry bebachtete bis dahin, dass Prf. Humbug an den zwei Prüfungstagen vrher jeweils schlechte Laune ( ) hatte, er heute aber vr Freude nur s strahlt ( ). Mit dieser Flge vn Symblemissinen ( ) wird nun die wahrscheinlichste Sequenz vn Gewissen-Zuständen gesucht: P(??? ). Im Idealfall ist eine Zustandssequenz am wahrscheinlichsten, deren letzter Zustand»Bestehen«ist. Dann würde sich Harry sicherlich zur Prüfung trauen. Zu berechnen sind als die Wahrscheinlichkeiten für alle Zustandsflgen, die die Bebachtung erzeugen, damit verglichen und die wahrscheinlichste Zustandsflge ermittelt werden kann. (d) Welche ist die wahrscheinlichste (hier versteckte) Sequenz (Gewissen-Zustände)? O1 O2 O3 T1 T2 T3 T1 O1 T2 O2 T3 O3 P( D B B ) = 0.8 * 0.75 * 0.9 * 0.3 * 0.4 * 0.7 = P( D D B ) = 0.8 * 0.75 * 0.1 * 0.75 * 0.9 * 0.7 = P( D B D ) = 0.8 * 0.75 * 0.9 * 0.3 * 0.6 * 0.25 = P( D D D ) = 0.8 * 0.75 * 0.1 * 0.75 * 0.1 * 0.25 = P( B B B ) = 0.2 * 0.3 * 0.4 * 0.3 * 0.4 * 0.7 = P( B D B ) = 0.2 * 0.3 * 0.6 * 0.75 * 0.9 * 0.7 = P( B B D ) = 0.2 * 0.3 * 0.4 * 0.3 * 0.6 * 0.25 = P( B D D ) = 0.2 * 0.3 * 0.6 * 0.75 * 0.1 * 0.25 = Nach den vrliegenden Berechnungen stehen die Chancen gut, dass am dritten Tag ein»bestehen-tag«ist. Seite 3

4 ANHANG 1: FORMALES ZU HMM Institut für Infrmatik und Ein HMM ist ein dppelt-stchastische-r/s Przess/Mdell. Im vrliegenden Fall handelt es sich um ein HMM erster Ordnung. Allgemein: Zahl drückt Anzahl der Zustände aus, vn denen der aktuelle Zustand abhängt. State Emissin Mdel: zur Zeit t emittiertes Symbl hängt ab vm Zustand zur Zeit t Arc Emissin Mdel: Zur Zeit t emittiertes Symbl hängt ab vm Zustand zur Zeit t und vm Zustand zur Zeit t+1 Ein HMM ist frmal durch ein Fünf-Tupel spezifiziert: ( S, K, Π, A, B) ( Menge der Zustände, Ausgabealphabet, Wahrscheinlichkeiten der Startzustände, Wahrscheinlichkeiten der Zustandsübergänge, Wahrscheinlichkeiten der Symblemissinen) S = { s1,..., sn 4 Π = {π i}, i S A = { aij}, i, j S HMM sind statistische Verfahren (der KI) und sind in den verschiedensten Bereichen weit verbreitet: Cmputerlinguistik (POS-Tagging, Erkennung gesprchener Sprache), Medizin (Symptm, Ursache), Glücksspiel, Finanzen, Wetter, etc. } K = { k1,..., km } = {1,..., M} j= 1 B = { bijk}, i, j S, k K N aij = 1 M k = 1 bijk = 1 4 Stchastische Bedingung: Summe aller Wahrscheinlichkeiten (Zeile in Matrix, ausgehende Kanten eines Zustands in Endl. Autmaten) muss =1 ergeben. Seite 4

5 ANHANG 2: ENDLICHER AUTOMAT, MARKOV MODEL, HMM ANHANG 3: STATISTIKEN EINES HMM FÜRS POS-TAGGING Aus [MAN_SCHÜT:1999, 342 ff.]: REFERENZEN [MAN_SCHÜT:1999] Manning, Christpher D.; Schütze, Hinrich Fundatins f Statistical Natural Language Prcessing. Cambridge, Mass., Lndn: The MIT Press Seite 5