1. Probabilistisches Sprachmodell - Verständnisfragen

Transkript

1 . Probabilistisches Sprachmodell - Verstädisfrage (a) Defiiere Sie de Begriff eies probabilistische Sprachmodells für eie Sprache. (b) Beerte Sie die folgede Aussage als richtig oder falsch: I eiem probabilistische Sprachmodell ist die berechete Wahrscheilichkeit ei Maß für die sytaktische ud sematische Korrektheit eies Satzes. (c) Für die Berechug eies Sprachmodells solle Wort-Trigramme veredet erde. Erläuter Sie ie das probabilistische Sprachmodell eier Sprache mit Hilfe vo Trigramme berechet erde ka.

2 Lösuge a) Weise alle Folge vo Wortforme der Läge eie Wahrscheilichkeit zu d. h. P ( W = i ) für alle Folge. W ist eie Folge vo Zufallsvariable... die jeeils irgedeie Wortform des Deutsche als Wert ehme köe ud ist eie kokrete Folge vo deutsche Wortforme. Diese Folge ka auf der Grudlage der verallgemeierte Bayessche Regel berechet erde. P ( ) = P ( ) * P ( ) * P ( 3 ) *...* P ( - ) b) Falsch. Es ird die Wahrscheilichkeit berechet dass ei Satz zu eier Sprache gehört. Ei sytaktisches oder sematisches Urteil ka daraus icht direkt abgeleitet erde. Für eie korrekte Satz ka durchaus eie gerigere Wahrscheilichkeit berechet erde als für eie fehlerhafte Satz falls z.b. mehrere seier Wortforme icht im Traiigskorpus vorkame. c) Aahme dass ur die voragehede - Wortforme vo Eifluss auf die Wahrscheilichkeit der ächste Wortform sid obei = 3 ( daher tri-gram ) P (... -) = P ( - - ) P ( ) = P ( ) * P ( ) * P ( 3 ) *... * P ( -- )

3 . Probabilistisches Sprachmodell - Beispiele Ei Traiigskorpus für das Deutsche bestehe aus de Sätze () Joha gibt Marie das Mauskript. () Peter sieht dass Joha Marie das Buch gibt. (a) (b) (c) Wie groß ist die Wahrscheilichkeit dass der Satz Joha gibt Marie das Buch ei korrekter Satz des Deutsche ist? Bereche Sie die Wahrscheilichkeit mit eiem N-Gram Sprachmodell ud dem Trigramm-Modell. Ka die Eiführug vo Satzafagsmarker die Ergebisse des Trigramm- Modells verbesser? Bereche Sie die Wahrscheilichkeit des Satzes Joha gibt Marie das Buch uter Berücksichtigug folgede Geichtugsfaktore beim smoothig mittels eifacher Iterpolatio: λ = 08 (Trigramme) λ = 05 (Bigramme) λ 3 = 005 (Uigramme)

4 Lösuge a) N-Gram Modell p(joha gibt Marie das Buch) = Joha gibt Marie das Buch Korpusgrösse = 0/3 = 0 Tri-Gram Modell p(joha gibt Marie das Buch) = p(joha) * p(gibt Joha) * p(marie Joha gibt)* p(das gibt Marie) * p(buch Marie das) = Joha /alle tokes * Joha gibt / Joha * Joha gibt Marie / Joha gibt * gibt Marie das / gibt Marie * Marie das Buch / Marie das = ****/3**** = /5 =/6

5 b) Ja. Satzafagsmarker: ( ) m m Joha gibt Marie das Mauskript. ( ) m m Peter sieht dass Joha Marie das Buch gibt. Neue Berechug mit Trigramme: p(joha gibt Marie das Buch) = p(m) * p(m m) * p(joha m m) * p(gibt Joha m) * p(marie Joha gibt) * p(das gibt Marie) * p(buch Marie das) = m /alle tokes * m m / m * m m Joha / m m * m Joha gibt / m Joha * Joha gibt Marie / Joha gibt * gibt Marie das / gibt Marie * Marie das Buch / Marie das = ******/7****** = /34

6 c) Beim Smoothig durch eifache lieare Iterpolatio erde alle drei Iformatiosquelle gleichzeitig jedoch mit verschiedee Geichtugsfaktore geutzt. Statt: ( ) P ird ( ) = + + m k k P 3 λ λ λ mit = = 3 ; 0 i i i λ λ agesetzt. Die i λ sid etspreched dem Traiigskorpus festzulege. I der Regel erde sie durch Hidde-Markov-Modelle bestimmt. Der Eifluss der Trigramme sollte dabei als geaueste Iformatiosquelle über eie Wortformefolge durch eie große Geichtugsfaktor verstärkt der Eifluß der Uigramme higege durch eie kleie Geichtugsfaktor gerig gehalte erde.

7 Beispiel: P P P gibt Marie das Marie das λ + λ + λ gibt Marie Marie ( das gibt Marie) 3 ( das gibt Marie) λ / + λ / + λ / 3 3 ( das gibt Marie) 08*/ + 05* / + 005* /3 = das Korpusgröße Neue Berechug mit Geichte: p(joha gibt Marie das Buch) = p(joha m m) * p(gibt Joha m) * p(marie Joha gibt) * p(das gibt Marie) * p(buch Marie das) = { λ m m Joha / m m + λ m Joha / m + λ 3 Joha /Korpusgröße}* { λ m Joha gibt / m Joha + λ Joha gibt / Joha + λ 3 gibt /Korpusgröße}* { λ Marie das Buch / Marie das + λ das Buch / das + λ 3 Buch /Korpusgröße}* = 07

8 3. MM ud HMM Verstädisfrage a. Was uterscheidet ei HMM (Verdecktes Markov Modell) vo eier MC (Markov Kette)? b. Was ist die charakteristische Eigeschaft vo Markov Modelle? Was bedeutet -te Ordug i Bezug auf Markov Modelle? c. Welchem Typ vo geichtete abstrakte Automate etspricht ei Markov Modell? Wie hoch ist demetspreched die asymptotische Laufzeit (Zeitkomplexität) für das Wortproblem gegebe ei Wort der Läge? (Zur Erierug: beim Wortproblem gilt es zu etscheide ob ei vorgegebees Wort über eiem gegebee Alphabet vom Automate akzeptiert ird)

9 Lösuge 3a) hidde bedeutet verdeckt ud bezieht sich auf die Folge der Zustäde. Im Falle eies HMM sid mehrere Zustadsfolge möglich die dieselbe Folge beobachteter Symbole geeriere. MC sid ei Spezialfall vo HMM o eie gegebee Folge beobachteter Symbole die Folge vo Zustäde eideutig festlegt. 3b) Markov Modelle zeiche sich durch die Markov Eigeschaft aus: Ei Zustad (uabh. davo ob verdeckt HMM oder eideutig bestimmbar MC) hägt ur vo eier edliche Azahl vorageheder Zustäde ab (Kausalität). Die Azahl vorageheder Zustäde k vo dee der Prozess abhägt bestimmt die Ordug des Modells mit =k+. 3c) (Geichteter) edlicher Automat (FSA) Typ 3. Damit ist die Zeitkomplexität für das Wortproblem midestes O()=. (Folglich ist der Viterbi-Algorithmus optimal da desse Laufzeit ur liear mit ächst)

10 4. MM ud HMM Beispiele Betrachte Sie das Markov-Modell i der folgede Abbildug ud bestimme Sie die Wahrscheilichkeit der Symbolfolge baab. Start a: 04 b: 06 aa a: 07 ab a: 045 b: 03 ba b: 055 bb a: 0 b: 09

11 Lösug Atort: 034 (06 * 045 * 07 * 06)

12 5. Weiteres Beispiel Erbgutiformatio (Geom) ird i eier Sprache über eiem Alphabet X vo (Nukleo)base gebildet das aus ur vier Zustäde besteht: X={A für Adei G für Guai C für Cytosi T für Thymi}. Gegebe seie die drei Traiigsfolge C T C A G T C G G C A G C C A A G C C A G G C C T G C A C T (a) Wie hoch ist die Auftrittsahrscheilichkeit für die Base Thymi? (b) Wie hoch ist die (bedigte!) Auftrittsahrscheilichkeit für die Base Thymi e bekat ist dass die vorherige Base Guai ar? (c) Ei Bigramm Sprachmodell ordet eiem Satz (... ) eie Wahrscheilichkeitsert q zu der sich aus dem Produkt der Übergagsahrscheilichkeite ergibt. Sei ei Bigrammodell traiiert auf de gegebee Traiigsdate obei eie Nukleobase eiem Wort etspricht. Wie hoch ist die Wahrscheilichkeit für die Folge (... 7 ) = A A C C A G C?

13 Lösug a) Wie hoch ist die Auftrittsahrscheilichkeit für die Base Thymi? Atort: p(b=t) = 4/30 = /5 b) Wie hoch ist die (bedigte!) Auftrittsahrscheilichkeit für die Base Thymi e bekat ist dass die vorherige Base Guai ar? Atort: p(b=t B'=G) = /8 c) Ei Bigramm Sprachmodell ordet eiem Satz (... ) eie Wahrscheilichkeitsert q zu der sich aus dem Produkt der Übergagsahrscheilichkeite ergibt. Sei ei Bigrammodell traiiert auf de gegebee Traiigsdate obei eie Nukleobase eiem Wort etspricht. Wie hoch ist die Wahrscheilichkeit für die Folge (... 7 ) = A A C C A G C? Atort: q( A A C C A G C ) = p(a Satzafag ) * p(a A) * p(c A) * p(c C) * p(a C) * p(g A) * p(c G) * p( Satzede C) = /3 * /6 * /6 * 3/ * 4/ * 3/6 * 5/8 * /3 = /3*/3 * /6*/6 */ *5/8 = 5 / (9*36*6) = 5/(34*6) = 5/(648*8) = 5/(96*4) = 5/ (59*) = 5/584 ~ /000 ~ 0.00