Grundbegriffe der Wahrscheinlichkeitstheorie. Karin Haenelt

Transkript

1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 1

2 Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette 2

3 Wahrscheinlichkeitsraum Modell zur Beschreibung von Zufallsexperimenten Ein Wahrscheinlichkeitsraum ist ein normierter Maßraum Es gilt: Ein Wahrscheinlichkeitsraum ist ein Maßraum (Ω,, P) Dabei ist Ω eine Menge eine σ-algebra in Ω, und P ein Maß auf mit der Normierungsbedingung P(Ω) = 1. Bauer, 2001, 4 3

4 σ-algebra eine Mengenalgebra, die unter abzählbar unendlichen Vereinigungen abgeschlossen ist Mengensystem über Ω mit folgenden Eigenschaften ø A A A 1, A 2, A i Die Elemente A der σ-algebra eines Wahrscheinlichkeitsraumes (Ω,, P) heißen Ereignisse Die Elemente ω von Ω heißen Elementarereignisse i 4

5 Wahrscheinlichkeitsmaß P(A) ist die Wahrscheinlichkeit von A oder für das Eintreten des Ereignisses A. eine Abbildung P : A [1,0] mit den Eigenschaften P(A) 0 für jedes A Gilt A 1, A 2, mit so gilt P ( P(Ω) = 1 A A i j A ) = ( i= 1 i P A i= 1 i = für i j, ) 5

6 Komponenten des Wahrscheinlichkeitsraumes (Ω,,P) Bezeichnung Wahrscheinlichkeits raum Erläuterung Ω Ergebnismenge Menge aller Elementarereignisse ω Elementarereignis Element von Ω σ-algebra über Ω Ereignisraum Menge aller möglichen Ereignisse; -Nicht notwendigerweise jede Teilmenge von Ω, mindestens - Ω als sicheres Ereignis - als unmögliches Ereignis A σ-algebra über Ω Ereignis 6

7 Komponenten des Wahrscheinlichkeitsraumes: Beispiel 1 (Ω,,P) Bezeichnung Wahrscheinlichkeits raum Beispiel Ω Ergebnismenge {a,b,c} ω Elementarereignis a σ-algebra über Ω Ereignisraum A σ-algebra über Ω Ereignis { {a,b,c}, {a,b},{a,c}, {a}, {b,c}, {b}, {c}, {} } {a,b,c} 7

8 Komponenten des Wahrscheinlichkeitsraumes: Beispiel 2 (Verkehrsampel) Bezeichnung Beispiel (Ω,F,P) Wahrscheinlichkeits raum Ω Ergebnismenge {rot,gelb,grün} ω Elementarereignis gelb σ-algebra über Ω Ereignisraum { {rot}, {rot,gelb},{gelb}, {grün}, {} } A σ-algebra über Ω Ereignis {rot,gelb} 8

9 Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette 9

10 Bedingte Wahrscheinlichkeit P(A) Wahrscheinlichkeit (a priori Wahrscheinlichkeit) Gesamtmenge - Wahrscheinlichkeit, dass Ereignis A eintritt A A B B - betrachtet eine Teilmenge aus der Gesamtmenge - P(A) / P(Gesamtmenge) = P(A) / 1 = P(A) P(A B) Bedingte Wahrscheinlichkeit (a posteriori Wahrscheinlichkeit) Gesamtmenge - Wahrscheinlichkeit - dass Ereignis A eintritt, - wenn Ereignis B eingetreten ist A A B B - betrachtet eine Teilmenge aus einer Teilmenge - P(A B) = P(AB) / P(B) 10

11 Das Pferd Harry und das Wetter Rennen Gesamt bei Regen gewonnen verloren gelaufen Einfache Wahrscheinlichkeit P(A) betrachtet Teilmengen aus der Gesamtmenge, Beispiele P ( win) =.2 P( win) / P( gesamt) P ( win rain) =.15 P( win rain) / P( gesamt) Bedingte Wahrscheinlichkeit P(A B) betrachtet Teilmengen aus einer Teilmenge, Beispiel P ( win rain) =.5 P( win rain) / P( rain) 11

12 Bedingte Wahrscheinlichkeit Definition Schreibvarianten P(A B) = P(A B) = P(A B) P(B) P(A, B) P(B) P(A B) = P(A & B) / P(B) 65 5 A A B B P(Win Rain) P(Win Rain) = P(Rain).15 P(Win Rain) = =.5.30 P(A B) P(B A) P(Rain Win) P(Rain Win) = P(Win).15 P(Rain Win) = =

13 P(A B) = P(A B) P(B) Theorem von Bayes ermöglicht Berechnung von P(B A) aus P(A B) Regel von Bayes P(A B) = P(B) P(A B) / P(B) = P(B) P(A B) / 0.3 = = 0.15 = P(A) P(A B) / P(A) = P(A) P(B A) / 0.2 = = 0.15 Theorem von Bayes P(A B )= P(A B) / P(B) = P(B) P(A B) / P(B) / 0.3 = 0.50 Herleitung durch Umformung = P(A) P(B A) / P(B) / 0.3 =

14 5 65 A:win A B 15 B:rain 15 Regel von Bayes Theorem von Bayes ermöglicht Berechnung von P(B A) aus P(A B P(A B) = P(B) P(A B) / P(B) = P(B) P(A B) / 0.3 = = 0.15 = P(A) P(A B) / P(A) = P(A) P(B A) / 0.2 = = 0.15 Theorem von Bayes P(A B )= P(A B) / P(B) = P(B) P(A B) / P(B) / 0.3 = 0.50 = P(A) P(B A) / P(B) Herleitung durch Umformung / 0.3 = 0.50, 14

15 Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette 15

16 Unabhängige Ereignisse Zwei Ereignisse sind voneinander unabhängig, wenn gilt: P(A B) P(A B) = P(A) = P(A) P(B) Typisches Beispiel: Es werden zwei Würfel geworfen. Sei A das Ereignis: der 1. Wurf ist eine 1: P(A) = 1/6 Sei B das Ereignis: der 2. Wurf ist eine 6: P(B) = 1/6 Wahrscheinlichkeit A und B: P(A B) = 1/6 1/6 = 1/36 16

17 Test zweier Ereignisse auf Unabhängigkeit Rennen alle Rennen bei Regen (Beispiel 1) bei Regen (Beispiel 2) gewonnen verloren Gesamt P(win rain) P(win) Ergebnis: die Ereignisse win und rain sind Beispiel abhängig Beispiel 2.20 =.20 unabhängig P(win rain) P(win) P(rain) Ergebnis: die Ereignisse win und rain sind Beispiel =.06 abhängig Beispiel 2.10 =.2.5 =.10 unabhängig 17 17

18 Abhängige und unabhängige Ereignisse diese Formeln gelten in beiden Fällen, da die rechte und die linke Seite äquivalent sind P(A B) = P(A) P(B A) = P(B) P(A B) P(A B) = P(A B) / P(B) P(win rain) = P(win rain) P(rain) = P(rain win) P(win) Beispiel 1.15 =.5.3 =.75.2 Beispiel 2.10 =.2.5 =.5.2 P(win rain) = P(win rain) / P(rain) Beispiel /.3 Beispiel /. 5 18

19 Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette 19

20 Stochastischer Prozess Definition 1 Sei Ω eine Menge elementarer Zufallsereignisse (Ergebnismenge eines Wahrscheinlichkeitsraumes). Ein stochastischer Prozess oder Zufallsprozess ist eine Folge von elementaren Zufallsereignissen X 1,X 2, X i Ω Definition 2 Die möglichen Zufallswerte in einem stochastischen Prozess heißen Zustände des Prozesses. Man sagt, dass sich der Prozess zum Zeitpunkt t in Zustand X t befindet Brants, 1999: 30 20

21 Stochastischer Prozess Für die vollständige Beschreibung eines Zufallsprozesses mit diskretem Zeitparameter benötigt man 1. die Anfangswahrscheinlichkeit: die für jeden Zustand angibt, mit welcher Wahrscheinlichkeit er als Zustand X 1 beobachtet werden kann (d.h. den Startzustand bildet) π i = P(X 1 =s i ) 2. die Übergangswahrscheinlichkeit: die für jeden Zustand angibt, mit welcher Wahrscheinlichkeit er in einer Zustandsfolge auftritt: P(X t+1 = x t+1 X 1 = x 1, X 2 = x 2,,X t = x t ) Brants, 1999: 30 21

22 Stochastischer Prozess: Beispiel Ein Textgenerator hat ein Lexikon mit drei Wörtern von denen an jeder Position jedes auftreten kann : Ω = {geschickt, werden, wir} wir beobachten an jeder Position, welches Wort generiert wurde Sei X 1 das Wort zum ersten Beobachtungszeitpunkt X 2 das Wort zum zweiten Beobachtungszeitpunkt, usw. Dann ist die Folge der Wörter ein stochastischer Prozess mit diskreter Zufallsvariable und diskretem Zeitparameter Für diese Folge kann man eine Wahrscheinlichkeit angeben 22

23 Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette 23

24 Markow-Kette Eine Markow-Kette ist ein stochastischer Prozess, bei dem der nächste Zustand X t+1 bei bekanntem gegenwärtigem Zustand X t unabhängig von den vergangenen Zuständen X t-1, X t-2,,x 0 ist. Es gilt P(X t+1 = j X t = i t, X t-1 = i t-1,,x 1 = i 1, X 0 =i 0 ) = P(X t+1 = j X t = i t ) daher der Name Kette: Kettenglieder hängen nur am vorigen Kettenglied, nicht an allen vorherigen Kettengliedern Brants,Crocker,Lieblang, 2000:22 24

25 Endliche Markow-Kette Für eine endliche Markow-Kette gibt es endlich viele Zustände, und die Kette muss sich zu jedem Zeitpunkt in einem dieser endlich vielen Zustände befinden Prozess ohne Gedächtnis mit endlich vielen Zuständen Brants, 1999: 31 entspricht den Eigenschaften eines endlichen Automaten 25

26 Markow-Kette und Eigenschaften menschlicher Sprachen: ein Beispiel nach einem q folgt oft ein u, Vorhersage über 2. Buchstaben hinter q? abhängig von q? nach einem s folgt ein c, dann folgt ein h Vorhersage über 3. Buchstaben hinter s? abhängig von s? Markow-Modell 1. Ordnung Markow-Modell 2. Ordnung Kunze,

27 Markow-Kette: Matrix-Darstellung kann beschrieben werden durch die Angaben Stochastische Übergangsmatrix A a ij = P( Xt + 1 = sj Xt = si) i, i j aij N j= 1 0, j = 1 Anfangswahrscheinlichkeiten Π ai πi = P ( X 1 = si) N i = 1 π i = 1 X = s X t = si t + 1 j geschickt werden wir geschickt werden wir X t π geschickt.2 werden.3 wir.5 Manning/Schütze, 2000:

28 Markow Model: Definition Ein Markow-Modell wird spezifiziert durch ein Tripel (S,Π,A) S = {S 1,..., S N } Menge der Zustände Π = {π i } A = {a ij } Wahrscheinlichkeiten der Startzustände π i = P(X 1 = S i ) Wahrscheinlichkeiten der Zustandsübergänge a ij = P(X t+1 = S j X t = S i ) 1 i, j N N i = 1 N j= 1 πi = 1 aij = 1 28

29 Markow-Kette: Graph-Darstellung kann beschrieben werden durch Zustandsübergangsgraphen werden geschickt.3 wir

30 Markow-Kette: Berechnung einer Sequenz- Wahrscheinlichkeit Wahrscheinlichkeit der Sequenz der Zustände X 1 X T P( X 1,..., XT) = P( X 1) P( X 2 X 1) P( X 3 X 2, X 1)... P( XT X 1,..., XT 1) für eine Markow-Kette gilt: = T P( X 1) P( X 2 X 1) P( X 3 X 2)... P( XT X 1) π X T 1 Π t= 1 = a X t X t+ 1 1 Manning/Schütze, 2000:

31 Markow-Kette: Berechnungsbeispiel Wahrscheinlichkeit der Sequenz der Zustände X 1 X T P ( X 1 = wir, X 2 = werden, X 3 = geschickt) X t π = = P( X P( X P( X = wir) = werden X = geschickt X ( ) = = wir) 2 = werden) X t = si t + 1 j X = geschickt.2 werden.3 wir.5 geschickt werden wir geschickt werden wir s 31

32 Literatur Bauer, Heinz (2001). Wahrscheinlichkeitstheorie. de Gruyter. 5. verbesserte Auflage. Brants, Thorsten (1999). Statistische Methoden in der Sprachverarbeitung. Seminarskript 15. Juni 1999 Brants, Thorsten; Matthew Crocker und Enrico Lieblang (2000). Statistische Methoden in der Sprachverarbeitung. Seminarskript. Manning, Christopher D.; Schütze, Hinrich (1999): Foundations of Statistical Natural Language Processing. Cambridge, Mass., London: The MIT Press. (vgl.: Versionen,