3 Bedingte Wahrscheinlichkeit, Unabhängigkeit von Ereignissen 3.1 Einführung Bsp. 19 (3-maliges Werfen einer Münze) Menge der Elementarereignisse: Ω = {zzz,zzw,zwz,wzz,zww,wzw,wwz,www}. Ω = 2 3 = 8 = N Wir definieren zwei Ereignisse: A: Das Wappen fällt genau einmal, d.h.: A = {zzw,zwz,wzz}. 95 W.Kössler, Humboldt-Universität zu Berlin
P(A) = n(a) N = 3 8. B: Die Anzahl der Wappenwürfe ist ungerade,d.h.: B = {zzw,zwz,wzz,www}. P(B) = n(b) N = 4 8 = 1 2. Wir nehmen jetzt an, das Ereignis B sei bereits eingetreten. Wie groß ist die Wahrscheinlichkeit, daß unter dieser Bedingung das Ereignis A eintritt? Offenbar A B. Bei diesem Experiment ist die Menge der Elementarereignisse die Menge B. Damit gilt N = 4. Folglich erhalten wir: P(A, falls B bereits eingetreten ist) = P(A/B) = 3 4. 96 W.Kössler, Humboldt-Universität zu Berlin
Def. 9 Es seien A,B E zwei zufällige Ereignisse und es gelte P(B) > 0. Dann wird P(A/B) = P(A B) P(B). als bedingte Wahrscheinlichkeit von A unter der Bedingung B bezeichnet. Bem.: Oft wird auch die folgende Bezeichnung verwendet: P B (A) := P(A/B). 97 W.Kössler, Humboldt-Universität zu Berlin
Bem.: Wir unterscheiden folgende Fälle: 1. A B: Dann gilt: P(A/B) = P(A B) P(B) 2. A B: Dann gilt: P(A/B) = P(A B) P(B) = P(B) P(B) = 1. = P(A) P(B). 3. A B (teilweise Überschneidung): Dann gilt: P(A/B) = P(A B) P(B). Def. 10 Zwei Ereignisse A, B E heißen unabhängig, wenn gilt: P(A/B) = P(A). 98 W.Kössler, Humboldt-Universität zu Berlin
Bem.: Für zwei unabhängige Ereignisse gilt: P(A B) = P(A) P(B). 99 W.Kössler, Humboldt-Universität zu Berlin
Bsp. 20 (Skatblatt) Skatspiel mit 32 Karten. Daraus wird eine Karte gezogen. (N = Ω = 32). Wir betrachten die beiden folgenden zufälligen Ereignisse: A: Ziehen eines Königs. B: Ziehen einer Herzkarte. P(A) = n(a) N = 4 32 = 1 8. P(B) = n(b) N = 8 32 = 1 4. Sind diese beiden Ereignisse voneinander unabhängig? 100 W.Kössler, Humboldt-Universität zu Berlin
Offenbar P(B) > 0. Es sei eine Herzkarte gezogen worden (Ereignis B also eingetreten). Wahrscheinlichkeit, daß dann der Herzkönig gezogen wurde: P(A/B) = P(A B) P(B) = 1 32 1 4 = 1 8 = P(A). Folglich sind nach Definition 10 die Ereignisse A und B voneinander unabhängig. 101 W.Kössler, Humboldt-Universität zu Berlin
Satz 4 Es seien A, B E zwei Ereignisse, wobei P(B) > 0 gelte. Dann genügt die bedingte Wahrscheinlichkeit P B den KOLMOGOROFF Axiomen. D.h. das Tripel (Ω, E,P B ) ist ein Wahrscheinlichkeitsraum. Beweis: Wir zeigen stellvertretend Axiom 2. Es gilt: P B (Ω) = P(Ω/B) P(Ω B) = P(B) = P(B) P(B) = 1 Die anderen beiden Axiome (vgl. Definition 6) sind ebenfalls erfüllt. 102 W.Kössler, Humboldt-Universität zu Berlin
Satz 5 Es seien A, B, C E drei Ereignisse. Dann gilt: Beweis: Es gilt: P B (A/C) = P(A/B C). P B (A/C) = P B(A C) P B (C) P(A C/B) = P(C/B) P(A B C) P(B) = P(B) P(B C) P(A B C) = P(B C) = P(A/B C) 103 W.Kössler, Humboldt-Universität zu Berlin
Lemma 6 Es seien A,B E zwei unabhängige Ereignisse. Dann sind die Ereignisse A und B ebenfalls unabhängig. Gleiches gilt für die Ereignisse A und B sowie für A und B. Beweis: Wir zeigen die Aussage am Beispiel der Ereignisse 104 W.Kössler, Humboldt-Universität zu Berlin
A und B. Es gilt: P(A B) P(A/B) = P(B) P(A \ (A B)) = (Folgerung 2.1)) 1 P(B) P(A) P(A B) = (Folgerung 2.3b)) 1 P(B) P(A) P(A)P(B) = 1 P(B) P(A)(1 P(B)) = 1 P(B) = P(A) Diese beiden Ereignisse sind folglich unabhängig. 105 W.Kössler, Humboldt-Universität zu Berlin
Zusammenfassend gilt P(A/B) = P(A) P(A/B) = P(A) P(A/B) = P(A) P(A/B) = P(A) 106 W.Kössler, Humboldt-Universität zu Berlin
3.2 Satz der Totalen Wahrscheinlichkeit Def. 11 Es sei (Ω, E, P) ein Wahrscheinlichkeitsraum. Eine Folge von Ereignissen {A n } n=1 (A n E, n N) heißt vollständig (oder ausschöpfend), falls folgende Bedingungen erfüllt sind: 1. A n = Ω; n=1 2. A i A j =, für alle i j. 107 W.Kössler, Humboldt-Universität zu Berlin
Satz 7 Es sei A 1,A 2,... eine vollständige Folge von Ereignissen. Weiterhin sei B ein beliebiges Ereignis und es gelte P(A i ) 0 für alle i. Dann gilt: P(B) = i=1 P(B A i )P(A i ). Dieser Ausdruck heißt Formel der totalen Wahrscheinlichkeit. 108 W.Kössler, Humboldt-Universität zu Berlin
Beweis: Aus B = B ( i=1 A i) = i=1 (B A i) folgt (da die (B A i ) ebenfalls unvereinbar sind): ( ) P(B) = P (B A i ) = = i=1 P(B A i ) i=1 P(B A i )P(A i ) i=1 109 W.Kössler, Humboldt-Universität zu Berlin
Bsp. 21 (Binärkanal) Bei der Übertragung auf einem binären kanal kommen die Zeichen 0 und 1 im Verhältnis 3:4 vor. Ein 0 wird mit Wkt. von 0.2 fehlerhaft übertragen Ein 1 wird mit Wkt. von 0.3 fehlerhaft übertragen ges.: Wkt. für eine fehlerhafte Übertragung Wkt., dass ein 0 empfangen wird. Ereignisse: S 0 : 0 wird gesendet, P(S 0 ) = 3 7 S 1 : 1 wird gesendet, P(S 1 ) = 4 7 E 0 : 0 wird empfangen E 1 : 1 wird empfangen 110 W.Kössler, Humboldt-Universität zu Berlin
P(E 1 S 0 ) = 0.2, P(E 0 S 1 ) = 0.3 F : Ereignis, das ein Übertragungsfehler vorliegt P(F) = P(E 1,S 0 ) + P(E 0,S 1 ) = P(E 1 S 0 ) P(S 0 ) + P(E 0 S 1 ) P(S 1 ) = 1 5 3 7 + 3 10 4 7 = 18 70 0.2571 P(E 0 ) = P(E 0 S 0 ) P(S 0 ) + P(E 0 S 1 ) P(S 1 ) = 8 10 3 7 + 3 10 4 7 = 18 35 0.5143 111 W.Kössler, Humboldt-Universität zu Berlin
3.3 Satz von Bayes Gegeben: P(A i ) und P(A/A i ), (i N). Gesucht: P(A i /A). Unter Benutzung der Definition der bedingte Wahrscheinlichkeit und der Formel für die totale Wahrscheinlichkeit erhalten wir: 112 W.Kössler, Humboldt-Universität zu Berlin
P(A i /A) = P(A i A) P(A) = P(A i) P(A/A i ) P(A) P(A i ) P(A/A i ) = (P(A/A j ) P(A j )) j=1 (Formel der totalen Wkt) Der Ausdruck P(A i /A) = P(A i) P(A/A i ) (P(A/A j ) P(A j )) j=1 heißt Formel von BAYES (bzw. Theorem von BAYES). 113 W.Kössler, Humboldt-Universität zu Berlin
Bsp. 22 (Binärkanal, Fortsetzung) P(S 0 E 0 ) = = P(S 1 E 1 ) = = P(E 0 S 0 )P(S 0 ) P(E 0 S 0 )P(S 0 ) + P(E 0 S 1 )P(S 1 ) 8 3 10 7 8 3 + 3 4 10 7 10 7 = 24 24 + 12 = 2 3 P(E 1 S 1 )P(S 1 ) P(E 1 S 0 )P(S 0 ) + P(E 1 S 1 )P(S 1 ) 7 4 10 7 2 3 + 7 4 10 7 10 7 = 28 28 + 6 = 14 17 114 W.Kössler, Humboldt-Universität zu Berlin
3.4 Anwendung bedingter Wahrscheinlichkeiten Bsp. 23 Betrachtet werden mehrere Kanonen. Für i N bezeichne A i das Ereignis, daß Kanone i einen Schuß abgibt. A sei das Ereignis, daß ein Treffer erzielt wird. Nun kann die Wahrscheinlichkeit P(A/A i ) ermittelt werden, also die Wahrscheinlichkeit, daß Kanone i einen Treffer erzielt. modifiziert als ÜA. 115 W.Kössler, Humboldt-Universität zu Berlin
Bsp. 24 Aufbau eines Expertensystems Vgl. ÜA. Aufbau der Wissensbasis: K i P 0 (K i ) Symptom Nr. 1 P(S 1 /K i ) P(S 1 /K i ) Symptom Nr. 2 P(S 2 /K i ) P(S 2 /K i ) Symptom Nr. 3 P(S 3 /K i ) P(S 3 /K i ) K i bestimmte Ereignisse (z.b. Krankheiten) P 0 (K i ) a priori Wahrscheinlichkeit für K i P(S/K) Wkt für Symptom S, falls K vorliegt P(S/K) Wkt für Symptom S, falls K nicht vorliegt 116 W.Kössler, Humboldt-Universität zu Berlin
Inferenzmaschine P(K S) = P(K S) = P(S K) P(K) P(S) P(S K) P(K) P(S) P(S) = P(S K) P(K) + P(S K) P(K) P(S) = 1 P(S) Arbeitsweise: Krankheiten K 1,...,K K Symptome S 1,...,S S 117 W.Kössler, Humboldt-Universität zu Berlin
I 0 = {1,...,K}; l = 0; P 0 = P ; J = {1,...,S} (i,j) I l xj: P l (S j ) := P(S j K i ) P l (K i ) + P(S j K i ) P l (K i ) P l (K i S j ) = P(S j K i ) P l (K i ) P(S j ) P l (K i S j ) = P l(s j K i ) P l (K i ) P l (S j ) a: (l = 0: ärztliches Wissen) r(j) := i I l P l (K i S j ) P(K i S j ) j J; 118 W.Kössler, Humboldt-Universität zu Berlin
j l := argmax j J r(j) das Symptom mit dem größten r(j). b: Frage an den Patienten nach Symptom S jl. P(K i ) wird aktualisiert (Abbildung). Dann wieder (i,j) I l xj: P l+1 (S j ) := P(S j K i ) P l+1 (K i ) + P(S j K i ) P l+1 (K i ) P l+1 (K i S j ) := P(S j K i ) P l+1 (K i ) P(S j ) P l+1 (K i S j ) := P(S j K i ) P l+1 (K i ) P(S j ) 119 W.Kössler, Humboldt-Universität zu Berlin
c: m i := max j J P l+1(k i S j ) P l+1 (K i S j ), i I l I l+1 = I l \ {i I l : m i < c} J l+1 = J l \ {j l }; l := l + 1; /* Abbruchbedingung, z.b. I l = I l+1,s jl = S jl+1,i l+1 = {i} oder J l+1 = */ goto a; end. 120 W.Kössler, Humboldt-Universität zu Berlin
Bsp. 25 Langzeitverhalten eines Ein Prozessorsystems mit einer I/O Einheit Wir betrachten ein Ein Prozessorsystem, das auf folgende Weise arbeiten soll: Wenn ein Programm beendet wird, so wird mit Wahrscheinlichkeit p (0 < p < 1) die I/O Einheit aktiviert, und mit Wahrscheinlichkeit q = 1 p erfolgt ein erneuter Programmstart. Nach Beendigung eines I/O Vorgangs wird immer ein neues Programm gestartet. Frage: Mit welcher Wahrscheinlichkeit befindet sich das System im n ten Zyklus im Programmzustand? Wir legen fest (n = 1, 2, 3,...): 121 W.Kössler, Humboldt-Universität zu Berlin
A n - Ereignis, daß im n ten Zyklus ein Programm startet A n - Ereignis, daß im n ten Zyklus die I/O Einheit aktiviert wird gesucht: P(A n ). Langzeitverhalten ( lim n P(A n )). 122 W.Kössler, Humboldt-Universität zu Berlin
P(A 1 ) = 1, denn es wird beim Einschalten des Systems immer mit einem Programm begonnen. Aus der anfangs angegebenen Beschreibung der Arbeitsweise des Systems folgt: P(A n+1 /A n ) = q = 1 p P(A n+1 /A n ) = p P(A n+1 /A n ) = 0 P(A n+1 /A n ) = 1 Wir bezeichnen q n := P(A n ). Wir ermitteln die ersten drei 123 W.Kössler, Humboldt-Universität zu Berlin
Werte: q 1 = P(A 1 ) = 1 q 2 = P(A 2 ) = P(A 2 /A 1 ) P(A 1 ) + P(A 2 /A 1 ) P(A 1 ) }{{} =0 = q = 1 p q 3 = P(A 3 ) = P(A 3 /A 2 ) P(A 2 ) + P(A 3 /A 2 ) P(A 2 ) = q q + 1 (1 q) = (1 p) 2 + p = 1 p + p 2 (totale Wkt.) 124 W.Kössler, Humboldt-Universität zu Berlin
Vermutung: n 1 q n = P(A n ) = ( p) i. Beweis: (vollständige Induktion): IA: Es sei n = 1: q 1 = 1. IS: Wir nehmen an, daß die Formel für n gilt. Wir zeigen die i=0 125 W.Kössler, Humboldt-Universität zu Berlin
Gültigkeit für n + 1: q n+1 = P(A n+1 ) = P(A n+1 /A n ) P(A n ) + P(A n+1 /A n ) P(A n ) = q q n + 1 (1 q n ) = 1 + (q 1) q n = 1 p q n n 1 = 1 p ( p) i = 1 + i=0 n ( p) i = i=1 (nach IV) n ( p) i i=0 126 W.Kössler, Humboldt-Universität zu Berlin
Untersuchen wir noch das Langzeitverhalten: lim P(A n) = n = = lim q n n ( p) i i=0 1 1 ( p) = 1 1 + p, geometrische Reihe mit p < 1. Frage: Sind die Ereignisse A n+1 und A n unabhängig? Nach der Formel für die bedingte Wahrscheinlichkeit 127 W.Kössler, Humboldt-Universität zu Berlin
(vgl. Definition 9) gilt: P(A n+1 A n ) = P(A n+1 /A n ) P(A n ) = q q n Wären die beiden Ereignisse unabhängig, so müßte gelten (vgl. Definition 10): P(A n+1 /A n ) = P(A n+1 ) q = q n+1 Aber, für n 2 gilt q q n+1. Also sind die Ereignisse A n und A n+1 nicht unabhängig. Der gesamte Ablauf läßt sich eindeutig in Matrixform darstellen: 128 W.Kössler, Humboldt-Universität zu Berlin
Weitere Anwendungen I/O A I/O 0 1 A p 1 p Bsp. 26 (Zuverlässigkeitstheorie) Wir betrachten ein Reihen-System mit 2 Bauteilen, die unabhängig voneinander ausfallen, p i : Ausfallwkt. für Bauteil i Fall: System fällt (innerhalb eines best. Zeitraumes) aus. Wie groß ist Wkt., dass genau das erste Bauteil ausgefallen ist? 129 W.Kössler, Humboldt-Universität zu Berlin
A i : Ereignis, dass Bauteil i ausfällt. geg.: P(A i ) = p i,i = 1, 2 ges.: P(A 1 A 2 A 1 A 2 )? P(A 1 A 2 A 1 A 2 ) = P((A 1 A 2 ) (A 1 A 2 )) P(A 1 A 2 ) = P(A 1 A 2 ) P(A 1 A 2 ) Distr.gesetz = = P(A 1 ) P(A 2 ) P(A 1 ) + P(A 2 ) P(A 1 A 2 ) p 1 (1 p 2 ) p 1 + p 2 p 1 p 2 UA, Subtraktivität 130 W.Kössler, Humboldt-Universität zu Berlin
Analog P(A 2 A 1 A 1 A 2 ) = p 2(1 p 1 ) p 1 + p 2 p 1 p 2 Wkt. für Ausfall beider Bauteile: ÜA 131 W.Kössler, Humboldt-Universität zu Berlin
Bsp. 27 (Münzwurf-Spiel) A und B spielen: Münze wird abwechselnd geworfen. Es gewinnt, wer zuerst Blatt hat. B: Ereignis, dass bei einem Wurf Blatt kommt Z: Ereignis, dass bei einem Wurf Zahl kommt E: Ereignis, dass A gewinnt F: Ereignis, dass B gewinnt 132 W.Kössler, Humboldt-Universität zu Berlin
G: Spiel endet nicht. P(E) = P(B) + P(ZZB) + P(ZZZZB) + = 1 2 + 1 8 + 1 32 = 1 1 2 4 i = 1 2 i=0 1 1 1 4 = 2 3 133 W.Kössler, Humboldt-Universität zu Berlin
P(F) = P(ZB) + P(ZZZB) + P(ZZZZZB) + = 1 4 + 1 16 + 1 64 = 1 1 4 4 = 1 i 3 i=0 oder (unter Anwendung der bedingten Wktn.) P(F) = P(F B) P(B) + P(F Z) P(Z) = 0 1 2 + P(E) 1 2. wird 1. Spieler 2 P(E) = P(E B) P(B) + P(E Z) P(Z) = 1 1 2 + P(F) 1 2 lineares Gleichungssystem lösen obiges Ergebnis. 134 W.Kössler, Humboldt-Universität zu Berlin
Bsp. 28 (Ruin des Spielers) Irrfahrt auf der Geraden mit 2 absorbierenden Zuständen, a und a + b a: Startkapital Spieler A b: Startkapital Spieler B E k : Ereignis, dass der Spieler, der k Euro besitzt, ruiniert wird. p k = P(E k ) A 1 : Ereignis, im nächsten Schritt ein Euro zu verlieren. A +1 : Ereignis, im nächsten Schritt ein Euro zu gewinnen. 135 W.Kössler, Humboldt-Universität zu Berlin
p k = P(E k A 1 ) P(A 1 ) + P(E k A +1 ) P(A +1 ) totale Wkt. = 1 2 (p k 1 + p k+1 ) Daraus folgt: 2p k p k+1 p k = p k+1 + p k 1 = p k p k 1 =: d 136 W.Kössler, Humboldt-Universität zu Berlin
Offenbar: p 0 = 1, p a+b = 0 p k = p k p }{{ k 1 } =d = kd + 1 +p k 1 + + p 1 p }{{} 0 +p 0 =d p a+b = (a + b)d + 1 = 0 d = 1 a + b p k = 1 k a + b p a = 1 a p b = a a + b a + b = b a + b 137 W.Kössler, Humboldt-Universität zu Berlin