Wahrscheinlichkeitstheorie für die Fachrichtung Elektroingenieurwesen WS 2009/10

Transkript

1 Wahrscheinlichkeitstheorie für die Fachrichtung Elektroingenieurwesen WS 2009/10 Peer Christian Kunstmann Karlsruher Institut für Technologie (KIT) Institut für Analysis Kaiserstraße 89, Karlsruhe Dies ist ein Vorlesungsabriss, gedacht zur Vorlesungsbegleitung und als Gedächtnisstütze, nicht jedoch als etwas, das für sich selbst stehen könnte (wie etwa ein Lehrbuch). Der Besuch der Vorlesung ist durch die Lektüre keinesfalls zu ersetzen, es gibt dort noch viel mehr an mündlichen Erklärungen, Erläuterungen und Skizzen, die für Verständnis und Einordnung unabdingbar sind. 1

2 1 Einführung Die Vorlesung orientiert sich an dem Buch F. Jondral, A. Wiesler: Wahrscheinlichkeitsrechnung und stochastische Prozesse, Teubner Verlag, 2. Aufl. 2002, wobei jedoch verschiedenes umgebaut werden muss und nicht alles behandelt werden kann. Erwähnen möchte ich aber auch N. Henze: Stochastik für Einsteiger, Vieweg, in dem grundlegende Ideen ausführlich und zugänglich dargestellt werden. Mathematische Modelle: Was ist Zufall? Was ist Wahrscheinlichkeit? Je länger man darüber nachdenkt, desto weniger weiß man es. Der umgangssprachliche Gebrauch des Wortes wahrscheinlich gibt keinen Hinweis darauf, wie Wahrscheinlichkeit zu messen wäre. Wahrscheinlichkeit ist auch keine physikalische Größe wie etwa Stromstärke oder Spannung. Berechnen lassen sich bestimmte Wahrscheinlichkeiten nur innerhalb eines mathematischen Modells. Außerhalb von mathematischen Modellen werden wir nicht über Wahrscheinlichkeit reden, bei der Aufstellung eines mathematischen Modells ist jedoch darauf zu achten, dass die Modellannahmen plausibel sind. Der Sinn dieser Worte wird sich hoffentlich im Laufe dieser Vorlesung erschließen. 2 Der Wahrscheinlichkeitsraum Unter einem Zufallsexperiment verstehen wir einen Versuch, dessen Ausgang im Bereich gewisser bekannter Möglichkeiten liegt, aber ungewiss ist, und der unter bestimmten Rahmenbedingungen (zumindest prinzipiell) beliebig oft wiederholbar ist. Beispiele: Werfen einer Münze; Würfeln; Warten an einer Straße auf das erste vorbeifahrende Auto; Ziehung der Lotto-Zahlen. 2.1 Definition: Ein endlicher Ergebnisraum ist eine nicht-leere endliche Menge Ω = {ξ 1,ξ 2,...,ξ N }. Die Elemente ξ j Ω heißen Ergebnisse, eine einelementige Teilmenge {ξ j } Ω heißt Elementarereignis. Jede Teilmenge A Ω heißt Ereignis. Ω und die leere Menge sind Ereignisse, wobei Ω das sichere und das unmögliche Ereignis heißen. Beispiele: (a) Münzwurf: Ω = {Kopf, Zahl} oder Ω = {0, 1}, wobei 0ˆ=Kopf, 1ˆ=Zahl, Ω = Mächtigkeit von Ω = Anzahl der Elemente von Ω = 2. (b) Würfeln: Ω = {1, 2, 3, 4, 5, 6}, hier Ω = 6; {1} ist Elementarereignis, ein Ereignis ist z.b. A = {die gewürfelte Augenzahl ist gerade} = {2, 4, 6}. (c) n-maliges Werfen einer Münze, wobei n natürliche Zahl: Ω = {(x 1,x 2,...,x n ) : x j {0, 1} für jedes j {1, 2,...,n} }, 2

3 hier gilt Ω = 2 n, da es für jede der n Stellen je zwei Möglichkeiten gibt. Etwa n = 3: A = {es fällt nie Kopf} = {(1, 1, 1)} Elementarereignis, B = {es fällt genau einmal Zahl} = {(1, 0, 0), (0, 1, 0), (0, 0, 1)}. (d) Ist Ω = {ξ 1,ξ 2,...,ξ N } endlicher Ergebnisraum mit Ω = N, so gibt es genau 2 N Ereignisse. Für die Potenzmenge P(Ω) := {A : A Ω} gilt also P(Ω) = 2 N. 2.2 Rechnen mit Ereignissen, dh Rechnen mit Mengen Sei Ω eine Menge und A,B Ω. Dann A B := AB := {ξ Ω : ξ A und ξ B} Durchschnitt A B := {ξ Ω : ξ A oder ξ B} Vereinigung A \ B := A B := {ξ Ω : ξ A und ξ B} Differenz A := A c := {ξ Ω : ξ A} Komplement, Negation, entgegengesetztes Ereignis Bemerkung: A \ B = A B = A \ (A B). Es gelten folgende Regeln: Kommutativität von / : A B = B A, A B = B A, Assoziativität von / : A (B C) = (A B) C = A B C,A (B C) = (A B) C = A B C, Distributivgesetze: A (B C) = (A B) (A C), A (B C) = (A B) (A C). Außerdem: A A = A, A Ω = Ω, A = A, A A = A, A Ω = A, A =. Definition: Sind A,B Ereignisse mit A B =, so heißen A und B disjunkt oder unvereinbar. De Morgansche Regeln: A B = A B, A B = A B. Allgemeiner: Ist T eine Menge und ist für jedes t T ein Ereignis A t Ω gegeben, so setzt man: A t := {ξ Ω : es gibt ein t T mit ξ A t }, t T A t := {ξ Ω : für alle t T gilt ξ A t }. t T Es gilt dann: t T A t = t T A t, t T A t = t T A t. 2.3 Relative Häufigkeit Definition: Tritt bei N unabhängigen Wiederholungen des durch Ω beschriebenen Zufallsexperiments das Ereignis A Ω genau h N (A)-mal ein, so heißt h N (A) die absolute Häufigkeit und H N (A) := h N(A) N 3

4 die relative Häufigkeit von A in N Versuchen. Beispiel: Ein Würfel wird N = 100 mal geworfen mit k h N ({k}) H N ({K}) Für A = {gerade Augenzahl} = {2, 4, 6} gilt h N (A) = 55, H N (A) = Bemerkung: Offenbar hat die relative Häufigkeit H N stets folgende Eigenschaften: (1) Für alle A Ω: 0 H N (A) 1; (2) H N (Ω) = 1; (3) Für alle A,B Ω mit A B = : H N (A B) = H N (A) + H N (B). Folgerung: Es gelten auch: (4) Für alle A Ω: H N (A) = 1 H N (A); (5) Für alle A,B Ω: H N (A B) = H N (A) + H N (B) H N (A B). Beweis für (5): A B A B B \ A Wegen A B = A + (B \ A) = A + (B \ (A B)) und B = (B \ (A B)) + (A B) (+: disjunkte Vereinigung) gilt nach (3) woraus unmittelbar (5) folgt. H N (A B) = H N (A) + H N (B \ (A B)), H N (B) = H N (B \ (A B)) + H N (A B), 2.4 Wahrscheinlichkeit im Laplace-Experiment Definition: Sei Ω ein endlicher Ergebnisraum. Für jedes A Ω ist P(A) := A Ω = die Wahrscheinlichkeit des Ereignisses A. Anzahl Elementarereignisse in A Gesamtzahl der Elementarereignisse 4

5 Interpretation: Jedes Elementarereignis {ξ} Ω ist gleich wahrscheinlich. Bemerkung: Ist Ω = N, so entspricht P der relativen Häufigkeit H N, wenn in N Versuchen jedes Elementarereignis genau einmal auftritt. Die Eigenschaften (1), (2), (3) und auch (4), (5) aus 2.3 gelten also auch für P statt H N. Beispiele: (a) Laplace-Würfel, Ω = {1, 2, 3, 4, 5, 6}. Für A = {2, 4, 6} gilt etwa P(A) = A Ω = 3 6 = 0.5. (b) Zweimaliges Würfeln. Nicht immer ist es sinnvoll, alle Elementarereignisse als gleich wahrscheinlich anzunehmen: Beispiel: (c) Augensumme beim Werfen zweier Würfel, Ω = {2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12}. Vergleicht man mit Beispiel (b), so sieht man Ende Woche 1 Summe 2ˆ={(1, 1)}, Summe 3ˆ={(1, 2), (2, 1)}, Summe 4ˆ={(1, 3), (2, 2), (3, 1)} etc. Somit sollte hier sein: P({2}) = 1 36, P({3}) = 2 36 = 1 18, P({4}) = 3 36 = 1 12 etc. Also P({j}) = { j 1 36 für j {2, 3,...,7} 13 j 36 für j {8, 9,...,12} bzw. P({j}) = 6 7 j 36 für j Ω. 2.5 Kolmogoroff-Axiome für endliche Ergebnisräume Definition: Sei Ω ein endlicher Ergebnisraum. Eine Funktion P : P(Ω) R, die jedem Ereignis A Ω eine reelle Zahl P(A) zuordnet, heißt Wahrscheinlichkeitsmaß, falls gilt: (1) Für alle A Ω: 0 P(A) 1; (2) P(Ω) = 1; (3) Für alle disjunkten A,B Ω: P(A B) = P(A) + P(B). Bemerkung: Ist P ein Wahrscheinlichkeitsmaß, so gilt auch: (4) Für alle A Ω: P(A) = 1 P(A); (5) Für alle A,B Ω: P(A B) = P(A) + P(B) P(A B). Bemerkung: Ist Ω = {ξ 1,ξ 2,...,ξ N } und Ω = N, so ist die Funktion P durch Angabe der Wahrscheinlichkeit der Elementarereignisse p j := P({ξ j }) für j = 1, 2,...,N eindeutig festgelegt. Gibt man die p j für j = 1, 2,...,N an, so gehört zu diesen genau dann ein Wahrscheinlichkeitsmaß auf Ω, wenn p j 0 für alle j {1, 2,...,N} und p 1 +p p N = 1 gilt. Beispiel: Werfen einer Münze, bis das erste Mal Kopf auftritt, höchstens jedoch viermal: Ω = {K,ZK,ZZK,ZZZK,ZZZZ}, wobei Z ˆ= Zahl, K ˆ= Kopf, bzw. mit Zahl ˆ=1, 5

6 Kopf ˆ=0: Ω = {0, (1, 0), (1, 1, 0), (1, 1, 1, 0), (1, 1, 1, 1)}. Hier ist (bei einer idealen Münze) plausibel: P({0}) = 1 2,P({(1, 0)}) = 1 4,P({(1, 1, 0)}) = 1 8 P({(1, 1, 1, 0)}) = 1 1,P({(1, 1, 1, 1)}) = Die Summe der angegebenen Werte ist = 1, also ist dadurch ein Wahrscheinlichkeitsmaß festgelegt. 2.6 Unendliche Ergebnisräume Beispiel: Werfen einer Münze, bis das erste Mal Kopf auftritt. Ω = {K,ZK,ZZK,ZZZK,ZZZZK,...} = {ω j : j N}, wobei ω j := ZZ }{{ Z} K für j N. (j 1) mal Die Menge Ω ist nicht endlich, aber Ω ist abzählbar, dh die Elemente von Ω können vollständig mit natürlichen Zahlen durchnummeriert werden. In Fortführung des Beispiels in 2.5 liegt es nahe zu setzen: Ist die Summe über alle p j gleich 1? p j = P({ω j }) = 1 2 j für jedes j N. Definition: Sei a 1,a 2,... eine Folge von Zahlen a j 0. Dann setzen wir n a j := sup{ a j : n N} [0, ]. j=1 Hierbei ist n j=1 a j = a 1 + a a n. Im Beispiel gilt für jedes n N: j=1 n p j = p 1 + p p n = = 1 1 n 2 1. n j=1 Andererseits wird die Differenz zu 1 beliebig klein, dh es gilt j=1 p j = 1. Definition: Die Ereignisse A 1,A 2,A 3,... heißen paarweise disjunkt, falls A j A k = für alle j k gilt. In diesem Fall schreiben wir die Vereinigung j=1 A j := j N A j auch als A j. j=1 Gilt j=1 A j = Ω, so heißt die Folge (A j ) j N vollständige Ereignisdisjunktion. 6

7 Im Beispiel ist eine vollständige Ereignisdisjunktion gegeben durch A j := {ω j } = {ZZ }{{ Z} K} für j N. (j 1) mal Definition: Eine unendliche Menge, die nicht abzählbar ist, heißt überabzählbar. Beispiel: Die Menge R der reellen Zahlen ist überabzählbar. 2.7 Kolmogoroff-Axiome für abzählbare Ergebnisräume Definition: Sei Ω ein abzählbarer Ergebnisraum. Eine Funktion P : P(Ω) R, die jedem Ereignis A Ω eine reelle Zahl P(A) zuordnet, heißt Wahrscheinlichkeitsmaß auf P(Ω), falls gilt: (1) Für alle A Ω: 0 P(A) 1; (2) P(Ω) = 1; (3) Für jede Folge (A j ) j N paarweise disjunkter Ereignisse A j Ω gilt: P( A j ) = j=1 P(A j ). j=1 Bemerkung: Diese Definition umfasst die Definition in 2.5. Auch hier gelten die Eigenschaften (4) und (5) aus 2.5. Beispiel: Im Beispiel aus 2.6 definiert ein Wahrscheinlichkeitsmaß auf P(Ω). P(A) := j mit ω j A 2.8 Definition: Ein abzählbarer Wahrscheinlichkeitsraum ist ein abzählbarer Ergebnisraum Ω versehen mit einem Wahrscheinlichkeitsmaß P auf P(Ω). 1 2 j 3 Kombinatorik Die Kombinatorik beschäftigt sich mit dem Abzählen endlicher Mengen. Dies ist insbesondere für die Bestimmung von Wahrscheinlichkeiten im Laplace-Experiment von Bedeutung. Wir betrachten eine endliche Menge M mit M = N N, es sei k N Anzahl der k-tupel mit Elementen aus M (für k 1): Für die Menge {(x 1,x 2,...,x k ) : x j M für jedes j {1, 2,...,k} } = M } M {{... M } =: M k k mal 7

8 gilt M k = N k. 3.2 Permutationen: Für die Elemente von M hat man N! = N Anordnungsmöglichkeiten, dh mögliche Reihenfolgen. 3.3 Anzahl der k-tupel mit Elementen aus M, in denen alle Einträge verschieden sind ( Variationen ): Hier gibt es für 1 k N genau N (N 1)... (N k + 1) = N! (N k)! Möglichkeiten. 3.4 Anzahl der k-elementigen Teilmengen von M ( Kombinationen ): Für 0 k N gibt es genau ( ) N k := N! Teilmengen von M, die genau k Elemente haben. ( ) N k!(n k)! k heißt Binomialkoeffizient. 3.5 Beispiele: (a) Ein Byte hat 8 Bit (Wert 0 oder 1); es gibt 2 8 = 256 verschiedene Bytes (3.1). (b) Man kann die 7 Spieler einer Handballmannschaft auf 7! = 5040 Arten in einer Reihe aufstellen (3.2). (c) Man kann 14 Spieler auf ( 14 7 ) = 3432 Arten in zwei Handballmannschaften einteilen (3.4). (d) Will man unter 7 Teilnehmern Gold-, Silber- und Bronzemedaille verteilen, so gibt es 7! dafür = 7! = = 210 Möglichkeiten (3.3). (7 3)! 4! ((e) Will man 5 rote, 3 gelbe und 2 grüne Kugeln hintereinander anordnen, so gibt es dafür 10 )( 5 ) 5 3 = 10! = 2520 Möglichkeiten (3.4). Für k 5!3!2! 1 + k k l = N mit k j N 0 heißt Ende ( ) Woche 2 N N! := k 1,k 2,...,k l k 1!k 2! k l! Multinomialkoeffizient. (f) Wahrscheinlichkeit für sechs Richtige im Lotto: 1/ ( 49 6 ) = 1/ /14Mio. 4 Bedingte Wahrscheinlichkeit und Unabhängigkeit 4.1 Def: Sei (Ω,P) ein abzählbarer Wahrscheinlichkeitsraum, A,B Ω und P(B) > 0. Dann heißt P(A B) P(A B) := P(B) die bedingte Wahrscheinlichkeit von A unter der Bedingung B. 4.2 Beispiel: Zweimaliger Münzwurf: Wie groß ist die Wahrscheinlichkeit, zweimal Kopf zu werfen unter der Bedingung, 8

9 (a) dass der erste Wurf Kopfˆ=0 ist? Es ist Ω = {0, 1} 2, A = {(0, 0)}, B = {(0, 0), (0, 1)}, P(A) = 1, P(B) = 1 1/4, P(A B) = = /2 2 (b) dass mindestens einmal Kopf fällt? Hier ist B = {(0, 0), (0, 1), (1, 0)}, P(B) = 3 4 und P(A B) = Bemerkungen: (a) Die Funktion A P(A B) ist ein Wahrscheinlichkeitsmaß auf Ω (und auch auf B) (leicht). (b) Multiplikationsregel für Wahrscheinlichkeiten: P(A B) = P(B)P(A B) = P(A)P(B A). Entsprechendes gilt für n Ereignisse A 1,A 2,...,A n Ω: P(A 1 A 2... A n ) = P(A 1 A 2... A n 1 )P(A n A 1... A n 1 ) = P(A 1... A n 2 )P(A n 1 A 1... A n 2 )P(A n A 1... A n 1 ) = P(A 1 )P(A 2 A 1 )P(A 3 A 1 A 2 ) P(A n A 1... A n 1 ). 4.4 Satz: Die Ereignisse A 1,A 2,...,A n seien eine vollständige Ereignisdisjunktion und es gelte P(A j ) > 0 für jedes j {1, 2,...,n}. Dann gilt für jedes B Ω die Formel von der totalen Wahrscheinlichkeit n P(B) = P(B A j )P(A j ) j=1 und, falls P(B) > 0 ist, die Formel von Bayes P(A k B) = P(B A k )P(A k ) n j=1 P(B A j)p(a j ) für jedes k = 1, 2,...,n. Beweis: B = n j=1 B A j, also P(B) = n j=1 P(B A j), verwende nun 4.3(b). In der zweiten Formel steht oben P(A k B) und unten P(B). 4.5 Definition: Zwei Ereignisse A,B Ω heißen (stochastisch) unabhängig, falls gilt P(A B) = P(A)P(B). 4.6 Bemerkung: Sind A,B Ereignisse mit P(B) > 0, so gilt: A,B unabhängig P(A) = P(A B). 4.7 Beispiele: (a) In 4.2(a), 4.2(b) sind A,B nicht unabhängig. 9

10 (b) Zweimaliger Münzwurf: A = {erster Wurf ist Kopf} = {(0, 0), (0, 1)}, B = {zweiter Wurf ist Kopf} = {(0, 0), (1, 0)}, A B = {(0, 0)}, P(A) = P(B) = 1, P(A B) = 1 ; A,B sind unabhängig. 2 4 (c) Sechsmaliger Münzwurf: A = {sechster Wurf ist Kopf}, B = {die ersten fünf Würfe sind Kopf}, P(A B) = 1, P(A) = 1, P(B) = 1 ; A,B sind unabhängig, P(A) = P(A B) Binomialverteilung Von einem Zufallsexperiment mit zwei Ausgängen 0 ( Niete ) und 1 ( Treffer ) werden N unabhängige Versuche durchgeführt. Die Wahrscheinlichkeit eines Treffers sei p (0, 1). Wir interessieren uns für die Trefferanzahl in den N Versuchen und setzen Ω = {0, 1, 2,...,N}. Es ist dann ( ) N P({k}) = p k (1 p) N k k für jedes k Ω. Dieses P heißt Binomialverteilung auf Ω mit Parametern N und p. Beachte: Nach dem Binomialsatz ( HM I) gilt N k=0 ( ) N p k (1 p) N k = (p + (1 p)) N = 1 N = 1. k 4.9 Definition: Die Ereignisse A 1,A 2,...,A n Ω heißen unabhängig, falls für je k verschiedene Indizes i 1,i 2,...,i k {1, 2,...,n} gilt P(A i1 A i2... A ik ) = P(A i1 )P(A i2 )... P(A ik ). Hierbei kann k die Werte 2, 3,...,n annehmen Beispiele: (a) Wirft man eine Münze n-mal und setzt A j = {im j-ten Wurf fällt Kopf}, so sind A 1,A 2,...,A n unabhängig: Es ist nämlich P(A j ) = 1 2 für jedes j, und für k verschiedene Indizes i 1,...,i k ist P(A i1... A ik ) = 2n k 2 n = 1 2 k = P(A i 1 )... P(A ik ). (b) Zweimaliger Münzwurf: A = {beide Würfe sind gleich} = {(0, 0), (1, 1)}, B = {erster Wurf ist Kopf} = {(0, 0), (0, 1)}, C = {zweiter Wurf ist Kopf} = {(0, 0), (1, 0)}. Dann A B = A C = B C = {(0, 0)} und P(A) = P(B) = P(C) = 1 2, P(A B) = 1 4. Also sind A,B unabhängig, A,C sind unabhängig und B,C sind unabhängig, aber A,B,C sind nicht unabhängig. 10 Ende Woche 3

11 5 Zufallsvariablen 5.1 Motivation: Wir haben schon Situationen kennengelernt, in denen eine Reduktion oder Zusammenfassung von Ergebnissen auftrat, z.b. Werfen zweier Würfel Augensumme Ω = {(j,k) : j,k {1, 2, 3, 4, 5, 6} } > Ω = {2, 3, 4,...,12}. Formal sollte man hier mit Abbildungen arbeiten, in obigem Beispiel etwa mit der Abbildung Ω Ω, (j,k) j + k; die Wahrscheinlichkeit eines Ereignisses A Ω hatten wir als P({(j,k) : j + k A}) bestimmt, wobei P das Wahrscheinlichkeitsmaß auf Ω war. Besonders interessant sind Abbildungen X : Ω R mit reellen Werten, da man mit diesen Werten rechnen kann. Dabei betrachtet man in der Regel Ereignisse wie X 1 ((a,b]) = {ω Ω : X(ω) (a,b]} = {ω Ω : a < X(ω) b} =: {X (a,b]}. Beschränkt man sich auf solche Ereignisse, kann man in der Regel nicht allen Teilmengen A Ω eine Wahrscheinlichkeit P(A) zuzuordnen. 5.2 Definition (σ-algebren): Ist Ω ein beliebiger Ergebnisraum, so heißt ein System A P(Ω) eine σ-algebra (über Ω), falls gilt: (i) Ω A; (ii) Für alle A Ω gilt: A A A A; (iii) Gilt A j A für j = 1, 2, 3,..., so gilt auch j=1 A j A. Beispiele: (a) P(Ω) und {, Ω} sind σ-algebren über Ω. Für jede σ-algebra A gilt {, Ω} A P(Ω). (b) Würfeln Ω = {1, 2, 3, 4, 5, 6}; A = {, {1}, {2, 3, 4, 5, 6}, Ω} }{{}}{{} Eins nicht Eins ist σ-algebra über Ω. Man sieht hier, dass auch dies eine Zusammenfassung von Ergebnissen bedeutet. 5.3 Bemerkung: Sei A eine σ-algebra über Ω. (a) Wegen de Morgan und (ii), (iii) gilt auch A j A für j = 1, 2, 3,... = A j A. j=1 11

12 (b) Wegen (i), (ii) gilt: A. (c) Sind A j A für j = 1, 2, 3,..., so gibt es paarweise disjunkte B k A, k = 1, 2, 3,... mit A j = B k = ( Def.2.6). j=1 k=1 k=1 Setze etwa B 1 = A 1, B k = A k \ ( k 1 j=1 A j) für k 2. (d) A 1,A 2,...,A n A = n j=1 A j, n j=1 A j A. 5.4 Definition (Kolmogoroff für allgemeine Wahrscheinlichkeitsräume): Sei Ω ein beliebiger Ergebnisraum und A eine σ-algebra über Ω [A enthält die Ereignisse, deren Wahrscheinlichkeit wir messen wollen]. Eine Funktion P : A R, die jedem Ereignis A A eine reelle Zahl P(A) zuordnet, heißt Wahrscheinlichkeitsmaß auf A, falls gilt: (1) Für alle A A: 0 P(A) 1; (2) P(Ω) = 1; (3) Für jede Folge (A j ) j N paarweise disjunkter Ereignisse A j A gilt: P( j=1 A j) = j=1 P(A j). In diesem Fall heißt (Ω,A,P) Wahrscheinlichkeitsraum. Bemerkung: Für den Fall Ω abzählbar, A = P(Ω) erhalten wir die Definition Erzeugte σ-algebra Häufig gibt man das Wahrscheinlichkeitsmaß nicht auf ganz A an. Definition: Ist Ω beliebiger Ergebnisraum und C P(Ω), so gibt es eine kleinste σ- Algebra, die C enthält, dh mit σ(c) P(Ω) mit C σ(c). Diese heißt die von C erzeugte σ-algebra. Es gilt: σ(c) = B. B k B P(Ω) ist σ-algebra mit C B Beispiele: (a) Die von {Ω} erzeugte σ-algebra ist {, Ω}. (b) In 5.2(b) ist σ({1}) = A. (c) Die von den Intervallen in R erzeugte σ-algebra heißt Borelsche σ-algebra B. B wird auch erzeugt von den Intervallen (a,b] mit a,b R, dh von C = {(a,b] : a,b R}, oder auch von C = {(,a] : a R}. 5.6 Definition: Sei (Ω, A, P) ein Wahrscheinlichkeitsraum. Eine Zufallsvariable ist eine Abbildung X : Ω R mit X 1 ((,a]) A für alle a R. 12

13 Wir schreiben P(X a) für P({ω Ω : X(ω) a}) [entsprechend für >, = etc] und P(X B) für P({ω Ω : X(ω) B}). Eine Zufallsvariable heißt diskret, falls sie nur endlich oder abzählbar viele Werte annimmt. Bemerkung: Der Wahrscheinlichkeitsraum (Ω, A, P) wird häufig nicht genauer spezifiziert oder gar nicht erst angegeben. Beispiel: Eine Zufallsvariable X heißt binomialverteilt mit Parametern N N und p (0, 1), falls für jedes k {0, 1, 2,...,N} gilt: ( ) N P(X = k) = p k (1 p) N k (vgl. mit 4.8). k 5.7 Definition: Sei X eine diskrete Zufallsvariable mit Wertebereich {x j : j I}, wobei I endlich oder I = N und x j x k für j k. Falls j I x j P(X = x j ) < ist, so heißt E(X) := j I x j P(X = x j ) der Erwartungswert von X und Var(X) := E(X E(X)) 2 = j I heißt die Varianz von X. Die Größe D(X) := Var(X) (x j E(X)) 2 P(X = x j ) heißt Standardabweichung der Zufallsvariable X. Statt Var(X) schreiben wir auch D 2 (X). Bemerkung: Die Voraussetzung j x j P(X = x j ) < sorgt im Falle I = N dafür, dass die Reihe in der Definition von E(X) (absolut) konvergiert, wobei es auf die Reihenfolge der Summanden nicht ankommt ( HM). Im Fall I = N ist es möglich, dass Var(X) = gilt. Dann ist auch D(X) =. Bemerkung: Der Erwartungswert E(X) gibt an, was man im Mittel erwarten kann, dh E(X) ist so etwas wie ein Mittelwert der Zufallsvariable X. Die Größen Var(X) und D(X) sind Maße für die mittlere (dh gemittelte) Abweichung der Zufallsvariable X vom Mittelwert E(X). Es gilt D 2 (X) = E(X 2 ) (E(X)) Satz: Sei X eine diskrete Zufallsvariable mit Wertebereich {x j : j I} wie in 5.7. Ist f : {x j : j I} R eine Funktion, so ist auch f(x) eine diskrete Zufallsvariable, und im Falle j I f(x j) P(X = x j ) < gilt E(f(X)) = j I f(x j )P(X = x j ). 13

14 (ohne Beweis) 5.9 Beispiele: (a) Sei X binomialverteilt mit Parametern N und p (vgl. 4.8: X beschreibt die Trefferanzahl bei N unabhängigen Wiederholungen eines Zufallsexperiments, bei dem die Trefferwahrscheinlichkeit p (0, 1) ist). Der Erwartungswert E(X) beschreibt die durchschnittlich zu erwartende Trefferanzahl in N Versuchen, indem jede mögliche Trefferzahl mit der entsprechenden Wahrscheinlichkeit gewichtet wird: mit k 1 = j E(X) = = N k P(X = k) k=0 N ( ) N k p k (1 p) N k k }{{} k=1 =N( N 1 k 1) N ( N 1 = Np k 1 k=1 N 1 ( N 1 = Np j = Np. j=0 ) p k 1 (1 p) N 1 (k 1) ) p j (1 p) N 1 j (b) Würfeln (Laplace-Würfel): Von den beiden Personen A und B erhalte A von B 2 Euro bei Augenzahl 1 oder 2 und B erhalte 1 Euro von A bei Augenzahl 3, 4, 5 oder 6. Ist das Spiel fair? (Wir gehen davon aus, dass öfter gespielt wird.) Die Zufallsvariable X gebe den Gewinn/Verlust von Spieler A an: Ende Woche 4 P(X = 2) = 1 3, P(X = 1) = 2 3. Es ist E(X) = 2P(X = 2) + ( 1)P(X = 1) = = 0, also haben wir im Mittel ein Nullsummenspiel, dh das Spiel ist fair. (c) Münzwurf (ideale Münze): bei Kopf erhalte A q Euro von B, bei Zahl erhalte B q Euro von A. Gibt X den Gewinn/Verlust von Spieler A an, so gilt P(X = q) = 1 2, P(X = q) = 1, E(X) = 0 (klar), 2 aber die mittlere Abweichung von E(X) hängt von q ab: D 2 (X) = E(X E(X)) 2 = E(X 2 ) = q 2 P(X = q) + q 2 P(X = q) = q 2. 14

15 Ist D 2 (X) groß, so muss man größere Schwankungen um den Mittelwert E(X) erwarten. (d) Sei X binomialverteilt mit Parametern N und p. Dann ist E(X) = Np nach (a) und D 2 (X) = E(X 2 ) (E(X)) 2, wobei N ( ) N E(X 2 ) = k 2 p k (1 p) N k k wie in (a) k=0 N 1 = Np (j + 1) = Np j=0 [ N 1 ( N 1 ( N 1 j j j=0 = Np[(N 1)p + 1]. Also ist D 2 (X) = Np Np 2 = Np(1 p). j ) p j (1 p) N 1 j ) p j (1 p) N 1 j + N 1 j=0 ( N 1 ] )p j (1 p) N 1 j (e) Eine Zufallsvariable X heißt hypergeometrisch verteilt mit Parametern n, M, N M (wobei n min(m,n M)), falls gilt ( M )( N M ) k n k P(X = k) = ( N für k = 0, 1,...,n. n) Z.B. Anzahl der Richtigen beim Lotto 6 aus 49 : hier ist n = 6, N = 49, M = 6 Richtige, N M Falsche. Die Wahrscheinlichkeit für k Richtige ist (6 k)( 6 k) 43. ( 49 6) Es gilt E(X) = n M und N D2 (X) = nm(n M)(N n). Im Lotto-Beispiel ist etwa E(X) = 6 N 2 (N 1) (durchschnittliche Anzahl der Richtigen, wenn etwa immer die gleichen 6 Zahlen 49 gespielt werden und die Ziehungen zufällig mit Laplace-Wahrscheinlichkeit erfolgen). Anmerkung: Es ist M < N. Die Bedingung n min(m,n M) ist nicht unbedingt nötig, wenn man ( ) M k = 0 setzt für k > M etc. Es muss aber n N gelten, weil man sonst durch 0 dividiert Bemerkung: Ist X eine diskrete Zufallsvariable wie in 5.7/5.8, so heißt die Funktion x j P(X = x j ) Verteilung von X. Wir haben insbesondere in den Beispielen 5.9(a), (d) und (e) den Wahrscheinlichkeitsraum (Ω,A,P) nicht direkt angegeben, sondern nur die Verteilungen der Zufallsvariable X. Setzt man p j = P(X = x j ) für j I, so gilt in der Situation von 5.8: j E(f(X)) = j I f(x j )p j Definition: Ist X eine diskrete Zufallsvariable wie in 5.7, so heißt die Funktion F X : R [0, 1], a P(X a) = P(X = x j ), 15 j I mit x j a

16 die Verteilungsfunktion von X. An den Stellen x j macht F X einen Sprung der Höhe p j = P(X = x j ), dazwischen ist F X konstant Bemerkung: (a) Ist X eine diskrete Zufallsvariable mit Werten x j, j I, wie in 5.7 und Verteilung p j = P(X = x j ), so gilt für jedes a R: F X (a) = j I mit x j a (b) Für alle a,b R mit a < b gilt: 0 F X (a) F X (b) 1, d.h. F X ist monoton wachsend. Liegt kein x j im Intervall (a,b], so gilt F X (x) = F X (a) für alle x (a,b]. Es gilt (c) Für jedes b R gilt p j, P(X (a,b]) = F X (b) F X (a). P(X < b) = P(X b) P(X = b) = F X (b) P(X = b) Rechnen mit Verteilungsfunktionen Sei X eine diskrete Zufallsvariable mit Verteilungsfunktion F X. (a) Y = ax + b, wobei a > 0, b R. Für y R gilt F Y (y) = P(Y y) = P(aX + b y) = P(X y b a ) = F X( y b a ). (b) Y = ax 3 + b, wobei a > 0, b R. Beachte, dass R R,x x 3 bijektiv ist, die Umkehrabbildung bezeichnen wir hier mit x 3 x, also z.b. 3 8 = 2. Für y R gilt dann F Y (y) = P(Y y) = P(aX 3 +b y) = P(X 3 y b y b y b a ) = P(X 3 a ) = F X( 3 a ). (c) Y = X. Beachte, dass x x nicht injektiv ist. Für y R gilt: F Y (y) = P(Y y) = P( X y) = P( y X y). Für y < 0 gilt F Y (y) = 0. Für y 0 gilt F Y (y) = P(X y) P(X < y) = F X (y) F X ( y) + P(X = y). 16

17 (d) Y = ax 2 + b, wobei a > 0, b R. Für y < b ist F Y (y) = P(Y y) = 0. Für y b gilt F Y (y) = P(Y y) = P(aX 2 + b y) = P(X 2 y b y b a ) = P( X a ) y b y b y b = F X ( a ) F X( a ) + P(X = a ), wobei wir (c) verwendet haben Die Gleichverteilung Sei [a, b] R. Eine Zufallsvariable X heißt gleichverteilt auf [a, b], falls für die Verteilungsfunktion F X : R [0, 1] gilt F X (x) = P(X x) = 0 für x a, x a für x (a,b], b a 1 für x > b. Vorstellung: Jede Zahl im Intervall ist gleich wahrscheinlich. Aber: Ist x R, so gilt {x} = n N (x 1,x] und für jedes n N ist n 0 P(X = x) P(X (x 1 n,x]) = P(X x) P(X x 1 n ) = F X (x) F X (x 1 n ) 1 n also P(X = x) = 0 für jedes x R. Obige Vorstellung ist also zu präzisieren durch: Für a c d b gilt 1 b a, P(X (c,d]) = d c b a, d.h. Teilintervalle (c, d] (a, b] gleicher Länge haben gleiche Wahrscheinlichkeit. Ende Woche 5 Beachte, dass hier P(X (c,d]) = P(X [c,d]) = P(X (c,d)) wegen P(X = c) = P(X = d) = 0. Bemerkung: Eine auf [a, b] gleichverteilte Zufallsvariable ist nicht diskret. Erwartungswert und Varianz solcher Zufallsvariablen werden wir erst später behandeln. Intuitiv ist aber klar, dass E(X) = a+b 2 gelten sollte. Beispiel: Flaschendrehen : Hier sollte jede Richtung gleich wahrscheinlich sein. Bezeichnet die Zufallsvariable X den Winkel zu einer vorher festgelegten Richtung, so kann man X als auf [0, 2π] gleichverteilt annehmen Transformation von Zufallszahlen 17

18 Von Zufallszahlengeneratoren wird in der Regel eine Zufallsvariable X geliefert, die in [0, 1] gleichverteilt ist. Will man eine Zufallsvariable Y mit einer gegebenen Verteilungsfunktion F erhalten, so kann man versuchen, X mithilfe einer Funktion g zu transformieren, und Y = g(x) betrachten. Wir nehmen an, dass die gewünschte Verteilungsfunktion F für ein geeignetes Intervall (c, d) R die folgenden Bedingungen erfüllt: F(y) = 0 für y < c, F : (c, d) (0, 1) streng monoton wachsend und surjektiv, F(y) = 1 für y > d. Hierbei sind die Fälle c = und d = zugelassen. Satz: Setzt man Y = g(x) für g = F 1 : (0, 1) (c,d), so hat Y die gewünschte Verteilungsfunktion F Y = F. Beweis: Es gilt F X (x) = x für x [0, 1]. Für y (c,d) gilt: F Y (y) = P(Y y) = P(F 1 (X) y) = P(X F(y)) = F(y). Beispiel: Sei [a,b] R gegeben. Sei F(y) = y a für y (a,b] und F(y) = 0 für y a, b a F(y) = 1 für y > b. Sei X gleichverteilt auf [0, 1]. Für x (0, 1) gilt g(x) = y genau dann, wenn F(y) = x, d.h. genau dann, wenn y = (b a)x+a gilt. Also ist hier g(x) = (b a)x+a und nach dem Satz gilt für Y = (b a)x + a, dass F Y = F gilt. Somit ist Y gleichverteilt auf [a,b] (vgl. auch Beispiel 5.13(a)) Die Poissonverteilung Vorbemerkung: Wir verwenden folgende Tatsachen aus der HM I: Für jedes x R gilt lim n (1 + x n )n = e x = x k k=0 und e x = (e x ) 1. k! Nun sei λ > 0 fest und für jedes N N sei X N eine Zufallsvariable, die binomialverteilt ist mit Parametern N und p = p N = λ, d.h. N P(X N = k) = Beachte, dass p von N abhängt! ( ) N p k (1 p) N k k Satz (Poisson 1837): Für jedes k N 0 gilt: lim P(X N = k) = λk N k! e λ. für k = 0, 1,...,N. 18

19 Beweis: Für N > k mit N > λ gilt ( ) N ( λ ) k ( P(X N = k) = 1 λ ) N k k N N ( = λk 1 λ ) N ( 1 λ ) k k! }{{ N }}{{ N } e λ 1 da k fest ist. N (N 1)... (N k + 1), } N N {{... N } 1 (1 1 k 1 )... (1 N N ) 1 Definition: Eine Zufallsvariable X heisst Poisson-verteilt mit Parameter λ > 0, falls gilt Bemerkung: (i) Es gilt dann ( P(X = k) = k=0 nach der Vorbemerkung. P(X = k) = λk k! e λ für jedes k N 0. k=0 λ k ) e λ = e λ e λ = 1 k! (ii) Eine Poisson-verteilte Zufallsvariable ist diskret mit unendlichem Wertebereich N 0. Eigenschaften: Ist X Poisson-verteilt mit Parameter λ > 0, so gilt E(X) = λ für den Erwartungswert und D 2 (X) = λ für die Varianz: E(X 2 ) = k=0 E(X) = k 2λk k! e λ = λ k=0 k=1 k λk k! e λ = λ k=1 k λk 1 (k 1)! e λ = λ λ k 1 (k 1)! e λ = λ, k=0 D 2 (X) = E(X 2 ) (E(X)) 2 = λ 2 + λ λ 2 = λ. (k + 1) λk k! e λ = λ(e(x) + 1), Interpretation der Poissonverteilung (im Hinblick auf den Satz von Poisson): die Zufallsvariable nimmt verschiedene Werte an (N ist groß), aber mit kleinen Wahrscheinlichkeiten (p = λ ist klein). N Beispiel: Die Zufallsvariable X bezeichne die Anzahl der kritischen Temperaturüberschreitungen in einem chemischen Reaktor in einem festen Zeitintervall. Die Erfahrung zeigt, dass die durchschnittliche Anzahl 5 ist, d.h. E(X) = 5. Für X 10 müssen zusätzliche Maßnahmen eingeleitet werden. Wie groß ist P(X 10), wenn X als Poissonverteilt angenommen wird? Wegen E(X) = 5 ist λ = 5 (s.o.) und P(X 10) = 1 9 P(X = k) = 1 k= k=0 5 k k! e

20 Bemerkung: Für große N und kleine p kann man eine binomialverteilte Zufallsvariable mit Parametern N und p mithilfe einer Poissonverteilung mit Parameter λ = Np approximieren. Beispiel: Zwei Prozent der Bevölkerung sind Diabetiker. Man wähle zufällig 100 Personen aus und berechne die Wahrscheinlichkeit, dass darunter mindestens drei Diabetiker sind. Für eine Binomialverteilung mit Parametern N = 100 und p = 0.02 ergibt sich P(X 3) = 1 P(X < 3) = 1 P(X = 0) P(X = 1) P(X = 2) ( ) ( ) ( ) = Für eine Poissonverteilung mit Parameter λ = Np = 2 erhält man P(X 3) = 1 P(X = 0) P(X = 1) P(X = 2) = 1 e 2 ( ! ! ) = 1 5e Hypergeometrische und Binomialverteilung Sei n N und p (0, 1). Die Zufallsvariable sei hypergeometrisch verteilt mit Paramtern n, M, N M, wobei M N = p gelte. Satz: Für k {0, 1,...,n} ist dann lim P(X N = k) = N ( ) n p k (1 p) n k. k Beweis: Beachte, dass M von N abhängt, aber p fest ist. Es ist ( M )( N M ) k P(X N = k) = ( N n) n k = = ( ) n M (M 1)... (M k + 1) (N M) (N M 1)... (N M (n k) + 1) k N (N 1)... (N n + 1) ( ) n M k N M 1 N 1... M k + 1 N k + 1 N M N M (n k) N k N k (n k) + 1. Nun kürze man N in jedem Bruch, verwende M = p und beachte, dass für N die N ersten k Faktoren gegen p und die anderen n k Faktoren gegen 1 p konvergieren (k,n,p sind fest!). n Bemerkung: Der Satz besagt, dass für große N (Faustregel < 0.05) die hypergeometrische Verteilung mit Parametern n, M, N M näherungsweise einer Binomi- N alverteilung mit Parametern n und p = M entspricht. N 20 Ende Woche 6

21 6 Unabhängige Zufallsvariablen und Gesetze der großen Zahlen 6.1 Definition: (a) Sind X,Y diskrete Zufallsvariablen mit Wertebereichen {x i : i I} bzw. {y j : j J}, so heißen X,Y (stochastisch) unabhängig, falls für alle i I, j J gilt: P(X = x i,y = y j ) = P(X = x i )P(Y = y j ), d.h. also, wenn alle Paare {X = x i }, {Y = y j } von Ereignissen unabhängig sind. (b) Ist n N und sind X 1,X 2,...,X n diskrete Zufallsvariablen mit Wertebereichen {x (1) i I 1 }, {x (2) i : i I 2 },...,{x (n) i : i I n }, so heißen X 1,X 2,...,X n unabhängig, falls P(X 1 = x (1) i 1,X 2 = x (2) i 2,...,X n = x (n) i n ) = P(X 1 = x (1) i 1 )P(X 2 = x (2) i 2 )... P(X n = x (n) i n ) für alle i 1 I 1,i 2 I 2,...,i n I n gilt. (c) Eine Folge X 1,X 2,... diskreter Zufallsvariablen heißt unabhängig, falls für jedes n N die Zufallsvariablen X 1,X 2,...,X n unabhängig sind. Bemerkung: Modelliert man den n-fachen Münzwurf als Laplace-Experiment auf Ω = {0, 1} n und ist X j das Ergebnis des j-ten Wurfs für j = 1, 2,...,n, dh X j (ω) = ω j für ω = (ω 1,ω 2,...,ω n ) Ω, so sind X 1,X 2,...,X n unabhängig. 6.2 Bemerkung: Sind X, Y unabhängige diskrete Zufallsvariablen wie in 6.1, so gilt für alle Intervalle A,B R: P(X A,Y B) = P(X = x i,y = y j ) }{{} = i I;x i A j J;y j B i I;x i A P(X = x i ) = P(X A)P(Y B). =P(X=x i ) P(Y =y j ) j J;y j B P(Y = y j ) Entsprechend gilt für unabhängige Zufallsvariablen X 1,X 2,...,X n und alle Intervalle A 1,A 2,...,A n R: P(X 1 A 1,X 2 A 2,...,X n A n ) = P(X 1 A 1 )P(X 2 A 2 )...P(X n A n ). 6.3 Rechnen mit Erwartungswerten Sind X,Y diskrete Zufallsvariablen wie in 6.1 und gilt E X = i I x i P(X = x i ) < und E Y = j J y j P(Y = y j ) <, so existieren die Erwartungswerte E(X) = i I x ip(x = x i ) < und E(Y ) = j J y jp(y = y j ) <, und es ist E X + Y <, E(X + Y ) = E(X) + E(Y ) für α R E αx <, E(αX) = αe(x). 21 i :

22 Gilt E( X 2 ) = i I x2 ip(x = x i ) <, so gilt auch E X <. (ohne Beweis) Das Folgende ist ein wichtiges Hilfsmittel. 6.4 Satz (Tschebyscheffsche Ungleichung): Sei X eine diskrete Zufallsvariable mit E X < und D 2 (X) < und sei c R beliebig. Dann gilt für jedes ε > 0: P( X c ε) 1 ε 2 E( X c 2 ). Bemerkung: Ist E X <, so gilt D 2 (X) < (dh X hat endliche Varianz) genau dann, wenn E( X 2 ) < ist. Beweis: P( X c ε) = i I; x i c ε 1 ε 2 i I; x i c ε P(X = x i ) x i c 2 P(X = x i ) 1 x ε 2 i c 2 P(X = x i ). i I } {{ } E( X c 2 ) Bemerkung: Die Voraussetzung D 2 (X) < wird nur benötigt, um E( X c 2 ) < sicher zu stellen. Folgerung: Setzt man c = E(X), so erhält man P( X E(X) ε) 1 ε 2 E( X E(X) 2 ) = 1 ε 2 D2 (X). 6.5 Bernoullisches Gesetz der großen Zahlen Sei X 1,X 2,X 3,... eine Folge unabhängiger Zufallsvariablen mit Verteilung P(X n = 1) = p, P(X n = 0) = 1 p für alle n N, wobei p (0, 1) fest ist. Dann gilt für alle ε > 0: lim N P( 1 N N X j p < ε) = 1. j=1 Beweis: Die Zufallsvariable S N := N j=1 X j ist binomialverteilt mit Parametern N und p, also gilt E(S N ) = Np, D 2 (S N ) = Np(1 p). Somit ist (mit 6.3) E( 1 N S N) = p und D 2 ( 1 N S N) = E( 1 N S N E( 1 N S N) 2 ) = 1 N 2 D2 (S N ) = 22 p(1 p) N.

23 Nach 6.4 gilt also für jedes feste ε > 0: P( 1 N S n p ε) 1 ε 2 D2 ( 1 N S N) = 1 ε 2 p(1 p) N d.h. P( 1 N S N p < ε) 1 für N. 0 (N ), Die Aussage in 6.5 ist ein Spezialfall des folgenden, allgemeineren Satzes. 6.6 Satz (Chintschinsches Gesetz der großen Zahlen): Sei X 1,X 2,X 3,... eine Folge unabhängiger (diskreter) Zufallsvariablen mit identischer Verteilung und E X n <. Dann gilt für µ = E(X n ) und jedes ε > 0: lim N P( 1 N N X j µ < ε) = 1. j=1 Dh: Der Mittelwert von N unabhängigen Versuchen konvergiert für N in Wahrscheinlichkeit gegen den Erwartungswert µ. (ohne Beweis) 6.7 Wahrscheinlichkeiten und relative Häufigkeiten Sei A ein Ereignis, das bei einem Zufallsexperiment mit Wahrscheinlichkeit P(A) = p (0, 1) eintritt. Wir wiederholen dieses Zufallsexperiment immer wieder und setzen X n = 0 bzw. = 1 je nachdem, ob A im n-ten Versuch eintritt oder nicht eintritt. Dann ist P(X n = 1) = p und P(X n = 0) = 1 p und X 1,X 2,... ist eine unabhängige Folge von Zufallsvariablen. Wir setzen H N (A) := 1 N N j=1 X j für N N, dh H N (A) ist eine Zufallsvariable, die die relative Häufigkeit von A in den ersten N Versuchen angibt. Nach 6.5 gilt dann P( H N (A) }{{} rel. Hfk. P(A) < ε) 1 (N ). }{{} =p W keit Man sagt: die relative Häufigkeit H N (A) konvergiert in Wahrscheinlichkeit gegen P(A). M.a.W die Wahrscheinlichkeit, dass die Abweichung von H N (A) zu P(A) groß ist, geht gegen Null: P( H N (A) P(A) ε) 0 (N ) für jedes ε > 0. Ende Woche 7 7 Markoffketten Die Betrachtung von Vorgängen, die außer vom Zufall auch noch von der Zeit abhängen, führt auf stochastische Prozesse. Wir betrachten hier einen diskreten Zeitparameter, der Werte n N 0 annimmt. 7.1 Definition: Ein zeitdiskreter stochastischer Prozess ist eine Folge X 0,X 1,X 2,... von Zufallsvariablen, Schreibweise: (X n ) n N0. Wir betrachten hier den Fall, dass alle X n diskrete 23

24 Zufallsvariablen mit Wertebereich Z = {1, 2,...,N} sind. Die Wertemenge Z wird auch als Zustandsraum des stochastischen Prozesses bezeichnet. Interpretation (hier): Die möglichen Werte i {1, 2,...,N} beschreiben die Zustände eines Systems und für jedes n N 0 ist X n der (zufällige) Zustand des Systems zum Zeitpunkt n. Das System hat hier endlich viele Zustände und (X n ) n N0 beschreibt die zeitliche Entwicklung des Systems, die außerdem vom Zufall abhängt. Als Zufallsvariable gilt für jedes X n, dass es eine Abbildung Ω R mit Werten in {1, 2,...,N} ist (hierbei ist (Ω,A,P) der zugrundeliegende Wahrscheinlichkeitsraum, der in der Notation unterdrückt wird). Manchmal betrachtet man den zeitdiskreten stochastischen Prozess (X n ) n N0 auch als Abbildung X : N 0 Ω R und schreibt dann X(n,ω) statt X n (ω), wobei n N 0 und ω Ω. Für jedes festgehaltene ω Ω ist (X n (ω)) n N0 eine Folge reeller Zahlen (in {1, 2,...,N}). Eine solche Folge (X n (ω)) n N0 heißt Realisierung oder Pfad des stochastischen Prozesses (X n ) n N0. Realisierungen (X n (ω)) n N0, (X n ( ω)) n N0 für ω, ω Ω mit ω ω sind i.a. verschieden. Frage: Wie entwickelt sich das System? Wir betrachten Systeme, bei denen die künftige Entwicklung nur vom gegenwärtigen Zustand und nicht von der gesamten Vorgeschichte abhängt. 7.2 Definition: Sei (X n ) n N0 ein zeitdiskreter stochastischer Prozess mit Zustandsraum {1, 2,...,N}. Dann heißt (X n ) n N0 Markoffkette, falls P(X n+1 = i n+1 X n = i n,x n 1 = i n 1,...,X 0 = i 0 ) = P(X n+1 = i n+1 X n = i n ) für alle n N 0, i 0,i 1,...,i n,i n+1 {1, 2,...,N} gilt. Die bedingten Wahrscheinlichkeiten P(X n+k = j X n = i) =: p ij (n,n + k) heißen Übergangswahrscheinlichkeiten k-ter Stufe (hier ist k N). Die Markoffkette (X n ) n N0 heißt homogen, falls die Übergangswahrscheinlichkeiten p ij (n,n + 1) = p ij nicht vom Zeitpunkt n abhängen (das System verhält sich zu jedem Zeitpunkt gleich). Die Übergangswahrscheinlichkeit p ij ist die Wahrscheinlichkeit, in einem Zeitschritt vom Zustand i in den Zustand j zu gelangen. Bemerkung: Wir haben die Zustände hier mit 1, 2,...,N bezeichenet, die Zahlenwerte werden jedoch keine Rolle spielen. Die Zustände könnten also ebensogut anders bezeichnet werden. Insbesondere kann die Nummerierung bei 0 beginnen. 7.3 Beispiel: Ein Spieler besitzt 1 Euro und nimmt an einem Glücksspiel teil, bei dem er mit Wahrscheinlichkeit 0.5 für seinen Einsatz das Doppelte erhält. Der Spieler will 24

25 aufhören, wenn er 5 Euro besitzt, und setzt jedesmal so viel, dass er seinem Ziel möglichst nahe kommt (Besitz > 5 Euro ist ausgeschlossen). Die Zufallsvariable X n bezeichne den Besitz des Spielers nach dem n-ten Spiel, also P(X 0 = 1) = 1. Zustandsmenge ist hier Z = {0, 1, 2, 3, 4, 5}, und der Folgezustand hängt nur vom gegenwärtigen Zustand ab, aber nicht von der Vorgeschichte. Anschauliche Vorstellung: 1/2 1/ / /2 1/ / /2 1/2 Übergangswahrscheinlichkeiten sind hier p 12 = p 24 = p 45 = p 43 = p 35 = p 31 = p 10 = p 20 = 1 2 und p 00 = p 55 = 1, alle anderen p ij = Übergangsgraph Jede homogene Markoffkette mit Zustandsraum Z = {1, 2,..., N} und Übergangswahrscheinlichkeiten kann man sich durch ihren Übergangsgraphen veranschaulichen: Z Menge der Knoten, E := {(i,j) : p ij > 0} Z Z Menge der gerichteten Kanten [die Kante (i,j) hat i als Anfangs- und j als Endknoten], jede gerichtete Kante (i,j) trägt einen Wert, nämlich p ij. Der Übergangsgraph einer homogenen Markoffkette ist also ein bewerteter gerichteter Graph, wobei für jeden Knoten i Z gilt: p ij = 1. j mit (i,j) E Bemerkung: Ist umgekehrt Z eine endliche Menge, E Z Z eine Menge gerichteter Kanten und w : E [0, 1], (i,j) w(i,j), eine Bewertung der Kanten so, dass für alle i Z gilt w(i,j) = 1, j mit (i,j) E so ist der durch Z,E,w beschriebene bewertete gerichtete Graph der Übergangsgraph einer homogenen Markoffkette mit Übergangswahrscheinlichkeiten { w(i,j), (i,j) E p ij = 0, (i,j) E. 25

26 Somit: Jede homogene Markoffkette entspricht einer Irrfahrt auf einem gerichteten Graphen. Beispiel: 0, 1, 2, 3, 4, 5 als Knoten, man kommt mit Wahrscheinlichkeit 0.4 zum linken Nachbarn und mit Wahrscheinlichkeit 0.6 zum rechten Nachbarn; in 0 oder in 5 endet die Irrfahrt Übergangswahrscheinlichkeiten höherer Stufe Sei (X n ) n N0 eine homogene Markoffkette mit Zustandsraum Z = {1, 2,...,N} und Übergangswahrscheinlichkeiten p ij, i,j = 1, 2,...,N. Was ist P(X n+2 = j X n = i)? Die Formel von der totalen Wahrscheinlichkeit in 4.4 (angewandt auf das Wahrscheinlichkeitsmaß P( X n = i) statt P, B = {X n+2 = j} und die vollständige Ereignisdisjunktion A k = {X n+1 = k}, k = 1, 2,...,N) ergibt: Ende Woche 8 P(X n+2 = j X n = i) = (Def.7.2) = = N P(X n+2 = j X n+1 = k,x n = i)p(x n+1 = k X n = i) k=1 N P(X n+2 = j X n+1 = k)p(x n+1 = k X n = i) k=1 N p kj p ik = k=1 k=1 N p ik p kj. Interpretation: Von i aus gelangt man mit Wahrscheinlichkeit p ik nach k und von dort mit Wahrscheinlichkeit p kj nach j. Auf diesem Weg nach j sind die Wahrscheinlichkeiten zu multiplizieren, und dann ist über alle solchen Wege, dh über alle k Z, zu summieren. Entsprechend erhält man P(X n+3 = j X n = i) = = = N P(X n+3 = j X n+2 = k)p(x n+2 = k X n = i) k=1 N N p kj p il p lk k=1 l=1 N p il p lk p kj k,l=1 etc.. Eine übersichtliche Darstellung gelingt durch 26

27 7.6 Stochastische Matrizen Schreibt man die Übergangswahrscheinlichkeiten p ij als N N-Matrix p 11 p p 1N P = (p ij ) N i,j=1 = p 21 p p 2N , p N1 p N2... p NN so gilt p ij 0 für alle i,j und für jedes i: j p ij = 1 (jede Zeilensumme ist 1). Matrizen, deren Einträge diese Eigenschaften haben, heißen stochastische Matrizen. Die Matrix P heißt Übergangsmatrix der homogenen Markoffkette. Die Matrix (p ij (m)) N i,j=1 der Übergangswahrscheinlichkeiten m-ter Stufe berechnet sich als Matrixprodukt P m = P } P {{... P}. m-mal Das Matrixprodukt zweier Matrizen A = (a ik ) N i,k=1 und B = (b kj) N k,j=1 ist dabei erklärt durch: ( N ) N A B = a ik b kj i,j=1. k=1 Die Multiplikation von Matrizen ist assoziativ, aber im allgemeinen nicht kommutativ. Bemerkung: Sind A, B stochastische Matrizen, so ist auch A B eine stochastische Matrix. Beispiel: 1/2 1/ Dann ist P = P 2 = P P = ). ( 1/8 0 7/8 1 ( 1/2 1/2 0 1 ( 1/2 0 ), und es gilt ) ( ) 1/2 1/ /2 1 = ( 1/4 0 ) 3/4, P 3 = P 2 P = 1 ( 1/4 0 ) ( 3/4 1/2 1 0 ) 1/2 1 = 7.7 Berechnung der Verteilung von X n Gegeben sei eine homogene Markoffkette (X n ) n N0 mit Zustandsraum Z = {1, 2,...,N} und Übergangsmatrix P. Wir setzen P(X n = k) =: p k (n) für k Z und n N 0, so dass die Verteilung von X n durch den Zeilenvektor p(n) := (p 0 (n),p 1 (n),...,p N (n)) gegeben ist. Insbesondere ist p(0) die Verteilung von X 0, dh die Anfangsverteilung. Es gilt dann für jedes n N: N p j (n) = P(X n = j) = p i (0)p ij (n), 27 i=1

28 also ist p(n) = p(0)p n, wobei die beiden Vektoren p(n) und p(0) Zeilenvektoren sind. Beispiel: Übergangsmatrix P = P 2 = 1/2 1/ / /2 0 1/2 0 1/2 1/ /2 1/4 1/4 1/4 1/4 1/2 1/2, Anfangsverteilung p(0) = (0, 1/2, 1/2). Es ist, P 3 = /8 1/8 1/4 3/8 1/4 3/8 Die Verteilung von X 3 ist dann gegeben durch p(3) = (0, 1/2, 1/2) 5/8 1/8 1/4 = (1/2, 3/16, 5/16). 3/8 1/4 3/ Definition: Gegeben sei eine homogene Markoffkette mit Zustandsraum Z = {1, 2,...,N} und Übergangswahrscheinlichkeiten p ij, i,j Z. Ein Zustand i heißt absorbierend, falls p ii = 1 gilt. Die Menge R := {i Z : i ist absorbierend} heißt Rand, und Z \ R heißt Menge der inneren Zustände. Die Markoffkette heißt absorbierend, falls R und R von jedem inneren Zustand aus erreichbar ist. Beispiele: (a) 1/2 1/ /2 (b) 1/2 R = {1}, Markoffkette absorbierend R = {1, 2}, Markoffkette absorbierend. (c) 1/ / /2 28 1/2 R = {1}, nicht absorbierend.

29 7.9 Satz: Für eine absorbierende Markoffkette endet die Irrfahrt in einem Zustand des Randes, dh es gilt: P(X n R) 1 (n ). ( 1 1/2 ) 0 1/2 Beispiel: Für P = absorbierend. Es ist ( P n = 1/2 mit Z = {1, 2} gilt R = {1} und die Markoffkette ist /2 n 1/2 n ) ( 1 1 ) 0 0 (n ). 1 Ende Woche / Absorptionswahrscheinlichkeit und mittlere Dauer (a) Gegeben sei eine homogene, absorbierende Markoffkette mit Zustandsraum Z = {1, 2,...,N} und Übergangswahrscheinlichkeiten p ij, R sei der Rand und U R eine ausgezeichnete Teilmenge des Randes. P i bezeichne die Wahrscheinlichkeit, vom Zustand i aus in U absorbiert zu werden. Dann gilt P i = N p ij P j, j=1 sowie P j = 1 für j U und P j = 0 für j R \ U. Beispiel: Berechne P 1 im Beispiel aus 7.3 (Wahrscheinlichkeit, das Ziel 5 Euro zu erreichen bei 1 Euro Startkapital). Es gilt R = {0, 5}, U = {5}, also P 5 = 1, P 0 = 0. Nach der Formel ist weiter P 1 = 1P 2 2, P 2 = 1P 2 4, P 3 = 1 + 1P und P 4 = 1 + 1P Wir erhalten der Reihe nach P 4 = 3 + 1P 4 4 1, P 2 = 3 + 1P und P 1 = P , woraus P 1 = 3 = 0.2 folgt. 15 Der Spieler erreicht sein Ziel also mit der Wahrscheinlichkeit 0.2. (b) Die mittlere Dauer der Irrfahrt vom Zustand i aus sei mit m i bezeichnet. Es gilt m i = 0 für i R. Für i R gilt N m i = 1 + p ij m j. j=1 29

30 i 1 2 j N R Im Beispiel ist m 0 = m 5 = 0. Berechne m 1! Es ist m 1 = m 2, m 2 = m 4, m 3 = m 1 und m 4 = m 3. Wir erhalten m 1 = ( m 4) = m 4 also m 1 = = 2 Die mittlere Spieldauer beträgt 2 Runden. = ( m 3) = m 3 = ( m 1) = m 1, 8 Zufallsvariablen mit Dichten 8.1 Erinnerung an die Gleichverteilung Sei [a,b] R und die Zufallsvariable X sei gleichverteilt auf [a,b]. Dann gilt für die Verteilungsfunktion F X von X: 0 für x a, x a F X (x) = P(X x) = für x (a,b], b a 1 für x > b. Setzt man f(x) = { 1 b a,x [a,b] 0 sonst, so kann man F X als Integral schreiben: P(X x) = F X (x) = x f(u)du. Das entspricht der Fläche unter dem Graphen von f zwischen und x. Bemerkung: Nach Definition ( HMI) ist x f(u)du = lim c x c f(u)du falls dieser Limes existiert. 30

31 Für die obige Funktion f ist Existenz des Limes trivial. Am Graphen von f sieht man wieder, dass Teilintervalle von [a, b] gleicher Länge gleiche Wahrscheinlichkeit haben, denn die Fläche unter dem Graphen von f ist dann gleich. 8.2 Definition: Eine Zufallsvariable X heißt stetig, falls es eine integrierbare Funktion f : R [0, ) gibt mit P(X x) = x f(u)du für alle x R. Ein solches f heißt Dichte der Zufallsvariable X. Dabei nennen wir ein Funktion g : R R integrierbar, falls g auf jedem Intervall [c,d] R integrierbar ist und g(u) du := lim c 0 c g(u) du + lim d d gilt. Ist g : R R integrierbar, so konvergiert g(u)du. Bemerkung: Sei f Dichte einer Zufallsvariablen X. (i) Es gilt f(u)du = 1. (ii) Für alle c,d R mit c < d gilt P(X (c,d]) = d c f(u)du. (iii) Für alle x R gilt P(X = x) = Die Exponentialverteilung 0 g(u) du < Eine Zufallsvariable X heißt exponentialverteilt mit Parameter λ > 0, falls X die Dichte { 0,x 0 f(x) = λe λx,x > 0 hat. Für die Verteilungsfunktion F X von X gilt dann x { 0,x 0 F X (x) = f(u)du = 1 e λx,x > 0. Ende Woche Definition: Sei X eine stetige Zufallsvariable mit Dichte f. Ist x f(x)dx <, so heißt E(X) := xf(x)dx Erwartungswert von X (aufgrund der Voraussetzung konvergiert das Integral) und Var (X) = D 2 (X) = E((X E(X)) 2 ) = 31 (x E(X)) 2 f(x)dx

32 heißt Varianz von X, D(X) := Var(X) heißt Standardabweichung von X (es kann D 2 (X) = sein). 8.5 Beispiel: (a) Sei X gleichverteilt auf [a,b]. Dann gilt E(X) = 1 b a b a xdx = b2 a 2 2(b a) = a + b 2, D 2 (X) = 1 b a b a (x a + b 2 )2 dx = (b a 2 )3 ( a b 2 )3 = 3(b a) (b a)2. 12 (b) Sei X exponentialverteilt mit Parameter λ > 0. Dann gilt: E(X) = 0 R xλe λx dx = lim λxe λx 1 λr dx = lim ye y dy = 1 R 0 R λ 0 λ wobei wir x = y/λ substituiert haben und die Formel 0 y k k! e y dy = 1 für k = 0, 1, 2,... 0 ye y dy = 1 λ, verwendet haben (Beweis durch Induktion mit partieller Integration). Ähnlich folgt E(X 2 ) = 2 λ 2 und D 2 (X) = 1 λ 2. Beispiel: Das wöchentliche Telefongespräch einer Tochter mit ihrer Mutter dauert im Mittel 15 min. Es liege eine Exponentialverteilung vor. Wie groß ist die Wahrscheinlichkeit, dass das Telefongespräch länger als 20 min dauert? Sei X die Dauer des Telefongesprächs. Es ist E(X) = 15 (min), andererseits E(X) = 1 λ nach 8.5(b). Somit gilt λ = 1 15 und P(X > 20) = 1 P(X 20) = 1 F X (20) = e = e Satz: Sei X eine Zufallsvariable mit Dichte f. Ist g : R R stetig, so ist g(x) eine Zufallsvariable und, falls g(x) f(x)dx < ist, gilt wobei das Integral konvergiert. E(g(X)) = g(x)f(x) dx, 8.7 Definition: Sei X eine Zufallsvariable mit Dichte f. Ist k N und x k f(x)dx <, so heißt E(X k ) = 32 x k f(x)dx

33 k-tes Moment der Zufallsvariable X und E((X E(X)) k ) = (x E(X)) k f(x)dx heißt k-tes zentrales oder zentriertes Moment der Zufallsvariable X. Bemerkung: Das zweite zentrale Moment ist die Varianz Var(X) = E((X E(X)) 2 ) = = x 2 f(x)dx 2E(X) (x E(X)) 2 f(x)dx xf(x)dx +(E(X)) 2 = E(X 2 ) (E(X)) 2. } {{ } =E(X) 8.8 Beispiel: Sei X exponentialverteilt mit Parameter λ > 0. Dann existiert für jedes k N das k-te Moment und R R E(X k ) = x k λe λx dx = lim x k λe λx dx = λ k lim y k e y dy = k! 0 R 0 R 0 λ k. 8.9 Definition: Eine Zufallsvariable X heißt standardnormalverteilt oder N(0, 1)-verteilt, falls X die Dichte f(x) = 1 e x2 /2, x R, 2π hat. Bemerkung: Es gilt dann (der Integrand ist ungerade), sowie 1 2π e x2 /2 dx = 1 (ohne Beweis) und x 2 x 2π e x2 /2 dx = 0 2π e x2 /2 dx = 1 (hierfür schreibe man x 2 e x2 /2 = x xe x2 /2 und verwende partielle Integration). Ist also X N(0, 1)-verteilt, so gilt E(X) = 0 und D 2 (X) = E(X 2 ) = 1. Bemerkung: Ist X eine Zufallsvariable mit Dichte f und Verteilungsfunktion F, so gilt F(x) = P(X x) = x f(u)du, x R. Nach dem Hauptsatz ( HMI) ist dann f(x) = F (x) für alle x R, in denen f stetig ist Normalverteilung Sei µ R, σ > 0 und X N(0, 1)-verteilt. Setze Y := σx +µ. Dann gilt für alle y R (vgl. 5.14): F Y (y) = P(Y y) = P(X y µ σ ) = F X( y µ σ ). Nach der Bemerkung erhalten wir die Dichte f Y von Y durch Ableiten d : dy f Y (y) = d dy F Y (y) = d dy (F X( y µ σ )) = F X( y µ σ ) 1 σ = 1 2πσ e (y µ)2 2σ 2, y R. Ende Woche 11 33

34 Definition: Eine Zufallsvariable mit der Dichte heißt N(µ,σ 2 )-verteilt. Die obigen Überlegungen zeigen1 f(x) = 1 2πσ e (x µ)2 2σ 2, x R, Bemerkung: Ist Y eine Zufallsvariable, so gilt: Y ist N(µ,σ 2 )-verteilt X = Y µ σ ist N(0, 1)-verteilt. Somit hat eine N(µ,σ 2 )-verteilte Zufallsvariable Erwartungswert µ und Varianz σ 2, und heißt deshalb auch normalverteilt mit Mittelwert µ und Varianz σ 2. Die Verteilungsfunktion der N(0, 1)-Verteilung ist in Tabellen nachzuschlagen und wird mit Φ(x) bezeichnet. Ist Y N(µ,σ 2 )-verteilt, so gilt für die Verteilungsfunktion (s.o.) F Y (y) = Φ( y µ ), y R, σ und F Y lässt sich anhand der Tabelle berechnen. Dabei zeigen Symmetrieüberlegungen für die Dichte, dass für x < 0 gilt Φ(x) + Φ( x) = 1. Es reicht also, eine Tabelle für Φ(x) mit x > 0 zu haben. Beispiel: Sei k > 0 und die Zufallsvariable Y sei N(µ,σ 2 )-verteilt mit µ R, σ > 0. Dann gilt: P(µ kσ Y µ + kσ) = P( k Y µ σ k) = Φ(k) Φ( k) = 2Φ(k) 1, und die Tabellenwerte Φ(1) , Φ(2) , Φ(3) = zeigen P( Y µ σ) , P( Y µ 2σ) 0.955, P( Y µ 3σ) In einem Streifen der Breite 3σ um den Mittelwert µ liegen also fast alle Werte der Zufallsvariable Y, die Wahrscheinlichkeit, dass sie außerhalb liegen, ist jedenfalls kleiner als 0.003, dh kleiner als 0.3 Prozent Rechenregeln Seien X 1, X 2 Zufallsvariable mit E( X j 2 ) < und µ j = E(X j ) für j = 1, 2. Dann gilt (a) D 2 (X j ) = D 2 (X j ν) für alle ν R. (b) E(X 1 + X 2 ) = E(X 1 ) + E(X 2 ) und, falls X 1,X 2 unabhängig sind, (i) E(X 1 X 2 ) = E(X 1 )E(X 2 ) (ii) D 2 (X 1 + X 2 ) = D 2 (X 1 ) + D 2 (X 2 ). 1 Gezeigt wurde nur eine Richtung, aber die andere geht analog. 34