Grundbegriffe der Wahrscheinlichkeit

Transkript

1 Kapitel 0 Grundbegriffe der Wahrscheinlichkeit 0.1 Der Wahrscheinlichkeitsraum Definition Ein Wahrscheinlichkeitsraum ist ein Tripel (Ω, F, P), wobei Ω eine nichtleere Menge, F eine σ-algebra von Teilmengen von Ω, und P : F R eine Abbildung ist, die folgende drei Eigenschaften erfüllt: Axiom I: Für alle A F sei 0 P[A] 1. Axiom II: Es gelte P[Ω] 1. Axiom III: Für eine Folge (A n ) n N von paarweise disjunkten Elementen aus F gelte [ ] P A n P[A n ]. n1 Diese Eigenschaft von P heisst σ-additivität. Ist die Menge Ω endlich, so sprechen wir von einem endlichen Wahrscheinlichkeitsraum, ist Ω endlich oder abzählbar unendlich, so nennen wir (Ω, F, P) einen diskreten Wahrscheinlichkeitsraum. Ein Element A F heisst ein Ereignis. Ist {ω} F für ω Ω, so wird {ω} ein Elementarereignis genannt. Die Abbildung P heisst Wahrscheinlichkeit oder Wahrscheinlichkeitsmass. Für ein Ereignis A wird der Wert P[A] als Wahrscheinlichkeit des Ereignisses A bezeichnet. Aus den Axiomen I bis III können wir erste Eigenschaften der Wahrscheinlichkeit P folgern: 1. Mit Axiom II und Axiom III folgt, indem wir für alle n N A n : setzen, n1 P[ ] 0. (0.1.1) 2. Ist m N fest gewählt, und setzen wir in Axiom III A n : für alle n > m, so erhalten wir wegen (0.1.1) die Gleichung [ m ] P A n n1 m P[A n ] für paarweise disjunkte Ereignisse. Wir nennen diese Eigenschaft die Additivität von P oder bezeichnen sie als Axiom III endl. n1 1

2 3. Als speziellen Fall der Additivität, mit A 1 : A und A 2 : A c, erhält man P[A c ] P[Ω\A] 1 P[A]. 4. Sind A und B Ereignisse mit A B, so folgt aus der Additivität und Axiom I die Ungleichung P[A] P[B]. (0.1.2) 5. Sei (B n ) n N eine Folge von beliebigen Ereignissen aus F. Die σ-additivität impiziert mit (0.1.2) die Boolesche Ungleichung [ ] P B n n1 P[B n ]. (0.1.3) Entsprechend gilt für eine endliche Folge (B n ) 1 n m die Ungleichung [ m ] P B n n1 n1 m P[B n ]. n1 Wahrscheinlichkeit und relative Häufigkeit Wir können uns fragen, welche Vorstellung hinter der Definition 0.1.1, beziehungsweise hinter dem Begriff der Wahrscheinlichkeit P steht? Nehmen wir an, es werde eine gewisse Anzahl, etwa n, Experimente durchgeführt. Diese sollen in dem Sinne unabhängig sein, dass der Ausgang eines Experiments keinen Einfluss auf die Resultate der folgenden Experimente hat. Die Experimente werden auch als identisch vorausgesetzt: die Rahmenbedingungen seien jedesmal dieselben. Uns interessiert ein Ereignis A, das bei jedem Experiment eintreten kann oder nicht. Sei n A n die Anzahl der Experimente, bei denen A beobachtet wurde. Wir nennen n A die absolute Häufigkeit von A. Wird eine grosse Zahl n solcher Experimente durchgeführt, so beobachtet man, dass sich die relative Häufigkeit n A /n einem Grenzwert nähert. Dieser entspricht intuitiv der Wahrscheinlichkeit des Eintretens von A. Um die Anschauung aufrechtzuerhalten, sollte also eine naive Definition der Wahrscheinlichkeit P durch P[A] : lim n n A n Definition nicht widersprechen. 1. Offenbar widerspricht dies Axiom I der Definition von P nicht, denn es gilt stets 0 n A /n Auch Axiom II wird erfüllt: Die Menge Ω wird aufgefasst als das Ereignis, überhaupt ein Resultat des Experiments zu beobachten. Es ist also n Ω n. 3. Wie steht es um das dritte Axiom? Seien A und B zwei disjunkte Ereignisse, in dem Sinne, dass sie nie zusammen als Ergebins eines Experiments auftreten können. Die Zahl n A B ist also die Anzahl der Experimente, bei denen entweder A oder B beobachtet wurde. Es gilt offenbar n A B n A + n B, also n A B /n n A /n + n B /n. Eine entsprechende Aussage gilt für m > 2 paarweise disjunkter Ereignisse. Damit wird zumindest Axiom III endl erfüllt, also zumindest ein Spezialfall des dritten Axioms. Tatsächlich wird später als Konsequenz des Starken Gesetzes der Grossen Zahlen gezeigt werden, dass relative Häufigkeiten gegen die Wahrscheinlichkeit, wie in Definition eingeführt, konvergieren. 2

3 Fall 1: Ω endlich Konstruktion von Wahrscheinlichkeiten im endlichen Fall In diesem Fall können wir zeigen, dass jede Wahrscheinlichkeit P durch eine Familie reeller Zahlen (p i ) 1 i n mit n p i 1 (0.1.4) und p i 0 für alle 1 i n (0.1.5) eindeutig bestimmt ist. Die Zahlen p i sind gerade die Werte von P auf den Elementarereignissen. 1. Sei Ω : {ω 1, ω 2,..., ω n } eine endliche, nichtleere Menge. Sei (p i ) 1 i n eine Familie reeller Zahlen mit (0.1.4) und (0.1.5). Die Abbildung P : 2 Ω R, definiert durch P[A] : i:ω i A p i für alle A 2 Ω, erfüllt die drei Axiome aus Definition Das heisst P ist eine Wahrscheinlichkeit auf 2 Ω, und (Ω, 2 Ω, P) somit ein Wahrscheinlichkeitsraum. Insbesondere ist P[{ω i }] p i für 1 i n. 2. Sei Ω {ω 1, ω 2,..., ω n } eine endliche, nichtleere Menge und (Ω, 2 Ω, P) ein Wahrscheinlichkeitsraum. Nach dem vorhergehenden Punkt existiert ein solcher tatsächlich. Wir setzen p i : P[{ω i }] für alle 1 i n. Die Wahrscheinlichkeit eines Ereignisses A 2 Ω ist dann wegen Axiom III gegeben durch [ ] P[A] P {ω i} P[{ω i }] p i. i:ω i A i:ω i A i:ω i A Wir sehen also, dass in jedem Wahrscheinlichkeitsraum (Ω, 2 Ω, P) mit endlicher Menge Ω, die Wahrscheinlichkeit P durch ihre Werte für die Elementarereignisse eindeutig bestimmt ist. Insbesondere folgt mit Axiom II weiter, dass n p i 1, und Axiom I impliziert p i 0 für alle 1 i n. Wir wollen möglichst vielen Teilmengen aus Ω eine Wahrscheinlichkeit zuordnen können, die σ-algebra F des Wahrscheinlichkeitsraumes (Ω, F, P) also möglichst gross wählen. Die obigen Ausführungen zeigen, dass wir, falls Ω endlich ist, immer F : 2 Ω setzen können. Beispiele von Wahrscheinlichkeiten im endlichen Fall Im folgenden sei unseren Überlegungen stets ein endlicher Wahrscheinlichkeitsraum (Ω, 2 Ω, P) zugrundegelegt. Die im vorhergehenden Abschnitt beschriebene Konstruktion von P mittels einer Familie reeller Zahlen, die (0.1.4) und (0.1.5) erfüllt, liefert wichtige Beispiele von Wahrscheinlichkeitsräumen. 1. Uniformverteilung: Sei Ω : {ω 1, ω 2,..., ω n } für ein n N. Wir setzen p i : 1/ Ω 1/n für 1 i n. Offenbar gilt n p i 1 und p i 0. Daher wird durch P[ω i ] : 1/ Ω eine Wahrscheinlichkeit auf 2 Ω definiert. Wir nennen P die Uniformverteilung U[Ω] auf Ω. 2. Bernoulli-Verteilung: Sei Ω : {ω 1, ω 2 }. Sei p 1 : p [0, 1] und p 1 : 1 p. Nach Konstruktion gilt trivialerweise p 1 + p 2 1 und p 1, p 2 0. Daher wird durch P[{ω 1 }] : p und P[{ω 2 }] : 1 p eine Wahrscheinlichkeit, die Bernoulli-Verteilung Be(p), auf 2 Ω definiert. 3

4 3. Binomialverteilung: Sei Ω : {0,..., n} Z +. Sei für 1 i n ( ) n p i : p i (1 p) n i, i wobei p [0, 1] fest gegeben. Nach der Binomischen Formel gilt n p i n ( n ) i p i (1 p) n i (p + (1 p)) n 1. Offenbar ist auch p i 0, und somit wird mittels P[{i}] : ( ) n i p i (1 p) n i eine Wahrscheinlichkeit auf 2 Ω definiert, die Binomialverteilung Bi(n, p). Für n 1 erhalten wir die Bernoulli-Verteilung Be(p). Betrachten wir ein paar Beispiele zu den oben konstruierten Wahrscheinlichkeiten. Beispiel (Würfelwurf). Wir betrachten die Menge Ω : {1, 2, 3, 4, 5, 6} der möglichen Augenzahlen eines Würfels. Ist der Würfel fair, so sollte bei einem Wurf jede Augenzahl mit derselben Wahrscheinlichkeit auftreten. Es gilt also P[{i}] 1 6 für alle i Ω. Wir erhalten also die Uniformverteilung auf Ω. Beispiel (Münzwurf). Sei Ω : {Kopf, Zahl} die Menge der möglichen Resultate eines Münzwurfs. Ist die Münze fair, so gilt P[{Kopf}] P[{Zahl}] 1 2. Wir haben also eine Bernoulli- und zugleich eine Uniformverteilung auf Ω. Beispiel (Anzahl Kopf im mehrfachen Münzwurf). Wir versuchen die Binomialverteilung auch auf anschauliche Weise aus der Bernoulli-Verteilung herzuleiten: Dazu betrachten wir ein Experiment, das aus der unabhängigen n-fachen Wiederholung eines Einzelexperiments mit nur zwei möglichen Ausgängen besteht. Beispielsweise werfen wir n-mal hintereinender eine (möglicherweise unfaire) Münze. Kopf soll dabei mit der Wahrscheinlichkeit p oben liegen, Zahl mit Wahrscheinlichkeit 1 p. Die Ereignisse Kopf und Zahl werden also modelliert durch die Menge Ω 1 : {Kopf, Zahl}, und P 1 [Kopf] : p, P 1 [Zahl] : 1 p. Für das Gesamtexperiment, den n-fachen Münzwurf, betrachten wir Ω 2 : Ω n 1 {(ω 1, ω 2,..., ω n ) ω i Ω 1, 1 i n} für n N. Bezeichnen mit n(ω) die Anzahl Einer im n-tupel ω Ω 2, so wird durch P 2 [{ω}] : P 1 [{Kopf}] n(ω) P 1 [{Zahl}] n n(ω) p n(ω) (1 p) n n(ω) die Wahrscheinlichkeit, genau die Abfolge ω von Kopf und Zahl zu werfen, definiert. Sind wir lediglich an der Anzahl der in einem n-tupel ω auftretenden Ereignisse Kopf interessiert, so betrachten wir die Menge Ω 3 : {0, 1, 2,..., n}. Die Wahrscheinlichkeit P 3 in n Würfen genau i-mal Kopf zuwerfen, ist nun P 3 [{i}] ω Ω 2 : n(w)i P 2 [{ω}] ( n i ) p i (1 p) 1 i. Im n-fachen Münzwurf ist die Anzahl Kopf zu werfen also Bi(n, p)-verteilt. Fall 2: Ω abzählbar unendlich Konstruktion von Wahrscheinlichkeiten im abzählbar unendlichen Fall Analog zum endlichen Fall können wir hier zeigen, dass jede Wahrscheinlichkeit P durch eine Folge reeller Zahlen (p i ) i 1 mit p i 1 (0.1.6) 4

5 und p i 0 für alle i N (0.1.7) eindeutig bestimmt ist. Die p i sind gerade die Werte von P auf den Elementarereignissen. 1. Sei Ω : {ω 1, ω 2,...} eine abzählbar unendliche Menge. Sei die Folge (p i ) i 1 mit (0.1.6) und (0.1.7) gegeben. Die Abbildung P : 2 Ω R, definiert durch P[A] : i:ω i A p i für alle A 2 Ω, erfüllt die Axiome I, II und III. Das heisst P ist eine Wahrscheinlichkeit auf 2 Ω, und (Ω, 2 Ω, P) damit ein Wahrscheinlichkeitsraum. Speziell gilt P[{ω i }] p i für i Sei nun (Ω, 2 Ω, P) ein Wahrscheinlichkeitsraum (wegen der obigen Ausführungen wissen wir, dass es einen solchen Raum tatsächlich gibt). Wir setzen p i : P[{ω i }] für alle i 1. Die Wahrscheinlichkeit eines Ereignisses A 2 Ω ist dann wegen Axiom III gegeben durch [ ] P[A] P {ω i} i:ω i A i:ω i A P[{ω i }] i:ω i A Wir sehen also, dass in jedem Wahrscheinlichkeitsraum (Ω, 2 Ω, P) mit endlicher Menge Ω, die Wahrscheinlichkeit P durch ihre Werte für die Elementarereignisse eindeutig bestimmt ist. Insbesondere folgt weiter mit Axiom II, dass p i 1, und Axiom I impliziert p i 0 für alle i 1. p i. Wie im endlichen Fall wollen wir möglichst vielen Teilmengen aus Ω eine Wahrscheinlichkeit zuordnen können, die σ-algebra F des Wahrscheinlichkeitsraumes (Ω, F, P) also möglichst gross wählen. Die obigen Ausführungen zeigen, dass auch im abzählbar unendlichen Fall stets F : 2 Ω gesetzt werden kann. Beispiele von Wahrscheinlichkeiten auf abzählbar unendlichen Mengen Wir setzen in diesem Abschnitt einen Wahrscheinlichkeitsraum (Ω, 2 Ω, P) mit abzählbar unendlicher Menge Ω voraus. Die vorher beschriebene Konstruktion von P mittels einer Folge reeller Zahlen, die (0.1.6) und (0.1.7) erfüllt, verwenden wir nun um wichtige Beispiele von Wahrscheinlichkeitsräumen zu konstruieren. 1. Es gibt keine Uniformverteilung im abzählbar unendlichen Fall: Sei Ω : {ω 1, ω 2,...}. Wir versuchen analog zum endlichen Fall eine Uniform- Verteilung auf Ω zu definieren. Sei dazu p i : p [0, 1] für alle i N. Ist p 0, so haben wir p i 0. Ist andererseits p > 0, so gilt p i. Damit wird immer Axiom II verletzt. 2. Geometrische Verteilung: Erste Version: Sei Ω : N. Sei p i : (1 p) i 1 p für i 1, wobei p (0, 1] fest. Es gilt p i 0 und p i p (1 p) i 1 1 p 1 (1 p) 1, da (p i ) i 1 eine geometrische Reihe bildet. Mittels P[{i}] : (1 p) i 1 p wird also eine Wahrscheinlichkeit auf 2 N definiert, die Geometrische Verteilung Ge(p). Zweite Version: Oft wird die Geometrische Verteilung auch auf folgende Weise 5

6 definiert: Sei Ω : Z + und p i : (1 p) i p für i 0, wobei p (0, 1] fest. Es gilt p i 0 und p i p (1 p) i 1 p 1 (1 p) 1, i0 i0 da (p i ) i 1 eine geometrische Reihe bildet. Mittels P[{i}] : (1 p) i p wird also eine Wahrscheinlichkeit auf 2 Z+ definiert, die Geometrische Verteilung Ge(p). 3. Negativ-Binomialverteilung: Sei Ω : Z +. Seien n N und p (0, 1] fest. Wir definieren für i 0 ( ) n + i 1 p i : (1 p) i p n. i Offenbar ist stets p i 0. Darüberhinaus kann mittels vollständiger Induktion über n gezeigt werden, dass ( ) n + i 1 (1 p) i 1 i p n i0 gilt. Also wird durch P[{i}] : p i in der Tat eine Wahrscheinlichkeit auf 2 Ω definiert wird. Dies ist die Negativ-Binomialverteilung NB(n, p). Für n 1 erhalten wir die Geometrische Vertaeilung Ge(p) auf Z Multinomialverteilung: Sei Ω : Z d +. Seien für 1 j d Zahlen q j 0 mit d j1 q j 1 gegeben. Für alle d-tupel (n 1,..., n d ) Z d + setzen wir { d 0 für j1 p (n1,...,n d ) : n j n d für j1 n j n (n 1,...,n d ) Z d + n! d n 1! n d! j1 qnj j Da offenbar p (n1,...,n d ) 0 für jedes solche d-tupel gilt, und weiter ( n! d p (n1,...,n d ) n 1! n d! (n 1,...,n d ): d j1 njn (q q d ) n 1, j1 qnj j erfüllt ist, wird durch P[{(n 1,..., n d )}] : p (n1,...,n d ) eine Wahrscheinlichkeit auf 2 Ω definiert. Wir nennen sie die Multinomialverteilung MN d (n; q 1,..., q d ). Wir können diese Verteilung auch auf Ω : {(n 1,..., n d ) Z d + d j1 n}, also einer endlichen Menge, gegeben auffassen. Im Spezialfall d 2 ist n 2 durch n und k : n 1 bereits eindeutig bestimmt, und man erhält die Binomialverteilung Bi(n, p): MN 2 (n; p, 1 p) [{(n 1, n 2 )}] (n 1,n 2):n 1+n 2n n k0 n! n 1!n 2! pn1 (1 p) n2 ( ) n p k (1 p) n k Bi(n, p)[{k}]. k 5. Poisson-Verteilung: Sei Ω : Z +. Für ein festes λ > 0 setzen wir p i : e λ λ i /i! für alle i 0. Offenbar ist p i 0. Weiter erhalten wir p i e λ λ i i! e λ e λ 1. i0 i0 6 )

7 Also wird durch P[{i}] : e λ λ i /i! eine Wahrscheinlichkeit auf 2 Ω bestimmt. Dies ist die Poisson-Verteilung Po(λ). Beispiel (Poissonscher Grenzwertsatz). Die Binomialverteilung lässt sich durch die Poisson-Verteilung approximieren: Sei λ > 0 und sei (p(n)) n 1 eine Folge von Zahlen im Intervall [0, 1] mit lim n np(n) λ. Für n gilt dann Bi(n, p(n))[{i}] ( n i ) p(n) i (1 p(n)) n i n(n 1) (n i + 1) n i p(n) i n i i! λi i! e λ Po(λ)[{i}]. Die zahlentheoretische Dichte ( 1 np(n) ) n ( 1 np(n) ) i n n Im vorhergehenden Abschnitt haben wir Beispiele von Wahrscheinlichkeitsräumen der Form (Ω, 2 Ω, P) mit abzählbar unendlicher Menge Ω kennengelernt. Im Gegensatz zum endlichen Fall, kann hier Axiom III endl sinnvoll von Axiom III unterschieden werden. Wie wir weiter gesehen haben, rechtfertigt eine Beschreibung der Wahrscheinlichkeit als Grenzwert relativer Häufigkeiten sicherlich Axiom III endl. Es stellt sich die Frage, ob aus Axiom I, Axiom II und Axiom III endl nicht bereits Axiom III folgt. Die Antwort lautet nein, wie das Beispiel der zahlentheoretischen Dichte zeigt. Definition Sei A N. Existiert der Grenzwert lim n n 1 A {1, 2,..., n}, so heisst die Zahl 1 D[A] : lim A {1, 2,..., n} n n die zahlentheoretische Dichte der Menge A. Betrachten wir zunächst Beispiele von Teilmengen von N für die die zahlentheoretische Dichte D existiert. 1. Sei A N eine endliche Menge. Dann gilt offenbar D[A] Für ein n N sei A n : {m N n teilt m}. Dann lässt sich zeigen, dass D[A n ] 1/n. 3. Sei P die Menge der Primzahlen. Der Primzahlsatz besagt, dass die Anzahl π(n) aller Primzahlen kleiner oder gleich n konvergenzäquivalent zu n log(n) 1 ist. Daher gilt D[P ] lim n log(n) Betrachten wir das Beispiel einer Menge, für die die zahlentheoretische Dichte nicht existiert. Wir setzen { A : 2 2r+1 + 1, 2 2r ,..., 2 2(r+1)}. r0 Für n(r) : 2 2r+1 gilt, wenn r : 1 n(r) A {1, 2,..., n(r)} r r 1 2 2r r 7

8 Für n(r) : 2 2(r+1) gilt, wenn r : 1 n(r) A {1, 2,..., n(r)} r r+1 2 2(r+1) Daher existiert für diese Menge A der Grenzwert nicht. 2 2r+1 Wir untersuchen nun, ob die Axiome der Definition auf die zahlentheoretische Dichte zutreffen. 1. Ist A eine Teilmenge von N, für die D[A] definiert ist, so gilt offenbar 0 D[A] 1, das heisst Axiom I wird erfüllt. 2. Es gilt n 1 N {1, 2,..., n} 1 für alle n N, daher gilt D[N] 1. Mit Ω : N ist damit Axiom II erfüllt. 3. Sind B 1 und B 2 disjunkte Teilmengen von N, für D definiert ist. Offenbar gilt für jedes n N n 1 (B 1 B 2 ) {1, 2,..., n} n 1 B 1 {1, 2,..., n} + n 1 B 2 {1, 2,..., n}, und daher haben wir D[B 1 B 2 ] D[B 1 ] + D[B 2 ]. Also erfüllt D Axiom III endl. 4. Wir betrachen nun die Folge (A i ) i 1, wobei A i : {i}. Offenbar sind die A i paarweise disjunkt, und A i N. Es gilt also D[ A i] 1. Da jedoch A i {1, 2,..., n} {0, 1}, so gilt D[A i ] 0, und so D[A i] 0. Man erhält also [ ] D A i D[A i ], Axiom III ist also nicht erfüllt. Bemerkung Obwohl D nicht auf jeder Teilmenge von N definiert ist, so lässt sich zeigen, dass D mittels des Satzes von Hahn-Banach zu einer Abbildung D : 2 N [0, 1], die additiv, jedoch nicht σ-additiv ist, fortgesetzt werden kann. Damit erhalten wir einen Raum (N, 2 N, D), der bis auf die σ-additivität alle Eigenschaften eines Wahrscheinlichkeitsraums erfüllt. Fall 3: Ω überabzählbar unendlich Konstruktion von Wahrscheinlichkeiten im überabzählbar unendlichen Fall Im abzählbar unendlichen Fall wurde gezeigt, dass es keine Uniformverteilung geben kann. Ist es möglich auf einer überabzählbaren Menge Ω in anderer Form eine Uniformverteilung zu konstruieren? Wir versuchen dies auf der Menge Ω : (0, 1] R. Für ein beliebiges Intervall (a, b] (0, 1] liegt es intuitiv nahe, die Wahrscheinlichkeit P als durch P[(a, b]] b a (0.1.8) gegeben zu betrachten. Wie ist aber die σ-algebra F zu wählen? Wir betrachten hierzu die kleinste σ- Algebra von Teilmengen in (0, 1], die von allen Intervallen der Form (a, b] mit 0 < 8

9 a < b 1 erzeugt wird. Dies ist die Borelsche σ-algebra B((0, 1]) : (0, 1] B(R). Der Erweiterungssatz der Masstheorie besagt, dass ein eindeutig bestimmtes Wahrscheinlichkeitsmass P auf B((0, 1]) existiert, das für jedes Intervall (a, b] mit 0 < a < b 1 die Gleichung (0.1.8) erfüllt. Auf diese Weise erhalten wir einen Wahrscheinlichkeitsraum ((0, 1], B((0, 1]), P). Wir nennen P die Uniformverteilung U[(0, 1]]. Bemerkung Wäre es hier aber nicht möglich wie im diskreten Fall als σ- Algebra die Potenzmenge 2 (0,1] zu wählen? Nein. Man kann zeigen, dass das durch (0.1.8) bestimmte P nicht konsistent auf die Potenzmenge von (0, 1] fortgesetzt werden kann. Die Idee der Konstruktion der Uniformverteilung auf (0, 1] soll nun erweitert werden, damit wir Wahrscheinlichkeitsräume mit Ω : R konstruieren können. Dazu benötigen wir folgende Definition: Definition Eine Funktion F : R [0, 1] heisst Verteilungsfunktion, wenn sie rechtsstetig und monoton wachsend ist, und wenn lim x F (x) 0 und lim x + F (x) 1 gilt. Bemerkung Aus den Eigenschaften der Verteilungsfunktion folgt, dass diese in jedem Punkt in R den linksseitigen Limes besizt. Rechtsstetige Funktionen mit linksseitigen Limites werden auch als càdlàg-funktionen bezeichnet ( continue à droit - limite á gauche). Jedes Wahrscheinlichkeitsmass auf B(R) kann auf eindeutige Weise durch eine Verteilungsfunktion beschrieben werden: 1. Sei eine Verteilungsfunktion F gegeben. Nach dem Erweiterungssatz aus der Masstheorie gibt es ein eindeutig bestimmtes Wahrscheinlichkeitsmass P auf B(R), das für jedes Intervall (a, b] die Gleichung P[(a, b]] F (b) F (a) erfüllt. Die Verteilungsfunktion definiert also in eindeutiger Weise den Wahrscheinlichkeitsraum (R, B(R), P). 2. Ist umgekehrt ein Wahrscheinlichkeitsraum (R, B(R), P) gegeben, so erfüllt die durch F (x) : P[(, x]] eindeutig bestimmte Funktion alle Eigenschaften einer Verteilungsfunktion F. Beispiel Betrachte die Funktion 0 für x 0 F (x) : x für x (0, 1] 1 für x > 1. Dies ist offenbar eine Verteilungsfunktion. Sie definiert gerade die Uniformverteilung U[(0, 1]]. Beispiel Sei (R, B(R), P) ein Wahrscheinlichkeitsraum, und sei F die durch P bestimmte Verteilungsfunktion. Dann gilt für alle x R P[{x}] : F (x) F (x ). Ist F stetig im Punkt x, so haben wir insbesondere P[{x}] 0. 9

10 Eine wichtige Klasse von Verteilungsfunktionen wird über Wahrscheinlichkeitsdichten definiert. Definition Eine Wahrscheinlichkeitsdichte ist eine integrierbare Funktion f : R R + mit Ist f eine Dichte, so wird durch + F (x) : f(t)dt 1. x f(t)dt eine stetige Verteilungsfunktion F, und damit auch eine Wahrscheinlichkeit P auf B(R), definiert. Bemerkung Der Begriff der Dichte lässt sich auch allgemeiner fassen. Eine integrierbare Funktion f : R n R + heisse Wahrscheinlichkeitsdichte, wenn R n f(x 1,..., x n ) d(x 1,..., x n ) 1 gilt. Nach dem Erweiterungssatz der Masstheorie gibt es ein eindeutig bestimmtes Wahrscheinlichkeitsmass P auf B(R n ), so dass für jedes n-dimensionale Intervall (a, b] R n gilt: P[(a, b]] f(x 1,..., x n ) d(x 1,..., x n ). (0.1.9) (a,b] Wir erhalten so Wahrscheinlichkeitsräume der Form (R n, B(R n ), P). Der Begriff der Verteilungsfunktion wird im mehrdimensionalen Fall selten verwendet. Beispiele von Wahrscheinlichkeiten auf überabzählbar unendlichen Mengen 1. Negativ-Exponentialverteilung: Sei Ω : R. Sei λ > 0 fest gewählt. Die Funktion { 0 für x < 0 f λ (x) : λe λx für x 0 ist eine Dichte, wie man leicht nachprüft. Die dadurch definierte Verteilungsfunktion ist { 0 für x < 0 F λ (x) 1 e λx für x 0. Die entsprechende Verteilung heisst Negativ-Exponentialverteilung NE(λ). 2. Normalverteilung: Sei Ω : R. Es kann gezeigt werden, dass die Funktion ϕ 0,1 (x) : 1 e x2 2 2π eine Wahrscheinlichkeitsdichte ist. Die entsprechende Verteilungsfunktion bezeichen wir mit Φ 0,1 (x) : 1 x e t2 2 dt. 2π 10

11 Wir nennen die durch ϕ 0,1 bestimmte Verteilung die Standard-Normalverteilung N (0, 1). Seien nun µ R und σ R + fest gewählt. Da ϕ 0,1 eine Dichte ist, folgt mittels Substitution y : σ 1 (x µ), dass ϕ µ,σ 2(x) : 1 σ (x µ) 2 2π e 2σ 2 ebenfalls eine Dichtefunktion ist. Die Verteilungsfunktion ist dann Φ µ,σ 2(x) : 1 x σ 2π Diese definiert die Normalverteilung N (µ, σ 2 ). 3. Bivariate Normalverteilung: Sei Ω : R 2. Man kann zeigen, dass e (t µ) 2 2σ 2 dt. f(x, y) : 1 2π e 1 2 (x 2 +y 2 ) eine 2-dimensionale Dichte ist. Die durch sie bestimmte Verteilung wird bivariate Standard-Normalverteilung genannt. 4. Cauchy-Verteilung: Sei Ω : R. Betrachte für reelle Zahlen d > 0 und λ R die Funktion f λ,d (x) : 1 π d d 2 + (x λ) 2. (0.1.10) Dies ist eine Dichte. Denn mittels der Substitution y : d 1 (x λ) erhalten wir + d + d 2 + (x λ) 2 dx 1 dy lim 1 + y2 n [arctan(x)]+n n π. Die Dichte f λ,d bestimmt die Cauchy-Verteilung C(λ, d). Speziell nennen wir C(0, 1) die Standard-Cauchy-Verteilung. 5. Gamma-Verteilung: Sei Ω : R. Seien λ 0 und a > 0 fest gewählt. Wir betrachten die Funktion { 0 für x < 0 f (a,λ) (x) : λ a x a 1 e λx Γ(a) für x 0 Dabei bezeichnet Γ die Gamma-Funktion. Da mit y : λx Γ(a) : 0 y a 1 e y dy 0 λ n x a 1 e λx dx gilt, sieht man, dass es sich bei f (a,λ) um eine Dichte handelt. Wir nennen die entsprechende Verteilung die Gamma-verteilung Γ(a, λ). Für n 1 erhalten wir gerade die Negativ-Exponentialverteilung NE(λ). Ein für die Statistik wichtiger wichtiger Spezialfall ist die Verteilung Γ(n/2, 1/2) für n N. Wir nennen sie die Chi-Quadrat-Verteilung χ 2 n mit n Freiheitsgraden. 11

12 0.2 Zufallsvariablen und ihre Verteilungen Im folgenden sei unseren Betrachtungen stets ein Wahrscheinlichkeitsraum (Ω, F, P) zugrundegelegt. Definition Eine (reelle) Zufallsvariable auf Ω ist eine F-B(R n )-messbare Abbildung X : Ω R n. Für n 2 nennen wir X auch Zufallsvektor. Ist X(Ω) endlich oder abzählbar unendlich, so sprechen wir von einer diskreten Zufallsvariable. Wir werden auch dann von einer diskreten Zufallsvariablen X sprechen, wenn die Menge aller x R n mit P[{ω Ω X(ω) x}] > 0 endlich oder abzählbar unendlich ist. Das Bild X(Ω) werden wir dann als die Menge der Punkte, die mit positiver Wahrscheinlichkeit getroffen werden, auffassen. Wir verwenden im folgenden die abkürzende Schreibeweise {X B} : X 1 (B) {ω Ω X(ω) B}, für B R, bzw. {X c}, {X c} u.s.w., für c R. Ist B B(R n ) eine Ereignis, so ist X 1 (B) F, und wir verwenden entsprechend die Notation P[X B] : P[X 1 (B)]. Satz Sei X : Ω R n eine Zufallsvariable. Sei P X : B(R n ) R definiert durch P X [B] : P[X B]. Dann ist P X eine Wahrscheinlichkeit auf B(R n ), also (R n, B(R n ), P X ) ein Wahrscheinlichkeitsraum. Beweis: Wir prüfen die drei Axiome der Definition nach, indem wir die Eigenchaften der Wahrscheinlichkeit P ausnützen. Sei B B(R n ). Dann ist X 1 (B) F und nach Definition P X [B] P[X 1 (B)]. Daher ist 0 P X [B] 1 und Axiom I erfüllt. Auch das zweite Axiom gilt, denn P X [R n ] P[X 1 (R n )] P[Ω] 1. Sei (B i ) i 1 eine Folge von paarweise disjunkten Mengen aus B(R n ). Dann gilt P X [ B i ] [ ( )] [ ] P X 1 B i P X 1 (B i ) P X [B i ]. P[X 1 (B i )] Axiom III gilt also auch. Anstelle von P X wird auch die Schreibweise PX 1 verwendet. Wir nennen P X die Verteilung der Zufallsvariablen X und verwenden die Notation X P X. Speziell verwenden wir für die in den Beispielen betrachteten Verteilungen die Notation X Po(λ), X N (µ, σ 2 ), X U[(0, 1]], u.s.w. Ist X eine R-wertige Zufallsvariable, so bezeichen wir mit F X die durch P X definierte Verteilungsfunktion. Betrachten wir einige grundlegende Beispiele von Zufallsvariablen: 12

13 1. Sei c R eine Konstante, und sei X : Ω R gegeben durch X(ω) : c für alle ω Ω. Die Abbildung X ist eine Zufallsvariable, deren Verteilung P X gegeben ist durch { 1 falls c B P X [B] 0 falls c B für B B(R). 2. Sei A F ein fest gewähltes Ereignis. Wir definieren die Abbildung X : Ω R durch { 1 falls ω A X(ω) : 0 falls ω A. Diese Abbildung ist eine Zufallsvariable, Wir nennen X die Indikatorvariable zum Ereignis A. Ihre Verteilung P X ist gegeben durch 1 falls 1 B und 0 B P[A] falls 1 B und 0 B P X [B] P[A c. (0.2.1) ] falls 1 B und 0 B 0 falls 1 B und 0 B 3. Sei Ω abzählbar und F : 2 Ω. Dann ist jede Abbildung X : Ω R messbar und daher eine Zufallsvariable. Die Menge X(Ω) der möglichen Werte von X ist abzählbar. Sei (x i ) i 1 eine Auflistung dieser Werte. Dann ist P X bestimmt durch die Werte P X [{x i }] P[X x i ] für i N. Entsprechende Aussagen gelten natürlich im Fall, dass Ω endlich ist. Wir betrachten nun einige Beispiele dazu, wie sich aus gegebenen Zufallsvariablen neue bilden lassen. 1. Sind X i : Ω R F-B(R)-messbare Zufallsvariablen für alle 1 i n, so ist (X 1,..., X n ) : Ω R n, definiert durch (X 1,..., X n )(ω) : (X 1 (ω),..., X n (ω)), eine F-B(R n )-messbare Zufallsvariable und umgekehrt. Dies folgt aus der Eigenschaft, dass B(R n ) n B(R) die von B(R) B(R) erzeugte σ- Algebra ist. 2. Sei X : Ω R n eine Zufallsvariable und g : R n R m eine B(R n )-B(R m )- messbare Abbildung. Dann ist durch g(x)(ω) : g(x(ω)) eine Zufallsvariable g(x) : Ω R m definiert. 3. Aus den vorhergehenden beiden Punkten ergibt sich, dass wenn X : Ω R und Y : Ω R Zufallsvariablen sind, auch X+Y, XY und e X Zufallsvariablen sind. 4. Sei (X i ) i 1 eine Folge von Zufallsvariablen X i : Ω R. Existiert sup i 1 X i in R, so ist sup i 1 X i : Ω R, gegeben durch (sup i 1 X i )(ω) : sup i 1 (X i (ω)), eine Zufallsvariable. Dies folgt, da für jedes x R {sup i 1 X i x} i 1 {X i x} ein abzählbarer Schnitt von messbaren Mengen ist. Entsprechend zeigt man, dass falls inf i 1 X i in R existiert, dies eine Zufallsvariable ist. 13

14 5. Sei wie vorher (X i ) i 1 eine Folge von Zufallsvariablen. Existieren lim sup i X i : inf j 1 (sup k j X k ), bzw. lim inf i X i : sup j 1 (inf k j X k ) in R, so sind dies wegen vorhergehendem Punkt ebenfalls Zufallsvariablen. 6. Betrachte wiederum (X i ) i 1 eine Folge von Zufallsvariablen. Existiert lim i X i in R, so haben wir insbesondere lim i X i lim sup i X i, und so eine Zufallsvariable lim i X i : Ω R. Konvergiert die Summe X j i : lim j X i, so ist diese wiederum eine Zufallsvariable. Kehren wir zurück zu Punkt 2 der obigen Liste: Wir betrachten eine Zufallsvariable X : Ω R mit der Verteilung P X und eine messbare Funktion g : R R. Was können wir über die Verteilung P g(x) der Zufallsvariablen g(x) aussagen? Betrachten wir dazu zwei Beispiele. Beispiel Sei g : R R bijektiv. Für die Verteilungsfunktion F g(x) gilt: für alle x R. F g(x) (x) : P g(x) [(, x]] P[g(X) x] P[X g 1 (x)] P X [(, g(x)]] F X (g 1 (x)) Beispiel Aus dem vorhergehenden Beipiel erhalten wir einen wichtigen Spezialfall. Seien dazu µ R und σ (0, ) gegeben. Betrachte eine Zufallsvariable X N (0, 1) und setze Y : σx + µ. Dann ist Y N (µ, σ 2 ). Ist umgekehrt eine Zufallsvariable Y N (µ, σ 2 ) vorgegeben, so folgt X : Y µ σ der Standard-Normalverteilung N (0, 1). Dieser Sachverhalt wurde bereits in Abschnitt 0.1 in der Herleitung der Dichte der Normalverteilung aus der Dichte der Standard-Normalverteilung verwendet. Beispiel Sei g : R R gegeben durch x x 2. Dann gilt für x R F X 2(x) : P X 2[(, x]] P[X 2 x] P[ x X x] P[X x] P[X < x] F X ( x) F X ( x ). Satz (Dichtetransformation). Sei X : Ω R eine Zufallvariable mit Dichte f X. Sei g : R R eine messbare Abbildung und Y : g(x). Ist g im Wertebereich X(Ω) von X stetig differenzierbar mit strikt postiver Ableitung g > 0, so ist die Dichte f Y von Y gegeben durch { fx (g 1 (x)) f Y (x) g (g 1 (x)) für x g(x(ω)) 0 für x g(x(ω)) Die gleiche Aussage folgt, wenn vorausgestzt wird, dass g eine strikt negative Ableitung g < 0 hat. Dies folgt aus der Substitutionsregel der Differential- und Integralrech- Beweis: nung. 14

15 0.3 Bedingte Wahrscheinlichkeit In einer Fernseh-Show kann ein aus dem Publikum ausgewählter Kandidat auf folgende Art ein neues Auto gewinnen: Er hat drei geschlossene Türen zur Auswahl, wobei hinter genau einer das Auto versteckt worden ist. Nun darf er sich für eine Tür die er öffnen will entscheiden. Bevor diese geöffnet wird, teilt er seine Entscheidung dem Quizmaster mit. Dieser, der natürlich weiss, hinter welcher Türe sich das Auto verbirgt, öffnet nun eine der beiden Türen die der Kandidat nicht ausgwählt hat. Er öffnet jedoch nicht diejenige hinter der sich das Auto befindet. Der Kandidat hat nun die Möglichkeit bei seiner Entscheidung zu bleiben oder zur anderen noch geschlossenen Türe zu wechseln, um diese dann öffnen zu lassen. Wie soll er sich entscheiden? Soll er die Türe wechseln oder bei seiner ersten Entscheidung bleiben? Man könnte der Ansicht sein, dass es keine Rolle spielt, ob der Kandidat wechselt oder nicht. Um dieses Problem genau zu untersuchen, wird der Begriff der bedingten Wahrscheinlichkeit benötigt. Sei dazu im folgenden unseren Betrachtungen stets ein Wahrscheinlichkeitsraum (Ω, F, P) zugrundegelegt. Definition Seien A, B F Ereignisse mit P[A] > 0. Dann heisst P[B A] : P[A B] P[A] die bedingte Wahrscheinlichkeit von B, gegeben das Ereignis A. Aus der Definition lässt sich sofort schliessen: 1. Die Wahrscheinlichkeit P[B A] ist für festes A mit P[A] > 0 für alle B F definiert. 2. Offenbar gilt für jedes B F die Eigenschaft P[B A] P[A B A]. 3. Speziell haben wir P[A A] 1. Satz Sei das Ereignis A F fest gegeben. Dann ist P A : F R, definiert durch P A [B] : P[A B] für B F, eine Wahrscheinlichkeit; das heisst (Ω, F, P A ) ist ein Wahrscheinlichkeitsraum. Beweis: Prüfen wir die drei Axiome der Definition nach. Sei dazu B F gegeben. Nach Voraussetzung ist P[A] > 0. Ferner erfüllt P Axiom I ; daher ist P[A B] 0, und somit auch P A [B] 0. Weiter folgt aus A B A, dass P[A B] P[B] und somit P A [B] 1. Axiom I wird also erfüllt. Wir haben P[A Ω] P[A], also auch P A [Ω] 1. Damit wurde Axiom II nachgewiesen. Sei (B n ) n 1 eine Folge paarweise disjunkter Ereignisse aus F. Dann ist auch (A B n ) n 1 eine Folge paarweise disjunkter Ereignisse und wir erhalten [ ] P A B n P [A n1 B n] P [ n1 (A B n)] n1 P[A B n] n1 P[A] P[A] P[A] P A [B n ]. n1 Das dritte Axiom wird auch erfüllt. 15

16 Satz (Formel der totalen Wahrscheinlichkeit (FTW)). Sei (A n ) n 1 eine Folge von Ereignissen aus F, die eine Partition von Ω bildet. Die Ereignisse seien also paarweise disjunkt, und n1 A n Ω. Dann gilt für alle B F: P[B] P[B A n ]P[A n ], n1 wobei P[B A n ]P[A n ] : 0 gesetzt wird, falls P[A n ] 0. Beweis: Sei B F. Da (A n ) n 1 eine Partition von Ω ist, kann das Ereignis B in der Form B n1 (B A n) als eine disjunkte Vereinigung geschrieben werden. Damit gilt P[B] n1 P[B A n]. Ist P[A n ] 0, so ist auch P[B A n ] 0. In diesem Fall setzen wir P[B A n ]P[A n ] : P[B A n ] 0. Ist andererseits P[A n ] > 0, so ist nach Definition P[B A n ] P[B A n ]/P[A n ], beziehungsweise P[B A n ] P[B A n ]P[A n ]. Satz (Bayes). Seien A, B F mit P[A] > 0 und P[B] > 0. Dann gilt: P[B A] P[A B]P[B] P[A] Beweis: Dies ergibt sich direkt aus der Definition mit P[A B] P[A B]P[B]:. P[B A] P[A B] P[A] P[A B]P[B] P[A]. Beispiel (Klinische Tests). Für eine Krankeit, zum Beispiel die Tuberkulose, gibt es Testverfahren, mit dem Aussagen darüber gemacht werden können, ob eine bestimmte Person krank ist oder nicht. Sei A das Ereignis, dass die Person tatsächlich an Tuberkulose leidet. Die Wahrscheinlichkeit dafür is klein, etwa P[A] : 1/ Sei B das Ereignis, dass ein Test positiv ausfällt, also auf das Vorhandensein der Krankheit hinweist, und sei B c das Ereignis, dass der Test negativ ausfällt. Oft sind in solchen Situationen die Wahrscheinlichkeiten bekannt: 1. P[B c A]: Die Wahrscheinlichkeit, dass der Test negativ ausfällt, obwohl die getestete Person in Wirklichkeit krank ist. Diese Fehlerwahrscheinlichkeit sollte eher klein sein, etwa P[B c A] : 1/ P[B A]: Die Wahrscheinlichkeit, dass der Test positiv ausfällt, obwohl die getestete Person gar nicht an Tuberkulose erkrank ist. Auch diese Fehlerwahrscheinlichkeit sollte klein sein, beispielsweise P[B A c ] : 1/40. Nun interessiert man sich für die Wahrscheinlichkeit P[A B], dass eine positiv getestete Person tatsächlich Tuberkulose hat. Diese Wahrscheinlichkeit können wir mit Hilfe der Formel der totalen Wahrscheinlichkeit und des Satzes von Bayes berechnen: Nach Satz gilt mit der Partition A A c Ω P[B] P[B A]P[A] + P[B A c ]P[A c ]. 16

17 Mit Satz folgt dann P[A B] P[B A]P[A] P[B] (1 P[Bc A])P[A] P[B] P[B A]P[A] P[B A]P[A] + P[B A c ]P[A c ] (1 P[B c A])P[A] (1 P[B c A])P[A] + P[B A c ]P[A c ] Die Wahrscheinlichkeit bei positivem Testresultat tatsächlich krank zu sein ist ziemlich gering. Dies liegt in diesem Fall daran, dass P[A] klein, und P[B A c ] im Vergleich zu P[A] relativ gross ist. Kommen wir zum am Anfang dieses Abschnitts betrachteten Quiz zurück. Um die Frage zu zu beantworten nehmen wir ohne Einschränkung an, das Auto wurde hinter der ersten Türe versteckt. Dem Quizmaster ist dies bekannt, er wird daher entweder die zweite oder dritte Tür öffnen, was auch immer der Kandidat wählen wird. Wir bezeichen mit A i das Ereignis, dass der Kandidat Türe i auswählt. Der Kandidat hat keine Preferenz für eine der Türen, daher ist P[A 1 ] P[A 2 ] P[A 3 ] 1/3. Sei weiter B das Ereignis, dass der Quizmaster Tür 2 aufmacht, und B c somit das Ereignis, dass er Tür 3 öffnet. Nun gilt: 1. Wählt der Kandidat die erste, also richtige Türe, so öffnet der Quizmaster die zweite Tür mit einer gewissen Wahrscheinlichkeit P[B A 1 ] : p [0, 1], bzw. die dritte Tür mit der Wahrscheinlichkeit P[B c A 1 ] 1 p : q. 2. Wählt der Kandidat die zweite Türe, so kann der Quizmaster diese nicht öffnen, also P[B A 2 ] Entscheidet sich der Kandidat für Türe 3, so kann der Quizmaster nur die zweite Türe öffnen. Daher gilt P[B A 3 ] 1. Uns interessieren nun die Wahrscheinlichkeiten P[A i B], beziehungsweise P[A i B] für i 1, 2, 3, also die Wahrscheinlichkeiten die richtige Türe zu treffen, nachdem der Quizmaster eine der Türen geöffnet hat. Dies können wir wiederum mit den Sätzen und 0.3.4: 1. Die Wahrscheinlichkeit mit der Wahl der ersten Türe das Auto zu erhalten, wenn der Quizmaster die zweite Tür geöffnet hat, ist P[A 1 B] P[B A 1 ]P[A 1 ] P[B A 1 ]P[A 1 ] + P[B A 2 ]P[A 2 ] + P[B A 3 ]P[A 3 ] p 1 + p. 2. Wenn der Quizmaster die zweite Tür öffnet ist das Auto natürlich nicht dahinter versteckt, also P[A 2 B] Die Wahrscheinlichkeit mit der Wahl von Tür 3 das Auto zu erhalten, wenn der Quizmaster die zweite Tür geöffnet hat, ist schliesslich P[A 3 B] 1 P[A 1 B] P[A 2 B] p. Analog erhalten wir die Wahrscheinlichkeiten, falls der Quizmaster die dritte Türe geöffnet hat: 1. P[A 1 B c ] q/(1 + q). 17

18 2. P[A 2 B c ] 1/(1 + q). 3. P[A 3 B c ] 0. Da stets gilt und 1/(1 + p) p/(1 + p) (0.3.1) 1/(1 + q) q/(1 + q), (0.3.2) ist es in jedem Fall besser die Tür zu wechseln nachdem der Quizmaster eine geöffnet hat. Dies ist auch in den Fällen p 1 und p 0 so. Denn bei p 1 ist q 0, und bei (0.3.1) erhalten wir zwar Gleichheit, bei (0.3.2) aber sogar 1 > 0. Entsprechend folgt im Fall p 0, dass q 1, und wir erhalten bei (0.3.2) Gleichheit, dafür aber bei (0.3.1) die Ungleichung 1 > 0. Eine natürliche Annahme ist p q 1/2 anzunehmen. Damit wächst die Chance das Auto zu gewinnen mit einem Wechsel der Türen von 1/3 auf 2/3. Kehren wir nun zurück zur Formel der totalen Wahrscheinlichkeit. Die in Satz vorausgesetzte Partition der Menge Ω wird häufig in Verbindung mit Zufallsvariablen definiert. Betrachte zunächst eine diskrete Zufallsvariable X : Ω R. Sei (x n ) n 1 eine Aufzählung ihres Wertebereichs. Dann ist durch (A n ) n 1, wobei A n : {X x n } für alle n N, eine Partition von Ω definiert. Mit Satz gilt demnach für alle Ereignisse B F: P[B] P[B X x n ]P[X x n ] P[B X x n ]P X [x n ]. (0.3.3) n1 Diese Formel lässt sich aber nur im diskreten Fall verwenden. Was aber haben wir, wenn die Verteilung X : Ω R durch eine Dichte f X bestimmt ist? Hier haben wir offenbar P[X x] 0 für alle x R, und P[B X x] ist nirgends definiert. Bemerkung Sei X : Ω R eine beliebige Zufallsvariable. Wir betrachten ein fest gewähltes Ereignis B F. Es kann gezeigt werden, dass eine messbare, P X - integrierbare Funktion g B : R R existiert, die für alle A B(R) die Gleichung g B dp X P[B {X A}] (0.3.4) A erfüllt. Die Funktion g B ist dadurch ( P X -fast sicher) eindeutig bestimmt. Wir definieren nun n1 P[B X ] : g B ( ). Setzen wir weiter in Gleichung (0.3.4) A : R ein, so erhalten wir P[B X x] dp X P[B {X R}] P[B Ω] P[B]. R Ist die Verteilung P X über die Dichte f X gegeben ist, folgt nun mittels Transformation das stetige Analogon zu Gleichung (0.3.3): P[B] + Betrachten wir hierzu ein Beispiel. P[B X x]f X (x) dx. (0.3.5) 18

19 Beispiel Gegeben seien zwei Zufallsvariablen X, Y : Ω R. Es sei X Γ(n, λ). Und sei x xk P[Y k X x] : e k! für alle x R und alle k Z +. Das heisst unter der Bedingung X x, ist Y Po(x)-verteilt. Was ist nun die Verteilung von Y, ohne eine Bedingung? Nach (0.3.5) gilt unter Verwendung der Substitution y : (λ + 1)x P[Y k] 0 λ n e x x k k! 1 Γ(n)k! (λ + 1) n+k 1 Γ(n)k! (λ + 1) n+k λ n λ n λ n x n 1 e λx dx Γ(n) 0 0 (λ + 1) n+k x n+k 1 e (λ+1)x dx y n+k 1 e y dx 1 Γ(n + k) Γ(n)k! (λ + 1) n+k ( ) n + k 1 λ n k (λ + 1) n+k ( ) ( ) k ( n + k ) n. k λ + 1 λ + 1 Die Zufallsvariable Y ist also NB(n, p)-verteilt, mit p : 1 (λ + 1) Unabhängigkeit Im folgenden sei unseren Betrachtungen stets ein Wahrscheinlichkeitsraum (Ω, F, P) zugrundegelegt. Unabhängigkeit von Ereignissen Wir betrachten zwei Ereignisse A und B aus F. Anschaulich verstehen wir unter der Unabhängigkeit des Ereignisses A von B, dass die Wahrscheinlichkeit des Eintretens von A nicht von der Wahrscheinlichkeit des Eintretens von B abhängt, also (im Falle dass P[B] > 0 und P[B c ] > 0): P[A B] P[A] und P[A B c ] P[A]. Genauso ist B unabhängig von A, wenn (im Falle dass P[A] > 0 und P[A c ] > 0) P[B A] P[B] und P[B A c ] P[B] gilt. Jede dieser vier Gleichungen ist äquivalent zur Gleichung P[A B] P[A]P[B], wobei diese auch im Fall P[A] 0 oder P[B] 0 erfüllt ist. Damit können wir die folgende Definition rechtfertigen: Definition Zwei Ereignisse A und B aus F heissen genau dann unabhängig, wenn sie der Gleichung P[A B] P[A]P[B] (0.4.1) genügen. Drei Spezialfälle sind bemerkenswert: 19

20 1. Die Ereignisse A und B seien disjunkt. In diesem Fall sind A und B genau dann unabhängig, wenn P[A] 0 oder P[B] 0 gilt. 2. Sei P[B] {0, 1}. Dann folgt aus der Definition, dass A und B stets unabhängig sind. Mit anderen Worten: Jedes Ereignis ist unabhängig von einem fast sicheren oder fast unmöglichen Ereignis. 3. Sei A B. In diesem Fall sind A und B genau dann unabhängig, wenn P[A] 0 oder P[B] 1 gilt. Beispiel (Zweimaliges Würfeln). Sei Ω : {(i, j) N N 1 i, j 6} und P[{(i, j)}] : 1/36. Sei A : {(i, j) Ω i gerade} das Ereignis im ersten Wurf eine gerade Augenzahl zu werfen. Sei B : {(i, j) Ω j 6} das Ereignis im zweiten Wurf eine Sechs zu werfen. Dann gilt P[A] 1/2, P[B] 1/6 und P[A B] 1/12. Die Gleichung (0.4.1) ist demnach erfüllt, und die Ereignisse A und B sind daher unabhängig. Erweitern wir nun die Definition der Unabhängigkeit auf eine beliebige Anzahl von Ereignissen: Definition Sei N eine endliche oder abzählbar unendliche Indexmenge. Seien (A n ) n N Ereignisse aus F. Sei a n {0, 1} und setze A 0 n : A c n, A 1 n : A n für alle n N. Die Ereignisse (A n ) n N heissen unabhängig, wenn für jede endliche Teilmenge M N gilt [ ] P n M Aan n P[A an n ]. (0.4.2) n M Wir bemerken zu dieser Definition: 1. Mittels vollständiger Induktion über M kann gezeigt werden, dass Gleichung (0.4.2) äquivalent ist zu [ ] P A n P[A n ]. (0.4.3) n M n M Diese äquivalente Formulierung ist für den expliziten Nachweis der Unabhängigkeit der Ereignisse (A n ) n N offenbar besser geeignet als die Gleichung (0.4.2). 2. Mit dem vorhergehenden Punkt folgt weiter, dass die Definition mit der allgemeinen Definition verträglich ist. 3. Seien die Ereignisse (A n ) n N unabhängig. Sei weiter N N eine Teilmenge der Indexmenge N. Aus Definition folgt sofort, dass auch die Teilfamilie (A n ) n N unabhängig ist. Die Gleichungen (0.4.2), beziehungsweise (0.4.3) müssen für jede Teilmenge M N verifiziert werden um Unabhängigkeit der Ereignisse (A n ) n N nachzuweisen. Es ist nicht hinreichend die Gleichungen lediglich für M : N zu überprüfen, wie folgendes Beispiel zeigt. Beispiel Sei Ω : {1, 2, 3, 4, 5, 6} mit der Uniformverteilung versehen, also P[{i}] 1/6 für alle 1 i 6. Es seien die drei Ereignisse A {1, 2, 3}, B {2, 4, 6} und C {1, 2, 4, 5} gegeben. Es folgt P[A B C] 1 6 P[A]P[B]P[C], P[A C] 1 3 P[A]P[C], P[B C] 1 3 P[B]P[C]. 20

21 Hingegen ist P[A B] P[A]P[B]. Die drei Ereignisse sind somit nicht unabhängig, auch wenn die Gleichung (0.4.3) für M : N 3 gilt. Nach Punkt 3 der obigen Aufzählung folgt aus der Unabhängigkeit von Ereignissen auch deren paarweise Unabhängigkeit. Die Umkehrung dieser Aussage gilt jedoch nicht, wie das nächste Beispiel deutlich macht. Beispiel Sei Ω : {1, 2, 3, 4} mit der Uniformverteilung versehen, also P[{i}] 1/4 für alle 1 i 4. Betrachte folgende drei Ereignisse: A : {1, 2}, B : {2, 4} und C : {2, 3}. Dann gilt P[A B] 1 4 P[A]P[B], P[A C] 1 4 P[A]P[C], P[B C] 1 4 P[B]P[C]. Die Ereignisse A, B und C sind also paarweise unabhängig. Es gilt jedoch P[A B C] P[A]P[B]P[C]. Die drei Ereignisse sind demnach nicht unabhängig, obwohl sie paarweise unabhängig sind. Unabhängigkeit von Zufallsvariablen Zum Begriff der Unabhängigkeit der Zufallsvariablen gelangen wir über die Unabhängigkeit von Ereignissen. Definition Sei N eine endliche oder abzählbar unendliche Indexmenge. Sei (X n ) n N eine Folge von Zufallsvariablen mit X n : Ω R kn. Die Zufallsvariablen heissen unabhängig, wenn für alle B n B(R kn ) die Ereignisse {X n B n }, n N, unabhängig sind, das heisst wenn für jede endliche Teilmenge M N und beliebige Ereignisse B n B(R kn ) gilt: [ ] P {X n B n } P[X n B n ]. (0.4.4) n M Einige Bemerkungen zu dieser Definition: n M 1. Es kann gezeigt werden, dass eine Folge von Ereignissen (A n ) n N ist genau dann unabhängig ist, wenn die entsprechenden Indikatorvariablen (I[A n ]) n N unabhängig sind. 2. Seien die Zufallsvariablen (X n ) n N unabhängig. Sei weiter N N eine Teilmenge der Indexmenge N. Aus Definition folgt, dass auch die Teilfamilie (X n ) n N unabhängig ist. 3. Sei N eine endliche Indexmenge. Gilt (0.4.4) für alle M N, so insbesondere auch [ ] P {X n B n } P[X n B n ] (0.4.5) n N n N 21

22 für beliebige B n B(R kn ). Ist (0.4.5) andererseits für alle B n B(R kn ) erfüllt, und M N vorgegeben, so können wir B n : R kn für alle n N\M setzen, und erhalten wegen P[X n R kn ] 1 die Gleichung (0.4.4) zurück. Im endlichen Fall genügt es daher für die Unabhängigkeit der Zufallsvariablen (X n ) n N die Gleichung (0.4.4) für M : N zu überprüfen. 4. Die Borelsche σ-algebren B(R kn ) wird erzeugt von k n -dimensionalen Intervallen der Form (a, b] : (a 1, b 1 ] (a kn, b kn ] mit a i R { }, b i R und a i < b i für alle 1 i k n. Aus des Masstheorie folgt, dass es für die Unabhängigkeit der (X n ) n N hinreichend ist, die Gleichung (0.4.4) für solche Intervalle nachzuprüfen, also [ ] P {X n (a, b]} P[X n (a, b]]. (0.4.6) n M n M für alle k n -dimensionalen (a, b] zu verifizieren. Ist die Unabhängigkeit endlich vieler diskreter Zufallsvariablen nachzuweisen, ist das folgende Lemma hilfreich: Lemma Sei (X n ) 1 n m eine Familie diskreter Zufallsvariablen auf Ω, wobei X n (Ω) {x n1, x n2,...} Aufzählungen ihrer Wertebereiche sind Die Zufallsvariablen X n sind genau dann unabhängig, wenn für alle x nin X n (Ω) mit n N gilt: [ m ] P {X n x nin } n1 m P[X n x nin ]. (0.4.7) Beweis: Wegen Definition 0.4.6, folgt aus der Unabhängigkeit von (X n ) 1 n m offenbar (0.4.7), da {x nin } B(R kn ). Sei umgekehrt (0.4.7) erfüllt. Wir zeigen, dass eine Gleichung der Form (0.4.5) gilt. Seien dazu B n B(R kn ). Da die Zufallsvariablen diskret sind, gilt für alle 1 n m: [ ] P[X n B n ] P {X n x ni } P[X n x ni ]. i: x ni B n i: x ni B n Nun folgt weiter [ m ] P {X n B n } n1 [ P ] { } ω Ω X1 (ω) x 1i,..., X m (ω) x mj i: x 1i B 1 j: x mj B m [ P {X1 x 1i }... {X m x mj } ] i: x 1i B 1 j: x mj B m P[X 1 x 1i ] P[X m x mj ] i: x 1i B 1 j: x mj B m P[X 1 x 1i ] P[X m x mj ] i: x 1i B 1 j: x mj B m P[X 1 B 1 ] P[X n B n ], n1 wobei im dritten Schritt die Voraussetzung (0.4.7) verwendet wurde. 22

23 Korollar Sei (X n ) 1 n m eine Familie unabhängiger diskreter Zufallsvariablen auf Ω, wobei X n (Ω) {x n1, x n2,...} Aufzählungen ihrer Wertebereiche sind. Dann gilt, falls P[X 1 x 1i1,..., X n 1 x (n 1)i(n 1) ] > 0 erfüllt ist: P[X n x nin X 1 x 1i1,..., X n 1 x (n 1)i(n 1) ] P[X n x nin ]. Beweis: Dies folgt direkt aus Definition und Lemma Beispiel (Zweimaliges Würfeln). Sei Ω : {(i, j) N N 1 i, j 6} und sei P definiert durch P[{(i, j)}] : 1/36. Wir betrachten zwei Zufallvariablen X 1 und X 2 auf Ω, definiert durch X 1 (i, j) : i, beziehungsweise X 2 (i, j) : j. Diese modellieren den ersten, resp. zweiten Würfelwurf. Die beiden Zufallsvariablen sind unabhängig, weil für alle 1 i, j 6 gilt. P [{X 1 i} {X 2 j}] 1 36 P[X 1 i]p[x 2 j] Eine entsprechende Aussage für unabhängige Zufallsvariablen mit Dichten kann mit Hilfe der Masstheorie ebenfalls bewiesen werden. Der Beweis ist nicht allzu schwierig. Der Satz soll hier dennoch lediglich als Bemerkung formuliert werden: Bemerkung Seien X i : Ω R Zufallsvariablen für alle 1 i n. Sei weiter der Zufallsvektor X : (X 1,..., X n ) : Ω R n gegeben. Dann gilt: 1. Sind die X i unabhängig und haben die Dichten f Xi, so hat X eine Wahrscheinlichkeitsdichte f X, gegeben durch f X (x 1,..., x n ) : f X1 (x 1 ) f Xn (x n ). 2. Hat der Zufallsvektor X die eine Dichte der Form f X : f X1 f Xn, so sind die X i unabhängig und besitzen die Dichten f Xi. Die nächsten zwei Sätze können in Kombination verwendet werden, um die Unabhängigkeit von Zufallsvariablen auf die Unabhängigkeit anderer Zufallsvariablen zurückzuführen. Satz Seien X n : Ω R, 1 n m, unabhängige Zufallsvariablen. Gegeben seien weiter die Zufallsvektoren Y ij : (X ij+1, X ij+2,..., X ij+1 ) : Ω R ij+1 ij, wobei 1 j < q für ein festes q m, und i 1 : 1, i q : m. Dann sind die Zufallsvektoren (Y ij ) 1 j<q unabhängig. Beweis: Um die Unabhängigkeit der Zufallsvektoren Y ij zu zeigen, betrachten wir im Hinblick auf (0.4.6) Intervalle der Form (a ij+1, b ij+1] (a ij+1, b ij+1 ] R ij+1 ij. Es gilt dann P [ q 1 P { Yij (a ij+1, b ij+1] (a ij+1, b ij+1] }] j1 [ q 1 ij+1 i j j1 j1 s1 { Xij+s (a ij+s, b ij+s] }] q 1 [ ij+1 i j { P Xij+s (a s1 ij+s, b }] ij+s] q 1 P [ Y ij (a ij+1, b ij+1] (a ij+1, b ij+1 ] ]. j1 23

24 Die Unabhängigkeit ist damit gezeigt. Satz Seien X n : Ω R kn, 1 n m unabhängige Zufallsvariablen. Seien weiter messbare Abbildungen ϕ n : R kn R ln, für 1 n m, gegeben. Dann sind die Zufallsvariablen ϕ n (X n ) : Ω R ln unabhängig. Beweis: Dies folgt direkt aus (0.4.5) und der Messbarkeit der Abbildungen ϕ n. Dieses nützliche Korollar, das im nächsten Abschnitt noch häufig angewendet werden wird, folgt direkt aus den zwei vorhergehenden Sätzen: Korollar Seien X n : Ω R, 1 n m + 1 unabhängige Zufallsvariablen. Dann sind die Zufallsvariablen S m : m n1 X n und X m+1 unabhängig. Beweis: Nach Satz sind (X 1,..., X m ) und X m unabhängig. Da ϕ(x 1,..., X m ) : m n1 X n messbar ist, folgt die Behauptung jetzt mit Satz Summen unabhängiger Zufallsvariablen Es soll nun die Frage nach der Verteilung der Summe unabhängiger Zufallsvariablen untersucht werden. Obwohl diese Frage für beliebige endliche Familien unabhängiger R k -wertiger Zufallsvariablen mittels der Faltung ihrer Verteilungen beantwortet werden kann, werden wir uns hier auf den Fall der diskreten Zufallsvariablen und den Fall der R-wertigen Zufallsvariablen, deren Verteilungen durch Dichten gegeben sind, beschränken. Satz (Faltungformel im diskreten Fall). Seien X, Y : Ω R k unabhängige diskrete Zufallsvariablen. Sei (x i ) i 1 eine Aufzählung des Wertebereichs von X. Dann gilt für z R k P[X + Y z] P[X x i ]P[Y z x i ]. Beweis: Der Satz folgt direkt aus der Formel der totalen Wahrscheinlichkeit 0.3.3: P[X + Y z] P[X x i ]P[X + Y z X x i ] P[X x i ]P[Y z x i X x i ] P[X x i ]P[Y z x i ], wobei der letzte Schritt wegen der Unabhängigkeit der X und Y mit Korollar folgt. Satz (Faltungsformel im stetigen Fall). Seien X, Y : Ω R unabhängige Zufallsvariablen mit Dichten f X, resp. f Y. Dann hat die Zufallsvariable X + Y eine Dichte f X+Y, gegeben durch für z R. f X+Y (z) + f X (x)f Y (z x) dx 24