Übersicht Wahrscheinlichkeitsheorie

Transkript

1 Übersicht Wahrscheinlichkeitsheorie Gunther Leobacher und Friedrich Pillichshammer Universität Linz, Institut für Finanzmathematik, Altenbergerstrasse 69, 4040 Linz, Austria

2 Inhaltsverzeichnis 1 Maßräume Mengensysteme Mengenfunktionen Ereignisse 10 3 Zufallsvariablen Messbare Funktionen Zufallsvariablen Verteilungen und Verteilungsfunktionen Verteilungen von R d -wertigen Zufallsvariablen Integral und Erwartungswert Integral Erwartungswert Erwartungswertformeln Jensen sche Ungleichung L p -Räume Definition und Vollständigkeit Hölder- und Minkowski-Ungleichung L 2 -Räume Unabhängigkeit Unabhängige σ-algebren und Ereignisse Unabhängige Zufallsvariablen Bedingte Erwartung 50 8 Charakteristische Funktionen 53 Index 56 Literaturverzeichnis 58 2

3 1 Maßräume 1.1 Mengensysteme Definition 1.1 Sei S eine Menge. Eine Familie Σ 0 von Teilmengen von S heißt eine Algebra auf S, falls 1. S Σ 0, 2. wenn A Σ 0, dann ist auch A c Σ 0, und 3. wenn A, B Σ 0, dann ist auch A B Σ 0. Bemerkung 1.2 Falls Σ 0 eine Algebra auf S ist, dann ist wegen = S c auch Σ 0. Weiters ist für A, B Σ 0 auch A c, B c Σ 0 und damit A B = (A c B c ) c Σ 0. Eine Algebra auf S ist also eine Familie von Teilmengen von S, welche unter endlichen Mengenoperationen abgeschlossen ist. Eine kurze Bemerkung zur Terminologie: In der Mathematik wird das Wort Algebra auch anderweitig verwendet. Es bezeichnet einerseits die Theorie der Gruppen und Ringe, der Vektorräume (lineare Algebra) an sich, aber andererseits auch ein mathematisches Objekt dieser Disziplin: eine Algebra A ist ein Vektorraum über einem Körper K, welcher zusätzlich zur Addition + mit einer Multiplikation : A A A derart ausgestattet ist, dass (A, +, ) ein Ring ist. Eine Algebra in unserem Sinn (Definition 1.1) kann natürlich auch in diesem Sinne aufgefasst werden: Σ 0 ist ein Vektorraum über K = Z 2 mit Addition A + B := A B und Multiplikation A B := A B. (Beweis: Übung.) Definition 1.3 Sei S eine Menge. Eine Familie Σ von Teilmengen von S heißt eine σ-algebra auf S, falls 1. S Σ, 2. wenn A Σ, dann ist auch A c Σ, und 3. wenn A 1, A 2,... Σ (abzählbar viele), dann ist auch n 1 A n Σ. Bemerkung 1.4 Sei Σ eine σ-algebra und seien A, B Σ. Definiert man A 1 = A, A 2 = B und A n = für alle n 3. Dann ist A B = n 1 A n Σ und somit ist jede σ-algebra eine Algebra. 3

4 1 Maßräume Übung 1.5 Man zeige, dass für beliebige Mengen A 1, A 2,... gilt ( c A n = A c n), n 1 und folgere daraus, dass eine σ-algebra eine Familie von Teilmengen von S ist, welche unter abzählbaren Mengenoperationen abgeschlossen ist. Man vergleiche das Konzept einer σ-algebra mit dem einer Topologie: eine Familie τ von Teilmengen einer Menge S heißt Topologie auf S, falls 1., S τ, 2. die Vereinigung beliebig vieler Elemente von τ in τ liegt und 3. der Durchschnitt von endlich vielen Elementen von τ in τ liegt. Das Paar (S, τ) nennt man einen topologischen Raum und die Elemente von τ nennt man offene Teilmengen von S. Beispiel: (S, d) ein metrischer Raum, τ = {A S : S offen bezügl. d }. Hierbei heißt eine Menge offen, wenn sie mit jedem Element auch eine kleine Kugel um das Element enthält: A offen : [ x A r > 0 : d(x, y) < r y A]. Definition 1.6 Sei S eine Menge und Σ eine σ-algebra auf S. Das Paar (S, Σ) nennt man einen Messraum (oder auch einen messbaren Raum). Die Elemente von Σ nennt man (Σ-) messbare Mengen. Beispiel 1.7 Sei S eine beliebige Menge. 1. Das Paar (S, {, S}) ist ein Messraum. Man nennt {, S} die triviale σ-algebra auf S. 2. Das Paar (S, P(S)) ist ein Messraum, wobei P(S) die Potenzmenge von S bezeichnet. Man nennt P(S) die diskrete σ-algebra von S. Diese ist hauptsächlich für endliche Mengen S von Bedeutung. Wir wollen den Elementen einer σ-algebra einen Inhalt oder eine Wahrscheinlichkeit zuordnen. Das ist für P(S) im allgemeinen aber nicht (in erwünschter Weise) möglich. Wie kann man nun aber andere Beispiele für σ-algebren finden? Definition 1.8 Sei S eine Menge und sei C eine Familie von Teilmengen von S. Dann sei σ(c) := Σ. (1.1) C Σ Σ eine σ-algebra Das heißt, σ(c) ist die kleinste σ-algebra auf S, welche alle Elemente von C enthält. σ(c) nennt man die von C erzeugte σ-algebra. 1 1 Man vergleiche diesen Begriff mit den Begriffen erzeugte Gruppe, erzeugter Vektorraum, erzeugte Topologie,... 4

5 1 Maßräume Bemerkung 1.9 Der Durchschnitt in (1.1) ist nicht leer, da P(S) eine σ-algebra ist welche C enthält. Dass der Durchschnitt von beliebig vielen σ-algebren eine σ-algebra ist, ist eine einfache Übungsaufgabe. Übung 1.10 Zeigen Sie, dass der beliebige Durchschnitt von σ-algebren eine σ-algebra ist. Ist auch die Vereinigung von σ-algebren eine σ-algebra? (Vergleiche mit Topologie, Vektorräumen, usw.) Wir wenden uns nun einem der zwei wichtigsten Beispiele für erzeugte σ-algebren zu, nämlich der sogenannten Borel schen σ-algebra. Definition 1.11 Sei (S, τ) ein topologischer Raum. Dann nennt man die von τ erzeugte σ-algebra auf S die Borel sche σ-algebra auf S und man schreibt B(S) := σ(τ). Bemerkung 1.12 Praktisch jede Teilmenge von R, auf die man jemals trifft ist Borelmessbar, dh. ein Element von B(R). Mit Hilfe des Auswahlaxioms lassen sich jedoch Gegenbeispiele konstruieren. Proposition 1.13 Es gilt B(R) = σ({(, x) : x R}). Beweis. Da aus C 1 C 2 folgt, dass σ(c 1 ) σ(c 2 ), gilt B(R) σ({(, x) : x R}). Wir beweisen die umgekehrte Inklusion in vier Schritten. Sei Σ := σ({(, x) : x R}). 1. Sei x R. Dann ist für alle n N, (, x + 1 n) Σ und somit (, x] = n 1 (, x + 1 ) Σ. n Damit ist dann das Intervall (x, ) = (, x] c Σ. 2. Wir zeigen,dass das Intervall (a, b) mit a, b R in Σ ist. Falls a b, so ist (a, b) = Σ. Ist a < b, so ist (a, b) = (, b) (a, ) Σ nach Schritt Falls A eine offene Teilmenge von R ist, dann ist A eine abzählbare Vereinigung von offenen Intervallen 2 und somit gilt A Σ. Also ist {A : A offene Teilmenge von A} Σ. 4. Σ ist also eine σ-algebra auf R welche alle offenen Teilmengen von R enthält. Da aber B(R) die kleinste σ-algebra auf R mit dieser Eigenschaft ist, so folgt B(R) Σ. Zusammen folgt nun das Resultat. 2 Diese Behauptung ist selbst wieder eine Übungsaufgabe: Jede offene Teilmenge von R ist Vereinigung von abzählbar vielen offenen Intervallen. 5

6 1 Maßräume 1.2 Mengenfunktionen Definition 1.14 Sei S eine Menge, Σ 0 eine Algebra auf S und sei µ 0 eine Funktion µ 0 : Σ 0 [0, ]. Dann nennt man µ 0 eine Mengenfunktion auf Σ Man nennt µ 0 additiv, falls a) µ 0 ( ) = 0, und b) für alle A, B Σ 0 mit A B = gilt µ 0 (A B) = µ 0 (A) + µ 0 (B). 2. Man nennt µ 0 abzählbar additiv oder σ-additiv, falls a) µ 0 ( ) = 0, und b) für alle A 1, A 2,... Σ 0 mit A n A m = für alle n m und n 1 A n Σ 0 gilt ( ) µ 0 A n = µ 0 (A n ). n 1 n 1 Übung 1.15 Zeigen Sie, dass jede σ-additive Mengenfunktion auch additiv ist. Definition 1.16 Sei (S, Σ) ein messbarer Raum. 1. Eine σ-additive Mengenfunktion µ auf Σ heißt ein Maß. 2. Das Tripel (S, Σ, µ) heißt dann Maßraum. 3. Ein Maß µ heißt endlich, falls µ(s) <. 4. Ein Maß µ heißt σ-endlich, falls es abzählbar viele Mengen A 1, A 2,... Σ gibt mit µ(a n ) < für alle n N und S = n 1 A n. 5. Ein endliches Maß µ mit µ(s) = 1 heißt Wahrscheinlichkeitsmaß. Das Tripel (S, Σ, µ) nennt man dann einen Wahrscheinlichkeitsraum. Definition 1.17 Eine Klasse C P(S) heißt π-system oder durchschnittsstabil, falls für alle A, B C gilt A B C. Lemma 1.18 (Maßeindeutigkeitssatz) Sei (S, Σ) ein messbarer Raum und sei C ein π-system mit Σ = σ(c). Sind µ 1, µ 2 zwei Maße auf (S, Σ) mit 1. µ 1 (S) = µ 2 (S) < und 6

7 1 Maßräume 2. µ 1 (C) = µ 2 (C) für alle C C, so ist µ 1 = µ 2 auf Σ. Beweis. Siehe zb. [1, 3]. Satz 1.19 (Maßerweiterungssatz) Sei S eine Menge, sei Σ 0 eine Algebra auf S und sei Σ := σ(σ 0 ). Ist µ 0 eine σ-additive Mengenfunktion auf Σ 0, dann gibt es ein Maß µ auf (S, Σ) derart, dass µ = µ 0 auf Σ 0. Ist µ 0 (S) <, so ist dieses Maß auf Grund von Lemma 1.18 eindeutig bestimmt. Beweis. Siehe zb. [1, 3]. Beispiel 1.20 (Lebesgue-Maß) Sei S = (0, 1], Σ = B((0, 1]) und Σ 0 = {(a 1, b 1 ] (a 2, b 2 ]... (a n, b n ] : 0 a 1 b 1 a 2 b 2 a n b n 1, n N}. Dann ist Σ 0 eine Algebra mit B((0, 1]) = σ(σ 0 ) (Beweis Übung/leicht). Für A Σ 0, A = (a 1, b 1 ]... (a n, b n ], definieren wir µ 0 (A) := n (b k a k ). k=1 Dann ist µ 0 wohldefiniert und additiv auf Σ 0 (Übung/leicht). Weiters ist µ 0 σ-additiv auf Σ 0 (Übung/schwer oder Analysis III). Dann folgt aus Satz 1.19, dass es ein eindeutig bestimmtes Maß µ auf B((0, 1]) gibt mit µ = µ 0 auf Σ 0. Dieses Maß nennt man Lebesgue- Maß und wird oft mit λ anstatt µ bezeichnet. Bemerkung Mit dem Lebesgue-Maß haben wir einen konsistenten Längenbzw. Inhaltsbegriff auf (0, 1]. 2. Das Lebesgue-Maß läßt sich einfach auf ganz R fortsetzen.(übung) Lemma 1.22 Sei (S, Σ, µ) ein Maßraum und seien A, B, A 1, A 2,..., A n gilt: Σ. Dann 1. Falls A B, dann ist µ(a) µ(b). (Monotonie) 2. Es ist µ(a B) µ(a) + µ(b). (Subadditivität) 3. Es ist (endliche Subadditivität) ( n ) µ A n k=1 n µ(a k ). k=1 Ist µ zusätzlich endlich, dh. µ(s) <, dann gilt weiters: 7

8 1 Maßräume 4. Falls A B, dann ist µ(b \ A) = µ(b) µ(a). 5. Es ist µ(a B) = µ(a) + µ(b) µ(a B). 6. Es ist ( n ) µ A k = k=1 n ( 1) k+1 µ(a i1 A i2... A ik ). k=1 1 i 1 <i 2 < <i k n Beweis. 1. Sei A B. Dann gilt µ(b) = µ((b \ A) A) = µ(b \ A) + µ(a) µ(a). 2. Es gilt µ(a B) = µ(a (B \ (A B))) = µ(a) + µ(b \ (A B)) µ(a) + µ(b), da B \ (A B) B. 3. Folgt aus 2. mit vollständiger Induktion. 4. Es gilt µ(b) = µ(a) + µ(b \ A). Da µ(a) < folgt die Behauptung. 5. Es gilt µ(a B) = µ(a \ (A B)) + µ(b \ (A B)) + µ(a B) = µ(a) + µ(b) µ(a B), nach Folgt aus 5. mit vollständiger Induktion. Schreibweise Sei (x n ) n 1 eine Folge reeller Zahlen. Wir schreiben kurz x n x, falls (x n ) n 1 monoton fallend ist und x = lim n x n = inf n x n. Dabei ist x [, ]. 2. Analog schreiben wir x n x, falls (x n ) n 1 monoton steigend ist und x = lim n x n = sup n x n. Dabei ist wieder x [, ] erlaubt. 3. Sei (A n ) n 1 eine Folge von Teilmengen derselben Grundmenge S. Wir schreiben A n A, falls (A n ) n 1 monoton fallend ist bezüglich Mengeninklusion, das heißt A 1 A 2... und A = lim n A n = n A n. 8

9 1 Maßräume 4. Analog schreiben wir A n A, falls (A n ) n 1 monoton steigend ist, das heißt A 1 A 2... und A = lim n A n = n A n. Lemma 1.24 (Stetigkeit von Maßen) Sei (S, Σ, µ) ein Maßraum. 1. Ist A n Σ für alle n N und A n A, dann gilt µ(a n ) µ(a). 2. Ist B n Σ für alle n N und B n B, und ist µ(b k ) < für ein k N, dann gilt µ(b n ) µ(b). Beweis. 1. Sei G 1 := A 1 und G n+1 := A n+1 \ A n für alle n N. Dann gilt n A n = G k und A = G k. k=1 n 1 Somit ( n ) µ(a n ) = µ G k = k=1 n µ(g k ) k=1 ( ) µ(g k ) = µ G k = µ(a). k=1 k 1 2. Wir können o.b.d.a. annehmen, dass µ(b 1 ) <. Definiere A n := B 1 \ B n für alle n N. Dann gilt A n B 1 \ B. Weiters ist µ(a n ) = µ(b 1 ) µ(b n ) und aus 1. folgt µ(a n ) µ(b 1 \ B) = µ(b 1 ) µ(b). Damit folgt dann µ(b n ) µ(b). Bemerkung 1.25 Die Voraussetzung der Endlichkeit in Punkt 2 von Lemma 1.24 ist notwendig. ZB. gilt (n, ), aber λ((n, )) = für alle n N, wobei λ das Lebesgue-Maß bezeichnet. Korollar 1.26 (σ-subadditivität von Maßen) Seien (S, Σ, µ) ein Maßraum, (A n ) n 1 eine Folge von messbaren Mengen. Dann gilt µ( n A n ) n µ(a n ). Beweis. Übung. Wir sagen meist auch zur endlichen und zur σ-subadditivität einfach nur Subadditivität. 9

10 2 Ereignisse Definition 2.1 Sei (, F, P) ein Wahrscheinlichkeitsraum. Wir nennen F-messbare Mengen auch Ereignisse. Ein-elementige Ereignisse, dh. solche der Form {ω}, ω nennen wir Elementarereignisse. Bemerkung 2.2 Meist schreiben wir einfach ω statt {ω}. Aber Vorsicht: im Allgemeinen muss {ω} nicht messbar sein. Bemerkung Intuitiv stellen wir uns vor, dass ein Element ω des Wahrscheinlichkeitsraumes durch einen Zufallsmechanismus ausgewählt wird, und zwar so, dass die (intuitive) Wahrscheinlichkeit für ω F gleich P(F ) ist für jedes Ereignis F in F. Wie genau dieser Zufallsmechanismus funktioniert, ist uns hier egal. 2. Die Wahl eines Wahrscheinlichkeitsraumes als Modell ist nicht eindeutig. Oft nimmt man Wahrscheinlichkeitsräume, die groß genug sind, indem sie etwa genügend viele unabhängige Zufallsvariablen zur Verfügung stellen (siehe etwa TODO:Referenz auf Kapitel). Beispiele Eine faire Münze wird geworfen. Wie kann man das mathematisch modellieren? Wir wollen einen Wahrscheinlichkeitsraum, welcher als mögliche Elementarereignisse {K} wie Kopf und {Z} wie Zahl zulässt, und ihnen dieselbe Wahrscheinlichkeit 1 2 zuweist. Offenbar leistet (, F, P) mit = {K, Z}, F = P() = {, {K}, {Z}, {K, Z}} und P(A) = A, A F das gewünschte. K und Z sind hier nur Symbole, die gut zum Münzwurf passen. Man hätte genauso gut eine beliebige andere 2-elementige Menge als Grundraum verwenden können. 2. Man kann den einfachen Münzwurf auch weniger sparsam modellieren: Sei etwa (, F, P) = ((0, 1], B, λ). Wir können das Ereignis (0, 1] mit Kopf und das Ereignis ( 1, 1] mit Zahl identifizieren. 2 2 Man kann wieder ein bisschen sparsamer werden und als σ-algebra statt B((0, 1]) die von {(0, 1 ]} erzeugte σ-algebra verwenden. Dann hätten wir ein Beispiel für 2 einen Wahrscheinlichkeitsraum, in welchem {ω} für ω nicht messbar ist. 3. Eine Münze wird zweimal geworfen, mit Ausgängen K und Z. Wie modellieren wir das? 10

11 2 Ereignisse Antwort: := {(K, K), (K, Z), (Z, K), (Z, Z)} Das ist eine endliche Menge. Wenn wir wollen, dass die Elementarereignisse messbar sind, dann muss schon gelten F := P(). Als Wahrscheinlichkeitsmaß nehmen wir wieder P(A) := A. Ein Beispiel für ein nicht-elementares Ereignis ist die Menge {(K, K), (K, Z)} = {erster Wurf Kopf}. 4. Eine Münze wird unendlich oft geworfen (oder auch nur beliebig oft). Wir nehmen = {K, Z} N := {ω : N {K, Z}}. Wir schreiben die Elemente von dann auch so: ω = (ω 1, ω 3, ω 3,...). hat überabzählbar viele Elemente (warum?). σ({{ω} : ω }) P() }{{}}{{} zu klein zu groß Warum zu klein? Die folgende Menge ist kein Element von σ({{ω} : ω }): {ω : ω 1 = K}, also das Ereignis, dass der erste Wurf Kopf ergibt. Warum zu groß? Man kann zeigen, dass es kein W-Maß auf der Potenzmenge gibt, welches die Münzwürfe in geeigneter Weise modelliert. Es stellt sich heraus, dass σ({ω : ω n = K} : n 1) genau die richtige σ-algebra für unsere Zwecke ist. Man betrachte etwa folgende Menge: { ω : lim #{k n : ω k = K} n = 1 2 Man kann zeigen, dass diese Menge σ({ω : ω n = K} : n 1)-messbar ist. 5. Es werde zufällig ein Punkt aus [0, 1] gewählt. Wir nehmen = [0, 1], F = B([0, 1]). } 11

12 2 Ereignisse Definition 2.5 Sei (x n ) n 1 eine Folge reeller Zahlen. 1. Der Limes Superior dieser Folge ist definiert als lim sup x n := inf m 1 sup n m x n [, ]. 2. Der Limes Inferior dieser Folge ist definiert als lim inf x n := sup m 1 inf n m x n [, ]. Lemma 2.6 Eine Folge reeller Zahlen (x n ) n 1 konvergiert genau dann, wenn lim sup x n = lim inf x n. Beweis. Übung. Bemerkung 2.7 Es gelten: 1. Falls z > lim sup x n, dann gilt x n < z bis auf höchstens endlich viele n. 2. Falls z < lim sup x n, dann gilt x n > z für unendlich viele n. Beweis. Übung. Definition 2.8 Sei (A n ) n 1 eine Folge von Teilmengen einer Grundmenge. 1. Der Limes Superior dieser Folge ist definiert als lim sup A n := m 1 n m A n. 2. Der Limes Inferior dieser Folge ist definiert als lim inf A n := m 1 n m A n. Bemerkung 2.9 Es gelten: 1. lim sup A n = {ω : ω A n für -viele n}. 2. lim inf A n = {ω : ω A n für alle bis auf endlich viele n}. Beweis. Übung. Lemma 2.10 Sei eine Menge, F eine σ-algebra und sei (E n ) n 1 eine Folge in F. Dann gelten lim sup E n F und lim inf E n F. Beweis. Übung. Lemma 2.11 (Umgekehrtes Fatou-Lemma) Sei (, F, P) ein Wahrscheinlichkeitsraum und sei (E n ) n 1 eine Folge von Ereignissen. Dann gilt ( ) P lim sup E n lim sup P(E n ). 12

13 2 Ereignisse Beweis. Wir schreiben G m := n m E n. Dann gilt G m G := lim sup E n. Laut Lemma 1.24 gilt P(G m ) P(G). Aber P(G m ) sup n m P(E n ), da E n G m für alle n m. Also gilt P(G) = lim P(G m) = inf P(G m) inf sup P(E n ), m m N m N n m was zu zeigen war. Bemerkung 2.12 Wir haben hier die Endlichkeit von P verwendet. Lemma 2.13 (Erstes Borel-Cantelli-Lemma) Sei (E n ) n 1 eine Folge von Ereignissen mit P(E n ) <. Dann gilt n=1 ( ) P(E n -oft) = P lim sup E n = 0. Beweis. Wir schreiben wieder G m := n m E n, G := m 1 G m. Dann gilt wegen Korollar 1.26 P(G m ) n m P(E n ), wobei die rechte Seite mit m gegen 0 geht wegen der Endlichkeit der Reihe. Da aber 0 P(G) P(G m ) für alle m gilt, muss P(G) = 0 gelten. Lemma 2.14 (Lemma von Fatou) Sei (E n ) n 1 eine Folge von Ereignissen. Dann gilt ( ) P lim inf E n lim inf P(E n). Beweis. Wir schreiben G m := n m E n, G := m 1 G m. Dann gilt G m G, sodass wieder nach Lemma 1.24 P(G m ) P(G). Es ist nun P(G m ) P(E n ) für alle n m, sodass P(G m ) inf n m P(E n ). Insgesamt haben wir also P(G) = lim P(G m) = sup P(G m ) sup inf P(E n). m m N m N n m Bemerkung 2.15 Hier haben wir die Endlichkeit von P nicht verwendet. 13

14 3 Zufallsvariablen 3.1 Messbare Funktionen Definition 3.1 Seien (S 1, Σ 1 ), (S 2, Σ 2 ) messbare Räume. Eine Funktion h : S 1 S 2 heißt messbar, falls das Urbild jeder Menge B Σ 2 messbar ist, also falls Hier bedeutet natürlich B Σ 2 : h 1 (B) Σ 1. h 1 (B) := {s X 1 : h(s) B}. Man kann im Zweifelsfall die Abhängigkeit von Σ 1 und Σ 2 betonen, indem man schreibt Σ 1 Σ 2 -messbar. Proposition 3.2 Seien (S 1, Σ 1 ), (S 2, Σ 2 ) messbare Räume, C Σ 2 mit σ(c) = Σ 2. Eine Funktion h : S 1 S 2 ist genau dann messbar, wenn h 1 (C) Σ 1 für jedes Element C C. Beweis. Ist h messbar, dann ist natürlich h 1 (C) Σ 1 für jedes Element C C. Wir beweisen die andere Richtung. Sei Σ := {B Σ 2 : h 1 (B) Σ 1 }. Es ist eine einfache Übung zu zeigen, dass Σ eine σ-algebra ist. Nach Voraussetzung gilt ausserdem C Σ, sodass also Σ 2 = σ(c) σ( Σ) = Σ Σ 2, woraus Σ = Σ 2. Also gilt für alle B Σ 2 dass B Σ, sodass also h 1 (B) Σ 1 ist. Das heißt h ist messbar. Korollar 3.3 Seien (S 1, d 1 ), (S 2, d 2 ) zwei metrische Räume und h : S 1 S 2 eine stetige Funktion. Dann ist h messbar bezüglich der Borel schen σ-algebren auf S 1 und S 2. 14

15 3 Zufallsvariablen Beweis. Laut Definition der Borel schen σ-algebra, Definition 1.11, gilt B(S i ) = σ({b S i : B offen}) (i = 1, 2). Weiters ist h 1 (B) offen für jede offene Menge B S 2. Somit ist aber h 1 (B) messbar bezüglich B(S 1 ), woraus mit Proposition 3.2 die Behauptung folgt. Das folgende Lemma zeigt, dass die Messbarkeit von reellwertigen Funktionen mit den algebraischen Operationen auf R verträglich ist. Lemma 3.4 Seien (S, Σ) ein messbarer Raum und h, g : S R messbare reellwertige Funktionen. Dann sind die Funktionen h + g, hg : S R } (h + g)(s) := h(s) + g(s) (s S) (hg)(s) := h(s)g(s) messbar. Beweis. Nach Proposition 3.2 und Proposition 1.13 genügt es zu zeigen, dass (h + g) 1 ((, x)) und (hg) 1 ((, x)) messbar sind für jedes x R. Nun gilt aber Somit kann man aber schreiben (h + g)(s) < x q Q : h(s) < q < x g(s). {s S : (h + g)(s) < x} = q Q{s S : h(s) < q < x g(s)} = {s S : h(s) < q} {s S : g(s) < x q)}. }{{}}{{} q Q Σ Σ Somit ist {s S : (h + g)(s) < x} als abzählbare Vereinigung von messbaren Mengen messbar. Der Beweis für {s S : (hg)(s) < x} geht analog. Lemma 3.5 Seien (S 1, Σ 1 ), (S 2, Σ 2 ) und (S 3, Σ 3 ) messbare Räume, g, h Funktionen S 1 g h S 2 S 3. Sind g und h messbar, so auch deren Zusammensetzung h g. Beweis. Einfache Übung. Lemma 3.6 Seien (S, Σ) ein messbarer Raum und (h n ) n 1 eine Folge messbarer Funktionen h n : S R od. R. Dann sind messbare Abbildungen S R. sup h n, inf n n h n, lim sup h n, lim inf h n n n 15

16 3 Zufallsvariablen Natürlich bezeichnet sup n h n die Funktion s sup n h n (s), und so weiter. Beweis. Sei x R. Dann gilt {s : sup h n (s) x} = {s : h n (s) x für alle n} n = {s : h n (s) x} Σ. }{{} n 1 Σ Also ist {s : sup n h n (s) x} messbar als abzählbarer Durchschnitt messbarer Mengen. Analog zeigt man die Messbarkeit von inf n h n. Die Messbarkeit von lim sup n h n und lim inf n h n ist dann eine einfache Folgerung des ersten Teils. 3.2 Zufallsvariablen Definition 3.7 Eine Zufallsvariable ist eine messbare Funktion auf einem Wahrscheinlichkeitsraum mit Werten in [, ] = R. Ein Zufallsvektor ist eine messbare Funktion mit Werten im R n. Beispiel 3.8 Sei = {K, Z} N ( -viele Münzwürfe). Wir definieren wie früher F := σ({{ω : ω n = K} : n N}). Für jedes n N definieren wir eine Zufallsvariable durch { 1 falls ωn = K X n (ω) := 0 falls ω n = Z Die Definition von F garantiert, dass jedes X n eine messbare Funktion ist, also eine Zufallsvariable (sobald wir ein W-Maß auf F definiert haben). Aufgrund von Lemma 3.4 ist S n := X X n = Anzahl der Würfe mit Ausgang Kopf unter den ersten n Würfen eine Zufallsvariable. Aufgrund von Lemma 3.6 sind auch Zufallsvariable. L + := lim sup n und L := lim inf n S n n S n n 16

17 3 Zufallsvariablen Das heißt, dass für p [0, 1] die Menge { S n (ω) Λ := ω : lim n n } = p = {ω : L + (ω) = p} {ω : L (ω) = p} messbar ist. Mengen dieser Art interessieren uns, weil wir für gewisses P und p beweisen wollen, dass P(Λ) = 1 ist. Wir kommen nun zum zweiten der zwei wichtigsten Beispiele erzeugter σ-algebren. Definition 3.9 Sei (, F, P) ein Wahrscheinlichkeitsraum. Sei (Y i ) i I eine Familie von Zufallsvariablen 1. Dann heisst σ ( ) ( (Y i ) i I := σ {Y 1 i (B) : i I, B B(R)} ) die von (Y i ) i I erzeugte σ-algebra. Bemerkung Man kann natürlich Definition 3.9 leicht verallgemeinern, indem man B(R) durch einen beliebigen messbaren Raum ersetzt. Überhaupt spielen F und P eigentlich kein Rolle. 2. Es ist eine leicht Übung zu zeigen, dass für beliebiges i 0 I die Zufallsvariable Y i0 σ ( (Y i ) i I ) B(R)-messbar ist. Definition 3.11 Sei X eine Zufallsvariable auf einem Wahrscheinlichkeitsraum (, F, P) mit Werten in R. Für B B(R) ist die Menge F-messbar. Die Abbildung {X B} := X 1 (B) = {ω : X(ω) B} L : B(R) [0, 1] B P({X B}) ist ein W-Maß auf (R, B(R)) (leichte Übung) und heißt die Verteilung von X. Die folgende Grafik soll den Sachverhalt verdeutlichen: B(R) X 1 F L = P X 1 P [0,1] 1 Das heisst I ist eine nichtleere Menge, und für alle i I ist Y i eine Zufallsvariable auf (, F, P). 17

18 3 Zufallsvariablen Bemerkung 3.12 Sei (, F, P) ein Modell für ein Experiment mit zufälligem Ausgang. Sei (Y i ) i I eine Familie von Zufallsvariablen auf (, F, P). Angenommen wir kennen den Ausgang ω des Experiments nicht, aber wir kennen Y i (ω) für jedes i I. Was können wir mit dieser Information anfangen? Sei B eine messbare Menge und i I. Wenn wir wissen, dass Y i B gilt, dann auch, dass ω Y 1 i (B). σ ( (Y i ) i I ) = σ ( {Y 1 i : i I, B messbar} ) ist also jene Menge von Ereignissen, für die wir aufgrund der Kenntnis von (Y i ) i I entscheiden können, ob sie eingetreten sind oder nicht. σ ( ) ( (Y i ) i I = σ {Y 1 i : i I, B messbar} ) repräsentiert also den Informationsstand, den wir durch Kenntnis der Werte der Y i haben. Ist G F eine beliebige Teil-σ-Algebra, so repräsentiert natürlich G den Informationsstand, den wir durch Kenntnis der Werte aller G-messbaren Zufallsvariablen haben. 3.3 Verteilungen und Verteilungsfunktionen Definition 3.13 Sei X eine reelle Zufallsvariable mit Verteilung L X. Die Funktion F X : R [0, 1], F X (c) := L X ((, c]) = P({X c}) = P({ω : X(ω) c}) heißt Verteilungsfunktion von S. Bemerkung 3.14 Die Verteilung L X ist durch die Verteilungsfunktion F X eindeutig festgelegt. Beweis. Sei L ein W-Maß auf (R, B(R)) mit Die Menge L((, c]) = F X (c). C = {(, c] : c R} ist ein π-system mit σ(c) = B(R), Proposition Weiters ist L(R) = 1 = L X (R) und L(C) = L X (C) für alle C C. Aus Lemma 1.18 folgt dann aber L = L X. Proposition 3.15 Sei F = F X die Verteilungsfunktion einer Zufallsvariablen X. Dann gelten: 1. F ist eine monoton wachsende Funktion F : R [0, 1]. 2. Es ist lim F (x) = 0 und lim F (x) = 1. x x 3. F ist rechts-stetig (dh. rechtsseitig stetig). 18

19 3 Zufallsvariablen Beweis. 1. Laut Definition ist F : R [0, 1]. Sei x y. Falls X(ω) x dann ist trivialerweise auch X(ω) y und somit gilt {X x} {X y} und P(X x) P(X y). Damit ist F monoton wachsend. 2. Sei G n := (, n], n Z. Dann ist R = n 1 G n. Nach Lemma 1.24 gilt F (n) = P(G n ) P(R) = 1. Das Resultat folgt. Andererseits ist = n 1 G n und P(G 1 ) = F ( 1) <. Wieder gilt nach Lemma 1.24 und das Resultat folgt. F (n) = P(G n ) P( ) = 0 3. Sei x R und sei (x n ) n 0 eine Folge mit x n x. Da P({X x 1 }) = F (x 1 ) < folgt aus Lemma 1.24, ( ) F (x) = P(X x) = P {X x n } = lim P({X x n }) = lim F (x n ). n 1 Lemma 3.16 Sei F : R [0, 1] eine Funktion, welche folgende Eigenschaften erfüllt: 1. lim x F (x) = 0, lim x F (x) = 1; 2. F ist monoton wachsend; 3. F ist rechts-stetig. Dann gibt es einen Wahrscheinlichkeitsraum (, F, P) und eine Zufallsvariable X : R mit F X = F. Beweis. Sei (, F, P) = ([0, 1], B([0, 1], λ), λ das Lebesgue-Maß auf B([0, 1]). Wir definieren X (ω) := inf{z : F (z) ω}. F (x) ω F (x) x = X (ω) X (F (x)) x 19

20 3 Zufallsvariablen Sei c R. Dann ist ω F (c) genau dann, wenn X (ω) c, denn: Sei ω F (c) dann folgt c {z : F (z) ω} und somit ist X (ω) c. Umgekehrt, sei X (ω) c. Entweder gilt X (ω) = c oder X (ω) < c. Im ersten Fall gibt es eine Folge (z n ) n 1 mit z n c und F (z n ) ω für alle n. Wegen der Rechts-Stetigkeit von F ist dann F (c) = lim n F (z n ) ω. Im zweiten Fall gibt es ein z < c mit F (z) ω. Wegen der Monotonie von F gilt dann ω F (z) F (c). Also ist ω F (c) genau dann, wenn X (ω) c, sodass P({ω : X (ω) c}) = P({ω : ω F (c)}) = λ([0, F (c)]) = F (c). X := X erfüllt also F X = F. Lemma 3.17 Sei F wie vorher und sei X + (ω) := inf{z : F (z) > ω}. Dann ist X + eine Zufallsvariable mit Verteilungsfunktion F und P(X + = X ) = 1. Beweis. Laut Definition folgt aus ω < F (c), dass X + (ω) c, sodass {ω : X + (ω) c} {ω : ω < F (c)} und damit P({ω : X + (ω) c}) P({ω : ω < F (c)}) = F (c). Da X X + (trivialerweise), gilt F (c) = P({ω : X (ω) c}) P({ω : X + (ω) c}) F (c). Wiederum da X X + ist {X X + } = c Q{X c < X + }. Aber für jedes c Q ist P({X c < X + }) = P({X c}\{x + c}) = F (c) F (c) = 0, sodass P({X X + }) = 0 als abzählbare Vereinigung von Mengen vom Maß 0. Übung 3.18 Zeigen Sie X + (ω) := sup{z : F (z) ω}, X (ω) := sup{z : F (z) < ω}. 20

21 3 Zufallsvariablen F (x) ω F (x) x = X (ω) = X + (ω) X (F (x)) x X + (F (x)) Bemerkung 3.19 Man kann Lemma 3.16 auch anders beweisen: Definiere auf den Intervallen µ 0 ((a, b]) := F (b) F (a), (a, b R) und beweise die Existenz einer Fortsetzung µ auf B(R) analog zur Existenz des Lebesguemaßes. Definiere X : R R, ω ω (ω R) Dann gilt P(X b) = µ((, b]) = F (b). 3.4 Verteilungen von R d -wertigen Zufallsvariablen Sei X = (X 1,..., X n ) eine R d -wertige Zufallsvariable. XXX 21

22 4 Integral und Erwartungswert 4.1 Integral Wir definieren das so genannte Lebesgue-Integral einer Funktion. Definition 4.1 Sei (, Σ, µ) ein Maßraum. 1. Wir definieren die Menge der einfachen Funktionen { } n S + := f : R, f = α k 1 Ak : n N, α 1,..., α n 0, A 1,..., A n Σ. k=1 2. Für f S + definieren wir das Integral von f über bezüglich µ f dµ := n α k µ(a k ). 3. Für messbares f : R mit f 0 definieren wir das Integral von f über bezüglich µ { } f dµ := sup h dµ : h S +, 0 h f [0, ]. 4. Ist f : R messbar und gilt f dµ < oder f + dµ <, so definieren wir das Integral von f über bezüglich µ als f dµ := f + dµ f dµ. k=1 Hier ist f + (ω) = max(0, f(ω)), f (ω) = max(0, f(ω)). f heißt in diesem Fall integrierbar. Wir verwenden für das Integral von f über bezüglich µ auch oft eine der folgenden Schreibweisen: f(x)dµ(x), f(x)µ(dx), µ(f). Das Lebesgue-Integral ist wie jeder gute Integralbegriff linear: 22

23 4 Integral und Erwartungswert Proposition 4.2 Seien f, g integrierbar mit endlichem Integral und seien α, β R. Dann ist auch αf + βg integrierbar mit endlichem Integral und es gilt (αf + βg)dµ = α f dµ + β g dµ. Beweis. Übung. Lemma 4.3 Sei f : R eine nicht-negative, messbare Funktion. Dann gibt es eine Folge (f n ) n 1 in S + mit f n (ω) f(ω) für alle ω. Beweis. Wir definieren für jedes n N eine Funktion α n, 0 falls x 0, α n (x) := (k 1)2 n falls (k 1)2 n < x k2 n n, n falls x > n. Dann ist f n := α n f S + und f n (ω) f(ω) für alle ω. Satz 4.4 (Satz von der monotonen Konvergenz) Seien 0 f, f 1, f 2,... messbare Funktionen mit f n f. Dann gilt f n dµ f dµ. Zusatz: Die Aussage gilt auch dann, falls f n f lediglich ausserhalb einer Menge vom Maß 0 gilt: f n (ω) f(ω) für alle ω \N, P(N) = 0. Beweis. Analysis III. Lemma 4.5 (Fatou-Lemma für Funktionen) Für eine Folge (f n ) n 1 von nicht-negativen messbaren Funktionen gilt lim inf f ndµ lim inf f n dµ. Beweis. Sei g n := inf k n f k. Für k n ist f k g n, sodass f k dµ g n dµ und daher inf f k dµ g n dµ. k n Dann folgt mit Satz 4.4, lim inf f ndµ = lim g n dµ lim inf k n f k dµ = lim inf f k dµ. 23

24 4 Integral und Erwartungswert Lemma 4.6 (Umgekehrtes Fatou-Lemma für Funktionen) Sei (f n ) n 1 eine Folge von nicht-negativen, messbaren Funktionen und sei g eine nicht-negative, messbare Funktion mit 0 f n g für alle n 1. Dann gilt lim sup f n dµ lim sup Beweis. Wende Lemma 4.5 auf die Folge (g f n ) n 1 an. f n dµ. Definition 4.7 Ist f eine messbare Funktion und sind sowohl f + dµ < und f dµ <, so sagen wir f L 1 (, Σ, µ). Bemerkung 4.8 Es ist f L 1 (, Σ, µ) genau dann, wenn f messbar ist und f dµ <. Hier ist natürlich f (ω) = f(ω), sodass f = f + + f. Proposition 4.9 Für integrierbare Funktionen f gilt fdµ f dµ. Beweis. Es ist fdµ = = f + dµ f dµ f + dµ + f + dµ + f dµ = f dµ. f dµ Satz 4.10 (Satz von der dominierten Konvergenz) Seien (f n ) n 1, f messbare Funktionen mit f n f und sei (f n ) n 1 durch g L 1 (, Σ, µ) dominiert, dh. f n (ω) g(ω) für alle ω und n N. Dann gilt f n f in L 1 (, Σ, µ), dh. f n f dµ 0 und insbesondere f n dµ fdµ. Beweis. Es gilt f n f f n + f 2g, wobei 2gdµ <. Nach dem umgekehrten Fatou-Lemma für Funktionen (Lemma 4.6) gilt Da lim sup folgt das Resultat. f n f dµ f n dµ lim sup f n f dµ = fdµ f n f dµ, 0dµ = 0. 24

25 4 Integral und Erwartungswert Bemerkung 4.11 ( Die Standard-Maschine ) Wie beweist man eine lineare Aussage für alle f L 1 (, Σ, µ)? 1. Man zeige die Aussage für eine Indikator Funktion 1 A, A Σ. 2. Wegen der Linearität gilt die Aussage dann für alle f S Mit dem Satz von der monotonen Konvergenz (Satz 4.4) bekommt man die Aussage für nicht-negative messbare Funktionen f. 4. Wegen der Linearität gilt die Aussage dann für f = f + f. Beispiel 4.12 Für nicht-negative, messbare Funktionen f und A Σ definieren wir fdµ := f 1 A dµ. A Andererseits betrachten wir den Maßraum (A, Σ A, µ A ) wobei Σ A = {A B : B Σ} (das ist eine σ-algebra) und µ A (B) = µ(a B). Es sollte nun gelten, dass f A dµ A = f 1 A dµ. A Wir werden diese Behauptung mit Hilfe unserer Standard-Maschine aus Bemerkung 4.11 beweisen. 1. Sei f = 1 B, dann gilt 1 B 1 A dµ = und A 1 B A dµ A = A 1 A B dµ = µ(a B) 1 A B dµ A = µ A (A B) = µ(a B). Somit ist die Aussage für Indikator Funktionen bewiesen. 2. Sei f = n k=1 α k1 Bk, dann gilt f 1 A dµ = = n α k k=1 n α k k=1 A 1 Bk 1 A dµ 1 Bk A dµ A = A f A dµ A. 3. Sei f eine nicht-negative, messbare Funktion. Sei (f n ) n 1 eine Folge in S + mit f n f. Dann gilt f 1 A dµ = lim f n 1 A dµ = lim f n A dµ A = f A dµ A, A A wobei die erste und dritte Gleichheit wegen Satz 4.4 gilt und die zweite Gleichheit wegen 2. 25

26 4 Integral und Erwartungswert 4. Sei f eine beliebige integrierbare Funktion, dann gilt f 1 A dµ = (f + f ) 1 A dµ = f + 1 A dµ f 1 A dµ. Wegen 3. gilt f + 1 A dµ = A f + A dµ A und f 1 A dµ = A f A dµ A. Das Resultat folgt nun wieder aus der Linearität des Integrals. Übung 4.13 Zeigen Sie, dass Σ A aus Beispiel 4.12 eine σ-algebra ist. Beispiel 4.14 Sei g eine nicht-negative, messbare Funktion. Für A Σ definieren wir (gµ)(a) := g 1 A dµ. Dann ist (gµ) ein Maß auf Σ. Ist h eine weitere nicht-negative, messbare Funktion, dann gilt (h(gµ))(a) = ((hg)µ)(a) für alle A Σ, also h(gµ) = (hg)µ. Ist h eine Indikatorfunktion, so folgt die Aussage aus der Definition, den Rest macht die Standard-Maschine. Übung 4.15 Zeigen Sie, dass (gµ) aus Beispiel 4.14 ein Maß auf Σ ist. Definition 4.16 Seien µ, ν zwei Maße. Gibt es eine nicht-negative, messbare Funktion g mit ν = gµ, so heißt g eine Dichte von ν bezüglich µ und man schreibt auch dν dµ = g. Man nennt g die Radon-Nikodym Ableitung von ν bezüglich µ. Lemma 4.17 (Integration bezüglich eines Maßes mit Dichte) Sei (, Σ, µ) ein Maßraum. Sei ν ein weiteres Maß und sei die nicht-negative, messbare Funktion g eine Dichte von ν bezüglich µ. Sei f : R eine messbare Funktion. Dann ist f L 1 (, Σ, ν) genau dann, wenn f g L 1 (, Σ, µ) ist. Es gilt dann fdν = f g dµ. Beweis. Sei f = 1 A, A Σ. Dann gilt fdν = ν(a) = (gµ)(a) = 1 A g dµ = f g dµ. Also gilt die Aussage für Indikator Funktionen. Den Rest macht unsere Standard-Maschine. 26

27 4 Integral und Erwartungswert Definition 4.18 Seien (, F, P) ein Maßaum und N eine Teilmenge von S. N heißt Nullmenge, falls es eine Menge A F gibt mit N A und P(A) = 0. Bemerkung 4.19 Ist ν = gµ, so folgt aus µ(a) = 0, A Σ, dass ν(a) = 0. Die Umkehrung dieser Aussage gilt auch, falls µ σ-endlich ist (Satz von Radon-Nikodym). Lemma 4.20 Ist (, Σ, µ) ein Maßraum, f : R eine messbare Funktion und A Σ mit µ(a) = 0. Dann ist fdµ = 0. A Beweis. Falls f = 1 B, B Σ, so gilt fdµ = f 1 A dµ = 1 A B dµ = µ(a B) = 0. A Den Rest macht wieder unsere Standard-Maschine. Sprechweise. Sei E eine Eigenschaft welche für die Elemente von erklärt ist und sei N = {ω : ω hat Eigenschaft E nicht}. Falls N eine Nullmenge ist, dh. N A F mit P(A) = 0, so sagt man die Eigenschaft E gilt fast sicher und wir schreiben einfach f.s. Oft sagt man auch E gilt mit Wahrscheinlichkeit Erwartungswert Sei im Folgenden (, F, P) ein Wahrscheinlichkeitsraum. Definition 4.21 Sei X eine Zufallsvariable auf mit X dp <. Dann ist der Erwartungswert von X definiert als E(X) := XdP. Für nicht-negatives X definieren wir E(X) := XdP. Satz 4.22 Sei (X n ) n 1 eine Folge von Zufallsvariablen und sei X eine Zufallsvariable. 1. (Satz über die monotone Konvergenz) Gilt 0 X n X f.s., dann gilt E(X n ) E(X). 27

28 4 Integral und Erwartungswert 2. (Lemma von Fatou für Funktionen) Ist X n 0 f.s., dann gilt ( ) E lim inf X n lim inf E(X n). 3. (Satz von der dominierten Konvergenz) Falls X n X f.s. und falls es eine Zufallsvariable Y 0 mit E(Y ) < gibt mit X n (ω) Y (ω) für fast alle ω für alle n 1, dann gilt E( X n X ) 0 und insbesondere E(X n ) E(X). 4. (Satz von der beschränkten Konvergenz) Gilt X n X f.s. und gibt es eine Konstante K 0 mit X n (ω) K für fast alle ω für alle n 1, dann gilt und insbesondere E( X n X ) 0 E(X n ) E(X). Beweis. Wir haben die Aussagen des Satz im wesentlichen schon bewiesen, 4. ist ein Spezialfall von 3. Es fehlt nur noch die Verallgemeinerung auf f.s., etwa für 3. X n X f.s. heißt es gibt eine Menge N 0 F mit P(N 0 ) = 0 und X n (ω) X(ω) für alle ω \ N 0. Weiters gibt es für jedes n N ein N n F mit P(N n ) = 0 und X n (ω) Y (ω) für alle ω \ N n. Sei nun N := n 0 N n. Dann ist Nun gelten für alle ω und Aus Satz 4.10 folgt nun Da aber P(N) n 0 P(N n ) = 0. X n (ω)1 N c(ω) X(ω)1 N c(ω) X n (ω)1 N c(ω) Y (ω)1 N c(ω). E( X n 1 N c X1 N c ) 0. E( X n 1 N c X1 N c ) = E( X n X 1 N c) = X n X dp X n X dp N = X n X dp = E( X n X ), folgt die erste Aussage von 3. Analog gilt E(X n ) = E(X n 1 N c) E(X1 N c) = E(X). 28

29 4 Integral und Erwartungswert Definition 4.23 Sei X eine Zufallsvariable sodass E(X) definiert ist. Für F F definieren wir E(X; F ) := E(X 1 F ) = XdP. Lemma 4.24 (Markov Ungleichung) Sei Z eine Zufallsvariable, Z 0. Dann gilt für c 0, dass E(Z) E(Z; Z c) c P(Z c). Beweis. Es ist E(Z) = E(Z; Z c) + E(Z; Z < c) E(Z; Z c) E(c; Z c) = c P(Z c). Proposition Sei X eine Zufallsvariable mit Wertebereich [0, ] und E(X) <. Dann gilt P(X < ) = 1, dh. X ist f.s. endlich. 2. Sei (X k ) k 1 eine Folge von Zufallsvariablen mit Wertebereich [0, ]. Dann gilt ( ) E X k = E(X k ). k 1 k 1 3. Sei (X k ) k 1 eine Folge von Zufallsvariablen mit Wertebereich [0, ]. Falls der Erwartungswert E ( k 1 X k) <, dann gilt Xk 0 f.s. Beweis. 1. Angenommen es ist P(X < ) < 1, dh. P(X = ) > 0. Dann folgt aus Lemma 4.24, dass E(X) n P(X n) n P(X = ). Für n erhält man daraus aber E(X) = was einen Widerspruch ergibt. 2. Es ist 0 N k=1 X k k 1 X k. Damit folgt die Behauptung aus dem Satz von der dominierten Konvergenz, Satz Gilt E ( k 1 X k f.s. und somit X k 0 f.s. ) <, dann folgt aus 1., dass P ( k 1 X k F ) = 1, dh. k 1 X k < 29

30 4.3 Erwartungswertformeln 4 Integral und Erwartungswert Folgende Formeln sind oft nützlich, wenn es darum geht, den Erwartungswert einer Zufallsvariable bei gegebener Verteilung bzw. Dichte zu berechnen: Lemma 4.26 (Erwartungswertformel I) Sei X eine Zufallsvariable und sei L X die Verteilung von X (dh. für B B(R) ist P(X B) = L X (B)). Sei h : R R eine Borel messbare Funktion. Dann ist h(x) L 1 (, F, P) genau dann, wenn h L 1 (R, B(R), L X ) und es gilt E(h(X)) = h(x)l X (dx) = hdl X. R R Beweis. Sei B B(R) und sei h = 1 B. Dann gilt E(h(X)) = P(X B) = L X (B) = 1 B dl X. Den Rest macht wieder unsere Standard-Maschine (Bemerkung 4.11). R Definition 4.27 Wir sagen eine Zufallsvariable X hat Wahrscheinlichkeitsdichte (kurz Dichte) f X, falls f X : R [0, ) eine Borel messbare Funktion ist mit P(X B) = f X (x)dx = f X dλ für alle B B(R). B Bemerkung 4.28 Da P(X B) = L X (B), hat X eine Dichte genau dann, wenn das Maß L X eine Dichte bezüglich dem Lebesguemass λ hat (vgl. Definition 4.16). Korollar 4.29 (Erwartungswertformel II) Sei X eine Zufallsvariable mit Dichte f X und sei h : R R eine Borel messbare Funktion. Dann ist E( h(x) ) < B genau dann, wenn und dann ist h(x) f X (x)dx < R E(h(X)) = h(x)f X (x)dx. R Beweis. Für nicht-negative h gilt nach der Erwartungswertformel I (Lemma 4.26) E(h(X)) = hdl X = h f X (x) dλ = h(x)f X (x)dx. Daraus folgt dann die Behauptung. R R R 30

31 4 Integral und Erwartungswert Satz 4.30 (Erwartungswertformel III) Sei X eine nicht-negative reelle Zufallsvariable. Dann gilt: E(X) = 0 P(X > x)dx. Beweis. Wir zeigen die Aussage für X = n k=1 α k1 Ak. Dann folgt die allgemeine Aussage mittels des Satzes über die monotone Konvergenz. Sei also X von obiger Form. O.B.d.A. gilt α 1 <... < α n. Die A j sind dann paarweise disjunkt und P(X > α k ) = n j=k+1 P (A j). Wir definieren α 0 := 0. Es ist nun E(X) = = = = = n α k P(A k ) k=1 n k=1 j=1 n j=1 k=j+1 k (α j α j 1 )P(A k ) n (α j α j 1 )P(A k ) n (α j α j 1 )P(X > α j ) j=1 0 P(X > x)dx. Das letzte Integral ist dabei ein Riemann-integral. Es ist auch ein eigentliches Integral, da der Integrand für x > α n verschwindet. Bemerkung 4.31 Zum Merken ist der folgende Beweis für Zufallsvariablen mit stetiger Dichte auch ganz gut: Wenn F die Verteilungsfunktion von X ist, dann ist f(x) = (1 F (x)) = P(X > x). Mit partieller Integration ist also E(X) = 0 x( f(x))dx = x(1 F (x)) (1 F (x))dx = 0 P(X > x)dx. Mit etwas mehr Aufwand funktioniert der obige alternative Beweis auch noch für beliebige nicht-negative Zufallsvariablen mit Dichte. Proposition 4.32 Sei X eine reelle Zufallsvariable mit Verteilungsfunktion F und Dichte f. Dann ist F fast überall differenzierbar mit F = f f.ü.. Beweis. Wenn X eine Dichte hat, dann gilt also dl X = f, also L(B) = fdλ für alle dλ B B B(R). Insbesondere gilt F (a) = P(X a) = L X ((, a]) = a f(x)dx für alle a. Aus [2, Theorem 31.3] folgt nun die Behauptung. 31

32 4 Integral und Erwartungswert 4.4 Jensen sche Ungleichung Definition 4.33 Sei G R ein offenes Intervall. Eine Funktion c : G R heißt konvex, falls für alle x, y G und alle p, q 0 mit p + q = 1 gilt c(px + qy) pc(x) + qc(y). Proposition 4.34 Sei G R ein offenes Intervall und c : G R eine konvexe Funktion. Seien x, y, z G und x < z < y. Dann gilt c(z) c(x) z x c(y) c(x) y x c(y) c(z). y z x z y Beweis. Wir stellen z als eine Linearkombination von x und y dar, z = y z y x x + z x y x y. Da c konvex ist, gilt Damit folgt und c(z) y z y x c(x) + z x y x c(y). c(z) c(x) z x (c(y) c(x)) y x c(z) c(x) z x Die zweite Ungleichung folgt analog. c(y) c(x). y x Satz 4.35 (Jensen sche Ungleichung) Sei G R ein offenes Intervall, c : G R eine konvexe Funktion und X eine Zufallsvariable mit E( X ) <, P(X G) = 1 und E( c(x) ) <. Dann gilt E(c(X)) c(e(x)). 32

33 4 Integral und Erwartungswert Beweis. Es ist eine einfache Übungsaufgabe zu zeigen, dass µ := E(X) G. Aus Proposition 4.34 folgt, dass c auf G stetig ist und dass für jedes y G die monotonen Grenzwerte (D c)(y) := lim x y c(y) c(x) y x und existieren und (D c)(y) (D + c)(y) erfüllen. Sei m [(D c)(y), (D + c)(y)]. Falls x > y, so ist c(x) c(y) x y Analog gilt für x < y, c(y) c(x) y x Also gilt für alle x G die Ungleichung (D + c)(y) m. (D c)(y) m. c(x) c(y) + m(x y). Setzen wir nun y = µ, dann gilt insbesondere c(x) c(µ) + m(x µ) f.s. für m [(D c)(µ), (D + c)(µ)], da P(X G) = 1. Damit folgt (D + c)(y) := lim z y c(z) c(y) z y E(c(X)) E(c(µ) + m(x µ)) = c(µ) = c(e(x)) und der Beweis ist fertig. Übung 4.36 Sei X wie in Satz Zeigen Sie, dass E(X) G. Lösung zu Übung Sei G = (a, b) mit a, b R und a < b. Wir wählen reelle Folgen (a n ) n 1, (b n ) n 1 mit a n > a, a n a und b n < b, b n b. Dann ist G = n 1 [a n, b n ] und nach Lemma 1.24 gilt 1 = P(X G) = lim P(X [a n, b n ]). Daraus folgt aber die Existenz eines Index n 0 1 mit P(X [a n0, b n0 ]) > 0. Nun gilt E(X) = XdP = XdP X (a,b) = XdP + XdP. Damit gilt X [a n0,b n0 ] X (a,b)\[a n0,b n0 ] E(X) a n0 P(X [a n0, b n0 ]) + ap(x (a, b) \ [a n0, b n0 ]) > ap(x G) = a. Analog folgt die Ungleichung E(X) < b. 33

34 5 L p -Räume 5.1 Definition und Vollständigkeit Definition 5.1 Sei (, Σ, µ) ein Maßraum und p R +. Wir definieren { } L p (, Σ, µ) := f : R : f p dµ <, f messbar. Für f L p (, Σ, µ) definieren wir die L p -Norm durch ( 1/p f p := f dµ) p. Bemerkung 5.2 Für a, b > 0 gilt (a + b) p (2 max(a, b)) p 2 p (a p + b p ) und somit folgt, dass L p (, Σ, µ) ein Vektorraum ist. Lemma 5.3 (Monotonie der L p -Norm) Sei (, F, P) ein Wahrscheinlichkeitsraum. Ist 1 p r < und Y L r (, F, P), dann ist Y L p (, F, P) und Beweis. Für n 1 definieren wir Y p Y r. X n (ω) := (min( Y (ω), n)) p. Dann ist X n für jedes n N durch n p beschränkt, sodass X n L 1 (, F, P) und Xn r/p L 1 (, F, P). Wir definieren weiters die Funktion c : R R, { x r/p falls x 0, c(x) := 0 falls x < 0. Dann ist c konvex und aus der Jensen sche Ungleichung (Satz 4.35) folgt c(e(x n )) E(c(X n )). Dh. (E((min( Y ( ), n)) p )) r/p E((min( Y ( ), n)) r ) und somit (E((min( Y ( ), n)) p )) 1/p (E((min( Y ( ), n)) r )) 1/r. Das Resultat folgt nun mit Satz 4.22 (Satz über die monotone Konvergenz). 34

35 5 L p -Räume Korollar 5.4 Sei (, Σ, µ) ein endlicher Maßraum und 1 p r <. Ist f L r (, Σ, µ), so ist f L p (, Σ, µ) und f p µ() p/r f r. Beweis. Für A Σ definieren wir P(A) := µ(a) µ(). Dann ist P ein W-Maß auf (, Σ) und nach Lemma 5.3 gilt E( f p ) 1/p E( f r ) 1/r. Ausgeschrieben bedeutet das Das Resultat folgt. ( 1/p ( 1/r 1 1 f dµ) p f dµ) r. µ() µ() Satz 5.5 (Vollständigkeit von L p (, Σ, P)) Sei (, F, P) ein Wahrscheinlichkeitsraum und sei 1 p <. Ist (X n ) n 1 eine Cauchy-Folge in L p (, F, P), dh. sup X r X s p 0 r,s k für k, dann gibt es ein X L p (, F, P) derart, dass X n X in L p (, F, P), dh. für n gilt X n X p 0. Beweis. Wir wählen eine Teilfolge (X nk ) k 1 mit folgender Eigenschaft: für r, s n k ist Dann gilt insbesondere X r X s p < 2 k. E( X nk+1 X nk ) = X nk+1 X nk 1 X nk+1 X nk p < 2 k, sodass nach Proposition 4.25 (2.) folgt ( ) E X nk+1 X nk <. k 1 Mit Proposition 4.25 (1.) folgt dann ( ) P X nk+1 X nk = 1 k 1 35

36 5 L p -Räume und somit konvergiert die Reihe (X nk+1 X nk ) k 1 f.s. absolut. Damit ist die Folge (X nk ) k 1 f.s. konvergent (dh. lim k X nk (ω) existiert für alle ω ausgenommen einer Nullmenge). Wir definieren nun X := lim sup X nk. k Dann ist X als lim sup messbarer Funktionen wieder messbar (Lemma 3.6) und es gilt X nk X f.s. für k. Sei k N und r n k. Dann gilt für t k, E( X r X nt p ) = X r X nt p p 2 kp. Mit dem Lemma von Fatou (Satz 4.22) folgt ( ) E( X r X p ) = E lim inf X r X nt p lim inf E( X r X nt p ) 2 kp, t t sodass X r X L p (, F, P). Da L p (, F, P) ein Vektorraum ist folgt nun auch X L p (, F, P) und X r X p 0 falls r. Oft ist es auch praktisch, wenn man dichte Teilmengen bzw. -räume eines L p -Raumes kennt. Satz 5.6 Sei f L 1 (R, B(R), λ), λ das Lebesguemaß. 1. Es gibt eine Treppenfunktion h = m k=1 α k1 (ak,b k ] mit f(x) h(x) dx < ε. R 2. Es gibt eine stetige Funktion g mit f(x) g(x) dx < ε. R Beweis. Siehe etwa [2, Theorem 17.1]. 5.2 Hölder- und Minkowski-Ungleichung Satz 5.7 Sei p > 1 und sei = 1. Seien f, g p q Lp (, Σ, µ) und h L q (, Σ, µ). 1. (Hölder-Ungleichung) Es ist f h L 1 (, Σ, µ) und f h 1 f p h q. 2. (Minkowski Ungleichung) Es gilt f + g p f p + g p. 36

37 Beweis. 5 L p -Räume 1. O.B.d.A. seien f, h 0 und f p dµ > 0. Für A Σ definieren wir P(A) := f p dµ A f p dµ = f p A f p dµ. p Dann ist P ein W-Maß auf (, Σ). Weiters definieren wir { h(ω) falls f(ω) > 0, u(ω) := f(ω) p 1 0 falls f(ω) = 0. Aus der Jensen schen Ungleichung (Satz 4.35) folgt dann ( q u q dp udp). Nun ist aber udp = = = h f 0 f p 1 1 f p p 1 f p p f 0 f p f p dµ + p h f dµ + h f dµ f=0 f=0 und (beachten Sie, dass (p 1)q = p) ( ) q h u q f p dp = f 0 f p 1 f p dµ + p h q = f f p p f p dµ p f 0 0 dµ 0 dµ f=0 0 dµ h q q f p. p Also erhalten wir ( 1 und somit da p p q = p (p 1) = 1. f p p ) q h f dµ h q q f p p h f dµ h q f p p/q p = h q f p, 37

38 5 L p -Räume 2. Wir verwenden 1. Es gilt f + g p dµ = f + g f + g p 1 dµ f f + g p 1 dµ + g f + g p 1 dµ ( ) 1/q ( f p f + g q(p 1) dµ + g p f + g q(p 1) dµ ( ) 1/q = ( f p + g p ) f + g q(p 1) dµ ( 1/q = ( f p + g p ) f + g dµ) p. ) 1/q Die 2. Ungleichung gilt wegen 1. und die letzte Gleichheit gilt wegen q(p 1) = p. Also gilt f + g p p ( f p + g p ) f + g p/q p bzw. Da p p q f + g p p/q p f p + g p. = 1 folgt die Behauptung. 5.3 L 2 -Räume Besonders wichtig in diesem Zusammenhang ist der Fall p = q = 2 (Hilbertraumtheorie). Wir wiederholen einige der wichtigsten Resultate. Korollar 5.8 (Cauchy-Schwarz Ungleichung) Seien f, g L 2 (, Σ, µ). Dann ist f g L 1 (, Σ, µ) und f, g := f g dµ ist eine Bilinearform auf L 2 (, Σ, µ) L 2 (, Σ, µ). Weiters gilt f, g f g 1 f 2 g 2. Beweis. Es ist leicht nachzurechnen, dass f, g eine Bilinearform ist. Der Rest folgt aus der Hölder Ungleichung (Satz 5.7) für p = q = 2. Definition 5.9 Zwei Funktionen f, g L 2 (, Σ, µ) heißen orthogonal, wenn f, g = 0. Satz 5.10 (Satz von Pythagoras) Seien f 1, f 2,... f n paarweise orthogonale Funktionen in L 2 (, Σ, µ), dh., f i, f j = 0 für i j. Dann gilt n 2 n f k = f k 2 2. k=1 2 k=1 38

39 5 L p -Räume Beweis. Für alle f L 2 (, Σ, µ) gilt f, f = f 2 dµ = f 2 2. Damit folgt n n n n f k, f j = f k, f j = f k 2 2. k=1 j=1 k,j=1 k=1 Übung 5.11 (Parallelogrammregel) Für f, g L 2 (, Σ, µ) gilt f + g f g ( f g 2 2). Satz 5.12 (Orthogonale Projektion) Sei L 2 = L 2 (, Σ, µ). Sei K L 2 ein linearer Teilraum von L 2 welcher abgeschlossen ist in dem Sinne, dass für jede bezüglich. 2 konvergente Folge (f n ) n 1 mit f n K für alle n 1 gilt lim f n K. Dann gibt es zu jedem f L 2 ein g K mit folgenden Eigenschaften: 1. Es ist f g 2 = := inf{ f h 2 : h K} und 2. für alle h K ist f g, h = 0. Ist g ein weiteres Element in K mit diesen beiden Eigenschaften, dann gilt g = g f.s. Beweis. Wir wählen eine Folge (g n ) n 1 in K mit f g n 2 für n. Mit der Parallelogrammregel (Übung 5.11) folgt f g r f g s 2 2 = 2 f (g r + g s ) (g r g s ). Da 1 2 (g r + g s ) K folgt f 1 2 (g r + g s ) 2 und somit ist (g n ) n 1 eine Cauchy-Folge. Wegen Satz 5.5 existiert nun ein g L 2 mit g n g 0 für n. Da K abgeschlossen ist liegt g auch in K. 1. Für alle n 1 ist f g 2 f g n 2 + g n g 2 und somit ist f g 2. Andererseit ist aber g K womit f g 2 folgt. Zusammen gilt nun f g 2 =. 2. Sei h K und t R. Dann ist auch g + th K und somit ist Damit folgt 2 = f g 2 2 f (g + th) 2 2 = (f g) + th 2 2 = f g f g, th + th t f t, h + t 2 h für alle t R und somit ist f g, h =

40 5 L p -Räume Sei nun g K mit f g 2 =. Aus der Parallelogrammregel folgt wiederum f g f g 2 2 = 2 f 1 2 (g + g ) und somit gilt g g (g g ) 2 2 Daraus folgt g g 2 = 0 und somit ist g = g f.s. 40

41 6 Unabhängigkeit 6.1 Unabhängige σ-algebren und Ereignisse Definition 6.1 Sei (, F, P) ein Wahrscheinlichkeitsraum. 1. Sei (G i ) i I eine Familie von Teil-σ-Algebren von F. Die (G i ) i I heißen unabhängig, falls für alle paarweise verschiedenen Indizes i 1,..., i n I und alle messbaren Mengen G i1 G i1,..., G in G in gilt P(G i1... G in ) = n P(G ik ). 2. Sei (X i ) i I eine Familie von Zufallsvariablen. Die (X i ) i I heißen unabhängig, wenn die (σ(x i )) i I unabhängig sind. 3. Sei (A i ) i I eine Familie von Ereignissen. Die (A i ) i I heißen unabhängig, wenn die σ-algebren (G i ) i I unabhängig sind, wobei k=1 G i := {,, A i, A c i} = σ(a i ). Bemerkung 6.2 Natürlich wird uns oft der endliche bzw. der abzählbar unendliche Fall interessieren und insbesondere auch der Fall, wo die Familien aus nur zwei Elementen bestehen. Betrachten wir etwa die elementare Definition von unabhängigen Ereignissen, A, B sind genau dann unabhängig, wenn P(A B) = P(A)P(B), dann folgt aus diesem Sachverhalt genau unsere Definition (Definition 6.1) für zwei Ereignisse. Beweis. Es ist A = (A B c ) (A B) und diese Vereinigung ist disjunkt. Damit folgt Daraus folgt P(A) = P(A B c ) + P(A B) = P(A B c ) + P(A)P(B). P(A B c ) = P(A)(1 P(B)) = P(A)P(B c ) und analog P(B A c ) = P(B)P(A c ). Weiters kann man darstellen als = (A B c ) (A c B) (A B) (A c B c ) 41

42 6 Unabhängigkeit und diese Vereinigung ist disjunkt. Damit folgt 1 = P() = P(A B c ) + P(A c B) + P(A B) + P(A c B c ) = P(A)P(B c ) + P(A c )P(B) + P(A)P(B) + P(A c B c ) = (1 P(A c ))P(B c ) + P(A c )(1 P(B c )) + (1 P(A c ))(1 P(B c )) +P(A c B c ). Daraus folgt P(A c B c ) = P(A c )P(B c ). Also gilt für alle E 1 {,, A, A c } und E 2 {,, B, B c }, dass P(E 1 E 2 ) = P(E 1 )P(E 2 ). Beispiele 6.3 P({ω}) = Der Wurf eines Würfels: = {1, 2, 3, 4, 5, 6}, F = P() und für alle ω. Wir betrachten die beiden Ereignisse A := {gerade Augenzahl} und B := {Augenzahl 2}. Dann ist P(A B) = P({2}) = 1, P(A) = 1, P(B) = 1. Somit ist P(A B) = 1 = = P(A)P(B). Also sind A und B unabhängig. 2 3 Betrachten wir ein weiteres Ereignis C := {Augenzahl 3}, dann ist P(A C) = 1, P(C) = 1 und somit P(A)P(C) = 1. Also sind A und C nicht unabhängig. 2. Der zweifache Wurf eines Würfels: = {(i, j) : 1 i, j 6}, F = P() und P(ω) = 1 für alle ω. Wir betrachten die beiden Ereignisse 36 A := {1. Wurf hat gerade Augenzahl} und B := {2. Wurf hat Augenzahl 2}. Also A = {2, 4, 6} {1, 2,..., 6} und B = {1, 2,..., 6} {1, 2}. Dann ist P(A) = 1 2, P(B) = 1 3. Weiters ist A B = {2, 4, 6} {1, 2} und somit P(A B) = 1 6. Also sind die Ereignisse A und B unabhängig. Sei nun C := {2. Wurf hat Augenzahl 3}, also C = {1, 2,..., 6} {1, 2, 3}, dann ist P(C) = 1, A C = {2, 4, 6} {1, 2, 3}, 2 P(A C) = 1 und somit sind auch die Ereignisse A und C unabhängig. 4 42