Stochastik II Skript zur Vorlesung. Wolfgang Näther Dietrich Stoyan Helge Bahmann Tobias Schlemmer Gunter Döge

Transkript

1 Stochastik II Skript zur Vorlesung Wolfgang Näther Dietrich Stoyan Helge Bahmann Tobias Schlemmer Gunter Döge April 005

2

3 INHALTSVERZEICHNIS i Inhaltsverzeichnis 1 Nachträge zu den Grundlagen der Stochastik Eigenschaften der Wahrscheinlichkeit Darstellung der hypergeometrischen Verteilung als Bildmaß Zufallsgrößen und Verteilungen - maßtheoretisch 7.1 Zufallsgrößen Erwartungswerte - maßtheoretisch Allgemeines und Formeln Definition Berechnung von Erwartungswerten Einige Ungleichungen Quantile und Zufallszahlen-Erzeugung 13 5 Unabhängigkeit und Produktmaße Unabhängigkeit von σ-algebren Unabhängige oder Produkt-Experimente Zufällige Vektoren, unabhängige Zufallsgrößen Zufällige Vektoren Grundbegriffe Diskrete und absolutstetige Zufallsvektoren Randverteilungen Unabhängigkeit Erwartungswert, Kovarianz, Korrelation Beispiele für Verteilungen zufälliger Vektoren Gleichverteilung auf G R d n-dimensionale Normalverteilung Gibbs-Verteilung Bayes-a-posteriori-Verteilung

4 ii INHALTSVERZEICHNIS 7 Bedingte Verteilungen, bedingte Erwartung Einführung Bedingte Größen bezüglich B A mit P (B) > Verteilung von X unter der Bedingung Y = y Allgemeiner Begriff der bedingten Erwartung Funktionen von Zufallsvektoren, Faltung Funktionen von zufälligen Vektoren Prüfverteilungen der Statistik χ -Verteilung mit n Freiheitsgraden Verteilung von S t-verteilung mit n Freiheitsgraden F -Verteilung Charakteristische Funktionen Definition Elementare Eigenschaften Umkehr- und Eindeutigkeitssatz Die charakteristische Funktion und Momente Stetigkeitssatz Gesetze der großen Zahlen Konvergenzarten der Stochastik Gesetze der großen Zahlen Schwache Gesetze der großen Zahlen Starkes Gesetz der großen Zahlen Zentrale Grenzwertsätze Vorbetrachtungen Grenzwertsatz von Moivre-Laplace Grenzwertsatz für Folgen von iid-zufallsgrößen Grenzwertsatz von Lindeberg-Feller Eigenschaften von Schätzern Ungleichung von Rao-Cramér Suffiziente Schätzer Signifikanztests Einführung Beispiel: Mittelwert-Tests im Fall der Normalverteilung Bekannte Varianz Gauß-Test

5 INHALTSVERZEICHNIS Unbekannte Varianz Student-Test, t-test Vergleich zweier Mittelwerte Welch-Test Ausgewählte weitere Tests im Fall der Normalverteilung Varianztest Korrelation χ -Anpassungstest Regressionsanalyse Einführung Methode der kleinsten Quadrate für Modell I Nicht parametrische Regression Konfidenz-Intervalle 83 Literaturverzeichnis 87 Index 87

6 INHALTSVERZEICHNIS

7 3 Kapitel 1 Nachträge zu den Grundlagen der Stochastik In diesem Kapitel sollen die Grundlagen der Wahrscheinlichkeitstheorie auf der Grundlage der Maßtheorie erläutert werden. 1.1 Eigenschaften der Wahrscheinlichkeit Um ein Zufallsexperiment quantitativ zu beschreiben, werden den Ereignissen A A Häufigkeiten ihres möglichen Auftretens, die sog. Wahrscheinlichkeiten, zugeordnet. Die Wahrscheinlichkeit 1 dafür, dass A eintritt (kurz: Wahrscheinlichkeit von A), wird mit P (A) bezeichnet. Definition 1.1 Axiomatische Definition von Kolmogorow Der Maßraum [Ω, A, P ] ist der sogenannte Wahrscheinlichkeitsraum. Dabei ist P ein normiertes Maß, das sogenannte Wahrscheinlichkeits-Maß, auch Wahrscheinlichkeits-Verteilung genannt. Damit genügt P : A [0, 1] den folgenden Eigenschaften (jeweils für beliebige A, B A): P (A) 0 P (Ω) = 1 A B = P (A B) = P (A) + P (B) A 1, A,... A paarweise unvereinbar P ( i A i) = i P (A i) (σ-additivität/volladditivität) Aus der Maßtheorie ergeben sich die folgenden Eigenschaften (für A, B, B n A): B n B P (B n ) P (B) Stetigkeit P ( ) = 0 P (A c ) = 1 P (A) A B P (A) P (B) (Monotonie) Ferner gilt die Einschluss-Ausschluss-Formel (Poincaré-Formel): ( n ) n P A i = ( 1) k 1 P (A i1... A ik ) (1.1) k=1 1 i 1<...<i k n 1 lat. probābilitās, -ātis ; engl. probability

8 4 KAPITEL 1. NACHTRÄGE ZU DEN GRUNDLAGEN DER STOCHASTIK Für n = 3 lautet diese Formel zum Beispiel: P (A B C) = P (A) + P (B) + P (C) P (A B) P (B C) P (A C) + P (A B C) und für n = : P (A B) = P (A) + P (B) P (A B) Bemerkung: Das Rechnen mit Komplementen ist eine häufig angewendete Methode, zum Beispiel bei P ( mindestens ein... ) = 1 P ( kein... ). Obwohl das unmögliche Ereignis die Wahrscheinlichkeit 0 hat, ist nicht jedes Ereignis, das die Wahrscheinlichkeit 0 hat, das unmögliche Ereignis. Dementsprechend heißen Ereignisse A mit A, P (A) = 0 fast unmöglich A Ω, P (A) = 1 fast sicher Weiterhin gilt für beliebige Ereignisse A 1, A,... die Boolesche Ungleichung (vergleiche Maßtheorie): ( ) P (A i ) P (A i ) (1.) Satz 1.1 (1. Borel-Cantelli-Lemma) Sei {A i } eine beliebige Folge von Ereignissen. Wenn P (A i ) < ist, so gilt ( ) P lim sup A i = 0. i Beweis: Es gilt lim sup A i = i k=1 n=k A n A n, (k beliebig). n=k Damit lässt sich für beliebig kleines ε zeigen, dass es ein k 0 gibt, so dass für alle k > k 0 gilt: ( ) ( ) P lim sup A i P A n i n=k P (A n ) < ε n=k Satz 1. (. Borel-Cantelli-Lemma) Die Ereignisse A 1,..., A n seien paarweise unabhängig mit P (A n ) =. Dann gilt: n=1 P (lim sup A n ) = 1 n

9 1.1. EIGENSCHAFTEN DER WAHRSCHEINLICHKEIT 5 Beweis. Für vollständig unabhängige A n gilt: N P ( A c k) = k=n ( ) N N (1 P (A k )) exp P (A k ) k=n Letzterer Term strebt gegen Null, wenn N gegen Unendlich geht. (Die Abschätzung nutzte die Beziehung: (1 x) e x.) Für alle n ist daher P ( Formeln folgt: Demzufolge ist k=n A c k ) = 0, und nach der Booleschen Ungleichung und den de-morganschen 0 = P ( n=1 k=n A c k ) = P ( = P (( P (lim sup A n ) = 1. n n=1 k=n k=n ) c ) A k ) (lim sup A n ) c n Diese Sätze sind sogenannte Null-Eins-Gesetze. Diese Gesetze enthalten Aussagen über Wahrscheinlichkeiten, die unter bestimmten Bedingungen nur die Werte 0 oder 1 annehmen können. Eine Anwendung ergibt sich, wenn A n das Ereignis beschreibt, dass bei der n-ten Lotto-Ziehung ein Sechser erzielt wird. Die Voraussetzungen von Satz 1. sind offenbar erfüllt. Schließlich sind die einzelnen A n unabhängig und die Wahrscheinlichkeiten P (A n ) liegen konstant bei P (A 1 ), welche größer als 0 ist. Der Satz besagt nun folgendes: Wenn die Menschheit unendlich lange Lotto spielen würde, käme es unendlich oft vor, dass ein Sechser auftritt. Wahrscheinlichkeits-Begriff Es gab in der Entwicklung der Wahrscheinlichkeitstheorie noch andere Versuche, die Wahrscheinlichkeit zu definieren: Bernoulli definierte 1713 die Wahrscheinlichkeit als Grad der Gewissheit, welcher sich zur Gewissheit wie der Teil zum Ganzen verhält. Ähnlich bezeichnete Laplace 181 damit das Verhältnis der Anzahl der für A günstigen Fälle zu der Anzahl der möglichen Fälle. Dies entspricht der sogenannten frequentistischen Auffassung, die von einer naturgesetzartigen Konvergenz der Häufigkeiten ausgeht. von Mises versuchte 1919, die Wahrscheinlichkeit folgendermaßen zu definieren: Wenn in einer Folge von gleichartigen Beobachtungen bei jeder regellosen Auswahl unendlich vieler Ereignisse die Wahrscheinlichkeit P (A) = stets das gleiche Ergebnis liefert, so ist dieses die Wahrscheinlichkeit. lim n h(a) n Kolmogorow führte 1933 die obige axiomatische Definition der Wahrscheinlichkeit ein: Der Vollständigkeit halber soll hier noch die subjektive Wahrscheinlichkeit angeführt werden. Diese begegnet uns z. B., wenn beim Wetterbericht das Niederschlags-Risiko bekanntgegeben wird. Es handelt sich dabei oft um Zahlenwerte, die der Meteorologe vom Dienst festlegt. vergleiche [6], Seite 74. Dort steht auch der Beweis für den allgemeinen Fall.

10 6 KAPITEL 1. NACHTRÄGE ZU DEN GRUNDLAGEN DER STOCHASTIK 1. Darstellung der hypergeometrischen Verteilung als Bildmaß Das Lottomodell N... Anzahl möglicher Zahlen M... Anzahl der Gewinnzahlen n... Anzahl der getippten Zahlen (siehe Elementare Stochastik, Kapitel B) kann durch ein diskretes Wahrscheinlichkeits-Maß auf Ω = {max{0, n N + M}, max{0, n N + M} + 1,..., min{n, M}} beschrieben werden, die sogenannte hypergeometrische Verteilung. Der Raum (Ω, A = P(Ω ), P (N,M,n) ) mit P (N,M,n) ({k}) = ( M )( N M ) k n k ( N (1.3) n) ist ein Wahrscheinlichkeitsraum und eine Vergröberung des Ausgangswahrscheinlichkeitsraumes (Ω, A = P(Ω), P ), wobei Ω die Menge der ( N n) möglichen Tipps und P die diskrete Gleichverteilung auf A ist. Es gibt ( )( M N M ) k n k Elemente von Ω, die auf dasselbe Element von Ω (nämlich k) führen. Sei der Tipp z.b. die Menge {1,,..., n}. Dann kann eine diesen Tipp charakterisierende Abbildung S : Ω Ω folgendermaßen definiert werden: S(ω) = ω {1,..., n}, ω Ω. ω ist dann ein n-tupel verschiedener Zahlen aus 1,...,N. Da Potenzmengen σ-algebren sind, ist in diesem Falle auch die Messbarkeit gegeben. Das dadurch induzierte Bildmaß ist durch P S ({k}) := P (S 1 ({k})) definiert. Dies lässt sich noch etwas umformen: P (S 1 ({k})) = P ({ω : ω {1,,..., n} = k} = P (N,M,n) ({k}).

11 7 Kapitel Zufallsgrößen und Verteilungen - maßtheoretisch In diesem Kapitel soll nun der Zusammenhang zwischen der Wahrscheinlichkeitstheorie und der Maßtheorie vertieft werden. Reelle Funktionen werden mit Zufallsgrößen und Abbildungen mit Zufallsvariablen identifiziert (diese sind ja beide messbar). Speziell wird aus der Funktion f ein X und aus dem Wert f(x) wird die Realisierung X(ω) = x..1 Zufallsgrößen Oft ist es sinnvoll, das Zufallsgeschehen von (Ω, A, P ) auf einen leichter beschreibbaren Raum (Ω, A ) zu transformieren (z.b. Ω = R d ). Wenn zum Beispiel ω k ein Elementarereignis ist, in dem sich k Unfälle an einem Tag ereignen, dann ist X(ω k ) = k eine sinnvolle Transformation. Ein weiteres Beispiel: Würfeln mit zwei Würfeln, wobei die Augensumme betrachtet wird. Ω ist dann Ω = {1,..., 6} {1,..., 6}. Für den Bildraum ist Ω = R 1 sinnvoll. Zu dem Elementarereignis ω = (ω 1, ω ) bietet sich das Bildelementarereignis ω = ω 1 + ω an. Allgemein muss gesichert sein, dass {X A } = {ω Ω : X(ω) A } = X 1 (A ) A, (.1) damit {X A } ein Ereignis und P (X A ) definiert sind. X muss also eine (A, A )-messbare Abbildung sein. Definition.1 Seien (Ω, A, P ) ein Wahrscheinlichkeitsraum und (Ω, A ) ein messbarer Raum. Die Abbildung X : Ω Ω heißt Zufallsvariable (zufällige Variable), wenn sie (A, A )-messbar ist. Durch P X (A ) = P (X 1 (A )), A A (.) wird durch X auf (Ω, A ) ein Wahrscheinlichkeitsmaß P X induziert. (Ω, A, P X ) ist der Bild- Wahrscheinlichkeitsraum bezüglich X. P X heißt dann Verteilungs-Gesetz der Zufallsvariablen X. Wir interessieren uns im Folgenden speziell für folgende Zufallsvariablen: Ω = R 1, A = R 1 = σ-algebra der Borelmengen des R 1 ; dann heißt die Zufallsvariable Zufallsgröße. Ω = R d, A = R d = σ-algebra der Borelmengen des R d ; dann heißt die zufällige Variable zufälliger Vektor bzw. Zufallsvektor.

12 8 KAPITEL. ZUFALLSGRÖSSEN UND VERTEILUNGEN - MASSTHEORETISCH Weitere wichtige Zufallsvariablen hängen mit zufälligen Funktionen, stochastischen Prozessen und zufälligen Mengen zusammen. Speziell: Zufallsgrößen (Ω, A, P ) X (R 1, R 1, P X ) P X ist Wahrscheinlichkeitsmaß auf (R 1, R 1 ), {( ; x) : x R} ist ein Erzeugendensystem für R 1, das heißt durch P X (( ; x)) für alle x ist P X bereits eindeutig bestimmt (siehe Maßtheorie). Daher: Definition. Es sei X eine Zufallsgröße auf (Ω, R, P ). Dann heißt die für alle reellen x definierte Funktion F X (x) = P X (( ; x)) = P ({ω Ω : X(ω) < x}) = P (X < x) (.3) Verteilungsfunktion 1 der Zufallsgröße X. Bemerkung. Neben diskreten und absolut stetigen Verteilungen existieren auch singulär stetige Verteilungen. Eine Verteilung P s heißt singulär stetig, wenn ihre Verteilungsfunktion stetig ist und eine Lebesgue-Nullmenge N mit P s (N) = 1 existiert. Es gilt der Zerlegungssatz von Lebesgue: Für jede Verteilungsfunktion F existieren eindeutig bestimmte Verteilungsfunktionen F a (absolut stetig), F s (singulär stetig), F d (diskret) und nichtnegative Zahlen α a, α s, α d mit wobei α a + α s + α d = 1. F = α a F a + α s F s + α d F d, (.4) 1 In vielen Büchern findet sich statt <. Dann wird also mit den halboffenen Intervallen (, x] gearbeitet. Dann ist die Verteilungsfunktion nicht mehr links-, sondern rechtsseitig stetig. Damit kann es vor allem bei Beweisen zu gewissen Unterschieden kommen, obwohl sich die Theorie vom Ergebnis her kaum unterscheidet.

13 9 Kapitel 3 Erwartungswerte - maßtheoretisch 3.1 Allgemeines und Formeln Definition Hier soll nun die Identifikation des Maßes µ mit der Wahrscheinlichkeit P forciert werden. Es werden die Integrale f(ω) µ(dω), f dµ und f(x) dx, sowie die Bezeichnungen EX, E(X) und E P (X) eingeführt. Definition 3.1 Es sei X eine Zufallsgröße auf (Ω, A, P ), X sei integrierbar bezüglich P (das bedeutet X(ω) P (dω) < ). Dann heißt Ω EX = X(ω) P (dω) (3.1) Erwartungswert von X (Erwartungswert zur Verteilung P X ). Wenn X 0 ist, so ist die Existenz immer gegeben, aber unter Umständen ist EX =. Ω 3.1. Berechnung von Erwartungswerten Die Berechnung von Erwartungswerten basiert auf dem Transformationssatz der Maßtheorie. Dabei werden g mit X und g(µ) mit P X identifiziert. Demnach gilt: EX = R 1 x P X (dx) = + Im diskreten Fall ergibt sich daraus für P (X = a k ) = p k : x df X (x) (Riemann-Stieltjes). (3.) EX = (k) a k p k (3.3) und im absolutstetigen Fall: + EX = xf X (x) dx. (3.4) EX kann als Massenschwerpunkt oder Mittelwert gedeutet werden. Hier nun noch zwei Spezialfälle:

14 10 KAPITEL 3. ERWARTUNGSWERTE - MASSTHEORETISCH Es sei X = 1 A mit A A. Dann ist EX = E1 A = P (A), denn es gilt: 1 A (ω) P (dω) = P (dω). (3.5) Eine alternative Begründung geht von der Formel EX = a k p k aus und ergibt ebenfalls EX = 0 p p 1 = 0 P (A c ) + 1 P (A) = P (A). A Für die Exponential-Verteilung lautet die Dichte-Funktion: Für den Erwartungswert ergibt sich also: f X (x) = 1 [0, ) λe λx. EX = = 0 xf X (x) dx xλe λx dx = 1 λ Bemerkung. Die Integration ist eine lineare Operation, daher gilt für beliebige reelle Zahlen α und β E(αX + βy ) = αex + βey, (3.6) sofern die Erwartungswerte EX und EY der beiden Zufallsgrößen X und Y existieren. Anwendung Um den Erwartungswert einer Binomialverteilung auszurechnen, ist es ungeschickt, zu versuchen, ihn nach (3.3) direkt zu berechnen. Viel einfacher ist es hingegen, die Zufallsvariable entsprechend n X = X i, X i = 1 Ai zu zerlegen, wobei A i das Ereignis eines Erfolges im i-ten Versuch beschreibt. Die X i sind dann diskret mit a 1 = 0, a = 1, p 1 = 1 p und p = p. Damit ist der Erwartungswert EX i = p. Daraus folgt für den Gesamt-Erwartungswert EX = np. (3.7) Wenn X 0, kann man den Erwartungswert mitunter elegant durch Integration über die Verteilungsfunktion F (x) ermitteln: EX = 0 (1 F (x)) dx. (3.8) Damit kann man zum Beispiel noch einmal den Erwartungswert der Exponentialverteilung berechnen. Dichte- und Verteilungsfunktion sahen ja folgendermaßen aus: F (x) = 1 e λx, x 0 f(x) = λe λx, x 0.

15 3.. EINIGE UNGLEICHUNGEN 11 Es ergibt sich EX = = = 0 0 (1 F (x)) dx e λx dx [ 1 λ e λx ] 0 = 1 λ Hier noch eine Bezeichnungsweise: E(X; A) = A X(ω) P (dω) ist der auf das Ereignis A eingeschränkte Erwartungswert von X. Oft werden die speziellen Erwartungswerte E(X; X Y ) und E(X; X > 0) benötigt. Es ist offensichtlich, dass gilt: E(X; A) = E(X1 A ). Es handelt sich hier nicht um einen bedingten Erwartungswert, wie er in 7.4 betrachtet wird. Beispiel. Bei einem Würfelwurf beschreibe X die Augenzahl. A sei das Ereignis, dass die Augenzahl größer als 3 ist. Dann beschreibt E(X; A) den Mittelwert von Null oder der Augenzahl, sofern diese größer als 3 ist. Es ergibt sich rechnerisch: E(X; A) = 6 k=4 3. Einige Ungleichungen a k p k = =.5 Satz 3.1 Es sei X eine Zufallsgröße und g eine auf [0, ) definierte nicht negative monoton wachsende Funktion mit E(g( X )) <. Dann gilt für jede positive Zahl z: P ( X z) Eg( X ) g(z) (3.9) Beweis. Es gilt für alle ω also g( X(ω) ) g( X(ω) ) 1 ( X(ω) z) g(z) 1 ( X(ω) z), Eg( X ) E (g( X ); { X z}) g(z)p ( X z). Speziell für g(x) = x k, k > 0, ergibt sich die Markowsche Ungleichung P ( X z) E X k z k (3.10) und für X := X EX und k = die Tschebyschewsche Ungleichung: P ( X EX z) var X z (3.11)

16 1 KAPITEL 3. ERWARTUNGSWERTE - MASSTHEORETISCH Satz 3. (Jensensche Ungleichung) g sei konvex und E X <. Dann gilt g(ex) E(g(X)) (3.1) Beweis. Wegen der Konvexität existiert ein reelles a, so dass für alle x gilt: g(x) g(ex) + a(x EX) (Wenn g differenzierbar ist, dann ist a = g (EX).) Für x = X(ω) ergibt sich Damit ist dann g(x(ω)) g(ex) + a(x(ω) EX) für alle ω. Eg(X) g(ex) + a(ex EX) = g(ex) An dieser Stelle sei noch auf die wichtigen Ungleichungen der Funktionalanalysis von Hölder, Ljapunow und Minkowski verwiesen. Die Cauchy-Schwarzsche Ungleichung gilt natürlich auch hier. Unter der Voraussetzung, dass EX < und EY < und damit auch E XY < sind, gilt: (E(XY )) EX EY. (3.13) Gleichheit gilt genau dann, wenn X und Y linear abhängig sind, also reelle Zahlen a und b existieren, so dass P (ax + by = 0) = 1 ist.

17 13 Kapitel 4 Quantile, Quantilfunktionen und Zufallszahlen-Erzeugung Definition 4.1 Es seien X eine Zufallsgröße auf (Ω, B, P ) mit der Verteilungsfunktion F X, p (0, 1) sowie Jeder Wert Q p [Q p, Q + p ] heißt p-quantil der Verteilung F X. Q p = sup{x R : F X (x) < p} (4.1) Q + p = sup{x R : F X (x) p}. (4.) Für fast alle p ist Q p = Q + p, d.h., es existiert zu p genau ein Quantilwert Q p. Ist die Verteilungsfunktion F X jedoch in einem Intervall konstant mit Funktionswert p, so ist Q p < Q + p. Das tritt vor allem bei diskreten Verteilungen auf, aber auch bei stetigen Verteilungen, wenn die Wahrscheinlichkeitsmasse auf mehrere nicht zusammenhängende Intervalle konzentriert ist. Es gilt: Q p ist p-quantil F X (Q p ) p F X (Q p + 0) (4.3) Interpretation: links von Q p liegen (maximal) 100% p der Wahrscheinlichkeitsmasse, rechts davon (maximal) 100% (1 p). Im Gegensatz zu EX und var X existieren Quantile immer. In dem Spezialfall, dass F X absolutstetig mit der Dichte f X ist, ist Q p Lösung der Gleichung F X (Q p ) = Q p f X (x) dx = p (4.4) Besonders wichtig sind die Quantile für sehr kleine bzw. sehr große p sowie die Werte p = 1 4, p = 3 4, die sogenannten Quartile p = 1, der Median Im allgemeinen sind Median und Erwartungswert einer Verteilung verschieden (wie man beispielsweise an der Exponentialverteilung sieht), für symmetrische Verteilungen (F X (EX + a) = 1 F X (EX a)) stimmen beide überein, falls der Median eindeutig im Sinne von Q 0.5 = Q+ 0.5 ist.

18 14 KAPITEL 4. QUANTILE UND ZUFALLSZAHLEN-ERZEUGUNG F 1 F 1,0 0,8 0,6 0,4 0, 0, ,0 0, 0,4 0,6 0,8 1,0 Abbildung 4.1: Beispiel einer Verteilungsfunktion (links) sowie der zugehörigen Quantilfunktion (rechts) Satz 4.1 Sei X eine Zufallsgröße mit E X <. Dann gilt Falls X absolutstetig ist, so gilt die Formel E X Q 1 = inf E X a, a R Q 1 = arg min E X a, (4.5) (a) d.h., der Median minimiert den mittleren (erwarteten) Absolutfehler. 1 Ebenfalls von Bedeutung (aber kein Quantil) sind Modalwerte: Dies sind die Werte der Zufallsgröße, an denen die Dichte (bei einer absolutstetigen) bzw. Wahrscheinlichkeit (bei einer diskreten Zufallsgröße) ein lokales Maximum hat. Gibt es nur einen Modalwert, so heißt die Verteilung unimodal. Die Inverse der Verteilungsfunktion wird auch als Quantilfunktion bezeichnet: F 1 (x) = sup{t : F X (t) x} (4.6) Die Existenz dieser Funktion ist aufgrund der Monotonie von F X immer gegeben. Falls F X streng monoton ist, so handelt es sich hierbei um die Umkehrfunktion. Man setzt F 1 X (0) = sup{t : F X(t) = 0} F 1 X (1) = inf{t : F X(t) = 1} Beispiel. In Abbildung 4.1 sind eine Verteilungs-Funktion und die zugehörige Quantil-Funktion dargestellt. Als Auswahl seien hier folgende beiden Werte angegeben: F 1 (0.1) = sup{t : F X (t) 0.1} = 1.5 F 1 (0.5) = sup{t : F X (t) 0.5} =.5 Satz Für alle x und t gilt: F 1 (x) < t x < F (t).. F 1 ist wachsend und rechtsseitig stetig 3. Wenn F stetig ist, dann gilt F (F 1 (x)) = x für alle x aus dem Intervall (0, 1). 1 Zum Vergleich: Der Erwartungswert minimiert den mittleren quadratischen Fehler: var X = E(X EX) = inf E(X a) a R

19 15 Quantil-Transformation Die Quantil-Transformation bildet eine wichtige Grundlage der Monte-Carlo-Methode. Satz 4.3 Es sei F eine Verteilungsfunktion und U sei auf [0, 1] gleichmäßig verteilt. Dann hat X = F 1 (U) die Verteilungsfunktion F. Beweis. F 1 ist monoton, also Borel-messbar. Also ist X eine Zufallsgröße. Wegen Satz 4. (1.) gilt: P (X < x) = P (F 1 (U) < x) = P (U < F (x)) = F (x) Inversionsmethode Aus Pseudo-Zufallszahlen u werden nach dem Prinzip X = F 1 (U) Pseudo-Zufallszahlen mit der Verteilungsfunktion F erzeugt. Wir betrachten hier die Inversionsmethode im diskreten Fall. Es seien P (X = a i ) = p i für i = 1,... und q k = k p j. Eine naive Lösung ist folgende: j=1 Falls u < q 1 a 1 q 1 u < q a. Eine eventuell cleverere Lösung ist nun, die p i so zu sortieren (hier dann mit p i p 1 > p >... gilt. Dann sieht die Lösung folgendermaßen aus: bezeichnet), dass Falls u < q 1 a 1 q 1 u < q a. Verwerfungsmethode Die Verwerfungsmethode von J. v. Neuman geht davon aus, dass die Zufallsgröße X eine Dichtefunktion f mit f(x) M und f(x) = 0 für x < a und x > b besitzt. Man erzeuge Zufallszahlen u x und u y aus dem Intervall [0, 1]. Dann berechne man einen Punkt T = (a + u x (b a), Mu y ) = (x T, y T ). Falls T unter der Kurve (x, f(x)) liegt, setze man x = x T und erhält somit eine Zufallszahl zur Dichte f(x). Falls T nicht unter der Kurve liegt, starte man neu. Begründen lässt sich dieses Verfahren mittels geometrischer Wahrscheinlichkeiten: P (X < z) = P (X T < z Y T < f(x T )) = P (X T < z, Y T < f(x T )) P (Y T < f(x T )) z 1 M(b a) f(x) dx z a = = f(x) dx = F (z) 1 M(b a) a

20 16 KAPITEL 4. QUANTILE UND ZUFALLSZAHLEN-ERZEUGUNG Bemerkungen: Diese Methode funktioniert auch in hochdimensionalen Fällen mit einer Dichtefunktion wie f(x 1,..., x n ). Eine Vorsiebung kann die Effektivität erhöhen.

21 17 Kapitel 5 Unabhängigkeit und Produktmaße 5.1 Unabhängigkeit von σ-algebren Definition 5.1 Eine Familie {E i } i I von Ereignis-Systemen E i A heißt (vollständig) unabhängig, wenn für alle k und i 1,..., i k I und jede mögliche Wahl von Ereignissen A im E im (m = 1,..., k) die Gleichheit k k P ( A im ) = P (A im ) (5.1) besteht. m=1 Falls die E i die Einermengen {A i } symbolisieren, so handelt es sich um unabhängige Ereignisse. Sind die E i speziell σ-algebren A i, so werden die A i A als unabhängige σ-algebren bezeichnet. Wenn die E i durchschnittsstabil sind und die Beziehung A i = σ(e i ) gilt, so folgt aus der Unabhängigkeit der E i auch die Unabhängigkeit der A i, vgl. [6]. m=1 5. Unabhängige oder Produkt-Experimente Es seien (Ω k, A k, P k ) Wahrscheinlichkeitsräume für zufällige Experimente, k = 1,..., n. Der Wahrscheinlichkeitsraum, auch Produktraum, für das Produkt-Experiment, die stochastisch unabhängige Hintereinanderausführung dieser Einzel-Experimente, ist dann gegeben durch: mit Ω := A := ( n Ω ν, ν=1 n A ν, ν=1 n P ν ) = (Ω, A, P ) ν=1 n Ω ν = Ω 1... Ω n ν=1 n A ν = σ({a 1... A n : A k A k }) ν=1 P ist dann das (eindeutig bestimmte) Produktmaß auf der Produkt-σ-Algebra A mit P (A 1... A n ) = P 1 (A 1 )... P n (A n ), A i A i.

22 18 KAPITEL 5. UNABHÄNGIGKEIT UND PRODUKTMASSE Ã i = Ω 1... A i... Ω n bezeichnet das Ereignis, dass im i-ten Experiment das Ereignis A i eintritt. Es gilt: P (Ãi) = P i (A i ) P (Ãi Ãj) = P (Ω 1... A i A j... Ω n ) = P i (A i ) P j (A j ) = P (Ãi) P (Ãj) usw. D.h., die Ãi sind vollständig unabhängig. Bernoulli-Schema Ein praktisch wichtiges Beispiel für ein Produktexperiment ist die n-fache, stochastisch unabhängige Hintereinanderausführung von ein und demselben Bernoulli-Experiment, welches durch den Wahrscheinlichkeitsraum (Ω, A, P ) mit A = {, Ω, A, A} charakterisiert wird, P (A) = p. Dabei bedeute A einen Erfolg und A einen Nicht-Erfolg im k-ten Versuch. Das einzelne (Teil-)Experiment werde durch den Wahrscheinlichkeitsraum (Ω, A 0, P 0 ) mit A 0 = {, Ω, A, A c } charakterisiert und es sei P 0 (A) = p. Dabei bedeute z.b. A einen Erfolg und A c einen Nicht-Erfolg. Dann ist P 0 (A c ) = 1 p. Weil die (Teil-)Experimente alle gleich sind, gilt: Für das Produkt-Experiment gilt dann: Ω 1 =... = Ω n = Ω 0 A 1 =... = A n = A 0 P 1 =... = P n = P 0 Ω = A = P = n n n Ω i A i P i ω = (ω 1,..., ω n ) Es sei A i das Ereignis, dass im i-ten Versuch ein Erfolg eintritt. Dann sind A i und A j (i j) stochastisch unabhängig. P (A i ) = P 0 (A) = P 0 (A) = p P (A i A j ) = P 0 (A) P 0 (A) = P 0 (A) = p

23 19 Kapitel 6 Zufällige Vektoren, unabhängige Zufallsgrößen 6.1 Zufällige Vektoren Grundbegriffe Ein zufälliger Vektor ist eine zufällige Variable (Borel-messbare Abbildung) X : Ω R d, X = (X 1,..., X d ) T, d.h. (Ω, A, P ) X (R d, R d, P X ) mit P X (B) = P (X B), B R d. Beispielsweise könnte X 1 die Größe, X das Gewicht und X 3 den Bauchumfang eines Menschen beschreiben. durch Verteilungsfunktionen charakteri- Ebenso wie Zufallsgrößen können auch Zufallsvektoren siert werden: Definition 6.1 Die durch F X (x 1,..., x d ) = P (X 1 < x 1,..., X d < x d ) (6.1) gegebene Funktion F X : R d [0, 1] heißt Verteilungsfunktion des Zufallsvektors X bzw. gemeinsame Verteilungsfunktion der Komponenten von X (joint distribution function). Diese Verteilungsfunktion hat folgende Eigenschaften: 1. F X ist monoton steigend in jeder Variablen. lim x k F X(x 1,..., x k,..., x d ) = 0 3. lim x 1 x. x d F X (x 1,..., x d ) = 1 4. F X ist in jedem Argument linksseitig stetig

24 0 KAPITEL 6. ZUFÄLLIGE VEKTOREN, UNABHÄNGIGE ZUFALLSGRÖSSEN 5. F X wächst auf jedem d-dimensionalen Quader, d.h. F X (x 1 + h 1, x + h,..., x d + h d ) F X (x 1, x,..., x d ) (F X (x 1, x + h,..., x d + h d ) F X (x 1, x,..., x d )) (F X (x 1 + h 1, x,..., x d + h d ) F X (x 1, x,..., x d )). (F X (x 1 + h 1, x + h,..., x d ) F X (x 1, x,..., x d )) 0 (6.) Bemerkung: Es gibt Funktionen, die 1. bis 4. erfüllen, jedoch 5. verletzen, z.b. im zweidimensionalen Fall { 1 x1 + x F (x 1, x ) = > 0 0 sonst P X ist eindeutig durch F X bestimmt. So gilt zum Beispiel: P (a X 1 b, c X d) = P X (Rechteck) = F (b, d) F (a, d) F (b, c) + F (a, c). Der Zerlegungssatz von Lebesgue (.4) hat auch im d-dimensionalen Gültigkeit, auch Vektorfunktionen lassen sich daher in einen absolut-stetigen, einen singulär-stetigen und einen diskreten Anteil aufteilen. Wir beschränken uns jedoch auf 1. rein absolut-stetige Verteilungsfunktionen (d.h. P X ν d ), charakterisiert durch die Radon- Nikodym-Dichte f X (x 1,..., x d ). rein diskrete Verteilungsfunktionen, charakterisiert durch an diskreten Stellen (x 1,..., x d ) P (X 1 = x 1,..., X d = x d ) 6.1. Diskrete und absolutstetige Zufallsvektoren Bei einem diskreten Zufallsvektor existiert eine abzählbare Teilmenge C R d mit P (X C) = 1 und P (X = x) > 0 für alle x C. Dies ist genau dann der Fall, wenn alle Komponenten diskret sind. Wenden wir uns nun den absolutstetigen Zufallsvektoren zu. Es sei P X ν d. Dann existiert eine gemeinsame Dichte f X (x 1,..., x n ). Für die Verteilungsfunktion gilt dann: F X (x 1,..., x d ) = x 1... x d f X (t 1,..., t d ) dt 1... dt d Beachte: Auch wenn X 1,..., X d absolutstetig sind, folgt nicht, dass X absolutstetig ist.

25 6.. RANDVERTEILUNGEN 1 6. Randverteilungen Die Verteilungsfunktion F i der Komponente X i kann aus F X erhalten werden. Sie wird Rand- Verteilungsfunktion genannt. Satz 6.1 Sei X ein zufälliger Vektor. Dann gilt für jedes i und x: F Xi (x i ) = lim x j j i Beweis. Es gilt im Fall (x j ) für alle j i: F X (x 1,..., x i,..., x d ) (6.3) {X 1 < x 1,..., X i < x i,..., X d < x d } {X i < x i } Wegen der Stetigkeit von P (Satz 4.1 aus der Maßtheorie) folgt (6.3). Es ist z. B. F X1 (x 1 ) = P X ((, x 1 ) R d 1 ) = P (X 1 < x 1 ) = lim x x 3. x d F X (x 1, x,..., x d ) die Randverteilung bezüglich X 1 ; die Zufallsgrößen X,..., X d werden in ihr nicht beachtet. Allgemein heißt F Xi1,...,X ik (x i1,..., x ik ) = lim i / {i 1,...,i k }: x i F X (x 1, x,..., x d ) (6.4) (k-dimensionale) Randverteilung bezüglich (X i1,..., X ik ) T. Speziell ergibt sich im zweidimensionalen Fall: F X1 (x 1 ) = F (X1,X )(x 1, ) F X (x ) = F (X1,X )(, x ) (6.5) Im absolut-stetigen Fall P X ν d existieren Randverteilungsdichten: f Xi1,...,X ik (x i1,..., x ik ) = f X (x 1,..., x d ) ν d k(dx ), (6.6) R d k wobei sich die Integration über die nicht erfassten Komponenten erstreckt. Soll die Randverteilung einer Komponente berechnet werden, sieht die Formel wie folgt aus: f Xi (x) =... Im zweidimensionalen Fall ergibt sich f X (t 1,..., t i 1, x, t i+1,..., t d ) dt 1... dt i 1 dt i+1... dt d f X1 (x 1 ) = f X (x ) = f (X1,X )(x 1, x ) dx f (X1,X )(x 1, x ) dx 1 (6.7)

26 KAPITEL 6. ZUFÄLLIGE VEKTOREN, UNABHÄNGIGE ZUFALLSGRÖSSEN Im diskreten Fall ist P (X i1 = x i1,..., X ik = x ik ) = x j1,...,x jd k P (X 1 = x 1,..., X d = x d ), (6.8) wobei hier über die (d k) fehlenden Komponenten summiert wird, d.h., Beispiele {i 1,..., i k } {j 1,..., j d k } = {1,..., d}, {i 1,..., i k } {j 1,..., j d k } =. 1. Wir betrachten die Gleichverteilung auf einem zusammenhängenden Gebiet G R d ; diese ist eine absolutstetige Verteilung mit über G konstanter Dichte f X (x 1,..., x d ) = 1 ν d (G) 1 G(x 1,..., x d ) Für die zweidimensionale Gleichverteilung auf [a, b] [c, d] gilt f X1,X (x 1, x ) = f X1 (x 1 ) = f X (x ) = 1 (b a)(d c) 1 [a,b] [c,d](x 1, x ) 1 b a 1 [a,b](x 1 ) 1 d c 1 [c,d](x ). Wir betrachten eine diskrete Verteilung im R mit endlich vielen Werten (x 1i, x j ), i = 1,..., q, j = 1,..., r. Die Wahrscheinlichkeiten bilden eine q r-matrix P (X 1 = x 1i, X = x j ) =: p ij P = (p ij ) (6.9) Die Randverteilungen ergeben sich als Zeilen- beziehungsweise Spaltensummen der Matrix: P (X 1 = x 1i ) = j P (X = x j ) = i p ij = p i, (6.10) p ij = p j. (6.11) 6.3 Unabhängigkeit Definition 6. Es sei (X i ),,... eine Folge von Zufallsgrößen auf (Ω i, A i, P i ); die (X i ) heißen total stochastisch unabhängig, wenn für jedes k der zufällige Vektor X = (X i1,..., X ik ) durch den Produkt-Wahrscheinlichkeitsraum ( k R k, R k ), P Xij beschrieben wird ( Abschnitt 5.). Insbesondere gilt also P X = j=1 k P Xij (6.1) j=1 für jede Auswahl X = (X i1,..., X ik ). Sind alle Verteilungen P Xi überdies gleich, so heißen die X i, i = 1,,... unabhängig und identisch verteilt (auch iid: independent and identically distributed ).

27 6.3. UNABHÄNGIGKEIT 3 Aus (6.1) und der Erzeugereigenschaft der (, x i ) folgt: Genau dann gilt für jede Auswahl X = (X i1,..., X ik ) F X (x 1,..., x k ) = k F Xij (x j ), (6.13) wenn (X i ) eine total stochastisch unabhängige Familie ist. Speziell ist also bei zufälligen Vektoren mit unabhängigen Komponenten die Verteilungsfunktion das Produkt der Randverteilungsfunktionen der einzelnen Komponenten. Im absolut-stetigen Fall folgt aus der Unabhängigkeit: f X (x 1,..., x d ) = j=1 d f Xi (x i ) (6.14) Ein Beispiel für eine solche absolutstetige Verteilung ist die zweidimensionale Gleichverteilung auf [a, b] [c, d] (siehe obiges Beispiel). Bei diskreten zufälligen Vektoren ist die Unabhängigkeit äquivalent zu: P (X 1 = x 1,..., X d = x d ) = Bei diskreten Verteilungen im R lässt sich (6.15) auch ausdrücken als: d P (X i = x i ) (6.15) p ij = p i p j (6.16) Für den Erwartungswert des Produkts zweier unabhängiger Zufallsgrößen gilt wegen E(XY ) = EX EY (6.17) E(XY ) = = X(ω)Y (ω) P (dω) = xy df (x, y) xy df (x) df (y) = x df (x) y df (y) Speziell: Wenn X und A unabhängig sind (d. h., σ(x) und {, A, A c, Ω} sind unabhängig), so sind X und 1 A unabhängig und es gilt für E(X; A) = EX1 A = A X(ω) P (dω) E(X; A) = E(X1 A ) = EX E1 A = EX P (A). Beispiel. X sei die Augenzahl beim zweiten Wurf. A sei das Ereignis, dass die Augenzahl beim ersten Wurf gerade war. Dann beträgt E(X; A) =

28 4 KAPITEL 6. ZUFÄLLIGE VEKTOREN, UNABHÄNGIGE ZUFALLSGRÖSSEN 6.4 Erwartungswert, Kovarianz, Korrelation Definition 6.3 Es sei X ein d-dimensionaler zufälliger Vektor auf (Ω, A, P ). Der Erwartungswert EX (falls er existiert) ist gleich dem Vektor der Erwartungswerte der Komponenten von X, d.h., EX = (EX 1,..., EX d ) T (6.18) Bemerkung: EX ist bereits durch die Randverteilungen F Xi, i = 1,..., d, bestimmt: EX i = x i df X (x 1,..., x i,..., x d ) = x i df Xi (x i ) (6.19) R d R 1 Wenn X i und X j unabhängig sind, dann gilt nach (6.17) EX i X j = EX i EX j (6.0) Definition 6.4 Es sei X ein d-dimensionaler zufälliger Vektor auf (Ω, A, P ). Die Größe E ((X i EX i )(X j EX j )) = EX i X j EX i EX j = cov(x i, X j ) (6.1) heißt (sofern sie existiert) Kovarianz von X i und X j. Die normierte Größe ϱ(x i, X j ) = cov(x i, X j ) var Xi var X j (6.) heißt Korrelationskoeffizient zwischen X i und X j. Als Spezialfall ergibt sich: cov(x i, X i ) = var X i, ϱ(x i, X i ) = 1. Als allgemeine Formel für die Varianz der Summe von Zufallsgrößen ergibt sich nunmehr var (X i ± X j ) = var X i + var X j ± cov(x i, X j ), (6.3) und für unkorrelierte X i und X j gilt var (X i ± X j ) = var X i + var X j (6.4) Beweis von (6.3). var (X i ± X j ) = E((X i EX i ) ± (X j EX j )) = E((X i EX i ) + (X j EX j ) ± (X i EX i )(X j EX j )) = var X i + var X j ± cov(x i, X j ). Für den d-dimensionalen Vektor X ist (cov(x i, X j )) d d = Σ X (6.5) sogenannte Kovarianzmatrix und (ϱ(x i, X j )) d d = R X (6.6) sogenannte Korrelationsmatrix. Σ X und R X sind symmetrisch und positiv semidefinit.

29 6.4. ERWARTUNGSWERT, KOVARIANZ, KORRELATION 5 Nachweis: Es sei z der Spaltenvektor aus den X i EX i. Dann ist Σ X beliebigen d-vektor t gilt = E(zz T ). Für einen t T Σ X t = t T E(zz T )t = E(t T (zz T )t) = E((t T z)(z T t)) = E((t T z) ) ( d ) = E (t i (X i EX i )) 0. Hilbertraum der Zufallsgrößen. Ordnung. Zufallsgrößen, deren ersten beide Momente existieren, heißen Zufallsgrößen. Ordnung. Wenn X i und X j zwei Zufallsgrößen zweiter Ordnung sind, dann ist durch X i, X j = EX i X j (6.7) ein Skalarprodukt definiert. So entsteht ein Hilbertraum mit dem in (6.7) definierten Skalarprodukt. Es gilt die Cauchy-Schwarzsche Ungleichung: Wegen wird der Raum auch als L (Ω, A, P ) bezeichnet. EX i X j EX i EX j (6.8) X i, X j = X i (ω)x j (ω) P (dω) (6.9) Ω Interpretation des Korrelationskoeffizienten: ϱ(x i, X j ) misst den Grad der linearen Abhängigkeit zwischen X i und X j : Ist ϱ > 0, dann besteht die Tendenz, dass bei großen Werten von X i auch X j groß ist, ist ϱ < 0, dann treten bei großen X i tendenziell kleine X j auf. Eigenschaften des Korrelationskoeffizienten: 1. ϱ(x i, X j ) 1. Sind X i und X j unabhängig, dann ist ϱ(x i, X j ) = 0 (X i und X j sind unkorreliert) 3. Gilt X k = a kx k + b k für k = i und j, so folgt ϱ(x i, X j ) = ϱ(x i, X j ). 4. ϱ(x i, X j ) = 1 X i f.s. = ax j + b Beweise. 1. folgt sofort aus der Schwarzschen Ungleichung. folgt aus (6.0) und (6.1) 3. Einfaches Ausrechnen 4. : ergibt sich unmittelbar durch Einsetzen : Es sei ϱ(x i, X j ) = +1, X i var X i = var X j = 1. Es folgt: Daraus folgt, dass X i X j := Xi EXi var Xi, X j Xj EXj := ; es ist also EX var Xj i = EX j = 0, var (X i X j) = cov(x i, X j) = (1 EX ix j) = (1 ϱ(x i, X j )) = 0 f.s. f.s. = 0, also X i = ax j + b Als Folgerung aus (6.3) ergibt sich: X i, X j sind unkorreliert genau dann, wenn var (X i + X j ) = var X i + var X j. Sind die Komponenten des Vektors X alle unkorreliert, dann ist Σ X eine Diagonal- und R X eine Einheitsmatrix.

30 6 KAPITEL 6. ZUFÄLLIGE VEKTOREN, UNABHÄNGIGE ZUFALLSGRÖSSEN 6.5 Beispiele für Verteilungen zufälliger Vektoren Gleichverteilung auf G R d Die Dichtefunktion hat die Form: f X (x) = 1 G(x) ν d (G), x Rd Speziell für G = [0, 1] d ergibt sich die Dichtefunktion { 1, x [0, 1] d f X (x) = 0, sonst. Es gilt dann X i d = U mit U = glm[0, 1]. Die Xi sind hier iid n-dimensionale Normalverteilung Vorerst ein paar Worte zur n-dimensionalen Standard-Normalverteilung. Dort sind die Komponenten Z i des Zufallsvektors Z unabhängig und N(0, 1)-verteilt. Für die Dichte-Funktion gilt { } f(z 1,..., z n ) = ϕ(z 1 )... ϕ(z n ) = 1 n exp 1 n zi (6.30) π wobei die z i beliebige reelle Zahlen sind. Doch nun zur allgemeinen mehrdimensionalen Normalverteilung. Eine reguläre mehrdimensionale Normalverteilung ist eine absolutstetige Verteilung mit der Dichtefunktion 1 f X (x i,..., x n ) = ( (π)n det Σ exp 1 ) (x µ)t Σ 1 (x µ) (6.31) wobei µ = (µ 1,..., µ n ) T, x = (x 1,..., x n ) T und Σ eine positiv definite (n n)-matrix. Mit X = AZ + µ, wobei Z n-dimensional standard-normalverteilt ist und A eine n n-matrix mit det A 0 sowie Σ = AA T erhält man (6.31) aus (6.30). Symbolisch wird dies ausgedrückt durch: X N(µ, Σ) (6.3) Die Höhenlinien der Dichte sind Ellipsen, deren Hauptachsen durch die Eigenwerte und Eigenvektoren von Σ, der Kovarianzmatrix, bestimmt sind. Es gilt: EX = µ (6.33) Sind die Komponenten von X unkorreliert, so ist Σ eine Diagonalmatrix mit den Werten σ1,... σn in der Hauptdiagonalen, wobei σk = var X k. Die Dichte lässt sich in diesem Fall auch darstellen als: ( 1 f X (x) = exp 1 n ( ) ) xi µ i (π) n n σ i = n σi 1 πσ i exp ( 1 ( ) ) xi µ i = σ i n f Xi (x i )

31 6.5. BEISPIELE FÜR VERTEILUNGEN ZUFÄLLIGER VEKTOREN 7 Aus (6.14) ergibt sich, dass die Komponenten unabhängig sind. Ist also X N(µ, Σ), so gilt: Komponenten unabhängig Komponenten unkorreliert (6.34) Die Randverteilungen einer mehrdimensionalen Normalverteilung sind wieder Normalverteilungen: X N(µ, Σ) X i N(µ i, σ i ) Setzt sich der normalverteilte Vektor X aus zwei Vektoren zusammen, d.h., ( ) ( ) ( ) X1 Σ11 Σ X =, Σ = 1 µ1, µ =, X Σ 1 Σ µ dann ist auch X 1 normalverteilt: X 1 N(µ 1, Σ 11 ) (6.35) Lineare Transformationen von normalverteilten Zufallsgrößen liefern wieder normalverteilte Zufallsgrößen. Zu jeder positiv definiten symmetrischen Matrix Σ existiert eine absolutstetige Normalverteilung N(µ, Σ). Ist Σ symmetrisch und positiv semidefinit, aber nicht positiv definit, dann existiert zwar ein Zufallsvektor X mit normalverteilten Komponenten X i und Kovarianzmatrix Σ, die Verteilung von X ist aber nicht absolutstetig bezüglich ν n, der sogenannte irreguläre Fall. Dieser Fall tritt genau dann auf, wenn lineare Abhängigkeiten zwischen den Komponenten X 1,...,X n bestehen. Für den Spezialfall einer zweidimensionalen Normalverteilung ergibt sich f X (x 1, x ) = { ( (x1 ) 1 πσ 1 σ exp 1 µ 1 1 ϱ (1 ϱ) σ 1 ϱ x ( ) )} 1 µ 1 x µ x µ +, (6.36) σ 1 σ σ wobei ϱ = ϱ(x 1, X ) und ( σ Σ = 1 ϱσ 1 σ ϱσ 1 σ σ ). Will man im zweidimensionalen Fall normalverteilte Zufallsvektoren erzeugen, so kann man den log-tri-algorithmus verwenden. Dafür verwendet man zwei gleichverteilte Zufallszahlen u 1 und u aus dem Intervall [0, 1] und σ 1, σ und µ 1, µ und ϱ wie oben. Die gesuchten Komponenten x 1 und x können dann wie folgt berechnet werden: x 1 = µ 1 + σ 1 ln u1 ( 1 ϱ cos(πu ) + ϱ sin(πu )) x = µ + σ ln u1 sin(πu )

32 8 KAPITEL 6. ZUFÄLLIGE VEKTOREN, UNABHÄNGIGE ZUFALLSGRÖSSEN Gibbs-Verteilung Die Gibbs-Verteilung hat die Dichte-Funktion f(x 1,..., x n ) = exp{ U(x 1,..., x n )}C mit (x 1,..., x n ) B R n. U hat die Form U(x 1,..., x n ) = Θ( x i x j ), i<j wobei Θ eine Paarpotential-Funktion ist. Beispielsweise könnte { t < h Θ(t) = 0 t h sein. Das ist ein Modell für zufällig verteilte Punkte in B mit dem minimalen Zwischenpunktabstand h. Es ergibt sich hierbei das Problem, dass C meist nicht formelmäßig bestimmbar ist, weswegen Simulationen herangezogen werden Bayes-a-posteriori-Verteilung Laut Bayesscher Formel gilt: Die absolutstetige Version dazu lautet dann: f(x A) = P (B i A) = P (A B i)p (B i ) P (A B j )P (B j ) (j) P (A x)f(x) = P (A x)f(x)c P (A y)f(y) dy Wieder tritt das Problem der Bestimmung von C auf.

33 9 Kapitel 7 Bedingte Verteilungen, bedingte Erwartung 7.1 Einführung Bevor wir uns diesem Thema zuwenden, hier zwei einführende Beispiele: 1. (X, Y ) bezeichne den Zufallsvektor (Größe, Gewicht) eines zufällig ausgewählten Menschen. Da es sich um absolutstetige Zufallsgrößen handelt, ist P (X = x) = 0. Oft interessieren wir uns für bedingte Wahrscheinlichkeiten wie P (Y < y X = x) oder z. B. für eine Gewichtstabelle am Wägeautomaten E(Y X = x). Die bisherigen Formeln helfen uns nicht viel, da hier nach der Formel der einfachen bedingten Wahrscheinlichkeit durch Null geteilt wird.. Bei einem Würfel ist Ω = {1,..., 6}, die σ-algebra A ist die Potenzmenge P(Ω). Für die Zufallsgröße X gelte X(ω) = ω. Nun werden die beiden Seiten mit den Werten 1 und 6 zugeklebt und rot angemalt. Damit werden die Beobachtungen vergröbert. Zu diesem Versuch gehört nur noch eine kleinere σ-algebra C. Diese enthält zwar {1, 6} als Element, aber nicht {1} und {6}. Genauer gesagt gilt C = σ({}, {3}, {4}, {5}, {1, 6}). Was wird nun aus X? X ist ja nun nicht mehr bezüglich C messbar, denn das Urbild von 1 existiert ja nicht mehr. Es wird also eine vernünftige Zufallsgröße Augenzahl für das vereinfachte Experiment gesucht. Wir führen also ein: E(X C)(ω) = X(ω), für ω =, 3, 4, 5 E(X C)(ω) = const., für ω = 1, 6 = = 3.5. Würden wir nun alle Seiten zukleben, dann ergäbe sich die σ-algebra C 0 = {, Ω}. Dann würden wir verwenden: E(X C 0 )(ω) = const. = 3.5 Daraus sieht man, dass einer Vergröberung der σ-algebra eine Vergröberung von X entspricht, bei der sich die Varianz bei gleichbleibendem Erwartungswert verringert.

34 30 KAPITEL 7. BEDINGTE VERTEILUNGEN, BEDINGTE ERWARTUNG 7. Bedingte Größen bezüglich B A mit P (B) > 0 Ausgangspunkt ist die in Kapitel 4 definierte bedingte Wahrscheinlichkeit P (A B) = P B ( ) = P ( B) ist dann ein Wahrscheinlichkeitsmaß. P (A B) P (B) Wir betrachten nun die Transformation von dem Wahrscheinlichkeitsraum (Ω, A, P ) in den Raum (Ω, A, P B ). Sei B A mit P (B) > 0 ein Ereignis, X : Ω R 1 eine Zufallsgröße, P X B das Bildmaß von P B bei X. Dann ist und die bedingte Verteilung ist definiert durch: P B (dω) = P (dω) P (B) 1 B(ω), P X B (A) = P (X A B) = Für die zugehörige bedingte Verteilungsfunktion gilt dann: Falls P X B absolutstetig ist, gilt also ist durch F X B (x) = die bedingte Dichte gegeben. (,x) X(B) P ({X(ω) A} B) P (B) (7.1) F X B (x) = P (X < x B) (7.) 1 P (B) f X(t) dt = x 1 P (B) f X(t)1 X(B) (t) dt, f X B (x) = 1 P (B) f X(x)1 X(B) (x) (7.3) Beispiel.(Zweiseitige Stutzung) Sei B = X 1 ([a, b]) = {ω Ω : a X(ω) b}. Dann sind X(B) = [a, b] und P (B) = F X (b) F X (a). Die bedingte Dichte f X B (x) = f X(x)1 [a,b] (x) (7.4) F X (b) F X (a) heißt dann die Dichte der bei a und b gestutzten Verteilung von X. Bedingter Erwartungswert E(X B) unter der Hypothese B: X(ω)1 B (ω) P (dω) X(ω) P (dω) Ω B E(X B) = X(ω) P B (dω) = = = P (B) P (B) oder: Ω E(X B) = = 1 P (B) x df X B (x) X(B) x df X (x) = 1 P (B) 1 P (B) x i X(B) X(B) x i (P (X = x i ) xf X (x) dx E(X; B) P (B) (7.5) (7.6)

35 7.3. VERTEILUNG VON X UNTER DER BEDINGUNG Y = Y 31 Bei der zweiseitigen Stutzung ergibt sich: xf X (x) dx a E(X a X b) = F (b) F (a) 7.3 Verteilung von X unter der Bedingung Y = y Zunächst wird der diskrete Fall betrachtet. X nehme die Werte x 1, x,... und Y die Werte y 1, y,... an, P (Y = y i ) = p i > 0. Dann ist P (X = x i, Y = y j ) = p ij, i, j = 1,,... die gemeinsame Verteilung von (X, Y ) (siehe (6.9)). Dann ist P (X = x i Y = y j ) = p i j = p ij die Verteilung von X unter der Bedingung Y = y j, entsprechend P (Y = y j X = x i ) = p j i = p ij p i die Verteilung von Y unter der Bedingung X = x i. Es ergeben sich die bedingten Erwartungswerte E(X Y = y j ) = i x ip i j = 1 b p j (7.7) p j i x i p ij E(Y X = x i ) = j y jp j i = 1 (7.8) y j p ij p i Betrachten wir nun den Fall, dass (X, Y ) absolutstetig mit der gemeinsamen Dichte f (X,Y ) ist. Wir suchen nun nach der bedingten Dichtefunktion f X Y =y. Es gilt: Dann ist, falls f Y (y) > 0 P (X < x y Y y + h) = x y+h y j f (X,Y ) (s, t) dt ds y+h y f Y (t) dt F X Y =y (x) = lim P (X < x y Y y + h) h 0 x f (X,Y ) (s, y) ds = f Y (y) die Verteilungsfunktion von X unter der Bedingung Y = y; die zugehörige Dichtefunktion ist dann gegeben durch: f X Y =y (x) = f (X,Y )(x, y) (7.10) f Y (y) Entsprechend ergeben sich F Y X=x und f Y X=x. Als bedingter Erwartungswert m X (y) ergibt sich: xf (X,Y ) (x, y) dx m X (y) = E(X Y = y) = xf X Y =y (x) dx = f Y (y) (7.9) (7.11)

36 3 KAPITEL 7. BEDINGTE VERTEILUNGEN, BEDINGTE ERWARTUNG m X wird auch Regressionsfunktion 1. Art von X bezüglich Y genannt. Entsprechend E(Y X = x). Beispiel. Sei (X, Y ) normalverteilt (siehe (6.36)) mit ( σ Σ = X ϱσ X σ Y ϱσ X σ Y Dann ist { 1 f Y X=x (y) = exp 1 π(1 ϱ )ϱ y σ Y ). } [y µ Y ϱ σ Y σ X (x µ X )] (1 ϱ )σy, (7.1) die Dichte der bedingten Verteilung ist also die Dichte der Verteilung N(µ Y + ϱ σ Y σ X (x µ X ), (1 ϱ )σy ). Für den bedingten Erwartungswert ergibt sich: E(Y X = x) = µ Y + ϱ σ Y σ X (x µ X ) (7.13) Die Regressionsfunktion von Y bezüglich X ist also eine Gerade, was ein Charakteristikum der Normalverteilung ist. Die Gerade ist steigend, falls ϱ > 0 bzw. fallend, falls ϱ < Allgemeiner Begriff der bedingten Erwartung Der Erwartungswert ist wichtiger als die Wahrscheinlichkeit. Denn es gilt: P (A) = E1 A P (A Y = y) = E(1 A Y = y) = (j) 1 A (j)p j i = j A p j i Offensichtlich ist E(X Y = y) eine Funktion von y. Das führt zu der Einführung der Zufallsgröße E(X Y )(ω) = E(X Y = y) für alle ω mit Y (ω) = y. Mit der Messbarkeit von E(X Y ) bzgl. σ(y ) hängt die Bezeichnung E(X σ(y )) zusammen. Im Trivialfall ist E(X X = x) = x und E(X X) = X. Beispiel. Sei X die Augenzahl eines Würfels. Y beschreibe folgendes Ereignis: { g, gerade Y = u, ungerade Klassisch ermittelt sich der bedingte Erwartungswert auf die folgende Weise: E(X Y = g) = j=1 jp j g = p g + 4p 4 g + 6p 6 g = ( ) 1 3 = 4 Analog berechnet sich auch E(X Y = u) = 3. Dem entspricht die Zufallsgröße: { 3, ω {1, 3, 5}, d.h., wenn Y = u E(X Y )(ω) = 4, ω {, 4, 6}, d.h., wenn Y = g Es sei (Ω, A, P ) ein Wahrscheinlichkeitsraum, X : Ω R eine Zufallsgröße mit E X < ( Maßtheorie), C A sei Unter-σ-Algebra von A. Nun wird eine zu C passende Vergröberung der Zufallsgröße X gesucht. Diese Zufallsgröße E(X C) heißt bedingte Erwartung und hat zwei wichtige Eigenschaften:

37 7.4. ALLGEMEINER BEGRIFF DER BEDINGTEN ERWARTUNG E(X C) ist messbar bezüglich C. ( Vergröberung ). Für alle C aus C gilt ( beide Größen sind im Mittel gleich ) E(X; C) = E(E(X C); C). Für das Würfelbeispiel gilt C = σ({1, 3, 5}, {, 4, 6}). Für C = {1, 3, 5} gilt also ist E(X C)(ω) = 3 für ω = 1, 3 und 5. E(X; C) = = 1.5, Beispiel. (Vergröberte Exponentialverteilung) Es sei X Exp(λ), dann ist der Median x 0.5 = ln λ. Für die mit beliebigen a b gemäß { a X(ω) x0.5 Y (ω) = b sonst definierte Zufallsgröße Y gilt dann P (Y = a) = P (Y = b) = 1. Die von Y erzeugte σ-alebra ist C = {, A, A C, Ω} mit A = {ω : X(ω) < x 0.5 }. E(X Y ) = E(X C) ist auf A bzw. A C jeweils konstant, wie auch Y. Aber wie lauten die entsprechenden Werte c A bzw. c A C? E(X; A) = A X(ω) P (dω) = x x 0.5 x df (x) = x xλe λx dx = λ e λx λ ( λx 1) = 1 [ 1 e λx 0.5 (1 + λx 0.5 ) ] 0 λ = 1 [ 1 e ln (1 + ln ) ] = 1 [1 1 ] λ λ (1 + ln ) = 1 ln λ = λ Durch E(E(X C); A) = P (A) c A erhält man c A = , mit P (A) c A +P (A C ) c λ A C = EX = 1 λ dann auch c A C = λ Kontrolle mittels (7.6): E(X Y = a) = E(X X < x 0.5 ) = x λe λx dx = c A Satz 7.1 Es sei X eine nichtnegative bzw. integrierbare Zufallsgröße auf (Ω, A, P ). C sei eine beliebige Teil-σ-Algebra von A. Dann existiert bis auf fast sichere Gleichheit eine C-messbare Zufallsgröße X C mit E(X; C) = E(X C ; C), C C (7.14) bzw. X(ω) P (dω) = X C (ω) P (dω) C X C ist fast sicher nichtnegativ bzw. integrierbar und wird bedingte Erwartung von X bezüglich C genannt: X C = E(X C) C

38 34 KAPITEL 7. BEDINGTE VERTEILUNGEN, BEDINGTE ERWARTUNG Beweis für X 0. Es wird der Satz von Radon-Nikodym verwendet, der besagt, dass für ein σ-finites Maß µ und ein Maß ν mit ν µ eine Dichtefunktion f existiert mit ν(c) = f(ω) µ(dω), C C C Wenn wir das jetzt auf unser Problem beziehen, sei P C die Einschränkung von P auf C. Ferner sei Q(C) = X(ω) P (dω) = E(X; C). C Um die Analogie zum obigen Formalismus herzustellen, identifizieren wir ν mit Q und µ mit P C. Die σ-finitheit ist gegeben, da P ein Wahrscheinlichkeitsmaß ist. Natürlich ist Q P C, da aus P C (C) = P (C) = 0 X(ω) P (dω) = 0 C folgt. Also existiert eine C-messbare nichtnegative Funktion X C mit X(ω) P (dω) = Q(C) = X C (ω) P C (dω) = X C (ω) P (dω), C da X C C-messbar ist. X C ist P -fast-eindeutig: C Wenn X C eine andere Zufallsgröße wäre, die der Bedingung ebenfalls genügt, so muss gelten: P C (X C = X C ) = 1, C und weil {X C = X C } C folgt P (X C = X C ) = 1. Die Fortsetzung des Beweises findet sich in [6] auf den Seiten 118 ff. Bemerkungen 1. E(X C) ist nur P -fast-sicher bestimmt.. Die Berechnung von E(X C) ist oft schwierig. ( Differenzieren ist nicht immer leichter als Integrieren. ) 3. X E(X C) ist eine Glättung oder Mittelung (siehe Beispiele). 4. Zwei Extremfälle: Fakten E(X A) = X fast sicher. C = {, Ω} E(X C) = EX fast sicher. Es gilt die Formel des totalen Erwartungswertes: (In (7.14) setzen wir C = Ω.) Ist Z C-messbar, so gilt E(ZX C) = ZE(X C). Es gilt E( E(X C) p ) E X p für p 1. Damit gilt auch: E(E(X C)) = EX. (7.15) var (E(X C)) var X (7.16)