Einführung in die Wahrscheinlichkeitsrechnung und Statistik

Transkript

1 Einführung in die Wahrscheinlichkeitsrechnung und Statistik Jan Kallsen und Claudia Klüppelberg Zentrum Mathematik Technische Universität München WS 2005/06

2 Inhaltsverzeichnis Vorwort Vorbemerkungen i Teil 1: Wahrscheinlichkeitsrechnung 1 1 Grundlagen der Wahrscheinlichkeitsrechnung Das Axiomensystem von Kolmogorov σ-algebren Wahrscheinlichkeitsmaße Zur Konstruktion von Wahrscheinlichkeitsmaßen Zufallsvariable, Verteilungen und Unabhängigkeit Zufallsvariable Bedingte Wahrscheinlichkeiten und Unabhängigkeit Wahrscheinlichkeitsmaße für unabhängige Versuchswiederholungen 23 3 Stochastische Standardmodelle Diskrete Verteilungen Diskrete Gleichverteilung und Kombinatorik Einige wichtige diskrete Verteilungen Stetige Verteilungen auf R i

3 ii 4 Momente und Quantile Lageparameter Streuungsparameter Momente Multivariater Zufallsvariablen Erzeugende Funktionen Grenzwertsätze Gesetze der großen Zahlen Zentraler Grenzwertsatz Teil 2: Statistik 69 6 Grundlagen der Statistik Problemstellungen und Ansätze Das statistische Modell Parameterschätzung Definitionen Konstruktion von Schätzern Maximum-Likelihood (ML)-Methode Momentenmethode Methode der Kleinsten Quadrate Die multivariate Normalverteilung Eindimensionale Normalverteilung Die multivariate Normalverteilung Abgeleitete Verteilungen Konfidenzbereiche Konfidenzintervalle Ein Konstruktionsverfahren für Konfidenzbereiche

4 iii 10 Tests von Hypothesen Definitionen Konstruktion von Tests Einführung in die linearen Modelle Einfache lineare Regression Allgemeines lineares Modell Konfidenzintervalle und Hypothesentests Spezielle Testprobleme Zweistichproben-Probleme χ 2 -Anpassungstests χ 2 -Unabhängigkeitstests

5 Vorwort Die Vorlesung Einführung in die Wahrscheinlichkeitsrechnung und Statistik stellt den ersten Teil des viersemestrigen Zyklus mit Wahrscheinlichkeitstheorie (Stochastik 2), Stochastische Prozesse (Stochastik 3) und Mathematische Statistik (Stochastik 4) an der Technischen Universität München dar. Die Vorlesung ist für Diplom-Mathematiker, Techno-, Finanz- und Wirtschaftsmathematiker sowie Studierende des Lehramts Mathematik an Gymnasien konzipiert. Sie kann ab dem dritten Semester gehört werden. In dieser Vorlesung werden hauptsächlich Grundlagen der Stochastik, soweit sie ohne Maßtheorie vermittelt werden können. Da Stochastik ganz ohne Maßtheorie kaum auskommen kann, werden manche Konzepte benutzt, aber für Beweise und tieferes Verständnis auf die Vorlesung Wahrscheinlichkeitstheorie (Stochastik 2) verwiesen. München, Oktober 2005 C. Klüppelberg

6 Vorbemerkungen Etwas Historie... Stochastik: Mathematische Lehre des Zufalls = Wahrscheinlichkeitstheorie + Statistik stochastikos : scharfsinnig im Vermuten. Es ist faszinierend, dass es eine solche Lehre überhaupt gibt. Ein dokumentierter Grundstein der Wahrscheinlichkeitsrechnung besteht in einem Briefwechsel von Pascal und Fermat aus dem Jahr Ausgangspunkt war die Frage, wie der Einsatz eines Glücksspieles zwischen zwei gleichwertigen Partnern bei vorzeitigem Abbruch des Spieles gerecht aufzuteilen ist. Dabei kamen beide - Fermat und Pascal - unabhängig voneinander bei unterschiedlichen Verfahren zu dem gleichen Ergebnis und legten einen Grundstein für die Wahrscheinlichkeitsrechnung. Genaueres ist nachzulesen unter Nach den eher empirischen Untersuchungen und kombinatorischen Überlegungen, hat David Hilbert eine axiomatische Behandlung der Wahrscheinlichkeitsrechnung in seinem 6. Problem gefordert. Das ist nachzulesen unter kersten/hilbert/rede.html i

7 ii Vorbemerkungen Man findet dort folgendes: Mathematische Probleme Vortrag, gehalten auf dem internationalen Mathematiker-Kongreß zu Paris 1900 Von David Hilbert 6. Mathematische Behandlung der Axiome der Physik Durch die Untersuchungen über die Grundlagen der Geometrie wird uns die Aufgabe nahegelegt, nach diesem Vorbilde diejenigen physikalischen Disciplinen axiomatisch zu behandeln, in denen schon heute die Mathematik eine hervorragende Rolle spielt; dies sind in erster Linie die Wahrscheinlichkeitsrechnung und die Mechanik. Was die Axiome der Wahrscheinlichkeitsrechnung (Vgl. Bohlmann, Über Versicherungsmathematik 2te Vorlesung aus Klein und Riecke, Über angewandte Mathematik und Physik, Leipzig und Berlin 1900) angeht, so scheint es mir wünschenswert, daß mit der logischen Untersuchung derselben zugleich eine strenge und befriedigende Entwickelung der Methode der mittleren Werte in der mathematischen Physik, speciell in der kinetischen Gastheorie Hand in Hand gehe. Kolmogorov hat diese geforderte Axiomatik in seinem Buch dargelegt. Grundbegriffe der Wahrscheinlichkeitsrechnung von Andrej N. Kolmogorov publiziert im Jahr 1933 (in Deutsch!). Damit beginnt diese Vorlesung.

8 Vorbemerkungen iii Einige inhaltliche Hinweise Eine für die Praxis nicht zu hoch genug einzuschätzende Tätigkeit ist die Modellbildung, also die Aufgabe, ein reales Problem der Praxis in eine mathematische Form zu übersetzen. Damit ist, wie auch in den Naturwissenschaften, eine Idealisierung realer Zufallsexperimente durch ein (mathematisches) Modell verbunden. Die Wahrscheinlichkeitstheorie zieht Schlussfolgerungen aus einem gegebenen Modell. Die mathematische Statistik dient dazu, ein zu dem realen Zufallsexperiment passendes Modell überhaupt erst auszuwählen. Dazu benötigt man jedoch die Methoden der Wahrscheinlichkeitstheorie. Herkunft des Begriffs Statistik aus dem Staatswesen, der Staatskunde. Die beschreibende (deskriptive) Statistik beschäftigt sich im Gegensatz zur schliessenden (beurteilenden, induktiven, inferentiellen) Statistik nur mit der Erhebung und Darstellung von Daten. Eine Einführung in die deskriptive Statistik wird im Statistikpraktikum angeboten. Die deskriptive Statistik arbeitet mit anschaulichen Begriffen wie Population, Merkmal, (relative) Häufigkeit etc. Die Begriffe und ihre Visualisierung werden im begleitenden SPlus Praktikum vermittelt und geübt. In der axiomatisch fundierten Wahrscheinlichkeitstheorie werden entsprechende abstrakte Formulierungen verwendet. Die Kenntnis einiger Begriffe der beschreibenden Statistik ist zwar keine Voraussetzung zum Verständnis der folgenden Abschnitte, stellt sich aber erfahrungsgemäß in einem ersten Stochastik-Kurs als hilfreich heraus.

9 iv Vorbemerkungen Stochastik im Internet Auf unserer eigenen Webseite gibt es viele interessante Informationen. Die wichtigste ist für diese Vorlesung die Seite wo es einen Link zur Vorlesung gibt. Ein Mausklick auf Nützliche Links führt zu wo es einige auch schon für Studierende interessante Seiten anzusehen sind. Eine weitere nette Seite insbesondere für neue Interessenten an der Stochastik ist Software Hier gibt es eine eigene Seite unter

10 Vorbemerkungen v Literatur Einführungen in die Wahrscheinlichkeitstheorie gibt es unzählige in allen Sprachen der Welt. Eine Google-Suche Einführung Wahrscheinlichkeit Statistik führt zu Wahrscheinlichkeit Statistik führt zu Probability Statistics Introduction Probability Statistics ergibt Aufgrund der Tatsache, dass stochastische Modellierung und Analyse für die meisten Fachgebiete relevant sind, gibt es sehr viel Literatur, die nicht die für uns notwendige mathematische Basis und Präzision aufweisen. Eine Auswahl, die wir für Sie getroffen haben, findet man im Literaturverzeichnis am Ende dieses Einleitung, Einige der Bücher sind einzusehen im Semesterapparat, einige findet man eingeordnet in der Bibliothek; in der Lehrbuchsammlung sind einige dieser Bücher in grösseren Mengen vorhanden.

11 vi Vorbemerkungen Literaturverzeichnis Chung, K.L. (1979) Elementary Probability Theory with Stochastic Processes, 3rd Edition. Springer, New York. Chung, K.L. and Aitsahlia, F. (2003) Elementary Probability Theory. Springer. New York. Fahrmeir L., Künstler R., Pigeot I. und Tutz G. (1997) Statistik. Der Weg zur Datenanalyse. Springer, Berlin. Feller, W. (1968) An Introduction to Probability Theory and its Applictions, Vol. I & II. Wiley, Chichester. Georgii, H.O. (2004) Stochastik, 2. Aufl. De Gruyter, Berlin. Henze, N. (1997) Stochastik für Einsteiger. Vieweg, Braunschweig. Krengel, U. (1988) Einführung in die Wahrscheinlichkeitstheorie und Statistik. Vieweg, Braunschweig. Jacod, J. and Protter, P. (2000) Probability Essentials. Springer, Berlin. Ross, S.M. (1972) Introduction to Probability Models. Academic Press, New York. Stirzaker, D. (1994) Elementary Probability. Cambridge University Press, Cambridge. Williams, D. (1991) Probability with Martingales. Cambridge University Press. Cambridge. Williams, D. (2001) Weighing the Odds. Cambridge University Press. Cambridge.

12 Kapitel 1 Grundlagen der Wahrscheinlichkeitsrechnung 1.1 Das Axiomensystem von Kolmogorov σ-algebren Definition 1.1 (Ergebnisraum, sample space). Die Menge Ω aller möglichen Ergebnisse eines Zufallsexperiments nennen wir Ergebnisraum, Grundraum oder Stichprobenraum. Die Elemente ω Ω heißen Ergebnisse. Beispiel 1.2 (Zufallsexperimente). (1) Bernoulli-Experiment: Einmaliger Münzwurf: Ω = {Kopf, Zahl} oder Ω = {0, 1} (2) Einmaliger Würfelwurf: Ω = {1, 2, 3, 4, 5, 6} (3) n-maliger Würfelwurf: Ω = {1, 2, 3, 4, 5, 6} n = {(ω 1,...,ω n ) : ω i {1, 2, 3, 4, 5, 6} für i = 1,...,n}. Bem: (i) Man wählt hier zur Modellierung nicht Ω = {1, 2, 3, 4, 5, 6} und n Ergebnisse ω i {1, 2, 3, 4, 5, 6}, sondern einen großen Grundraum, aus 1

13 2 1. Grundlagen dem man nur ein Ergebnis ω = (ω 1,...,ω n ) zieht. (ii) Wenn man nur an der Anzahl der Einsen, Zweien usw. interessiert ist, kann man wählen Ω = {(k 1,...,k 6 ) : k i N mit 6 k i = n}. (4) Unendlich viele Münzwürfe: Ω = {0, 1} N = {(ω i ) i N : ω i {0, 1} für i N}. Bez. N = {1, 2,...}, N 0 = {0, 1, 2,...} (5) Schuss auf eine Scheibe: Ω = {z R 2 : z < R}. (6) Kurs einer Aktie, des Dax, eines Wechselkurses im Jahr 2004: Ω = {f(t) : t , f C(R + ) }. Mittlerweile liegen sogenannte Hochfrequenzdaten als Finanzdaten vor, die jeden Handel durch den Handelszeitpunkt und den Preis registrieren. Bei liquiden Märkten führt das zu einer so hochfrequentigen Zeitreihe, dass die Preise als stetige Funktionen modelliert werden. Beispiele (4) und (6) zeigen, dass auch Folgen und Funktionen als Ergebnisse eines Zufallsexperiments auftreten können. Ω kann also endlich, abzählbar oder sogar überabzählbar unendlich sein. Oft interessiert man sich nicht für einzelne Ergebnisse, sondern für Mengen von Ergebnissen, den Ereignissen. Beispiel 1.3. (1) Ein Ereignis zu Beispiel 1.2(2) oben: Der Würfelwurf ist eine gerade Zahl : A = {2, 4, 6}. (2) Ein Ereignis zu Beispiel 1.2(5) oben: A = {ein Treffer landet im Ziel Z} mit Z = { (x = r cos ϕ,y = r sin ϕ ) 0 r < 5 ; 0 ϕ < 2π} (3) Ein Ereignis zu Beispiel 1.2(6) oben: A = {der Dax überschritt nie den Wert 5 500}.

14 1.1. Das Axiomensystem von Kolmogorov 3 Den Ereignissen sollen später Wahrscheinlichkeiten zugeordnet werden. Problem: Manchmal ist es aus tiefliegenden mathematischen Gründen nicht möglich, jeder Menge A Ω in vernünftiger Weise eine Wahrscheinlichkeit zuzuordnen. Ausweg: Wir beschränken uns auf eine Teilmenge A P(Ω) der denkbaren Ereignisse, eine sogenannte σ-algebra. Vereinbarung: Wir verwenden im Sinne von. Definition 1.4 (σ-algebra, Ereignisraum). Sei Ω. Ein Mengensystem F P(Ω) heißt σ-algebra auf Ω, falls es folgende Eigenschaften besitzt: (A1) Ω F (A2) A F = A c := Ω \ A F (A3) falls A 1,A 2,... F = A i F. (Ω, F) heißt Ereignisraum, Messraum, messbarer Raum, measurable space. Bemerkung 1.5. (1) Aus den Axiomen folgt: (a) F (denn = Ω c ) ( (b) A 1,A 2,... F = A i F (denn c A i = Ai) c ) (c) A 1,...,A n F = A 1 A 2... A n F A 1 A 2... A n = A i mit A i = für i > n (d) A 1,...,A n F = A 1 A 2... A n F A 1 A 2... A n = A i mit A i = Ω für i > n (e) A,B F = A \ B F (denn A \ B = A B c ). (2) Die Idee ist, dass wir zwar nicht jeder Menge eine Wahrscheinlichkeit zuordnen (sie messen) können, dass uns aber abzählbare Mengenoperationen nicht aus den in diesem Sinn messbaren Mengen herausführen. Definition 1.6 (Erzeuger einer σ-algebra). Seien Ω, G P(Ω) beliebig. Dann heißt σ(g) := {F P(Ω) : F ist σ-algebra mit G F} (1.1) die von G erzeugte σ-algebra.

15 4 1. Grundlagen Bemerkung 1.7. σ(g) ist tatsächlich eine σ-algebra (nachrechnen!), und zwar die kleinste σ-algebra in Ω, die G umfasst. Beispiel 1.8. (1) {, Ω} ist die kleinste σ-algebra in Ω überhaupt. (2) Die Potenzmenge P(Ω) ist die größte σ-algebra in Ω. Wenn Ω abzählbar ist, gilt P(Ω) = σ({{ω} : ω Ω}), d.h. P(Ω) wird von den einelementigen Mengen erzeugt. (Denn für A = {ω 1,ω 2...} Ω gilt A = {ω i }.) Wenn Ω eine abzählbare Menge ist, verwenden wir in aller Regel die Potenzmenge als σ-algebra. (3) Für Ω = R n verwenden wir in aller Regel die Borel-σ-Algebra B n = σ({a Ω : A offen}) = σ({a Ω : A abgeschlossen}) = σ({[a 1,b 1 ] [a n,b n ] : a i,b i Q mit a i < b i für i = 1,...,n}). Für n = 1 gilt B = B 1 = σ({(,c] : c R}). (Beweis der Gleichheit entfällt, ist aber nicht schwer.) Nicht Borel-messbare Mengen existieren, aber sie sind sehr exotisch. (4) Für Ω R n verwenden wir stets die σ-algebra B n Ω := {A Ω : A B n }, die Borel-σ-Algebra auf Ω (nachrechnen!) (5) Seien (E i, E i ) messbare Räume für i N. Sei Ω := E i = {(e i ) i N : e i E i für i N}. Definiere π j : Ω E j, (e i ) i N e j, die j-te Projektion und G := {π 1 j (A) Ω : j N,A E j }.

16 1.1. Das Axiomensystem von Kolmogorov 5 E i := σ(g) heißt Produkt σ-algebra auf Ω. Analog für endlich viele Mengen: Für Ω := n E j = E 1 E n definiere n E i := E 1 E n wie oben. Auf kartesischen Produkten verwenden wir stets die Produkt-σ-Algebra. (Bemerkung ohne Beweis: Für R n = n Definition 1.9 (Verschiedene Ereignisse). Ω heißt sicheres Ereignis (tritt also immer ein). heißt unmögliches Ereignis (kann nie eintreten). R 1 gilt B n = n B 1.) Für ein Ereignis A heißt A c Komplementärereignis, complementary event. Ereignisse A, B heißen disjunkt, disjoint oder unvereinbar, falls A B =. Für ω Ω heißt {ω} Elementarereignis, singleton Wahrscheinlichkeitsmaße Jetzt sollen den Ereignissen A F Wahrscheinlichkeiten P(A) zugeordnet werden. Definition 1.10 (Wahrscheinlichkeitsmaß, Wahrscheinlichkeitsraum). Sei (Ω, F) ein Ereignisraum. (1) Eine Abbildung P : F [0, 1] heißt Wahrscheinlichkeitsmaß, probability measure auf (Ω, F), falls (P1) P(Ω) = 1 (Normiertheit) (P2) Für A 1,A 2,... F paarweise disjunkt (d.h. A i A j = für i j) gilt ( ) P A i = P(A i ). (σ-additivität). (2) (Ω, F, P) heißt Wahrscheinlichkeitsraum. Er ist die Konsequenz des Axio-

17 6 1. Grundlagen mensystems von Kolmogorov, gegeben durch Definition von σ-algebra und Wahrscheinlichkeitsmaß. Bemerkung [Interpretation von Wahrscheinlichkeiten] (1) Frequentistische Deutung: P(A) = Anteil der Versuchswiederholungen, in denen Ereignis A eintritt, wenn man das Experiment theoretisch/im Geiste unendlich oft unter gleichen Bedingungen ablaufen ließe. (2) Motivation der Axiome von Kolmogorov: Diese gelten für relative Häufigkeiten, zumindest die endliche Additivität (s.u.). Ohne σ-additivität weniger relevante Folgerungen. (3) Die konkrete Wahl von P bleibt noch offen. Die Festlegung von P ist eine Aufgabe der Modellbildung und der Statistik. Satz Sei (Ω, F, P) ein Wahrscheinlichkeitsraum. Seien A,B,A 1,A 2,... F. Dann gelten (a) P( ) = 0 (b) endliche Additivität: A 1,...,A n paarweise disjunkt P( n (c) P(A B) = P(A) + P(B) P(A B) (d) Monotonie: A B P(A) P(B) (e) σ-subadditivität: P( A i ) P(A i ) A i ) = n P(A i ) (f) σ-stetigkeit bzw. Stetigkeit von unten/oben: A n A (d.h. A 1 A 2 und A = A i ) P(A n ) P(A) für n A n A (d.h. A 1 A 2 und A = A i ) P(A n ) P(A) für n (g) P(A c ) = 1 P(A). Beweis. (a) P( ) = P( ) = P( ) P( ) = 0. (b) σ-additivität mit = A n+1 = A n+2 = (c) P(A) = P(A \ B) + P(A B) (nach (b))

18 1.2. Zur Konstruktion von Wahrscheinlichkeitsmaßen 7 P(B) = P(B \ A) + P(A B) (nach (b)) P(A B) = P(A \ B) + P(B \ A) + P(A B) (nach (b)) (d) P(B) (b) = P(A) + P(B \ A) P(A) (e) A i = (A i \ i 1 A j ) (paarweise disjunkt, A 0 := ) j=1 P( A i ) = P( (A i \ i 1 j=1 (g) P(A) + P(A c ) (b) = P(Ω) = 1 A j )) P2 = P(A i \ i 1 j=1 A j ) (d) P(A i ). (f) P(A) = P( (A i \ A i 1 )) P2 = P(A i \ A i 1 ) (A 0 := ) = lim P(A i \ A i 1 ) (b) = lim P( n (A i \ A i 1 )) = lim P(A n ). n n n A n A A c n A c 1 P(A n ) = P(A c n) P(A c ) = 1 P(A). Satz [Eindeutigkeitssatz] Sei G ein -stabiler Erzeuger des Ereignisraums (Ω, F), (d.h. F = σ(g) und A B G für A,B G). Für Wahrscheinlichkeitsmaße P,Q auf (Ω, F) mit P G = Q G gilt P Q. Beweis. Wahrscheinlichkeitstheorie. 1.2 Zur Konstruktion von Wahrscheinlichkeitsmaßen Das einfachste Beispiel ist kein Zufall, d.h. ein deterministisches Experiment. Definition 1.14 (Einpunktmaß, Diracmaß). Sei (Ω, F) ein Ereignisraum und ξ Ω. Das durch 1 falls ξ A, ε ξ (A) := 0 sonst definierte Wahrscheinlichkeitsmaß ε ξ auf (Ω, F) heißt Einpunktmaß oder Diracmaß in ξ. Manchmal wird es auch mit δ ξ bezeichnet.

19 8 1. Grundlagen Ein weiteres einfaches Beispiel erhält man für abzählbares Ω. Satz Sei Ω abzählbar. Zu jeder Funktion ρ : Ω [0, 1] mit ρ(ω) = ω Ω 1 existiert genau ein Wahrscheinlichkeitsmaß P auf (Ω, P(Ω)), so dass P(A) = ω Aρ(ω) für A P(Ω). (1.2) Insbesondere gilt P({ω}) = ρ(ω) für ω Ω. ρ heißt Zähldichte von P. Beweis. P aus (1.2) ist ein Wahrscheinlichkeitsmaß: P(Ω) = 1 ist klar. Für paarweise disjunkte A 1,A 2,... Ω gilt P( A i ) = ρ(ω) = ρ(ω) = P(A i ). ω A i ω A i Wir haben bei der 2. Identität den Doppelreihensatz benutzt; siehe z.b. Heuser, Analysis 1, Satz Die Eindeutigkeit ist klar. Für den stetigen Fall brauchen wir Anleihen aus der Maßtheorie (Analysis 3 oder Wahrscheinlichkeitstheorie). Bemerkung (1) f : R n R + heißt (Borel-) messbar, falls {x R n : f(x) c} B n für alle c > 0 (gilt z.b. für alle stetigen Funktionen). Für jede solche Funktion f existiert das Lebesgue Integral f(x)dx, das u.a. folgende Eigenschaften hat: (a) f Riemann integrierbar Lebesgue- f(x)dx = Riemann- f(x)dx (b) Für Funktionen f 1,f 2,... wie oben gilt f i (x)dx = fi (x)dx. (2) Für f : R n R + und A B n setze f(x)dx := 1 A A (x)f(x)dx. Dabei ist 1 A (x) = 1 bzw. 0, falls x A bzw. x / A ist; 1 heißt Indikatorfunktion. (3) Die Abbildung λ n : B n R + mit λ n (A) = 1 A (x)dx heißt Lebesguemaß auf R n. Dies ist der natürliche Volumenbegriff im R n. Für Ω R n heißt λ n Ω := λ n B n Ω : BΩ n R + Lebesguemaß auf Ω.

20 1.2. Zur Konstruktion von Wahrscheinlichkeitsmaßen 9 Satz Sei Ω R n eine Borelmenge (d.h. in B n ). Zu jeder Funktion ρ : Ω R + mit {x Ω : ρ(x) c} B n Ω für alle c > 0 (Messbarkeit) ρ(x)dx = 1 Ω existiert genau ein Wahrscheinlichkeitsmaß auf (Ω, BΩ n) mit P(A) = ρ(x)dx für A BΩ n. (1.3) A ρ heißt (Lebesgue-) Dichte von P. Beweis. P aus (1.3) ist ein Wahrscheinlichkeitsmaß: P(Ω) = 1 ist klar. Für paarweise disjunkte A 1,A 2,... Ω gilt P( A i ) = 1 (x)ρ(x)dx = 1 Ai (x)ρ(x)dx = A i 1 Ai (x)ρ(x)dx = P(A i ). Beispiel (1) Diskrete Gleichverteilung U Ω. Seien Ω endlich, U Ω das Wahrscheinlichkeitsmaß mit Zähldichte ρ(ω) := 1 Ω für ω Ω. Somit ist U Ω (A) = A für A P(Ω). Ω Der Wahrscheinlichkeitsraum (Ω, P(Ω),U Ω ) heißt auch Laplace-Raum. (2) Stetige Gleichverteilung U Ω. Sei Ω B n mit λ n (Ω) (0, ). Sei dazu U Ω das Wahrscheinlichkeitsmaß mit Lebesguedichte ρ(x) := 1 λ n (Ω) für x Ω. Somit ist U Ω(A) = λn (A) λ n (Ω) für A Bn Ω.

21 10 1. Grundlagen

22 Kapitel 2 Zufallsvariable, Verteilungen und Unabhängigkeit 2.1 Zufallsvariable Oft ist man gar nicht an den Ergebnissen ω Ω selbst interessiert, sondern an deren Merkmalen; z. B. an der Verteilung von Größe oder Gewicht von Individuen ω in einer Population Ω. Es zeigt sich, dass die Festlegung interessierender Wahrscheinlichkeiten besonders einfach für bestimmte Abbildungen erfolgen kann. Definition 2.1 (Zufallsvariable, random variable). Sei (Ω, F) ein Ereignisraum. Eine Abbildung X : Ω R mit X 1 (B) F für alle B B heißt Zufallsvariable oder messbare Abbildung. Allgemeiner: Für einen Ereignisraum (Ω, F ) heißt X : Ω Ω mit X 1 (A ) F für alle A F Zufallsvariable oder F F -messbare Abbildung von (Ω, F) nach (Ω, F ). Bemerkung 2.2. (1) Messbare Abbildungen sind die gutartigen, da strukturerhaltenden Abbildungen in der Maßtheorie; vgl. stetige Abbildungen in der Topologie, lineare Abbildungen in der Linearen Algebra usw. 11

23 12 2. Zufallsvariable, Verteilungen und Unabhängigkeit (2) Schreibweise: {X A } := {ω Ω : X(ω) A } = X 1 (A ), {X > 5} = {ω Ω : X(ω) > 5} = X 1 ((5, )) usw. Satz 2.3. (1) Für F = P(Ω) ist jede Abbildung X : Ω Ω messbar. (2) Im Fall F = σ(g ) reicht für die Messbarkeit von X : Ω Ω zu zeigen, dass X 1 (A ) F für alle A G gilt. (3) Für die Messbarkeit von X : Ω R reicht es zu zeigen, dass {X c} F für alle c R gilt. (4) Für Ω R n (mit F = BΩ n ) ist jede stetige Abbildung X : Ω R messbar. Beweis. (1) Klar. (2) A := {A Ω : X 1 (A ) F} ist eine σ-algebra mit G A (nachrechnen!). Also gilt F = σ(g ) A. (3) Aussage (2) und Beispiel 1.7.(3). (4) Für c R ist {X c} = X 1 ((,c]) abgeschlossen, also in B n Ω. Die Aussage folgt dann mit (2). Beispiel 2.4. Ω = {0, 1} n : n Münzwürfe 0 = Kopf,1 = Zahl, die Zufallsvariable X : Ω Ω := {0, 1,...,n}, ω = (ω 1,...,ω n ) n ω i misst die Anzahl der Zahl -Würfe. Satz 2.5. Seien (Ω, F,P) ein Wahrscheinlichkeitsraum, (Ω, F ) ein Ereignisraum und X : Ω Ω eine Zufallsvariable. Dann ist P : F [0, 1], A P(X 1 (A )) = P({X A }) ein Wahrscheinlichkeitsmaß auf (Ω, F ). Beweis. Wegen X 1 (A ) F ist P definiert. Weiter gilt P (Ω ) = P(Ω) = 1. Für paarweise disjunkte A 1,A 2,... F sind X 1 (A 1),X 1 (A 2),... F paarweise

24 2.1. Zufallsvariable 13 disjunkt, also P ( A i) = P( X 1 (A i)) = P( A i ) = P(X 1 (A i)) = P (A i). Definition 2.6 (Verteilung). (1) P aus Satz 2.5 heißt Verteilung (distribution) von X oder Bildmaß von P unter X. Schreibweise: P X = P X 1 = X(P) = L(X;P) = L(X). (2) Zufallsvariable X,Y heißen identisch verteilt, falls P X P Y. Die Verteilung reeller Zufallsvariablen kann durch die Verteilungsfunktion beschrieben werden. Definition 2.7 (Verteilungsfunktion). (1) Sei X : (Ω, F, P) (R, B) eine (reelle) Zufallsvariable. Die Abbildung F X : R [0, 1] mit F X (x) := P(X x) für x R heißt Verteilungsfunktion von X. (2) Für ein Wahrscheinlichkeitsmaß P auf (R, B) heißt F P : R [0, 1] mit F P (x) := P((,x]) Verteilungsfunktion von P. Bemerkung 2.8. F X F PX für X : (Ω, F,P) (R, B). Satz 2.9. Sei F die Verteilungsfunktion einer Zufallsvariablen X oder einer Verteilung P. Dann gilt (1) F ist monoton wachsend, (2) F ist rechtsseitig stetig, (3) lim x F(x) = 1, lim x F(x) = 0. Beweis. (1) folgt nach Satz 1.12(d), (2) folgt nach Satz 1.12(f), n Satz 1.12(f) (3) Für x n gilt: F(x n ) = P((,x n ]) P((, )) = 1; analog für x n n. Bemerkung (1) Jede Funktion F : R [0, 1] mit Eigenschaften (1)-(3) aus Satz 2.9 ist Verteilungsfunktion einer Zufallsvariable bzw. eines Wahrscheinlichkeitsmaßes auf (R, B) (Beweis folgt in Wahrscheinlichkeitstheorie).

25 14 2. Zufallsvariable, Verteilungen und Unabhängigkeit (2) Die Verteilungsfunktion von X (bzw. P) legt die Verteilung P X (bzw P) schon eindeutig fest (wegen Satz 1.13). (3) Sei X : (Ω, F, P) (R, B) eine Zufallsvariable. Falls F X (c) = c f(x)dx, c R, für eine messbare Funktion f : R R + gilt, dann besitzt P X die Dichte f. Dies gilt insbesondere, wenn F X stetig differenzierbar ist. Dann ist F X = f. Definition 2.11 (Verteilungsfunktion). Sei X : (Ω, F,P) (R n, B n ) eine Zufallsvariable. Die Abbildung F X : R n [0, 1] mit F X (x 1,...,x n ) = P(X 1 x 1,...,X n x n ), x 1,...,x n R, heißt Verteilungsfunktion von X = (X 1,...,X n ). Bemerkung (1) Für n = 1 gilt für a < b P(a < X b) = P(X b) P(X a) = F X (b) F X (a). Für n = 2 gilt für a 1 < b 1 und a 2 < b 2 P(a 1 < X 1 b 1,a 2 < X 2 b 2 ) = P(X 1 b 1,X 2 b 2 ) P(X 1 b 1,X 2 a 2 ) P(X 1 a 1,X 2 b 2 ) +P(X 1 a 1,X 2 a 2 ) = F X (b 1,b 2 ) F X (b 1,a 2 ) F X (a 1,b 2 ) + F X (a 1,a 2 ). (2) F X legt die Verteilung P X eindeutig fest (vgl. Bem. 2.10(2)). (3) Sei X : (Ω, F,P) (R n, B n ) eine Zufallsvariable. Falls für alle (c 1,...,c n ) R n F X (c 1,...,c n ) = (,c 1 ] (,c n] f(x)dx = c1 cn... f(x 1,...,x n )dx n...dx 1 für eine messbare Funktion f : R n R + gilt, dann besitzt P X die Dichte f. Dies gilt insbesondere, wenn F X n-fach stetig differenzierbar ist. Dann ist f = D 12 n F X = n F X c 1 c n (vgl. Bem. 2.10(3)).

26 2.1. Zufallsvariable 15 Definition 2.13 (Randverteilungen, Marginalverteilungen, marginal distributions). Sei X : (Ω, F,P) (R n, B n ) eine Zufallsvariable. Die Verteilungen der Komponenten X i, i = 1,...,n, heißen (eindimensionale) Randverteilungen von X. Satz Sei X : (Ω, F,P) (R n, B n ) eine Zufallsvariable. Dann gelten: (a) F Xi (c) = F X (,...,,c,..., ) := lim u F X (u,...,u,c,u...,u) für c R und i = 1,...,n. (b) Falls X eine Dichte besitzt, hat X i eine Dichte f i : R R + mit f i (x) = f(x 1,...,x i 1,x,x i+1,...,x n )dx 1 dx i 1 dx i+1 dx n. Beweis. (a) Wir benutzen die Stetigkeit von unten: F Xi (c) = P(X i c) (b) Nach (a) gilt für c R F Xi (c) = = lim u P(X 1 u,...,x i 1 u,x i c,x i+1 u,...,x n u) = lim u F X (u,...,u,c,u,...,u). lim F X (u,...,u,c,u,...,u) u = lim = = =: u (,u] (,u] (,c] (,u] (,u] (, ] (, ] (,c] (, ] (, ] c c f(x)dx f(x)dx (monotone Konvergenz) f(x 1,...,,x n )dx 1...dx i 1 dx i+1 dx n dx i } {{ } f i (x i ) f i (x i )dx i. Oft hat mit X auch ϕ(x) eine Dichte für ϕ : R n R n. Satz 2.15 (Transformationssatz für Dichten). (Fubini) Sei X : (Ω, F,P) (R n, B n ) eine Zufallsvariable mit Dichte f. Ferner seien

27 16 2. Zufallsvariable, Verteilungen und Unabhängigkeit ϕ : R n R n messbar mit ϕ(x) = (ϕ 1 (x),...,ϕ n (x)) für x R n. Die Mengen U 1,...,U m R n seien offen und paarweise disjunkt, so dass ϕ j := ϕ Uj : U j ϕ(u j ) bijektiv, in beide Richtungen stetig differenzierbar mit f = 0 außerhalb von U 1... U m ist. Es seien ϕ j (x) = (ϕ 1 j(x),...,ϕ n j (x)) für x U j und j = 1,...,m. Dann hat die Zufallsvariable ϕ(x) : (Ω, F,P) (R n, B n ) die Dichte g mit g(y) = m j=1 1 ϕj (U j )(y)f(ϕ 1 j (y)) J j (ϕ 1 j (y)) 1, y R n, wobei für j = 1,...,m, ϕ 1 j(x) ϕ n j x 1 x 1 J j (x) =.., x R n. ϕ 1 j(x) ϕ n j x n x n die Jacobi-Determinante von ϕ j ist. Beweis. In Analysis 2. Beispiel Seien X : (Ω, F,P) (R n, B n ) eine Zufallsvariable mit Dichte f, A R n n eine Matrix mit det(a) 0, a R n, ϕ : R n R n, x Ax + a. Dann hat ϕ(x) die Dichte g : R n 1 R + mit g(y) = det(a) f(a 1 (y a)). Im Fall n = 1 gilt ϕ(x) = bx + a für a R,b R \ {0}; dann hat ϕ(x) also die Dichte g(y) = 1 b f(y a ), y R. b Bemerkung Seien X : (Ω, F,P) (R, B) eine Zufallsvariable mit Verteilungsfunktion F X und ϕ : R R eine streng monoton wachsende, stetige Funktion. Dann gilt F ϕ X (c) = P(ϕ X c) = P(X ϕ 1 (c)) = F X (ϕ 1 (c)), c ϕ(r). Bsp. X gleichverteilt auf [0, 1], d.h. P X = U [0,1], G streng monoton wachsende, stetige Verteilungsfunktion eines Wahrscheinlichkeitsmaßes Q auf (R, B). Dann ist F G 1 (X)(c) = F X (G(c)) = G(c), also ist P G 1 (X) Q. Auf diesem Zusammenhang beruht die Simulation von Zufallszahlen.

28 2.2. Bedingte Wahrscheinlichkeiten und Unabhängigkeit Bedingte Wahrscheinlichkeiten und Unabhängigkeit Motivation: Sei (x 1,...,x n ) eine Stichprobe der Zufallsvariablen X : Ω M. Für A M ist die relative Häufigkeit r(a) = Anzahl der x i A in (x 1,...,x n ) n Für festes B M entfernen wir nun alle Beobachtungen aus der Stichprobe, die nicht in B liegen; das ergibt eine neue kleinere Stichprobe ( x 1,..., x k ) mit k n. In dieser neuen Stichprobe ist die relative Häufigkeit von A M. r B (A) = Anzahl der x i A in ( x 1,..., x k ) k = nr(a B) nr(b) = r(a B) r(b). Falls keine Beziehung zwischen A und B besteht, wird man erwarten, dass der Anteil von A in der verminderten Stichprobe dem in der ursprünglichen Stichprobe ähnelt: r B (A) r(a). Bsp. (x 1,...,x n ) sei eine Stichprobe von TU-Studenten; das Ereignis A bedeute Student ist weiblich, Ereignis B bedeute Student ist im November geboren. Definition 2.18 (Bedingte Wahrscheinlichkeit). Seien (Ω, F, P) ein Wahrscheinlichkeitsraum und B F mit P(B) > 0. Für A F heißt P(A B) := P B (A) := P(A B) P(B) bedingte Wahrscheinlichkeit von A gegeben B. Satz Seien (Ω, F,P) ein Wahrscheinlichkeitsraum und B F mit P(B) > 0. Dann ist P B : F [0, 1] ein Wahrscheinlichkeitsmaß mit P B (B) = 1. Beweis. Nachrechnen! Beispiel [Zweimaliger Würfelwurf] Seien Ω = {1,...,6} 2 und P = U Ω die Gleichverteilung.

29 18 2. Zufallsvariable, Verteilungen und Unabhängigkeit A = {2. Wurf ist eine 6} = {1,...,6} {6} und P(A) = A Ω = 1 6. B = {Augensumme ist 11} = {(5, 6), (6, 5)} und P(B) = B Ω = Weiter gilt A B = {(5, 6)} und P(A B) = Damit gilt P(A B) = P(A B) P(B) A B Ω Im Folgenden sei (Ω, F,P) ein Wahrscheinlichkeitsraum. = = 1 2. Satz 2.21 (Multiplikationsformel). Seien A 1,...,A n F mit P(A 1... A n ) > 0. Dann gilt P(A 1... A n ) = P(A 1 )P(A 2 A 1 ) P(A n A 1... A n 1 ). Beweis. Vollständige Induktion: n = 1 ist klar. P(A 1... A n ) = P(A n (A 1... A n 1 )) P(A 1... A n 1 ) P(A 1... A n 1 ) I.V. = P(A n A 1... A n 1 )P(A 1 )P(A 2 A 1 ) P(A n 1 A 1... A n 2 ). Satz 2.22 (Satz von der totalen Wahrscheinlichkeit). Sei Ω = i I B i eine (höchstens) abzählbare Zerlegung von Ω in paarweise disjunkte Mengen B i F. Dann gilt für alle A F P(A) = {i I:P(B i )>0)} P(A B i )P(B i ). Beweis. A = i I(A B i ) ist paarweise disjunkte Zerlegung von A. Also gilt P(A) = i I P(A B i ) = {i I:P(B i )>0)} P(A B i ) = {i I:P(B i )>0)} P(A B i )P(B i ). Satz 2.23 (Formel von Bayes). Sei (B i ) i I eine Zerlegung von Ω wie in Satz Für alle A F mit P(A) > 0 und alle j I mit P(B j ) > 0 gilt P(B j A) = P(A B j )P(B j ) {i I:P(B i )>0)} P(A B i)p(b i ).

30 2.2. Bedingte Wahrscheinlichkeiten und Unabhängigkeit 19 Beweis. P(B j A) = P(A B j) P(A) Satz 2.22 = P(A B j )P(B j ) {i I:P(B i )>0)} P(A B i)p(b i ). Anwendung: Falls man nur die umgekehrten Wahrscheinlichkeiten kennt. 1 Beispiel Eine Krankheit trete mit Häufigkeit 145 auf. Ereignis B : Sie haben K P(B) = Test zur Untersuchung auf K: Ereignis A : Test ist positiv. Der Test sei relativ gut: P(A B) = 0.96; P(A c B c ) = Dann gilt aber P(B A) Satz 2.23 = P(A B)P(B) P(A B)P(B) + P(A B c )P(B c ) = / / /145 = Nur mit Wahrscheinlichkeit 1 sind Sie bei positivem Testergebnis wirklich krank. 10 Bemerkung Falls reellwertige Zufallsvariable X, Y nur abzählbar viele Werte annehmen, gilt P(X = x Y = y) = P(X = x) = P(Y = y X = x) = = falls P(X = x),p(y = y) > 0. P(X = x,y = y) falls P(Y = y) > 0, P(Y = y) P(X = x Y = y)p(y = y), {y:p(y =y)>0} P(X = x Y = y)p(y = y) P(X = x) P(X = x Y = y)p(y = y), P(X = x Y = y)p(y = y) {y:p(y =y)>0} Dies motiviert die folgende Definition. Definition 2.26 (Bedingte Dichte). Seien X, Y reellwertige Zufallsvariable mit gemeinsamer Dichte f X,Y : R 2 R + (d.h. f X,Y ist Dichte von (X,Y ) : Ω R 2 ) und Randdichten f X,f Y : R R + (d.h. f X ist Dichte von X und f Y ist Dichte von Y ). Für y R mit f Y (y) > 0 heißt f X Y =y : R R + mit f X Y =y (x) := f X Y (x y) := f X,Y (x,y) f Y (y)

31 20 2. Zufallsvariable, Verteilungen und Unabhängigkeit bedingte Dichte von X gegeben Y = y. Anschaulich ist f X Y =y die Dichte des Wahrscheinlichkeitsmaßes B P(X B Y = y). Dies ist jedoch nicht definiert, da P(Y = y) = 0! Trotzdem stimmt die Intuition und kann auch (in Wahrscheinlichkeitstheorie) exakt gemacht werden. Satz Seien X,Y wie in Definition Dann gelten (1) f X Y =y ist Dichte eines Wahrscheinlichkeitsmaßes auf (R, B) (im Sinne von Satz 1.17). (2) f X (x) = f X Y =y (x)f Y (y)dy, x,y R. (3) f Y X=x (y) = f X Y =y(x)f Y (y) f X (x) (Bayessche Formel für Dichten). = f X Y =y(x)f Y (y) fx Y =z (x)f Y (z)dz falls f X(x) > 0. Beweis. (1) Messbarkeit wird in der Wahrscheinlichkeitstheorie bewiesen. f X Y =y (x)dx = 1 Satz 2.14(b) 1 f X,Y (x,y)dx = f Y (y) f Y (y) f Y (y) = 1. (2) Benutze f X Y =y (x)f Y (y) = f X,Y (x,y) und Satz 2.14(b). (3) 1. Gleichung: Definition; 2. Gleichung: (2). Definition 2.28 (Stochastische Unabhängigkeit, zwei Ereignisse). Zwei Ereignisse A,B F heißen (stochastisch) unabhängig, falls P(A B) = P(A)P(B). Bemerkung (1) Im Fall P(B) > 0 ist dies äquivalent zu P(A B) = P(A); vgl. dazu die Motivation zu Beginn von Abschnitt 2.2 und Definition (2) A und Ω (bzw. A und ) sind stets unabhängig. (3) Unabhängigkeit hat nicht unbedingt mit Kausalbeziehungen zu tun: Bsp. 1. Man kann eine stochastische Abhängigkeit zwischen der Zahl der Störche und der Zahl der Geburten messen. Das könnte auf eine Kausalbeziehung hindeuten, obwohl beide nur von einer dritten Grösse abhängen. Das Beispiel macht

32 2.2. Bedingte Wahrscheinlichkeiten und Unabhängigkeit 21 die Gefahr der Fehlinterpretation in der Statistik deutlich. Bsp. 2. Umgekehrt kann trotz einer statistischen Kausalbeziehung Unabhängigkeit vorliegen. Zweifacher Würfelwurf: Ω = {1,...,6} 2, P = U Ω. A = {2. Wurf ist eine 6} = {1,...,6} {6}, P(A) = 1 6. B = {Augensumme ist 7} = {(1, 6),...,(6, 1)}, P(B) = 1 6. A B = {(1, 6)}, P(A B) = 1 = P(A)P(B) A,B sind unabhängig. 36 Definition 2.30 (Stochastische Unabhängigkeit, Familie von Ereignissen). Sei I eine Indexmenge, A i F für alle i I. Die Familie (A i ) i I heißt unabhängig, falls für jede endliche Teilmenge J I gilt: P( i J A i ) = i J P(A i ). Bemerkung Falls für (A i ) i I nur gilt P(A i A j ) = P(A i )P(A j ), heißt die Familie paarweise unabhängig. Das ist i.a. schwächer als Unabhängigkeit. Bsp. Zweifacher Münzwurf: Ω = {0, 1} 2, P = U Ω. A = {1. Wurf ist 0 } = {0} {0, 1}, P(A) = 1 2. B = {2. Wurf ist 0 } = {0, 1} {0}, P(B) = 1 2. C = {Beide Würfe sind gleich} = {(0, 0), (1, 1)}, P(C) = 1 2. A B = B C = A C = A B C = {(0, 0)} hat Wahrscheinlichkeit 1 4. Somit gilt paarweise Unabhängigkeit, aber P(A B C) = = P(A)P(B)P(C), also A, B, C nicht unabhängig. Als nächstes definieren wir die Unabhängigkeit von Zufallsvariablen. Definition 2.32 (Unabhängige Zufallsvariable). Seien I eine Indexmenge, X i : (Ω, F) (Ω i, F i ) Zufallsvariable für alle i I. Die Familie (X i ) i I heißt unabhängig, falls für jede endliche Teilmenge J I und alle B i F i,

33 22 2. Zufallsvariable, Verteilungen und Unabhängigkeit i J, gilt: ( ) P {X i B i } = P(X i B i ) (2.1) i J i J (d.h. für alle B i F i, i I, ist die Familie ({X i B i }) i I unabhängig). Satz In Definition 2.32 sei G i ein -stabiler Erzeuger von F i für alle i I. Dann genügt es, in Definition 2.32, die Eigenschaft (2.1) für alle B i G i nachzuweisen. Beweis. Wahrscheinlichkeitstheorie. Korollar Sei (A i ) i I eine unabhängige Familie von Ereignissen. Seien C i {A i,a c i} für alle i I. Dann ist auch (C i ) i I unabhängig. Beweis. Betrachte X i := 1 Ai : Ω {0, 1}. Es ist G := {{1}} -stabiler Erzeuger von P({0, 1}). Wegen {X i {1}} = {1 Ai = 1} = A i ist die Familie ({X i {1}}) i I unabhängig. Nach Satz 2.33 ist (X i ) i I unabhängig. Damit ist nach Definition 2.32 ({X i B i }) i I unabhängig für beliebige B i P({0, 1}). Für {1} falls C i = A i, B i := {0} falls C i = A c i gilt {X i B i } = C i. Satz Seien X i : (Ω, F) (Ω i, P(Ω i )), i = 1,...,n, Zufallsvariable mit abzählbaren Ω i. X 1,...,X n sind genau dann unabhängig, wenn n P(X 1 = ω 1,...,X n = ω n ) = P(X i = ω i ) für alle ω 1 Ω 1,...,ω n Ω n. Beweis. Setze B i = {ω i }. Seien J, (B i ) i J wie in Definition O.B.d.A. sei J = {1,...,n} (sonst wähle B i = Ω i für i / J). n P( {X i B i }) = ω 1 B 1,...,ω n B n σ Add. = n P(X i = ω i ) = P(X 1 = ω 1,...,X n = ω n ) ω 1 B 1,...,ω n B n ( ) n n σ Add. P(X i = ω i ) = P(X i B i ). ω i B i

34 2.3. Wahrscheinlichkeitsmaße für unabhängige Versuchswiederholungen 23 Satz Seien X 1,...,X n reelle Zufallsvariable. Sie sind genau dann unabhängig, wenn n P(X 1 c 1,...,X n c n ) = P(X i c i ), c 1,...,c n R. (2.2) Beweis. : Klar mit B i := (,c i ]. : Sei J {1,...,n}. Dann gilt P( {X i c i }) = P(X i c i ) ; i J i J denn z.b. gilt für J = {1,..., n 1} mit der Stetigkeit von unten: P( i J{X i c i }) = lim u P(X 1 c 1,...,X n 1 c n 1,X n u) n 1 (2.2) = lim P(X i c i )P(X n u) = u n 1 P(X i c i ). Da {(,c] : c R} ein -stabiler Erzeuger von B ist (s. Bsp. 1.8(3)), folgt die Behauptung nach Satz Bemerkung Wenn eine Familie (X i ) i I von Zufallsvariablen unabhängig ist, dann ist das auch (f i (X i )) i I, wenn die f i messbare Funktionen sind. Ferner sind auch Kombinationen der Zufallsvariablen unabhängig; z.b. gilt X 1,...,X 5 unabhängig X 1 + X 2,X 3 X4 X 5 unabhängig (Beweis in der Wahrscheinlichkeitstheorie). 2.3 Wahrscheinlichkeitsmaße für unabhängige Versuchswiederholungen Sei (Ω, F,P) als Wahrscheinlichkeitsraum das Modell für ein Zufallsexperiment. Wenn das zugehörige Experiment n-mal wiederholt wird, passt dazu der Grundraum Ω n = Ω Ω (vgl. Bsp. 1.2(3)) mit dazu passender σ-algebra F n =

35 24 2. Zufallsvariable, Verteilungen und Unabhängigkeit F... F (vgl. Bsp. 1.8(5)). Die j-te Projektion π j : Ω n Ω, gegeben durch (ω 1,...,ω n ) ω j steht für das j-te Einzelexperiment. Frage: Welches Wahrscheinlichkeitsmaß Q auf (Ω n, F n ) passt zu dem Mehrfachexperiment? Wir wollen: Das Einzelexperiment π j hat Verteilung P, Einzelexperimente sind unabhängig. Antwort: Das Produktmaß P n = P P. Satz Sei I eine (höchstens) abzählbare Indexmenge. Seien (Ω i, F i,p i ) für i I Wahrscheinlichkeitsräume und Ω = Ω i, F = F i. Dann existiert i I i I genau ein Wahrscheinlichkeitsmaß P auf (Ω, F) so, dass die Projektionen π i : Ω Ω i die Verteilung P i haben und dass die Familie (π i ) i I unabhängig ist. Beweis. Wahrscheinlichkeitstheorie. Definition Das in Satz 2.38 definierte Maß P heißt das Produktmaß der P i und man schreibt P = P i. i I Bemerkung (1) P ist das Produktmaß auf (Ω, F) = ( n Ω i, n F i ) genau dann, wenn P(A 1 A n ) = n P i (A i ) für alle A 1 F 1,...,A n F n. Beweis: π 1,...,π n sind unabhängig. Daraus folgt P(A 1 A n ) = P(π 1 A 1,...,π n A n ) = n P(π i A i ) = n P i (A i ), die Umkehrung beweist man analog. (2) Seien X i : (Ω, F,P) (Γ i, G i ) für i = 1,...,n Zufallsvariable und X = (X 1,...,X n ) : (Ω, F,P) ( n Γ i, n G i ). Dann gilt X 1,...,X n sind unabhängig P X = n P Xi

36 2.3. Wahrscheinlichkeitsmaße für unabhängige Versuchswiederholungen 25 (die gemeinsame Verteilung ist das Produkt der Randverteilungen). Beweis: Linke Seite n P( {X i B i }) = P X (B 1 B n ) = n P(X i B i ) für B i G i, i = 1...,n n P Xi (B i ) für B i G i, i = 1...,n rechte Seite. Beispiel (1) Für i = 1,...,n seien (Ω i, P(Ω i ),P i ) endliche Wahrscheinlichkeitsräume mit P i = U Ωi (die diskrete Gleichverteilung aus Bsp. 1.18(1)). Für P = n P i auf (Ω, P(Ω)) = (Ω 1 Ω n, P(Ω 1 ) P(Ω n )) gilt P({(ω 1,...,ω n )}) = n P i ({ω i }) = n 1 Ω i = 1 n Ω i = 1 Ω, also ist P = U Ω die diskrete Gleichverteilung auf Ω. (2) n-maliger Wurf einer p-münze mit p [0, 1]. Ω 1 = = Ω n = {0, 1}, P i ({1}) = p = 1 P i ({0}) für i = 1,...,n. Dann ist (Ω, F,P) = ( n Ω i, n P({0, 1}), n P i ) = ({0, 1} n, P({0, 1} n ),P) mit P({(ω 1,...,ω n )}) = p Anzahlder Einsen (1 p) Anzahl dernullen = p n ω i (1 p) n n ω i. P heißt n-dimensionale Bernoulli Verteilung. Der folgende Satz ist ein Analogon zu Satz Satz Seien X 1,...,X n : (Ω, F) (R, B) Zufallsvariable mit Dichten f 1,...,f n : R R + und sei X = (X 1,...,X n ) : (Ω, F) (R n, B n ). X 1,...,X n sind unabhängig f : R n R + mit f(x 1,...,x n ) = f 1 (x) f n (x n ) ist Dichte von X.

37 26 2. Zufallsvariable, Verteilungen und Unabhängigkeit Beweis. f i ist Dichte zur Verteilung P Xi. Damit folgt n n n P Xi (A 1 A n ) = P Xi (A i ) = f i (x i )dx i A i n = f i (x i )dx 1 dx n = f(x 1,...,x n )dx 1 dx n A 1 A n A 1 A n = f(x)dx (Fubini). A 1 A n Nach dem Eindeutigkeitssatz 1.13 ist f Dichte von n P X i. Zusammen mit Bemerkung 2.40(2) folgt die Behauptung. Eine wichtige Operation ist das Addieren von unabhängigen Zufallsvariablen. Definition 2.43 (Faltung von Zufallsvariablen). Seien X, Y unabhängige, reelle Zufallsvariable und S = X + Y. P S heißt Faltung von P X und P Y. Schreibweise: P S = P X P Y. Satz Seien X,Y unabhängige reellwertige Zufallsvariable. (1) Seien X,Y Z-wertig, ρ X,ρ Y : Z [0, 1] Zähldichten von P X,P Y. Dann ist ρ S : Z [0, 1] mit ρ S (k) = ρ X (l)ρ Y (k l) l Z Zähldichte von P S. Schreibweise: ρ S = ρ X ρ Y (Faltung von ρ X und ρ Y ). (2) Seien f X,f Y Dichten von X,Y. Dann ist f S : R R + mit Dichte von S. f S (u) = f X (x)f Y (u x)dx Schreibweise: f S = f X f Y (Faltung von f X und f Y ). Beweis. (1) ρ S (k) = P X+Y (k) = P(X + Y = k) = P(X = l,y = k l) unabh. = l Z = l)p(y = k l) = l ZP(X ρ X (l)ρ Y (k l). l Z

38 2.3. Wahrscheinlichkeitsmaße für unabhängige Versuchswiederholungen 27 (2) f : R 2 R + mit f(x,y) = f X (x)f Y (y) ist gemeinsame Dichte von (X,Y ). Sei ϕ : R 2 R 2, ( ) ( ) ( ) x x x = A y x + y y mit A = ( ) 1 0 ; damit ist A 1 = 1 1 ( ) Nach Beispiel 2.16 hat (X,X + Y ) die Dichte g : R 2 R + mit g(u,v) = f(u,v u) = f X (u)f Y (v u). Nach Satz 2.14(b) hat X + Y die Dichte f S : R R + mit f S (v) = f X(u)f Y (v u)du. Eine weitere wichtige Operation ist das Ordnen von Stichproben. Satz Seien X 1,...,X n unabhängige, identisch verteilte, reellwertige Zufallsvariable mit Verteilungsfunktion F. Seien X (1),...,X (n) die nach ihrer Größe geordneten X 1,...,X n (die Ordnungsstatistiken), also X (1) X (n) mit X (1) = min{x 1,...,X n },...,X (n) = max{x 1,...,X n }. Dann gilt für k = 1,...,n: (1) F X(k) (c) = n j=k ( n ) j (F(c)) j (1 F(c)) n j,c R, ist die Verteilungsfunktion der k-ten Ordnungsstatistik X (k). (2) Falls F stetig differenzierbar ist mit Ableitung F = f, hat X (k) eine Dichte g k : R R +, gegeben durch g k (x) = n! (k 1)!(n k)! (F(x))k 1 (1 F(x)) n k f(x), x R. Außerdem hat (X (1),...,X (n) ) eine Dichte g : R n R +, gegeben durch n! n f(x i ) falls x 1 x 2 x n, g(x 1,...,x n ) = 0 sonst.

39 28 2. Zufallsvariable, Verteilungen und Unabhängigkeit Beweis. (1) Für c R definiere B n = n 1 {X i c}. Dann gilt F X(k) (c) = P(X (k) c) = P(B n k) = P(B n = j) = = j=k {T {1,...,n}: T =j} (F(c)) j (1 F(c)) n j. j=k T j=k (P(X i c)) j (P(X i > c)) n j Die Behauptung folgt, da T genau ( n j) Summanden besitzt. (2) Man rechnet leicht nach, dass F X(k) (c) = c g k(x)dx für c R gilt. Für die mehrdimensionale Dichte beachte, dass (X (1),...,X (n) ) = ϕ(x 1,...,X n ) mit ϕ : R n R n. Für π S n := {Permutationen von {1,...,n}} definiert man U π := {(y 1,...,y n ) R n : y π(1) ) < < y π(n), dann sind die U π offen und paarweise disjunkt. Ferner sei R := R n \ ( π S n U π ) = {(y 1,...,y n ) R n : i,j mit y i = y j }. Dann gilt λ n (R) = 0, also o.b.d.a. ist f (X1,...,X n) = 0 auf R (Beweis in Wahrscheinlichkeitstheorie). Für ϕ π := ϕ Uπ : U π ϕ(u π ) = {(x 1,...,x n ) R n : x 1 < < x n } gilt ϕ π (x) = A π x, wobei A π = (e π(1),...,e π(n) ) mit dem i-ten Einheitsvektor e i := (0,...,0, 1, 0,...,0) (mit 1 an i-ter Komponente). Dann ist det(a π ) = 1. Nach Satz 2.42 gilt f (X1,...,X n)(x 1,...,x n ) = n f(x i ), also f(ϕ 1 π (y 1,...,y n )) = f(y ϕ 1 (1),...,y ϕ 1 (n)) = n f(y ϕ 1 (i)) = Nach dem Transformationssatz 2.15 hat (X (1),...,X (n) ) die Dichte g(y) = n 1 {(y1,...,y n) R n : y 1 < <y n}(y) f(y i ). π S n Beachte : = n! wie in der Aussage. n f(y i )1 {(y1,...,y n) R n : y 1 < <y n}(y). n f(y i ). Für k = 1,...,n folgt durch Differenzieren von F X(k) die Form von g k

40 Kapitel 3 Stochastische Standardmodelle Frage: (Modell)? wie entscheidet man sich für ein konkretes Wahrscheinlichkeitsmaß P theoretische Überlegungen (z.b. alle Ausgänge gleichwahrscheinlich) empirische/statistische Untersuchungen eine Kombination von Beidem. 3.1 Diskrete Verteilungen Diskrete Gleichverteilung und Kombinatorik Zur Erinnerung: Sei Ω < ; U Ω : P(Ω) [0, 1], A A heißt (diskrete) Ω Gleichverteilung auf Ω; (Ω, P(Ω),U Ω ) heißt Laplace-Raum. Idee: Es liegt z.b. aus physikalischen Gründen nahe anzunehmen, dass alle Ergebnisse gleichwahrscheinlich sind. Konsequenz: Zur Berechnung von Laplace-Wahrscheinlichkeitkeiten müssen Elemente von Mengen abgezählt werden. 29

41 30 3. Stochastische Standardmodelle Lemma 3.1 (Grundelemente der Kombinatorik). Seien A, B endliche Mengen. (1) (a) Falls eine Bijektion f : A B existiert, gilt A = B. (b) Im Fall A B = gilt A B = A + B. (c) Im Fall A B gilt B \ A = B A. (2) Mächtigkeit des kartesischen Produkts: A B = A B, und allgemeiner: A 1 A n = n A i, insbesondere A n = A n. (3) Anzahl von Funktionen: (a) beliebige Funktion: Für Abb(A,B) := {f : A B} = B A gilt B A = B A. (b) Injektive Funktionen: {f Abb(A, B) : f injektiv} = Spezialfall bijektive Funktionen. Falls A = B : {f Abb(A,B) : f bijektiv} = A!. B! ( B A )!. (4) Teilmengen: ( ) A (a) k-elementige Teilmengen: {C A : C = k} = für k A, ( ) k n n(n 1) (n k + 1) n! wobei := = für k,n N,k n k k! (n k)!k! der Binomialkoeffizient ist. (b) Aufteilen auf Teilmengen gegebener Größe. Seien n 1,...,n r N mit n n r = n := A. Definiere M = {(A 1,...,A r ) : A 1,...,A r A paarweise disjunkt, A i = n i für i = 1,...,r} Dann gilt M = n! n 1! n r! (Multinomialkoeffizient) (c) Alle Teilmengen: P(Ω) = 2 A.

42 3.1. Diskrete Verteilungen 31 Beweis. (Exemplarische Begründungen): (3a) Sei A = {a 1,...,a n }. Identifiziere die Funktion f : A B mit einem Tupel (f(a 1,...f(a n )) = (x 1,...,x n ) B B = B n, also {f : A B} (1a) = B n (2) = B n = B A. (3b) Seien A = {a 1,...,a k }, B = {b 1,...,b n }. Identifiziere die injektive Funktion f : A B mit einem Tupel (x 1,...,x n ) B n : x 1 {1,...,n} : Rangplatz von f(a 1 ) in {b 1,...,b n }, x 2 {1,...,n 1} : Rangplatz von f(a 2 ) in {b 1,...,b n } \ {f(a 1 )},. x k {1,...,n k+1} : Rangplatz von f(a k ) in {b 1,...,b n }\{f(a 1 ),...,f(a k 1 )} Nach (1a) folgt {f Abb(A,B) : f injektiv} (1a) = {1,...,n} {1,...,n 1} {1,...,n k + 1} (2a) n! = n(n 1) (n k + 1) = (n k)!. (4b) Seien A = {a 1,...,a n }. Identifiziere die Bijektion f : A A mit einem Tupel {α,π 1,...,π r } M S n1 S nr via (f(a 1 ),...,f(a n1 ),f(a } {{ } n1+1),...,f(a n1+n 2 ),...,f(a } {{ } n1+ +n r 1+1),...,f(a n )). } {{ } A 1 A 2 A r Eine Permutation von A entspricht einer Aufteilung von A in r Mengen wie abgebildet, zusammen mit einer Festlegung der Reihenfolge in den r einzelnen Teilmengen. Also: n! (3b) = {f Abb(A,A) : f bijektiv} (1a) = M S n1 S nr (2) = M S n1 S nr (3b) = M n 1! n r!, n! d.h. M = n 1! n r!. (4a) Identifiziere eine k-elementige Teilmenge C von A mit einer Aufteilung von A in zwei Mengen A 1,A 2 mit A 1 = k, A 2 = A k (via A 1 := C,A 2 := A \ C). Somit gilt: {C A : C = k} (1a,4b) A! = k!( A k)!.

43 32 3. Stochastische Standardmodelle (4c) Für n N gilt: 2 n = (1 + 1) n = k=0 ( ) n 1 k 1 n k = k k=0 ( ) n, k also A P(A) = {C A : C = k} (1b) = k=0 Korollar 3.2 (Multinomialsatz). (x x r ) n = n 1,...,nr 0 : n 1 + +nr=n A k=0 A ( ) A {C A : C = k} = = 2 A. k k=0 n! n 1! n r! xn 1 1 x nr r, x 1,...,x r R,r N. Beweis. ( r ) n = = = { } (A1,...,Ar) : Zerlegung von{1,...,n} n 1,...,nr 0 : n 1 + +nr=n n 1,...,nr 0 : n 1 + +nr=n r x A i i { } (A1,...,Ar) : Zerlegung von{1,...,n}mit A i =n i n! n 1! n r! r x n i i. r x n i i Beispiel 3.3. [Urnenmodelle] (1) Anordnung der Länge n aus N Elementen mit Wiederholungen: Ω = {(ω 1,...,ω n ) : ω i {1,...,N} für i = 1,...,N} = {1,...,N} n, Ω (L.3.1(2)) = N n. Bsp.:, n-maliges Würfeln mit N-seitigem Würfel; Ziehen mit Zurücklegen. (2) Anordnung der Länge n aus N Elementen ohne Wiederholungen: Ω = {(ω 1,...,ω n ) : ω i ω j für i j}, Ω (L.3.1(3b)) = N! (N n)!.

44 3.1. Diskrete Verteilungen 33 Bsp.: Ziehen ohne Zurücklegen; Ziehung der Lottozahlen (vor dem Sortieren). (3) Kombinationen der Länge n aus N Elementen ohne Wiederholungen: Ω = {(ω 1,...,ω n ) {1,...,N} n : ω 1 < ω 2 < < ω n }. Die Elemente von Ω entsprechen n-elementigen Teilmengen von {1,...,N}, also Ω (L.3.1(b),(4a)) ) =. ( N n Bsp.: Ziehen ohne Zurücklegen, ohne Beachtung der Reihenfolge; Ziehung der Lottozahlen. (4) Kombinationen der Länge n aus N Elementen mit Wiederholungen: Ω = {(ω 1,...,ω n ) {1,...,N} n : ω 1 ω 2 ω n }. Jedes Element von Ω kann via (ω 1,...,ω n ) (ω 1,ω 2 + 1,...,ω n + n 1) in eineindeutiger Weise mit einem Element von Ω := {(ω 1,...,ω n ) {1,...,N + n 1} n : ω 1 < ω 2 < < ω n } identifiziert werden; also Ω (L.3.1(1a),(4a)) = Ω (L.3.1(3),(4a)) = ( N+n 1 ) n. Bsp.: Ziehen mit Zurücklegen ohne Beachtung der Reihenfolge, aber Achtung: Die Elemente von Ω sind bei realen Zufallsexperimenten (z.b. Wurf mit n Würfeln) in aller Regel nicht gleich wahrscheinlich die diskrete Gleichverteilung ist unangemessen. Beispiel 3.4. [Würfeln mit 3 Würfeln] Ω = {1,...,6} 3, P = U Ω die diskrete Gleichverteilung, A = {Gesamtaugenzahl ist 11} = {(ω 1,ω 2,ω 3 ) Ω : ω 1 + ω 2 + ω 3 = 11}, B = {Gesamtaugenzahl ist 12} = {(ω 1,ω 2,ω 3 ) Ω : ω 1 + ω 2 + ω 3 = 12}. Einzelnes Abzählen ergibt A = 27, B = 25, also P(A) = A Ω = = 0.125, P(A) = A Ω = =

45 34 3. Stochastische Standardmodelle Im Modell aus Beispiel 3.3(4) hätten beide Ereignisse die gleiche Wahrscheinlichkeitkeit; denn 11 lässt sich darstellen als 146, 155, 236, 245, 335, lässt sich darstellen als 156, 246, 255, 336, 345, 444. Aufpassen bei Verwendung der Gleichverteilungsannahme! Einige wichtige diskrete Verteilungen Definition 3.5 (Binomialverteilung, B n,p ). Seien n N, Ω = {0, 1,...,n} (oder Ω = N 0 ), p [0, 1]. Die Binomialverteilung B n,p auf (Ω, P(Ω)) ist definiert durch die Zähldichte ρ(k) = B n,p (k) := ( ) n p k (1 p) n k, k = 0, 1,...,n bzw. N 0. (3.1) k 0.3 ρ(k) = ( n k) p k (1 p) n k ; p = 0.2, n = k Abbildung 3.1: Wahrscheinlichkeitsfunktion der Binomialverteilung B 10,0.2. Bem.: (1) Wegen n ρ(k) = n k=0 nach Satz 1.15 wohldefiniert. k=0 ( n ) k p k (1 p) n k = (p + (1 p)) n = 1, ist B n,p (2) Die präzise Schreibweise wäre eigentlich ρ(k) = B n,p ({k}).