Vorlesung Einführung in die Wahrscheinlichkeit

Vorlesung Einführung in die Wahrscheinlichkeit Prof. C. Mazza Wintersemester 007/008 Literatur W. Feller, An introduction to probability theory and some of its applications I Wiley 1968. K.L. Chung, Elementary probability theory with stochastic processes Springer 1974. J-Y. Ouvrard, Probabilités 1, Capes et Agrégation Cassini 1998 Contents 1 Der Begriff der Wahrscheinlichkeit, Wahrscheinlichkeitsräume, Beispiele 3 1.1 Verschiedene Wahrscheinlichkeitsbegriffe.................... 3 1. Zufallsexperimente, Wahrscheinlichkeitsräume.................. 4 1.3 Abzählbare Wahrscheinlichkeitsräume...................... 4 1.4 Allgemeine Wahrscheinlichkeitsräume...................... 7 Bedingte Wahrscheinlichkeiten, unabhängige Ereignisse 8.1 Die bedingte relative Häufigkeit:......................... 8. Bedingte Wahrscheinlichkeit:........................... 9.3 Unabhängigkeit:.................................. 9 3 Diskrete Zufallsgrössen 1 3.1 Die Verteilung einer Zufallsgrösse......................... 1 3. Einige Eigenschaften der Erwartung....................... 13 3.3 Unabhängige reelle Zufallsgrössen......................... 14 3.4 Moment, Varianz aund Kovarianz......................... 15 3.5 Die Faltung von Wahrscheinlichkeiten...................... 17 1

3.6 Liste einiger wichtigen diskreten Verteilungen................. 18 3.7 Die Verteilungsfunktion einer Zufallsgrösse.................... 0 3.8 Erzeugende Funktionen.............................. 0 3.9 Beispiele von abhängigen Zufallsgrössen..................... 0 4 Zufallsgrössen mit Dichten 3 4.1 Unabhängige Zufallsgrössen............................ 6 4. Die Verteilungsfunktion einer Zufallsgrösse.................... 7 4.3 Die Faltung von Dichten.............................. 8 4.4 Lineare Abbildungen von Zufallsvektoren.................... 9 4.5 Funktionen von reellen Zufallsgrössen...................... 30 4.6 Zwei weitere wichtige Dichten: Die Student und die Exponential Verteilungen 30 5 Die Gesetze der grossen Zahlen 3 5.1 Die Ungleichung von Tschebyscheff........................ 33 5. Das schwache Gesetz der grossen Zahlen..................... 34 5.3 Das starke Gesetz der grossen Zahlen....................... 34 5.4 Anwendung der Gesetze der grossen Zahlen................... 34 5.5 Markovsche Ungleichung.............................. 35 6 Der zentrale Grenzwertsatz 36 Vorbemerkungen Wahrscheinlichkeit und Statistik haben zwei gemeinsame Wurzeln, die früh zusammengewachsen sind: 1. Glücksspiele. Elementare beschreibende Statistik Statistik = Zusammenstellung von numerischen Daten für die Zwecke des Staates Heutige Unterscheidung: Wahrscheinlichkeitsmodell Wahrscheinlichkeitstheorie Statistik Beobachtungen

Ohne wahrscheinlichkeitstheoretische Grundlegung kann man die heutige Statistik nicht verstehen. Deshalb wird die Statistik im Sommersemester behandelt. 1 Der Begriff der Wahrscheinlichkeit, Wahrscheinlichkeitsräume, Beispiele 1.1 Verschiedene Wahrscheinlichkeitsbegriffe Schwierigkeit: es gibt mindestens vier, nur teilweise miteinander verträgliche Wahrscheinlichkeitsbegriffe: a Wahrscheinlichkeit = Mass des persönlichen Glaubens. Das entspricht dem umgangssprachlichen Wahrscheinlichkeitsbegriff; mathematisch formalisiert von L.J. Savage Foundations of Statistics, Wiley, 1954. Kritik: die Wahrscheinlichkeitstheorie wird damit zu einer psychologischen Theorie wie verknüpfen wir unseren a priori Glauben mit den Beobachtungen zu einem a posteriori Glauben, und unser Geist scheint diese Verknüpfung nicht nach der sogenannten Bayes schen Formel s. Kapitel II vorzunehmen, wie es die Subjektivisten von einer idealen Person fordern. Anzahl günstige Fälle b Wahrscheinlichkeit = Anzahl mögliche Fälle. Das ist die klassische Definition; die Wahrscheinlichkeit wird hier durch eine Symmetriebetrachtung gefunden. Bemerkung die Wahrscheinlichkeit in 4 Würfen mit einem Würfel mindestens einmal eine Sechs zu werfen, ist günstige Fälle ungünstige Fälle = 1 mögliche Fälle mögliche Fälle = 1 54 6 4. Empirischer Hintergrund: das Resultat eines einzelnen Wurfes ist zwar nicht vorhersagbar, auf die Länge treten aber alle sechs Möglichkeiten etwa gleichhäufig auf. Nachträglich versucht man das durch eine Symmetriebetrachtung zu begründen. Beispiel n Würfe einer symmetrischen Münze. Gesucht ist die Wahrscheinlichkeit p k, dass man k mal Kopf erhält. Man hat n 1 n, p k = k = 0, 1,..., n. k Es gibt n mögliche Ausgänge und n k := n! k!n k! günstige Fälle! Kritik: die klassische Definition erleidet Schiffbruch, sobald man gefälschte Würfel oder Münzen betrachtet. c Wahrscheinlichkeit = Grenzwert der relativen Häufigkeit. Diese Definition wird durch die bereits erwähnte beachtliche Stabilität der relativen Häufigkeit suggeriert. Es ist schwierig, daraus eine mathematische Definition zu machen: 3

wie ist eine zufällige Folge ins Unendliche fortzusetzen? Der Ansatz von von Mises Wahrscheinlichkeit, Statistik und Wahrheit, Springer, Wien, 1936 ist nicht ganz adäquat, wurde aber vor wenigen Jahren in Ordnung gebracht P. Martin Löf: Definition of random sequences. Information and Control 6 1966, 60 619. d Wahrscheinlichkeit = implizit durch ein Axiomensystem definiert. Dieser Ansatz ist sehr handlich und hat sich allgemein eingebürgert, erschöpft aber nicht alle Aspekte des Wahrscheinlichkeitsbegriffes z.b. kann er nicht zwischen zufälligen und unzufälligen Folgen von 0 und 1 unterscheiden!. In dieser Vorlesung werden wir die Wahrscheinlichkeit durch ein Axiomensystem definieren. 1. Zufallsexperimente, Wahrscheinlichkeitsräume Empirische Tatsache: es gibt Experimente z.b. viermaliges Werfen eines Würfels, welche unter den gleichen Bedingungen mehrfach wiederholt werden können, aber nicht immer das gleiche Resultat liefern. Bei oftmaliger Wiederholung stabilisiert sich jedoch die relative Häufigkeit der verschiedenen möglichen Ergebnisse ω 1, ω,..., ω N : wenn ω i bei n maliger Wiederholung n i mal aufgetreten ist, scheint ni n für n einem Grenzwert p i zuzustreben. Wir werden das folgende Zufallsexperiment später genauer analysieren. Zufallsexperiment: n maliges Werfen einer Münze. Mögliche, unterscheidbare Ergebnisse Elementarereignisse : jede Folge ω i der Länge n von Kopf 0 und Zahl 1 ist ein mögliches Ereignis, es gibt also N = n mögliche Ergebnisse. Wahrscheinlichkeiten: bei einer idealen Münze hat jedes mögliche Ergebnis ω nach der klassischen Definition die gleiche Wahrscheinlichkeit n ; bei einer gefälschten Münze werden die Wahrscheinlichkeiten verschieden sein. Beachte: dieses Zufallsexperiment kann auch als n malige Wiederholung eines Zufallsexperimentes mit nur zwei möglichen Ergebnissen aufgefasst werden. Ein anderes Beispiel eines Zufallsexperimentes: Man wirft eine ideale Münze so lange bis man Zahl bekommt. Mögliche Ergebnisse: alle Folgen ω i der Form 0, 0,..., 0, 1, i = 1,,.... }{{} i 1 mal Die Menge aller möglichen Ausgänge ist hier unendlich, aber abzählbar. i, 1 Wahrscheinlichkeiten: p i := Wahrscheinlichkeit von ω i = i = 1,,.... Beachte: p i = 1. 1.3 Abzählbare Wahrscheinlichkeitsräume Ein abzählbarer Wahrscheinlichkeitsraum besteht aus einer abzählbaren Menge Ω = {ω 1, ω,... }; jedem Element Elementarereignis ω i ist eine reelle Zahl p i 0 zugeordnet die Wahrschein- 4

lichkeit von ω i, derart dass p i = 1. Die Teilmengen A Ω heissen zusammengesetzte Ereignisse oder kurz Ereignisse; die Wahrscheinlichkeit P A eines Ereignisses ist definiert durch P A = p i. Es gilt: 1 P = 0, P Ω = 1, i:ω i A 3 P A i = P A i falls A i A j = für i j. ist die Vereinigung, der Durchschnitt Eine auf der Menge A aller Teilmengen von Ω definierte Funktion P, die die Eigenschaften 1,, 3 besitzt, wird Wahrscheinlichkeitsmass, Wahrscheinlichkeitsverteilung oder kurz Wahrscheinlichkeit genannt; das Tripel Ω, A, P heisst abzählbarer Wahrscheinlichkeitsraum. Wir stellen uns auf den axiomatischen Standpunkt: die p k sind beliebige vorgegebene Zahlen. Beabsichtigte Interpretation i Bei oftmaliger Wiederholung des Experimentes tritt das Ereignis A mit einer relativen Häufigkeit nahe bei P A auf. ii Wenn P A nahe bei 1 resp. bei 0 liegt, trifft A bei einmaliger Durchführung des Experimentes praktisch sicher ein resp. nicht ein. Die Wahrscheinlichkeit wird also auch in dieser sogenannten Häufigkeitsinterpretation letzten Endes durch den subjektiven Glauben interpretiert, aber nur qualitativ, nicht quantitativ. Sei Ω, A, P ein abzählbarer Wahrscheinlichkeitsraum. Die Folge A 1, A,... von Ereignissen heisst monoton wachsend resp. fallend, falls A i A i+1, i A i+1 A i, i gilt. Satz 1.1. A 1, A,... sei eine Folge von Ereignissen. Behauptungen 1. P A c 1 = 1 P A 1 A c 1 bedeutet das Komplement von A. P A 1 A = P A 1 + P A P A 1 A 5

3. P A 1 A A 3 = P A 1 + P A + P A 3 P A 1 A P A 1 A 3 P A A 3 + P A 1 A A 3 4. P n A i = n P A i P A i1 A i + i 1<i P A i1 A i A i3 + 1 n+1 P A 1 A A n i 1<i <i 3 5. A i = lim P A i = P A i, i A i = lim P A i = P A i. i Beweis. 1. Man hat A 1 A c 1 = Ω und somit P A 1 + P A c 1 = P Ω = 1.. Wegen A 1 A = A 1 A 1 A A A 1 A A 1 A gilt P A 1 A = P A 1 P A 1 A + P A P A 1 A + P A 1 A = P A 1 + P A P A 1 A A B := A B c 3. siehe 4. 4. Der Beweis geschieht durch Induktion über n. Die Behauptung ist richtig für n =. Nehmen wir an, sie sei bis n 1 bewiesen. Dann ist P A 1 A A n = P n 1 Nach Voraussetzung gilt und n 1 P A i = P n 1 n 1 Daraus folgt n 1 P A i A i A n. n 1 i 1,i =1 i 1 <i A i An = P n 1 A i A n = P A i A n n P A i = n 1 n 1 = P A i + P A n P n 1 A i A n. P A i1 A i + + 1 n P A 1 A n 1 i 1,i =1 i 1 <i P A i1 A i A n + + 1 n P A 1 A A n. n P A i n i 1,i =1 i 1 <i n P A i1 A i + + 1 n+1 P A i. 6

5. Setzen wir im Falle, wo A i A i := A i A i 1, i =, 3,..., A 1 := A 1. Dann gilt A i = und somit A i P A i = P A i = P A i, denn die Ereignisse {A j } sind paarweise disjunkt. Ferner gilt P A i = lim n = lim n n P A i = lim {P n A 1 + + P A n} { P A 1 + P A P A 1 + + = lim n P A n. Im Falle, wo A i hat man A c i. Deswegen ist P A c i = 1 P P A n P A n 1 A i = lim P n Ac n = lim 1 P An n } und somit P A i = lim n P A n. 1.4 Allgemeine Wahrscheinlichkeitsräume Ein Wahrscheinlichkeitsraum ist ein Tripel Ω, A, P, bestehend aus einer beliebigen Menge Ω, einer Menge A von Teilmengen Ereignisse von Ω und einer reellwertigen Funktion P auf A, derart dass A0 1. Ω A,. A A = A c A, 3. A i A, i = 1,,... = A i A. Eine solche Menge A heisst σ Algebra von Teilmengen. A1 1. 0 P A 1, P Ω = 1,. P A i = P A i falls A i A j = für i j. Axiome von Kolmogoroff Es ist einfach zu sehen, dass der vorher bewiesene Satz auch im allgemeinen Fall gültig ist. Bemerkung Betrachten wir das folgende Experiment: Ein Punkt wird im Intervall [0, 1] zufällig ausgewählt. Mögliche Ergebnisse: Ω := [0, 1]. 7

Wahrscheinlichkeiten: Hier muss man P {ω} = 0 setzen warum?, und es ist nicht mehr möglich, die Wahrscheinlichkeit irgendwelcher Teilmengen A von Ω als die Summe der Wahrscheinlichkeiten ihrer Elemente zu definieren. Man kann aber zeigen, dass es eine einzige Funktion P auf der kleinsten σ Algebra gibt, welche die Intervalle I enthält, so dass A 1 1, mit P I = Länge von I für alle Intervalle I erfüllt sind. Beispiele von Wahrscheinlichkeiten, die durch Symmetriebetrachtungen ausgerechnet werden Beispiel 3 Aus einem Kartenspiel 36 Karten greift man auf gut Glück 3 Karten heraus. Gesucht ist die Wahrscheinlichkeit P dafür, dass sich unter ihnen genau ein As befindet. Wir haben P = 4 3 günstige Fälle mögliche Fälle = 1 36 = 496 0, 778. 1785 3 Beispiel 4 Wir betrachten dasselbe Zufallsexperiment wie im dritten Beispiel. Gesucht ist die Wahrscheinlichkeit Q dafür, dass unter ihnen wenigstens ein As vorkommt Ereignis A. Wir haben 3 3 P A = 1 P A c = 1 36 0, 3053. 3 Bemerkung: auf gut Glück bedeutet, dass alle möglichen Ausgänge gleichwahrscheinlich sind. Beispiel 5 Eine Urne enthält n weisse und n rote Kugeln. Der Reihe nach zieht man zufällig eine Kugel und dies ohne Zurücklegen. Wie gross ist die Wahrscheinlichkeit P, dass im Laufe der Ziehung nie mehr rote Kugeln als weisse Kugel gezogen worden sind? Antwort: P = 1 n+1 ; der Beweis wird in der Vorlesung durchgeführt. Bedingte Wahrscheinlichkeiten, unabhängige Ereignisse.1 Die bedingte relative Häufigkeit: Wir betrachten ein Zufallsexperiment z.b. einen Wurf mit einem symmetrischen Würfel. A und B seien zwei Ereignisse. Tritt bei n Wiederholungen des Experimentes genau n B mal das Ereignis B ein, und findet bei diesen n B Versuchen n A B mal zusammen mit B auch das Ereignis A statt, so wollen wir den Quotienten h A B = n A B n B = n / A B nb n n die bedingte relative Häufigkeit nennen. 8

Die bedingte relative Häufigkeit des Ereignisses A unter der Bedingung B in einer Versuchsfolge ist also gleich der relativen Häufigkeit von A in einer Teilfolge dieser Versuchsfolge, die aus denjenigen Versuchen der ursprünglichen Folge besteht, bei welchen B stattgefunden hat.. Bedingte Wahrscheinlichkeit: Interpretiert man die Wahrscheinlichkeit eines Ereignisses als relative Häufigkeit, ist es dann sinnvoll, die bedingte Wahrscheinlichkeit P A B von A, gegeben B, wie folgt zu definieren P A B P A B := falls P B > 0 ist. P B Hier wird vorausgesetzt, dass ein allgemeiner Wahrscheinlichkeitsraum vorgegeben ist..3 Unabhängigkeit: Zwei Ereignisse A, B heissen unabhängig, wenn gilt. P A B = P AP B Bemerkung: Im Falle, wo P B > 0 ist, sind A und B unabhängig dann und nur dann, wenn P A B = P A ist. Beachte: Die Definition von Unabhängigkeit ist symmetrisch. Die Frage, ob die kausale Unabhängigkeit durch stochastische Unabhängigkeit wie oben definiert formalisiert werden kann, kann nur empirisch entschieden werden. Satz.1 Der Satz von der totalen Wahrscheinlichkeit und die Formel von Bayes. Ω, A, P sei ein Wahrscheinlichkeitsraum. Seien B 1,, B k, A beliebige Ereignisse mit a P B i > 0, i und P A > 0, b B i B j = für i j und c k B i = Ω. Dann gilt P A = k P A B j P B j Satz von der totalen Wahrscheinlichkeit. j=1 Die unmittelbar daraus folgende Beziehung P B i A = P B i A P A wird Formel von Bayes genannt. = P A B ip B i k P A B j P B j j=1 9

Diese Formel hat eine fundamentale Bedeutung in der subjektiven Wahrscheinlichkeitsauffassung: sei P B i das Mass unseres a priori Glaubens an die Richtigkeit der Hypothese B i ; wir kennen ausserdem die bedingten Wahrscheinlichkeiten P A B i für das Eintreffen von A unter den verschiedenen Hypothesen. Wenn nun das Experiment tatsächlich das Resultat A ergeben hat, modifiziert eine ideale Person ihren a priori Glauben zum a posteriori Glauben P B i A gemäss der Bayes schen Formel. Beispiel 1 vgl. Kapitel I, Beispiel Zufallsexperiment: n Würfe mit einer idealen Münze. A k : der k te Wurf ergibt Zahl. Man hat P A k = n 1 n = 1, P A k A l = n n = 1 4 = für k l sind A k und A l unabhängig. für k l Beispiel Ich habe einen Sack voll Münzen. Die Hälfte davon fällt mit Wahrscheinlichkeit p = 0, 9 Kopf, die andere Hälfte mit Wahrscheinlichkeit p = 0, 1. Ich ziehe auf Geratewohl eine Münze aus dem Sack und werfe sie zweimal. Sei K i das Ereignis: Kopf im i ten Wurf. Dann gilt: P K 1 = P K 1 p = 0.9 P p = 0.9 + P K 1 p = 0.1 P p = 0.1 = 0.5 }{{}}{{}}{{}}{{} 0.9 0.5 0.1 0.5 P K = 0, 5, P K 1 K = 0.9 0.5 + 0.1 0.5 = 0.41, P K K 1 = 0.41 0.5 = 0.8. Angenommen, ich habe zweimal Kopf geworfen. Wie gross ist die Wahrscheinlichkeit, dass meine Münze zur Klasse p = 0.9 gehört? a posteriori Glauben! P p = 0.9 K 1 K = P p = 0.9 K 1 K P K 1 K = 0.5 0.9 0.9 0, 41 Formel von Bayes mit A = K 1 K, B 1 p = 0.1 und B p = 0.9 = 0.988 10

Unabhängige Ereignisse Definition Eine Familie A 1, A,, A n heisst unabhängig, falls P j J A j = j J P A j für alle Teilmengen J von {1,,, n}. Zum Beispiel, die Familie A 1, A, A 3 ist unabhängig, falls P A 1 A = P A 1 P A, P A A 3 = P A P A 3, P A 1 A 3 = P A 1 P A 3 und P A 1 A A 3 = P A 1 P A P A 3 gilt. Definition Die Ereignisse A 1, A,, A n heissen paarweise unabhängig, falls P A i A j = P A i P A j für i j gilt. Beachte: paarweise Unabhängigkeit impliziert nicht die Unabhängigkeit der Familie. Beispiel: Wir betrachten Würfe mit einem Würfel und definieren drei Ereignisse wie folgt A 1 1. Wurf zeigt gerade Augenzahl, A. Wurf zeigt gerade Augenzahl, A 3 beide Würfe haben die gleiche Parität. In diesem Falle sind die Ereignisse A 1, A, A 3 paarweise unabhängig, aber die Familie ist nicht unabhängig. Beispiel 3 Rotgrün-Blindheit R: Eine meist angeborene Störung des Farbensinnes; Farben zwischen Rot und Grün erscheinen als verschieden helles Gelb. Untersuchungen haben ergeben: Bei den Männern M tritt R viel häufiger auf als bei den Frauen F. Man kann nämlich annehmen, dass P R M = 8 % und P R F = 0, 4 % gilt. Wir wollen jetzt die bedingte Wahrscheinlichkeit P M R des Ereignisses M, gegeben R ausrechnen. Um die Sache zu vereinfachen, setzen wir P M = P F = 1/. Nach dem Satz von der totalen Wahrscheinlichkeit und der Formel von Bayes erhalten wir P R = P R MP M + P R F P F = 0, 08 0, 5 + 0, 004 0, 5 = 0, 04 und somit P M R = P R M P M P R = 0, 08 0, 5 0, 04 = 0, 95. Sei Ω, A, P ein Wahrscheinlichkeitsraum. Definition Die Mengensysteme A 1,, A k sind stochastisch unabhängig, falls für alle k Tupel A 1 A 1,..., A k A k, P A 1 A A k = k P A i. Definition Eine Familie A t t T von Mengensystemen heisst unabhängig, falls die Mengensysteme A t t J, für alle endlichen Teilmengen J von T, unabhängig sind. 11

3 Diskrete Zufallsgrössen Ω, A, P sei ein Wahrscheinlichkeitsraum und E eine abzählbare Menge. Definition E, so dass Eine diskrete Zufallsgrösse mit Werten in E ist eine Abbildung X von Ω in X 1 {e} := {ω Ω: Xω = e} A, e E. X ist eine reelle Zufallsgrösse, falls E R und ein Zufallsvektor im Falle, wo E R k k > 1. Beispiel 1 n maliges Werfen einer symmetrischen Münze Ω = {ω = ω 1, ω,, ω n : ω i {0, 1}, i }, A = PΩ, P {ω} = 1 n ω Ω. Xω := n ω i In diesem Fall ist E = {0, 1,,, n} und P X 1 k = n k, k = 0,, n n siehe Beispiel, I, 1. 1 Beispiel n maliges Werfen einer Münze: die Binomial verteilung Bn, p A i sei das Ereignis Zahl beim i ten Wurf. Wir setzen voraus, dass die Familie A 1, A,, A n unabhängig ist. X sei wie im Beispiel 1 definiert. Da die Münze nicht unbedingt symmetrisch ist, gilt P X 1 k = n k p k 1 p n k, wobei p = P A i mit 0 < p < 1. 3.1 Die Verteilung einer Zufallsgrösse Falls X Werte in E = {e 1, e,... } annimmt, definiert man P X {e i } := P X 1 e i für i = 1,,.... Für eine Teilmenge A von E setzt man P X A := P X {e i }. Die von X e i:e i A induzierte Wahrscheinlichkeit P X ist die Verteilung der Zufallsgrösse. Im Beispiel hat man P X {k} = n k p k 1 p n k mit E = {0, 1,,..., n}. Diese Verteilung, die von zwei Parametern abhängt, spielt eine wichtige Rolle in der Wahrscheinlichkeitstheorie. Sie heisst Binomialverteilung Bn, p. Die Erwartung Sei X eine reelle Zufallsgrösse mit Werten in E = {x 1, x,... } R. Die Erwartung von X ist definiert als EX = falls x i P X {x i } <. x i P X 1 x i = 1 x i P X {x i },

Figure 1: Die Binomialverteilung Beispiel: Falls X eine Bn, p Verteilung besitzt, gilt EX = np: Nach Definition ist EX = n k=0 = n k=1 = p n n 1 k n k p k 1 p n k E = {0, 1,,..., n} k n! k!n k! pk 1 p n k = k=0 n 1 k n k=1 pn p k 1 p n 1 k = n p. n 1! k 1!n 1 k 1! pk 1 1 p n 1 k 1 3. Einige Eigenschaften der Erwartung Satz 3.1. X, Y seien reelle Zufallsgrössen, so dass EX und EY definiert sind. Dann gilt: 1. X 0 = EX 0,. EcX = c EX, c R, 3. X 1 = EX = 1, 4. EX + Y = EX + EY. Beweis Die Behauptungen 1.,. und 3. folgen unmittelbar aus der Definition der Erwartung. Um 4. zu beweisen, zeigt man zunächst, dass EX + Y wohl definiert ist: E = {x 1, x,... } F = {y 1, y,... } sei der Wertebereich von X Y. Dann nimmt die Zufallsgrösse Z := X + Y 13

Werte in G = {x i + y j : i, j = 1,,... } an. Also gilt x i + y j P X 1 x i Y 1 y j i,j x i P X 1 x i Y 1 y j + y j P X 1 x i Y 1 y j i,j i,j = x i P X 1 x i Y 1 y j + y j P X 1 x i Y 1 y j j=1 j=1 = x i P X 1 x i + y j P Y 1 y j < j=1 und somit existiert die Erwartung von X + Y. Lässt man nun in den oberen Zeilen überall den Absolutbetrag weg, sieht man sofort, dass EX + Y = EX + EY. Bemerkung 1 Im Beweis hat man natürlich vorausgesetzt, dass x i x j und y i y j für i j. Für die Zahlen {x i + y j } braucht es nicht der Fall zu sein! Bemerkung Aus 4. folgt: Falls EX i für i = 1,,..., n, existiert, dann existiert EX 1 + X + + X n und EX 1 + X + + X n = EX 1 + EX + + EX n. Mit Hilfe der Linearität der Erwartung lässt sich die letztere für die Binomialverteilung einfach ausrechnen: X wie im Beispiel kann man als Summe schreiben: X = n Y i, wobei Y i die Werte 1 mit Wahrscheinlichkeit p und 0 mit Wahrscheinlichkeit 1 p annimmt. EY i = 1 p + 0 p = p = EX = np. 3.3 Unabhängige reelle Zufallsgrössen Sei X eine Zufallsgrösse mit Werten in E = {x 1, x,... } R und A X A das System aller Teilmengen von Ω, die mit Hilfe von X beschrieben werden können, d.h. alle Ereignisse der Form X 1 B mit B E. Definition Die Zufallsgrössen X 1,..., X k heissen stochastisch unabhängig, wenn die Mengensysteme A X1,..., A Xk unabhängig sind. Beispiel: Würfe mit einem Würfel. Betrachten wir die Zufallsgrössen { 1 falls beim i ten Wurf die Augenzahl gerade ist X i := 0 sonst i = 1,. Die Zufallsgrössen X 1, X sind unabhängig. Satz 3.. Seien X, Y unabhängig. Falls EX, EY existieren, gilt EXY = EX EY. 14

Beweis Seien x 1, x,... und y 1, y,... die Werte von X und Y. Dann ist x i y j P X 1 x i Y 1 y j = x i y j P X 1 x i P Y 1 y j i,j i,j wegen der Unabhängigkeit. Somit ist die summe endlich, d.h. die Erwartung von X Y existiert. Weiter gilt EX Y = x i y j P X 1 x i Y 1 y j i,j = x i P X 1 x i y j P Y 1 y j = EX EY. i j 3.4 Moment, Varianz aund Kovarianz Sei X eine Zufallsgrösse und g eine reelle Funktion, die mindestens auf dem Wertebereich von X definiert ist. Dann ist gx auch eine Zufallsgrösse. Falls gx = x k, x R, dann heisst E gx = EX k das k te Moment von X vorausgesetzt, dass E X k < und E gx EX = E X EX k das k te zentrale Moment. Beachte: Wenn k m und E X m <, dann ist auch E X k endlich. Beweis: Für k m ist X k 1 + X m. Nach Satz 3.1 gilt dann E X k E1 + E X m <. Wichtig ist das zweite zentrale Moment, die Varianz σ X = VarX = E X EX. Beachte: Für alle reellen Zahlen a, b gilt σ ax + b = a σ X. σx heisst die Streuung von X. Interpretationen: Die Erwartung sagt etwas über die Lage der Zufallsgrösse, während die Streuung Varianz dazu dient, die Abweichung von der Erwartung zu charakterisieren. Satz 3.3. Schwarz sche Ungleichung X, Y seien zwei reelle Zufallsgrössen. Behauptung E XY EX EY 1/. Beweis: λ R, gilt E X + λ Y 0. Durch Satz 3.1 hat man aber P λ := E X + λ Y = EX + λ EY + λ E XY und somit E XY EX EY. X und Y seien zwei reelle Zufallsgrössen mit EX <, EY < und VarX > 0, VarY > 0. 15

Definitionen als Die Kovarianz und die Korrelation zwischen X und Y sind definiert 1. CovX, Y := E [ X EXY EY ],. ρx, Y := CovX,Y σx σy. Bemerkung Falls X und Y unabhängig sind, gilt CovX, Y = ρx, Y = 0. Aus der Linearität der Erwartung folgt, dass CovX, Y = EXY EX EY. Nach Satz 3. ist EXY = EX EY und deswegen CovX, Y = 0. Definition Zwei Zufallsgrössen X und Y sind fast sicher gleich X f.s. = Y, falls P {ω : Xw Y ω} = 0. Satz 3.4. X, Y seien zwei Zufallsgrössen mit EX <, EY <, σx > 0, σy > 0. Behauptungen 1. ρ X, Y 1,. ρx, Y = 1 a > 0, b R, so dass Y f.s = ax + b, 3. ρx, Y = 1 a < 0, b R, so dass Y f.s = ax + b. Beweis 1. Die Ungleichung ist nichts anderes als die Ungleichung von Schwarz Satz 3.3, wenn man in der letzteren X durch X EX und Y durch Y EY ersetzt.. = : σ ax + b = a σ X und CovX, ax + b = aσ X. Also gilt ρx, Y = aσ X a σ Xσ X = 1.. = : Man definiert X := X EX σx und Y := Y EY σy. Die Korrelation lässt sich dann schreiben als ρx, Y = EX Y. Nach Voraussetzung gilt also EY X = EY + EX EX Y = 0 und deswegen ist Y X f.s. = 0, d.h. mit a = σy σx Y f.s. X EX = EY + σy = ax + b σx und b = EY σy σx EX. 3. = : Wie oben zeigt man, dass ρx, Y = aσ X. Also gilt a σ 4 X ρx, Y = a a = 1. 16

3. = : Selbe Überlegung wie oben. Man arbeitet aber mit der Summe Y + X und zeigt, dass in diesem Falle Y + X f.s. = 0. Satz 3.5. X 1, X,..., X n seien unabhängige Zufallsgrössen mit EXi <, i = 1,,..., n. Behauptung n Var X i = n VarX i. Beweis: Var n n VarX i + [ n X i = E n i,j=1;i j CovX i, X j. Wegen der Unabhängigkeit ist aber die Kovarianz zwischen X i und X j i j null. Xi EX i ] [ = E n Xi EX i X j EX j ] = i,j=1 Mit Hilfe von Satz 3.5 lässt sich z.b. die Varianz der Binomialverteilung leicht ausrechnen: Sei X Bn, p-verteilt. Dann gilt X = n Y i, wobei Y 1,..., Y n unabhängig und identisch verteilt sind siehe Satz 3.1, Bemerkung. VarY i = EY i EY i = p p = p1 p und deswegen ist VarX = np1 p. 3.5 Die Faltung von Wahrscheinlichkeiten Frage: Gegeben n unabhängige reelle Zufallsgrössen X 1, X,... X n mit bekannten Verteilungen P X1, P X..., P Xn. Wie sieht die Verteilung P X der Summe X = n X i, die sogenannte Faltung von P X1, P X..., P Xn aus? Im allgemeinen n beliebig ist es unmöglich, die Faltung P X auf einfache Weise auszudrücken. Deshalb betrachten wir zunächst den Spezialfall n =. Satz 3.6. X, Y seien zwei reelle unabhängige Zufallsgrössen mit Verteilungen P X, P Y und Wertebereichen E 1 := {x 1, x,... } und E := {y 1, y,... }. Sei E := {z 1, z,... } der Wertebereich von Z := X + Y. Beachte, dass E = {x + y : x E 1, y E }. Behauptung P Z {z i } = P Y {z i x j }P X {x j } = P X {z i y j }P Y {y j }. j=1 j=1 17

Beweis P Z {z i } Also gilt = P {ω : Zω = z i } = P {ω : Zω = z i } {ω : Xω = x j } j=1 = P {Z = z i } {X = x j } = P {Z = z i } {X = x j }P {X = x j } j=1 j=1 = P {Y = z i x j } {X = x j }P X {x j } j=1 = P {Y = z i x j }P X {x j } j=1 wegen der Unabhängigkeit. P Z {z i } = P Y {z i x j }P X {x j }. j=1 3.6 Liste einiger wichtigen diskreten Verteilungen X sei eine reelle Zufallsgrösse. 1. X besitzt eine Binomialverteilung Bn, p, falls a X nimmt Werte in E := {0, 1,,..., n} an, b P X {i} = n i p i 1 p n i, i E. siehe III, 1, Beispiel. M, N, n seien positive ganze Zahlen mit n N, M < N. X besitzt eine hypergeometrische Verteilung mit Parametern M, N, n, falls a X nimmt Werte in E := {k : k N, k M, n k N M} an, b P X {k} = M k N M n k, k E. N n 3. Die Poisson Verteilung mit Parameter λ> 0. X besitzt eine Poisson Verteilung Pλ, falls a X Werte in E := {0, 1,, 3,... } annimmt, λ λk b P X {k} = e k!, k E. Herleitung der Poisson Verteilung als Grenzwert von Binomialverteilungen Wir betrachten eine gewisse Menge eines radioaktiven Elementes und ein Zeitintervall [0, T ]. X sei die Anzahl der radioaktiven Zerfälle im Intervall [0, T ]. X ist eine Zufallsgrösse empirische Tatsache und gesucht ist eine Approximation für die Verteilung von X: Wir dividieren das Intervall [0, T ] in n Teilintervalle { i } der gleichen Länge T n. Für grosse Werte von n darf man annehmen, dass in jedem Intervall i i = 1,..., n höchstens ein Zerfall stattfindet. Ferner machen wir die folgenden Voraussetzungen: 18

1. Bezeichnet A k das Ereignis, dass im Zeitintervall k ein Zerfall stattfindet, so ist die Familie A 1, A,..., A n unabhängig.. eine Konstante λ die von der Substanz abhängt, so dass P A i = λ Länge von i = λ T, i = 1,,..., n. n Unter diesen Voraussetzungen gilt: n P X = k = P X {k} = λ T k 1 λ T n k,, k = 0, 1,..., n, k n n d.h. X besitzt eine Bn, λ T n -Verteilung. Für ein festes k lassen wir nun n gegen streben. Wir bekommen dann lim P X = k = lim P λt λt k X{k} = e. n n k! Die Grenzverteilung ist also eine Poisson Verteilung mit Parameter λt. Bemerkung: X sei Pλ-verteilt. Dann gilt EX = λ: Nach Definition der Erwartung ist λ λk EX = ke k! = e λ λ k k 1! = λ k 1 e λ λ k 1! = λe λ e λ = λ. k=0 k=1 4. Die Multinomialverteilung mit Parametern n, p 1, p,..., p k. Diese Verteilung ist eine natürliche Verallgemeinerung der Binomialverteilung: Ein zufälliges Experiment mit mehreren möglichen Resultaten A 1,..., A k wird n-mal unabhängig wiederholt. Die Wahrscheinlichkeiten P A j =: p j j = 1,..., k der möglichen Resultate genügen dann der Bedingung p 1 + p + p k = 1. Wiederholt man den Versuch n-mal und bedeutet B n1,n,...,n k das Ereignis, dass unter den n Ergebnissen n 1 -mal A 1, n -mal A,... n k -mal A k auftreten, wobei n 1 + n + + n k = n gilt, so ist P B n1,n,...,n k = k=1 n! n 1!n!... n k! pn1 1 pn... pn k k. Beispiel: n-maliges Werfen eines nicht unbedingt symmetrischen Würfels: P B n1,n,...,n 6 = n! n 1!... n 6! pn1 1... pn6 6, wobei p i := P {i}, i = 1,..., 6. Satz 3.7. X, Y seien zwei unabhängige Zufallsgrössen mit Verteilungen Pλ 1, Pλ. Behauptung Die Verteilung der Summe Z := X + Y, d.h. die Faltung von Pλ 1 und Pλ ist die Poisson Verteilung Pλ 1 + λ. Beweis. Nach Satz 3.6 gilt P Z {k} = P Y {k j}p X {j} = = j=0 k j=0 e λ λ k j = 1 k! e λ1+λ k k P Y {k j}p X {j} j=0 λj 1 k j! e λ1 j! = 1 k! e λ1+λ j=0 k j=0 k! k j!j! λj 1 λk j k λ j 1 j λk j = e λ1+λ λ 1 + λ k. k! 19

3.7 Die Verteilungsfunktion einer Zufallsgrösse X sei eine Zufallsgrösse. Die Verteilungsfunktion von X ist definiert als F u := P X u. F erfüllt: 1 F ist monoton wachsend, lim F x = 0, lim F x = 1, x x 3 F ist von rechts stetig, d.h. F u + 0 := lim u n arrowu F u n = F u, denn F u n = P X u n = P X, un ] P X, u] = F u, da, u n ], u]. Beachte: X nimmt höchstens abzählbar viele Werte x 1, x,... an. Deswegen ist in diesem Falle F stückweise konstant mit höchstens abzählbar vielen Sprüngen der Höhe F x k F x k 0 an den Stellen x k, k = 1,,.... Bemerkung: Jeder Verteilung entspricht eine Verteilungsfunktion 3.8 Erzeugende Funktionen Z sei eine Zufallsgrösse mit Werten in Z + := {0, 1,,... }. Setzt man p k := P Z = k, k = 1,,..., so ist die erzeugende Funktion g oder g Z von Z definiert als gt = p n t n = Et Z. Da p n = 1 ist, konvergiert die Reihe mindestens für alle t mit t 1. n=0 n=0 1. p n = gn 0 n!, wobei g n t die n te Ableitung von g an der Stelle t ist.. Für 0 t 1 ist g stetig, monoton wachsend und konvex und es ist g0 = p 0 g1 = 1. 3. E ZZ 1... Z k + 1 = g k 1, wobei g k 1 = lim t 1 g k t. Mittels 3 lassen sich Momente von Z oft leichter berechnen als direkt aus der Verteilung. Man geht rekursiv vor: EZ = g 1 1, EZ = E ZZ 1 + EZ = g 1 + g 1 1, usw.. 3.9 Beispiele von abhängigen Zufallsgrössen Bei Folgen von Zufallsgrössen war bis jetzt immer die Unabhängigkeit vorausgesetzt. Z.B. war das der Fall in den Kapiteln IV und V. Nachstehend sind drei Beispiele angegeben, wo diese Voraussetzung nicht erfüllt ist. Das dritte Beispiel wird am Ende dieses Kapitels näher untersucht. 0

Beispiel 1 Definiert man Z n := Sei X 1, X,... eine Folge unabhängiger und identisch verteilter Zufallsgrössen. n X i für n = 1,,..., so sind die Zufallsgrössen {Z n } nicht mehr unabhängig. Die schwachen Gesetze der grossen Zahlen und insbesondere der Zentralgrenzwetsatz geben uns Informationen über das Verhalten von Z n im Falle, wo n gegen unendlich strebt. Beispiel einfaches Warteschlangen-Modell Seien 0, 1,,... die Zeitpunkte, an denen ein Skilift, der pro Zeiteinheit eine Person befördern kann, abfährt. Zwischen den Zeitpunkten n und n + 1 kommen Y n neue Skifahrer an. Die Y n seien unabhängig. Die Länge Z n der Warteschlange unmittelbar vor der Abfahrt zur Zeit n bestimmt sich rekursiv durch Z 0 = i 0 sei eine bekannte Zahl. Z n = max0, Z n 1 1 + Y n 1 n 1. Beispiel 3 Galton studierte 1873 das Phänomen des Aussterbens berühmter Familiennamen. Es stellte sich die Frage nach der Wahrscheinlichkeit des Aussterbens der männlichen Linie der Nachkommenschaft eines Mannes, wenn dieser und jeder seiner Söhne, Enkel usw. unabhängig voneinander mit Wahrscheinlichkeit p k genau k Söhne hat: Sei Z 0 = 1. Ist Z n die Anzahl der männlichen Nachkommen in männlicher Linie in der n ten Nachkommensgeneration, und hat der j te dieser Nachkommen X j n+1 Söhne, so ist Z n+1 = Zn X j n+1. Diese Familie {Z n } ist ein sogenannter Verzweigungsprozess. Beachte: in diesem Falle sind die Zufallsgrössen Z 0, Z 1, Z,... nicht unabhängig. Um die Frage von Galton zu beantworten, müssen wir die Folge q n := P Z n = 0, n = 1,,... untersuchen, denn q := lim n q n ist die gesuchte Aussterbewahrscheinlichkeit. Heute interessiert man sich für Verzweigungsprozesse, von denen die obigen Prozesse den einfachsten Fall darstellen; natürlich nicht wegen der Familiennamen, sondern weil ähnliche Verzweigungen auch in anderen Situationen auftreten. Z.B. macht ein Neutron bei der Kernspaltung eine zufällige Zahl weiterer Neutronen frei. In den obigen Beispielen nehmen die Zufallsgrössen {Z n } Werte in Z + := {0, 1,,... } an. Alle Prozesse haben eine gemeinsame Eigenschaft, nämlich: für alle n und alle i 0, i 1,..., i n E gilt P Z n = i n Z n 1 = i n 1,..., Z 0 = i = P Z n = i n Z n 1 = i n 1. Dies ist die sogenannte Markoffsche Eigenschaft. Die Prozesse sind dann Markoffsche Ketten siehe z.b. Karlin: A first course in stochastic processes, Academic Press 1969; Karlin- Taylor: A second course in stochastic processes, Academic Press 1981. Gesucht ist die Aussterbewahrscheinlichkeit q. Da Z n = 0, Z m = 0 für alle m n impliziert, gilt q = lim P Z n = 0 = lim q n. Die Zufallsgrössen {X n j } haben alle die gleiche n n Verteilung, also auch die gleiche erzeugende Funktion gt = p k t k. k=0 1 j=1

Bezeichnet h n die erzeugende Funktion von Z n, so ist wegen P Z 0 = 1 = 1 natürlich h 0 t = t. Ausserdem gilt h n+1 t = h n gt : hn+1 t = P Z n+1 = jt j = P Z n+1 = j, Z n = mt j = = j=0 m=0 l=1 j=0 m P X l n+1 = j, Z n = mt j = j=0 m=0 j=0 m=0 m P l=1 wegen der Unabhängigkeit von Z n und {X 1 n+1,..., Xm m P Z n = m P X l n+1 = jtj m=0 j=0 l=1 X l n+1 = j P Z n = mt j n+1 } = = m=0 P Z n = me t mp l=1 X l n+1 = m P Z n = m m=0 l=1 Et Xl n+1 wegen der Unabhängigkeit der Zufallsgrössen X 1 n+1,..., Xm P Z n = m gt m 1 die Zufallsgrössen X n+1,..., Xm n+1 m=0 sind identisch verteilt mit erzeugender Funktion g! = h n gt. Also ist h 1 t = gt, h t = g gt und allgemein h n t = g g gt die Funktion, die man durch n fache iterierte Anwendung der Abbildung g erhält. Da q n = P Z n = 0 = h n 0, gilt also q = lim h n0. Damit haben wir bei gegebenem g nur noch ein rein n analytisches Problem zu lösen. n+1

Satz 3.8. Die Aussterbewahrscheinlichkeit q ist die kleinste nicht-negative Lösung der Gleichung gt = t. Ist g 1 1 1 und p 1 < 1, so ist q = 1; ist g 1 1 > 1, so ist q < 1. g 1 1 ist die erwartete Zahl der männlichen Nachkommen jedes Mitgliedes der Nachkommenschaft. Der Prozess stirbt also abgesehen vom Fall p 1 = 1 mit Wahrscheinlichkeit 1 aus, wenn im Mittel höchstens 1 männlicher Nachkomme geboren wird, und sonst nur mit Wahrscheinlichkeit < 1. Beweis Es gilt, wegen der Stetigkeit von g, gq = g lim h n 0 = lim g h n 0 = lim h n+1 0 = q. q ist demnach Lösung der Gleichung gt = t. Ist u 0 eine weitere Lösung, so ist u = gu g0 = h 1 0, und durch Induktion folgt aus u h n 0 dann u = gu g h n 0 = h n+1 0. Durch den Grenzübergang n ergibt sich u q. Damit ist die erste Teilaussage bewiesen. Ist p 0 +p 1 = 1, so kann in jeder Generation maximal ein männlicher Nachfahre existieren. Aus P Z n+1 = 1 = P Z n = 1 P X 1 n+1 = 1 = p 1 P Z n = 1 folgt induktiv P Z n = 1 = p n 1. Damit gilt q = lim1 p n 1. In diesem Fall ist g 1 1 = p 1 1. Ist p 1 < 1, so ist q = 1. Sei also nun p 0 + p 1 < 1. Dann ist mindestens eines der p k mit k positiv. g 1 t = kp k t k 1 ist dann auf [0, 1 strikt monoton und gt dort strikt konvex. Wir betrachten k=1 zwei Fälle: a Ist g 1 1, so ist g t < 1 für 0 t < 1. Nach dem Mittelwertsatz muss gt > t für t 0, 1 sin. Also ist 1 die einzige Lösung von gt = t und damit q = 1. b Ist g 1 1 > 1, so ist g 1 t > 1 für hinreichend nahe bei 1 liegende t < 1. In diesem Bereich ist gt < t. Da q die kleinste Lösung ist, gilt dann 0 < q < 1, falls p 0 > 0. Ist p 0 = 0, so ist g0 = 0 und also q = 0. Numerisches Beispiel : Hier kann die zufällige Anzahl der Kinder die Werten 0, 1, und mit Wahrscheinlichkeiten 0.5, 0.5 beziehungsweise 0.5 annehmen. Dann ist g durch gt = 1 4 + 1 4 t + 1 t, gegeben und die Lösung der Gleichung t = gt ist t = 0.5, die Aussterbewahrscheinlichkeit der Bevölkerung ist somit 0.5! 4 Zufallsgrössen mit Dichten Definition Dichte Eine reellwertige Funktion f heisst Dichte auf R k, falls a f 0 und b f dx = 1. R k 3

Definition Zufallsgrössen mit Dichten Sei Ω, A, P ein Wahrscheinlichkeitsraum. Eine Abbildung X von Ω in R k ist eine Zufallsgrösse Zufallsvektor mit Dichte f, falls a X 1 I 1 I I k A für jede mögliche Wahl von Intervallen I 1,..., I k und b P X I 1 I I k = P X I 1 I k = fxdx für alle Rechtecke I 1 I k I 1 I I k. Beispiel 1 Die gleichförmige Verteilung auf dem Intervall [0, 1] Die reelle Zufallsgrösse { X besitzt eine gleichförmige Verteilung auf [0, 1], falls seine Dichte f 1 für x [0, 1], durch fx := definiert ist. 0 sonst Beispiel Die Normalverteilung Nµ, σ Die reelle Zufallsgrösse X besitzt eine Normalverteilung Nµ, σ, σ > 0, µ R, falls ihre Dichte ϕ µ,σ durch ϕ µ,σ x := 1 σ x µ π e σ, x R definiert ist. Die Standard-Normalverteilung ist definiert durch die Dichte ϕ := ϕ 0,1. Sei X eine N0, 1 Zufallsgrösse. Die reelle Zufallsgrösse besitzt eine Normalverteilung Nµ, σ. Beachte: ϕ 0,1 ist eine Dichte, denn 1 ϕxdx = e x dx π = 1 π π 0 Y = µ + σx, µ R, σ > 0, 0 1 π e y dy = R 1 x +y π e dx dy e r rdϕ dr Polarkoordinaten = 0 e r rdr = 1. Definition Erwartung X sei eine reelle Zufallsgrösse mit Dichte f. Die Erwartung von X ist definiert als EX := xfxdx, falls x fxdx <. R Definition X sei wie oben und g sei eine auf R definierte reelle Funktion. Dann definiert man E gx := gxfxdx, falls gx fxdx <. R R Beachte: Damit die letzte Definition einen Sinn hat, sollte man die folgende Eigenschaft beweisen: 4

Figure : Normale Dichten Figure 3: Gausssche Verteilingsfunktionen Figure 4: Die Normal Nµ, σ Dichte 5

Besitzt gx eine Dichte h, dann gilt x hxdx = R gxfxdx. Ein Beweis in einem Spezialfall wird später angegeben. Definition Varianz X sei eine reelle Zufallsgrösse mit Dichte f, so dass EX <. Die Varianz ist definiert als VarX := x EX fxdx = EX EX. Die Streuung or Standard-Abweichung von X ist definiert als σx = Varx. Beispiel. Es ist sehr einfach zu verifizieren, dass i im Beispiel 1 oben, EX = 1, VarX = 1 1 und ii im Beispiel, EX = µ, VarX = σ. Definition Kovarianz, Korrelation Der Zufallsvektor X = X 1, X mit Werten in R besitze die Dichte f. Die Kovarianz zwischen X 1 und X ist definiert als CovX 1, X := x1 EX 1 x EX fx 1, x dx 1 dx R und die Korrelation als ρx 1, X := CovX 1, X VarX1 VarX. Beachte: Die Kovarianz ist nur dann definiert, wenn EX 1 < und EX <. Für die Korrelation braucht man die zusätzlichen Bedingungen VarX 1 > 0, VarX > 0. 4.1 Unabhängige Zufallsgrössen X 1, X,..., X n seien n reelle Zufallsgrössen. Definition Die Zufallsgrössen sind unabhängig, falls P X 1 I 1, X I,..., X n I n = n P X i I i für jede mögliche Wahl von Intervallen I 1, I,..., I n. 6

Satz 4.1. Sind X 1, X,..., X n unabhängige reelle Zufallsgrössen mit Dichten f i, i = 1,..., n, dann besitzt der Zufallsvektor X := X 1, X,..., X n die Dichte fx 1, x,..., x n = n f i x i. Beweis. P X I 1 I I n = = n n P X i I i = fx i dx i I 1 I I n I i n f i x i dx 1 dx... dx n. Dies gilt für alle Recktecke I 1 I I n. Also ist n f i x i die Dichte von X. Bemerkung Die Sätze 1,, 3, 4, 5 vom Abschnitt 1 Diskreter Fall sind auch für Zufallsgrössen mit Dichten gültig. 4. Die Verteilungsfunktion einer Zufallsgrösse X sei eine reelle Zufallsgrösse mit Dichte f. Die Verteilungsfunktion von X ist definiert als u F u := P X u = fvdv. Die Funktion F besitzt dieselben Eigenschaften wie im diskreten Fall. Beachte: Falls die Dichte f im Punkte u stetig ist, dann gilt F u = fu. Beispiel X 1, X, X 3,..., X n seien unabhängige Zufallsgrössen mit gleichförmiger Verteilung auf dem Intervall [0, 1]. Wie sieht die Dichte von Y := max{x 1, X,..., X n } aus? Wir berechnen zunächst die Verteilungsfunktion F von Y : F u = P Y u = P X 1 u, X u,..., X n u = n P X i u wegen der Unabhängigkeit. Also gilt F u = 0 für u 0, F u = 1 für u 1 und F u = u n für 0 < u < 1. Die Dichte f von Y erhalten wir, indem man F ableitet. Also ist fu = nu n 1 für 0 u 1 und fu = 0 sonst. Wir sind jetzt in der Lage, EY und VarY auszurechnen: EY = 1 0 unu n 1 du = 1 0 nu n du = n 1 n + 1 un+1 0 = n n + 1, 7

n VarY = EY n + 1 = n 1 0 1 = 0 n u nu n 1 du n + 1 n u n+1 n 1 du = n + 1 n + un+ 0 n n = n + 1 n. n + n + 1 4.3 Die Faltung von Dichten X, Y seien zwei reelle unabhängige Zufallsgrössen mit Dichten f, g. Definition Faltung Die Faltung der dichten f und g ist die Dichte h der Summe Z := X + Y. Satz 4.. Die Faltung h der Dichten f und g ist gegeben durch hz = fz xgxdx = gz xfxdx, z R. Beweis. Sei Z = X + Y. Dann gilt P Z z = P X + Y z = x+y z fxgydx dy. Nach Satz 4.1 besitzt der Zufallsvektor X, Y die Dichte fxgy. Das letzte Integral kann man schreiben als z x gydy fxdx = Fubini = z z gv xdv fxdx gv xfxdx dv = z hvdv. z Also gilt P Z z = hvdv, z R und somit ist h die Dichte der Summe. Definition Chi-Quadrat Verteilung X 1, X,..., X n seien unabhängige Zufallsgrössen mit Standard Normal N0, 1 Dichte ϕ. Die Chi-Quadrat Verteilung mit n Freiheitsgraden ist die Verteilung der Summe Y n := n Xi. 8

Satz 4.3. Die Zufallsgrösse Y n besitzt die Dichte 1 f n y = n/ Γ n e y yn/ 1 für y > 0 n = 1,,..., wobei Γp := z p 1 e z dz p > 0. 0 Ein Beweis kann mit Hilfe von Satz 4. durch Induktion geführt werden. Die Behauptung kann auch bewiesen werden, indem man mit Polarkoordinaten arbeitet: F n y := P Y n y = ϕx 1 ϕx... ϕx n dx 1 dx... dx n x 1 +x + +s n y np X i y = dx1 dx... dx n = C e r r n 1 dr, x 1 +x + +x n y e wobei C so gewählt wird, dass P Y n < = 1. Differenziert man die Verteilungsfunktion F n, erhält man f n y = C e y y n 1 1 y = C y e n y 1 1. Es muss gelten: d.h. C = C 0 1 Γ n n/ 1 und somit f ny = e y n y 1 1 dy = 1 = C e z n 1 z n 1 dz 1 0 Γ n e n/ y y n 1. 0 Summe von unhabhägige Normale Zuffalsgrösse Seien X und Y zwei unhabhängige normale Zuffalsgrösse Nµ 1, σ1, resp. Nµ, σ. Dann besitzt die Zuffalsgrösse Z = X + Y eine normale Dichte Nµ 1 + µ, σ1 + σ. 4.4 Lineare Abbildungen von Zufallsvektoren X := X 1,..., X n T sei ein Zufallsvektor mit Dichte fx 1,..., x n. Satz 4.4. Wenn A eine reguläre n n Matrix ist, dann besitzt der Vektor Y := AX die Dichte gy = f A 1 1 y y := y1, y,..., y n T. deta Beweis. Sei R = I 1 I I n ein Rechteck in R n. Dann gilt: P Y R = P AX R = P X A 1 R = fxdx x=:a 1 y = f A 1 y deta 1 dy und somit ist f A 1 y 1 deta A 1 R die Dichte von Y. Spezialfall: Sind die Zufallsgrössen X 1,..., X n unabhängig mit Dichte ϕ und ist die Matrix A orthogonal, so sind die Zufallsgrössen Y 1, Y,..., Y n auch unabhängig mit der gleichen Dichte ϕ. R 9

4.5 Funktionen von reellen Zufallsgrössen Satz 4.5. Sei X eine reelle Zufallsgrösse mit Werten in einem offenen Intervall I und Dichte f > 0 auf I. Sei g eine eineindeutige stetig differenzierbare Funktion, die auf I definiert ist. Behauptung Dichte Falls g x 0, x I, dann besitzt die Zufallsgrösse Y := gx die hy = f g 1 y 1 g g 1 y. Beweis. Sei J ein Intervall in gi. Dann gilt: P Y J = P gx J = P X g 1 J = fxdx y:=gx = f g 1 y 1 g g 1 y dy g 1 J J Korollar Wenn die Voraussetzungen von Satz 4.5 erfüllt sind, dann folgt unmittelbar E gx := gxfxdx = y hydy =: EY. I gi Beispiel Sei X gleichförmig verteilt auf dem Intervall 0, 1. Wir betrachten die Funktion Y := X. Nach Satz 4.5 ist dann die Dichte h von Y : hy = 1 y für 0 < y < 1 und 0 sonst. Bemerkung. Für das erwähnte Beispiel ist Satz 4.5 nicht direkt anwendbar. Man mann aber den Wertebereich von X so zerlegen R =, 0 0,, dass auf beiden Teilmengen die Voraussetzungen des Satzes erfüllt sind. 4.6 Zwei weitere wichtige Dichten: Die Student und die Exponential Verteilungen Die Student-Verteilung und die Exponentialverteilung 1. Die Student-Verteilung Definition Die Student-Verteilung mit n Freiheitsgraden ist die Verteilung von U n := 1 n X 0 n Xi wobei die Zufallsgrössen X 0, X 1,..., X n unabhängig Normal N0, 1 sind. 30

Satz 4.6.?? Die Zufallsgrösse U n besitzt die Dichte 1 Γ n+1 h n z = 1 π n Γ n 1 + z n n+1. Beweis. n Xi besitzt die Dichte k n z = z f n z = z z n/ 1 e z Γ n, z > 0. f n ist die Dichte der Chi-Quadrat Verteilung mit n Freiheitsgraden. Der Quotient Q n := X 0 n Xi besitzt dann die Dichte r n u = 0 z k n zϕuzdz = Γ n+1 πγ n 1 1 + u n+1/, wenn man die Variablentransformation z 1 + u = v benützt. U n ist aber gleich nq n und somit folgt die Behauptung. Bemerkung Die Student-Verteilung mit einem Freiheitsgrad besitzt die Dichte h 1 z = 1 1 π 1 + z. Dies ist die sogenannte Cauchy Verteilung. Beachte: z h 1 zdz =.. Die Exponentialverteilung Definition Eine reelle Zufallsgrösse X hat eine Exponentialverteilung mit Parameter λ λ > 0, falls X die Dichte fx = λe λx, x > 0 besitzt. Herleitung der Exponentialverteilung mit Hilfe eines Beispieles aus der Physik: Die Atome eines radioaktiven Elementes zerfallen in zufälligen Zeitpunkten. Wie die Erfahrung zeigt, hängt die Wahrscheinlichkeit dafür, dass ein zu einem gewissen Zeitpunkt t 0 noch nicht zerfallenes Atom während des folgenden Zeitinvervalls der Länge t zerfällt, nur von der Länge t dieses Zeitinvervalls ab, aber nicht vom Zeitpunkt t 0. Wir bezeichnen mit X die Lebensdauer eines Atoms und F sei ihre Verteilungsfunktion. Wenn Gt := 1 F t, wissen wir, dass diese Funktion monoton abnimmt und dass G0 = 1. Ferner gilt: P X t + s X s = P X t für alle t, s 0, 31

d.h. Gs + t = GsGt, t, s 0. Damit haben wir für die Funktion Gt eine Funktionalgleichung erhalten, aus der wir diese bestimmen können. Um die Sache zu vereinfachen, nehmen wir zunächst an, dass G im Nullpunkt differenzierbar ist. Wenn wir in Gs + t = GsGt, s durch t> 0 ersetzen, bekommen wir Gt + t Gt G t 1 = Gt. t t Lässt man nun t gegen Null streben, so folgt G t = G 0Gt. G 0 muss negativ sein, denn G 0 0 G ist monoton abnehmend. Aus G 0 = 0 und G0 = 1 würde Gt 1 folgen; es würde also kein radioaktiver Zerfall stattfinden. Man darf daher G 0 = λ mit λ > 0 setzen und als Lösung erhält man, wegen G0 = 1, Gt = e λt, d.h. F t = 1 e λt und somit ft := F t = λe λt. Wir werden in der Vorlesung zeigen, dass man ohne die Voraussetzung der Differenzierbarkeit von G im Nullpunkt dasselbe Ergebnis erhält. 5 Die Gesetze der grossen Zahlen Sei X 1, X, X 3,... eine Folge von reellen Zufallsgrössen, die auf einem Wahrscheinlichkeitsraum Ω, A, P definiert sind. Sei c eine Konstante. Definition 1 falls: Die Folge {X n } konvergiert in Wahrscheinlichkeit gegen c ε > 0, lim n P X n c > ε = 0. X n P c, n Definition f.s. Die Folge {X n } konvergiert fast sicher gegen c X n c, falls n P {ω : lim n X nω = c} = 1. Satz 5.1. Die beiden folgenden Aussagen sind äquivalent: f.s. 1. x n c n. ε > 0, lim P { X j c > ε} = 0. n j=n 3

Beweis. Setzen wir A n := { X j c > ε}. Da A n A := j=n n=1 j=n nach dem Satz P A = lim P A n = 0. Wir haben also n { } P Xj c > 1 k 0, k {1,, 3,... } j=n n P n=1 j=n P P k=1 n=1 j=n { Xj c > 1 k k=1 n=1 j=n { Xj c > 1 k } = 0, k {1,, 3,...} } = 0 { Xj c 1 k } = 1 X n f.s. n c. { X j c > ε}, gilt Korollar f.s. Wenn X n c, konvergiert die Folge in Wahrscheinlichkeit gegen c. n Beweis. ε > 0 sei vorgegeben. Nach Satz 5.1, lim P { X j c > ε} = 0. n j=n Da P X n c > ε P { X j c > ε}, folgt die Behauptung. j=n 5.1 Die Ungleichung von Tschebyscheff Satz 5.. Sei X eine reelle Zufallsgrösse. Dann gilt: ε > 0, P {ω : Xω ε} = P X ε EX ε. Beweis: Für A Ω definiert man die Indikatorfunktion von A als 1 A ω = 1, falls ω A und = 0 sonst. Da 1 { X ε} ε X, bekommt man die Tschebyscheff sche Ungleichung, indem man auf beiden Seiten die Erwartung nimmt. Bemerkung 1 Falls EX <, existiert die Erwartung von X. Wenn man in der Ungleichung von Tschebyscheff X durch X EX ersetzt, bekommt man P X EX ε VarX ε. Interpretation: Je kleiner die Varianz von X ist, desto kleiner ist die Abweichung von der Erwartung. Bemerkung d.h. P X np nε = P X n n k=0; k: k n p ε n k X sei Bn, p-verteilt. Dann ist p k 1 p n k 1 VarX np1 p p1 p p ε ε n = ε n = ε n 1 4ε n, 4ε n. 33

5. Das schwache Gesetz der grossen Zahlen Satz 5.3. X 1, X,... sei eine Folge unabhängiger und identisch verteilter Zufallsgrössen. Behauptung Falls E X 1 <, dann gilt S n n P EX 1, wobei S n := n n X i. Beweis: Diesen Satz beweisen wir unter der stärkeren Bedingung EX 1 <. Der allgemeine Fall ist zu kompliziert für eine Einführungsvorlesung! Nach der Ungleichung von Tschebyscheff hat man S n P n ES n n > ε Var S n n ε ε > 0. Weiter gilt E S n n = EX 1 und Var S n n = 1 n VarS n = 1 n VarX 1 und somit folgt die Behauptung. 5.3 Das starke Gesetz der grossen Zahlen Satz 5.4. ohne Beweis X 1, X,..., sei eine Folge von unabhängigen identisch verteilten Zufallsgrössen. S n sei wie im Satz 5.3 definiert. Behauptung Falls E X 1 <, dann gilt S n n f.s. EX 1. n 5.4 Anwendung der Gesetze der grossen Zahlen 1. Als Zufallsexperiment betrachten wir das n malige Werfen einer symmetrischen Münze, wobei n gross ist. S n bezeichne die Anzahl von Kopf. S n lässt sich schreiben als S n = n X i, wobei die Zufallsgrössen {X j } i.i.d. sind, mit X i = 1 Kopf beim i ten Wurf mit Wahrscheinlichkeit 1 und X i = 0 mit Wahrscheinlichkeit 1. Nach dem starken Gesetz der grossen Zahlen ist Sn n ungefähr gleich EX i = 1. Diese Aussage entspricht unserer Idee von der Stabilisierung der relativen Häufigkeit.. Wir betrachten eine gewisse Menge eines radioaktiven Elementes. Wir haben gesehen, dass die Lebensdauer X eines Atoms eine Zufallsgrösse ist, die eine exponentielle Verteilung besitzt, d.h. ihre Verteilungsfunktion F lässt sich schreiben als F t = 1 e λt, t 0, wobei λ eine positive Konstante ist die sogenannte Zerfallskonstante. Nach Definition ist die Halbwertszeit T des radioaktiven Elementes diejenige 34

Zeitdauer, während der ein Atom mit der Wahrscheinlichkeit 1 zerfällt. Es muss also gelten F t = 1, also e λt = 1 ln oder T = λ = ln EX. Die Halbwertszeit ist somit proportional zur Erwartung der Lebensdauer EX = 1 λ!. Im Zeitpunkt t = 0 seien N Atome vorhanden. S t sei die Anzahl der im Zeitpunkt t > 0 zerfallenen Atome. Wegen der Gesetze der grossen Zahlen, d.h. wegen des Zusammenhangs zwischen relativer Häufigkeit und Wahrscheinlichkeit, ist die relative Anzahl der Zerfälle bis zur Zeit t ungefähr gleich 1 e λt N 1. Man sieht also, dass die Halbwertszeit diejenige Zeit ist, während der ungefähr die Hälfte der Masse eines radioaktiven Elementes zerfällt. 5.5 Die Markovsche Ungleichung Satz 5.5. Sei f : R [0,. Sei X eine Zufallsvariable mit EfX <. Es gilt P fx > ε EfX, ε > 0. ε Beweis: Für A Ω definiert man die Indikatorfunktion von A als 1 A ω = 1, falls ω A und = 0 sonst. Da fx ε1 fx ε, bekommt man die Ungleichung EfX Eε1 fx ε = εp fx ε. Bemerkung Wenn man fx = x einsetzt kriegt man wieder die Ungleichung von Tschebyscheff, da EfX = EX εp X ε = εp X ε. Beispiel: Sei S n = n X i, mit X i unabhängige Bernoulli Zufallsvariablen mit Parameter p = 1/. Die Ungleichung von Tschebyscheff angewandt auf S n n/ besagt Wenn n = 1000 und ε = 1/10 ergibt das P S n n 1 > ε 1 4nε. 5.1 P S 1000 [400, 600] 1 40. 5. Wir werden sehen, dass die von der Ungleichung 5.1 gegebene Schätzung nicht gut ist. Sei Mit der Markovschen Ungleichung gilt fx = exptx. P S n n 1 ε = P S n n nε = P expts n n exptnε 1 exptnε EexptS n n, 35