Allgemeine Wahrscheinlichkeitsräume

Transkript

1 Kapitel 3 Allgemeine Wahrscheinlichkeitsräume 3. Einleitung Wir hatten schon bemerkt, dass der Begriff des diskreten Wahrscheinlichkeitsraums nicht ausreicht, um das unendliche Wiederholen eines Zufallsexperiments zu modellieren. Der Grund dafür ist, dass die Menge aller möglichen Ausgänge nicht mehr abzählbar ist. Ein weiterer Unterschied zu diskreten Wahrscheinlicheitsräumen ist, dass es nicht mehr notwendigerweise Elementarereignisse positiver Wahrscheinlichkeit geben muss. Wir diskutieren dies an einem Beispiel. Beispiel 3... Werfen wir unendlich oft eine faire Münze, so bietet sich als Grundraum der Raum Ω := {ω = ω, ω 2, ω 3,...) : ω n {K, Z} n N} aller Folgen in {K, Z} an. Das Elementarereignis ω = ω, ω 2,...) bedeutet hierbei gerade, dass im ersten Wurf ω, im zweiten Wurf ω 2 usw. geworfen wurde. Beachte, dass Ω nicht abzählbar ist. Es sei A = {ω Ω : ω = K} PΩ). Dann bezeichnet A das Ereignis Im ersten Wurf Kopf und sollte gerade Wahrscheinlichkeit 2 haben. Ist allgemeiner A n = {ω Ω : ω = ω 2 =... = ω n = K} das Ereignis, dass in den ersten n Würfen Kopf gefallen ist, so sollte A n Wahrscheinlichkeit 2 n haben. Betrachten wir nun das Elementarereignis A := {K, K, K,...)}, dass in allen Würfen Kopf fällt, so ist A A n für alle n N. Aufgrund der Monotonie der Wahrscheinlichkeit sollte PA ) PA n ) = 2 n für alle n N gelten. Es folgt also PA ) =. Analog folgt, dass alle Elementarereignisse Wahrscheinlichkeit haben müssen. Ein weiteres Beispiel ergibt sich bei Zufallsvariablen die stetige Merkmale, wie Temperatur oder Zeit, beschreiben. Hier möchte man auf, dass die Zufallsvariablen keinen Wert mit positiver Wahrscheinlichkeit annimmt. In einem Wahrscheinlichkeitsraum, auf dem eine solche Zufallsvariable definiert ist, müssen alle Elementarereignisse Wahrscheinlichkeit haben. 49

2 5 KAPITEL 3. ALLGEMEINE WAHRSCHEINLICHKEITSRÄUME Ein weiterer Unterschied zwischen allgemeinen und diskreten Wahrscheinlichkeitsräumen betrifft die Additivität: Haben alle Elementarereignisse Wahrscheinlichkeit, so muss diese eingeschränkt werden, damit PA) = ω A P{ω}) = nicht für alle Ereignisse A Ω gilt. Es bleibt die Frage, ob es in dieser Situation stets ein Wahrscheinlichkeitsmaß im Sinne einer σ-additiven Abbildung von PΩ) nach [, ]) gibt. Leider ist dies nicht immer der Fall. Es zeigt sich, dass die Potenzmenge PΩ) in der Regel zu groß ist. Deshalb werden wir nicht mehr jede Teilmenge von Ω als Ereignis betrachten. Wir nehmen aber an, dass die Menge aller Ereignisse eine sogenannte σ-algebra bildet. Definition Es sei Ω eine Menge. Eine σ-algebra auf Ω ist ein Mengensystem Σ PΩ), sodass i) Σ. ii) Ist A Σ, so ist auch A c = Ω \ A Σ. iii) Ist A n Σ für n N, so ist auch n N A n Σ. Beispiel a) Offensichtlich ist PΩ) eine σ-algebra auf Ω. b) Eine weitere σ-algebra auf Ω ist {, Ω}. c) Ist Ω eine Menge mit mindestens zwei Elementen und A Ω mit A Ω, so ist {, A, A c, Ω} eine σ-algebra. Bemerkung Weiterhin erfüllt eine σ-algebra Σ auf Ω auch folgende Eigenschaften: ) Sind A,..., A k Σ, so auch A... A k. Das folgt aus iii), indem man A n = für n > k wählt. 2) Sind A,..., A k Σ, so auch A... A k. Das folgt aus ), ii) und demorgan s Gesetz siehe Proposition 3..5) unten. 3) Genau so sieht man, dass Σ mit der Folge A n ) n N auch deren Durchschnitt n N A n enthält. Proposition Seien A i, i I, endlich oder unendlich viele Teilmengen einer Grundmenge Ω. Dann ist ) c ) c A i = und A i = A c i. i I i I A c i In der Regel ist es schwer, eine σ-algebra konkret anzugeben. Daher ist folgendes Resultat wichtig: Lemma Ist S PΩ), so gibt es eine kleinste σ-algebra auf Ω, die S enthält. Präziser: Es gibt eine σ-algebra Σ auf Ω, so dass S Σ gilt und für jede σ-algebra Σ auf Ω mit S Σ auch Σ Σ gilt. Diese σ-algebra Σ bezeichnet man mit σs) und nennt sie die von S erzeugte σ-algebra. i I i I

3 3.. EINLEITUNG 5 Definition Die von den offenen Intervallen in R erzeugte σ-algebra heißt Borel σ-algebra und wird mit BR) bezeichnet. Es ist also BR) = σ{a, b) : a, b R, a < b}). Es ist nicht möglich BR) genauer zu beschreiben, aber alle praktisch relevanten Teilmengen von R liegen in BR). Es gilt BR) PR), aber dies ist schwer zu zeigen. Wir diskutieren dies nicht näher und geben stattdessen Beispiele für Mengen in BR). Beispiel Für a R ist, a) BR) und a, ) BR). Es ist nämlich, a) = n N a n, a) und a, ) = n N a, a + n). Somit liegen für a N auch die Komplemente [a, ) =, a) c und, a] = a, ) c in B. Schließlich sind auch kompakte Intervalle in BR) enthalten, denn [a, b] =, b] [a, ). Vereinbarung: In Übungs- und Klausuraufgaben zur Vorlesung für Stochastik für Wirtschaftswissenschaftler braucht für Teilmengen von R nicht nachgewiesen zu werden, dass diese in der Borel-σ-Algebra liegen. Wir kommen nun zur zentralen Definition: Definition Ein Messraum ist ein Paar Ω, Σ), bestehend aus einer Menge Ω und einer σ-algebra Σ auf Ω. Ist Ω, Σ) ein Messraum, so heißt eine Abbildung P : Σ [, ] Wahrscheinlichkeitsmaß auf Ω, Σ), falls. PΩ) = Normiertheit) 2. Ist A n ) n N eine Folge paarweise disjunkter Mengen in Σ, so ist ) P A n = PA n ). n N Ist Ω, Σ) ein Messraum und P ein Wahrscheinlichkeitsmaß darauf, so nennt man das Tripel Ω, Σ, P) einen Wahrscheinlichkeitsraum. Bemerkung 3... a) Beachte, dass Σ mit der Folge A n auch deren Vereinigung A n enthält. Daher ist P A n ) in ii) wohldefiniert. b) Jeder diskrete Wahrscheinlichkeitsraum ist ein Wahrscheinlichkeitsraum mit der Potenzmenge als σ-algebra. c) Die Eigenschaften von Wahrscheinlichkeitsmaßen in Proposition..5 gelten auch in beliebigen Wahrscheinlichkeitsräumen. Der Beweis bleibt unverändert. Auch andere Konzepte wie Beispielsweise die Begriffe Unabhängigkeit und bedingte Wahrscheinlichkeit ) übertragen sich ohne Änderungen auf allgemeine Wahrscheinlichkeitsräume. Lemma 3... Es sei Ω, Σ, P) ein Wahrscheinlichkeitsraum und A n eine Folge in Σ mit A A 2 A 3... und A := n N. Wir sagen: A n wächst gegen A und schreiben A n A. Dann ist PA) = lim n PA n). Ist C n eine Folge in Σ mit C C 2... und C := n N C n Wir sagen C n fällt gegen C und schreiben C n C), so gilt ebenfalls Beweis. Übung! n= PC) = lim n PC n).

4 52 KAPITEL 3. ALLGEMEINE WAHRSCHEINLICHKEITSRÄUME 3.2 Zufallsvariablen und ihre Verteilungen Gegeben einen Wahrscheinlichkeitsraum Ω, Σ, P) sind wir versucht, wiederum jede Abbildung X von Ω nach R Zufallsvariable zu nennen. Dabei gibt es jedoch folgendes Problem: Wenn wir die Verteilung P X von X durch P X A) := PX A) definieren, so muss {X A} in der σ-algebra Σ liegen. Wir definieren daher: Definition Sei Ω, Σ, P) ein Wahrscheinlichkeitsraum. Eine Abbildung X : Ω R heißt Zufallsvariable, falls für A BR) stets {ω Ω : Xω) A} Σ liegt. In diesem Fall heißt das Wahrscheinlichkeitsmaß P X auf R, BR)), gegeben durch die Verteilung von X. P X A) := PX A), Wir hatten bereits bemerkt, dass die Borel σ-algebra BR) sehr groß und unübersichtlich ist. Daher ist es schwierig, die Verteilung konkret anzugeben. Es ist auch nicht mehr richtig, dass Verteilungen durch ihre Werte auf einelementigen Mengen bestimmt sind. Es stellt sich also die Frage, ob die Verteilung einer Zufallsvariablen bereits durch die Werte auf gewissen Mengen eindeutig bestimmt ist. Dies ist in der Tat der Fall. Wir definieren: Definition Sei Ω, Σ, P) ein Wahrscheinlichkeitsraum und X : Ω R eine Zufallsvariable. Dann heißt F X : R [, ], definiert durch Verteilungsfunktion von X. F X x) := PX x) Proposition Seien X und Y zwei Zufallsvariablen mit der selben Verteilungsfunktion, F X t) = F Y t) für alle t R. Dann haben X und Y auch die selbe Verteilung, P X A) = P Y A) für beliebige A BR). Beispiel Ist X Bin, p) Bernoulli-verteilt, so ist, x < F X x) = p, x <, x. Denn für x < ist {X x} =, also PX x) =. Für x < ist {X x} = {X = } und daher PX x) = PX = ) = p. Schließlich ist für x gerade {X x} = Ω und daher F X x) = PΩ) =. F X x) p x

5 3.2. ZUFALLSVARIABLEN UND IHRE VERTEILUNGEN 53 Ähnliche Überlegungen zeigen folgendes: Beispiel Ist X eine Zufallsvariable die lediglich die Werte x < x 2 <... < x n annimmt mit PX = x k ) = p k, so ist x < x F X x) = k j= p j x k x < x k+ x x n Das Schaubild der Verteilungsfunktion sieht ähnlich wie oben aus, hat aber nun n Sprungstellen. Nimmt allgemeiner die Zufallsvariable X abzählbar viele Werte x k, k N, an mit PX = x k ) = p k, so ist F X x) = k:x k x In diesem Fall sagt man X habe diskrete Verteilung oder manchmal X sei diskret. Die Verteilungsfunktion F X hat in diesem Fall unendlich viele Sprungstellen es handelt sich jedoch weiterhin um eine Funktion, die nicht stetig wächst, sondern Sprungstellen hat und dazwischen konstant ist. Ein Sprung in einer Verteilungsfunktion an der Stelle x in Höhe p bedeutet, dass die Zufallsvariable den Wert x mit Wahrscheinlichkeit p annimmt. Wir stellen einige Eigenschaften von Verteilungsfunktionen zusammen: Eine Funktion g : R R heißt rechtsseitig stetig, falls für jede monoton fallende, konvergente Folge x n ) n N gilt lim n fx n ) = flim n x n ). Lemma Es sei X eine Zufallsvariable auf einem Wahrscheinlichkeitsraum Ω, Σ, P). Dann ist die Verteilungsfunktion F X monoton wachsend, rechtsseitig stetig und erfüllt lim F Xx) = und lim F Xx) =. x x Beweis. Zunächst ist F offensichtlich monoton wachsend jedoch nicht notwendigerweise strikt). Ist nämlich x y so ist {X x} {X y} und daher, wegen der Monotonie des Wahrscheinlichkeitsmaßes, F X x) = PX x) PX y) = F X y). Ist nun x n eine fallende Folge, die gegen x konvergiert, so ist {X x n } {X x}. Es folgt aus Lemma 3.. dass F X x n ) F X x). Also ist F rechtsseitig stetig. Es gilt lim x F X x) = und lim x F X x) =. Das folgt aus Lemma 3.. und den Beziehungen {X x n } und {X x n } Ω für jede Folge x n ) n N, die gegen konvergiert. Es gilt auch die Umkehrung dieses Lemmas. Da der Beweis deutlich schwieriger ist, übergehen wir ihn. Satz Es sei F : R R eine monoton wachsende, rechtsseitig stetige Funktion mit lim x F x) = und lim x F x) =. Dann gibt es genau ein Wahrscheinlichkeitsmaß P F auf R, BR)) mit P F, x]) = F x) 3.) Eine wichtige Klasse von Verteilungen sind absolutstetige Verteilungen. p k

6 54 KAPITEL 3. ALLGEMEINE WAHRSCHEINLICHKEITSRÄUME Definition Es sei X eine Zufallsvariable mit Verteilungsfunktion F X. Wir sagen, X hat absolutstetige Verteilung gelegentlich auch X sei absolutstetig), falls es eine nichtnegative Funktion f auf R mit ft) dt = gibt hierbei soll das Integral wohldefiniert sein), sodass F X x) = x In diesem Fall heißt f Dichte der Verteilung von X. ft) dt. Bemerkung Ist die Verteilungsfunktion stetig insbesondere, bei absolutstetigen Verteilungsfunktionen), so nimmt die Zufallsvariable keinen Wert mit positiver Wahrscheinlichkeit an. In diesem Fall gilt also PX a, b]) = PX a, b)) = PX [a, b)) = PX [a, b]) = F b) F a) = b a ft) dt. Bemerkung Ist f eine nichtnegative Funktion auf R mit ft)dt =, so kann man zeigen, dass F x) = x ft) dt eine monoton wachsende, rechtsseitig stetige Funktion mit lim x F x) = und lim x F x) = ist. Somit ist F eine Verteilungsfunktion und f die Dichte dieser Verteilungsfunktion. In gewisser Weise sind die Dichten von absolutstetige Zufallsvariablen ähnlich zu den Zähldichten von diskreten Zufallsvariablen in Beispiel Ist f X die Zähldichte der diskreten Zufallsvariablen X, so ist die Verteilungsfunktion F X gegeben durch F X x) = t x f X t), wobei zu beachten ist, dass f X ja nur an höchstens abzählbar vielen Stellen verschieden von ist. Bei absolutstetigen Zufallsvariablen hat man stattdessen eine Dichte f, die man bis x aufintegriert um die Verteilungsfunktion zu erhalten. Diese Analogie verwenden wir auch bei der Definition von Erwartungswert, Varianz, etc. von absolutstetigen Zufallsvariablen. Definition Es sei X eine absolutstetige Zufallsvariable und f die Dichte der Verteilung von X. Wir sagen, X hat endlichen Erwartungswert, falls t ft) dt <. In diesem Fall heißt der Erwartungswert von X. EX := tft) dt Wie im diskreten Fall gilt für eine Zufallsvariable X mit Dichte f und eine Funktion g : R R, dass EgX) = ft)gt) dt,

7 3.3. WICHTIGE ABSOLUTSTETIGE VERTEILUNGEN 55 falls gx) endlichen Erwartungswert hat. Wir sagen, X habe endliche Varianz, falls endlich ist. VarX := E[X EX) 2 ] = t EX) 2 ft) dt Bemerkung Ähnlich wie im diskreten Fall kann man zeigen, dass X genau dann endliche Varianz hat, wenn EX 2 = t2 ft) dt endlich ist. In diesem Fall ist Beispiel Setzen wir VarX = EX 2 EX) 2. ft) = { t 2 falls t falls t < = t 2 [, ), so ist f Dichte einer Verteilungsfunktion. Es ist nämlich [ ft) dt = t 2 dt = = ) =. t Ist f die Dichte der Zufallsvariablen X, so ist 2 [ P X 2) = t 2 dt = 2 t = 2 + = 2, also nimmt X mit Wahrscheinlichkeit /2 einen Wert zwischen und 2 an. X hat keinen endlichen Erwartungswert, es ist nämlich [ t ft) dt = t = log t =. Gelegentlich ist es wichtig beispielsweise beim Berechnen von Konfidenzintervallen), Zahlen x zu finden, sodass PX x) = F X x) = p für ein vorgegebenes p, ). Wir behandeln diese Frage nur in dem Spezialfall, dass es ein Intervall I gibt, so dass die Verteilungsfunktion F X aufgefasst als Funktion I, ) bijektiv ist. Dies ist z.b. dann erfüllt, wenn die Verteilungsfunktion auf R stetig und streng monoton wachsend ist; dann ist I = R. Dann hat x := F X ) p) die gewünschte Eigenschaft und heißt p-quantil. 3.3 Wichtige absolutstetige Verteilungen Stetige Gleichverteilung Wir sagen X ist gleichverteilt auf dem Intervall a, b) und schreiben X Ua, b), falls X die Dichte { ft) = b a a,b)t) = b a, a < t < b, sonst besitzt. Ein Beispiel, bei dem diese Verteilung auftritt ist beim Drehen eines Glücksrades. Der Winkel, in dem das Rad im Vergleich zur Ausgangslage zum stehen kommt, ist gleichverteilt in, 2π). Wir berechnen Erwartungswert und Varianz einer gleichverteilten Zufallsvariable.

8 56 KAPITEL 3. ALLGEMEINE WAHRSCHEINLICHKEITSRÄUME Lemma Ist X Ua, b), so ist Beweis. Es ist EX = b a EX = a + b 2 b a und VarX = b a)2. 2 t dt = [ t 2 b b a 2 = b2 a 2 a 2b a) = a + b 2. Weiter ist für µ = a + b)/2 gerade VarX = b a b a t µ) 2 dt = [ t µ) 3 b b a 3 a = 3b a) 8 b a)3 a b) 3 ) = b a)2. 2 Exponentialverteilung Eine Zufallsvariable X heißt exponentialverteilt mit Parameter λ >, wenn X die Dichte f λ t) = λe λt, ) t) besitzt. Wir schreiben in diesem Fall X Expλ). Beachte, dass f λ t) dt = [ λe λt dt = e λt = ) =, sodass f λ in der Tat eine Dichte ist. Die Exponentialverteilung tritt bei sogenannten Wartezeitproblemen auf. Wichtige Beispiele sind: Die Lebensdauer von Glühbirnen oder die Wartezeit auf den nächsten Anruf. Wir berechnen wiederum Erwartungswert und Varianz. Lemma Es sei X Expλ). Dann ist EX = λ und VarX = λ 2. Beweis. Mit partieller Integration erhalten wir EX = [ tλe λt dt = te λt Mit zweifacher partieller Integration folgt wobei die Details Übung sind. Daher ist EX 2 = 2 λ 2, VarX = EX 2 EX) 2 = 2 λ 2 λ 2 = λ 2. [ e e λt λt dt = λ = λ.

9 3.3. WICHTIGE ABSOLUTSTETIGE VERTEILUNGEN 57 Die Exponentialverteilung hat eine wichtige Eigenschaft, die man Gedächtnislosigkeit nennt. Ist nämlich X Expλ), so ist PX a + b X a) = PX b). 3.2) Bei Wartezeitproblemen interpretiert man diese Gleichheit wie folgt: Die Wahrscheinlichkeit, noch mindestens die Zeitspanne b warten zu müssen, wenn man bereits a gewartet hat, ist genau so groß, wie von Anfang an mindestens b warten zu müssen. Um Gleichung 3.2) zu zeigen, rufen wir uns die Definition der bedingten Wahrscheinlichkeit ins Gedächtnis: PA B) = PA B) PB). Hier haben wir A = {X a + b} und B = {X a}. Beachte, dass A B und daher A B = A. Für x, ) gilt Somit ergibt sich PX x) = x [ λe λt dt = e λt = x e λx. PX a + b, X a) PX a) = e λa+b) e λa = e λb = PX b), wie behauptet. Normalverteilung Es seien µ R und σ 2 >. Eine Zufallsvariable X heißt normalverteilt mit Parametern µ und σ 2, falls X die Dichte t µ)2 ft) = e 2σ 2 2πσ 2 besitzt. Wir schreiben X N µ, σ 2 ). Ist µ = und σ 2 =, so sagen wir, X ist standardnormalverteilt. Da der Nachweis von ft) dt = sehr schwierig ist, übergehen wir ihn. Die Bedeutung der Normalverteilung entsteht vor allem durch den Zentralen Grenzwertsatz den wir später behandeln), demzufolge viele Zufallsvariablen zumindest annähernd normalverteilt sind. Proposition Ist X N µ, σ 2 ) und sind a, b R, so ist ax + b N aµ + b, a 2 σ 2 ). Beweis. Es gilt PaX + b y) = P X y b ) a y b)/a t µ)2 = e 2σ 2 dt 2πσ 2 = = y y u b)/a µ)2 e 2σ 2 2πσ 2 a du u b aµ)2 2πa 2 e 2a 2 σ 2 du. σ2 Also hat ax + b die Verteilungsfunktion einer N aµ + b, a 2 σ 2 )-Verteilung.

10 58 KAPITEL 3. ALLGEMEINE WAHRSCHEINLICHKEITSRÄUME Insbesondere folgt, dass X µ σ standardnormalverteilt ist, wenn X N µ, σ 2 ). Somit kann man normalverteilte Zufallsvariablen durch Transformation immer in standardnormalverteilte Zufallsvariablen überführen. Daher erhalten Dichte und Verteilungsfunktion der Standardnormalverteilung besondere Bezeichner. Es sei ϕt) = 2π e t2 2 und Φx) = x ϕt) dt. Man kann Φ nicht elementar ausdrücken. In Anwendungen verwendet man daher oft Tabellen mit Werten von Φ. Häufig sind dort nur Werte Φx) für x aufgefürt. Aus der Symmetrie von ϕ, d.h. ϕ t) = ϕt), folgt dass x x Φ x) = ϕt) dt = ϕ t) dt = ϕt) dt ϕt) dt = Φx), x sodass diese Information ausreicht. Wir können nun Erwartungswert und Varianz einer normalverteilten Zufallsvariablen bestimmen. Lemma Ist X N µ, σ 2 ), so ist EX = µ und VarX = σ 2. Man sagt daher auch, X sei normalverteilt mit Erwartungswert µ und Varianz σ 2. Beweis. Es sei zunächst X N, ). Aus der Symmetrie von ϕ folgt mit der Substitution t = s, dass EX = tϕt) dt = tϕt) dt + Mit partieller Integration folgt nun VarX = EX 2 = Sei nun X N µ, σ 2 ). Dann ist Y := X µ σ tϕt) dt = sϕs) ds + t t e t 2 [ 2 te t2 2 dt = e t2 2 dt =. 2π 2π 2π N, ). Daher ist = EY = σ EX µ) = σ EX) µ) und daher EX = µ. Weiter ist VarX = VarX µ) = EσY ) 2 ) = σ 2 EY 2 = σ Zufallsvektoren tϕt) dt =. Definition Es seien X,..., X n Zufallsvariablen, die auf einem gemeinsamen Wahrscheinlichkeitsraum Ω, Σ, P) definiert sind. Dann heißt die Abbildung X : Ω R n, gegeben durch Xω) = X ω),..., X n ω)) Zufallsvektor. Die Funktion F : R n [, ] gegeben durch F x,..., x n ) := PX x,..., X n x n ) heißt Verteilungsfunktion des Zufallsvektors X. Die Verteilungsfunktion oder auch der Zufallsvektor X selbst) heißt absolutstetig, falls es eine Funktion f : R n [, ) gibt mit ft,..., t n ) dt... dt n =

11 3.4. ZUFALLSVEKTOREN 59 sodass F x,..., x n ) = xn In diesem Fall heißt f Dichte von F oder von X). x ft,..., t n ) dt... dt n. Bemerkung a) Wir nennen die von den Rechtecken a, b )... a n, b n ) mit a i, b i R, a i < b i, erzeugte σ-algebra auf R n Borel-σ-Algebra BR n ). Wiederum enthält die Borel-σ-Algbra aller praktisch relevanten Teilmengen, weshalb wir in Übungs- und Klausuraufgaben darauf verzichten, bei Teilmengen des R n zu überprüfen, ob diese in der Borel-σ-Algebra liegen. Ähnlich wie im Fall von Zufallsvariablen kann man zeigen, dass die Verteilungsfunktion ein Wahrscheinlichkeitsmaß auf BR n ) bestimmt. Dieses Maß ist gerade die Verteilung des Vektors X. b) Aus der Verteilungsfunktion des Vektors können auch die Verteilungsfunktionen der einzelnen Komponenten bestimmt werden. Mit Lemma 3.. folgt nämlich F Xj x) = PX j x) = lim N PX N,..., X j N, X j x, X j+ N,..., X n N) = lim N F XN,..., N, x, N,..., N). In dieser Situation nennt man manchmal den letzten Grenzwert Randverteilungsfunktion. c) Auf ähnliche Weise lassen sich auch die Dichten der einzelnen Komponenten aus der Dichte des Vektors berechnen. Es ist nämlich f j s) = ft,..., t j, s, t j+,..., t n ) dt... dt n, R n wobei f j die Dichte von X j bezeichnet. Diese wird also aus der gemeinsamen Dichte durch ausintegrieren der anderen Variablen berechnet. Man sagt die f j seien die Randdichten. d) Mittels der Dichte lassen sich auch Wahrscheinlichkeiten berechnen. Sei nämlich X ein Zufallsvektor mit Diche f. Dann gilt für A BR n ), dass PX A) = ft,..., t n ) dt... dt n. e) Für eine Funktion g : R n R und einen Zufallsvektor X mit Dichte f ist EgX,..., X n ) = gt,..., t n )ft,..., t n ) dt... dt n R n A sofern der Erwartungswert endlich ist. Insbesondere kann man auf diese Art die Kovarianz zweier Zufallsvariablen berechnen, die wie im diskreten Fall definiert ist. Beispiel Es sei X, Y ) ein Vektor mit Dichte fx, y) = x + 2xy),) x),) y). Beachte, dass dies in der Tat eine Dichte ist, es ist nämlich fx, y) für alle x, y R und R 2 fx, y) dx dy = = x + 2xy dx dy = 2 + y dy = [ 2 y + 2 y2 =. [ 2 x2 + x 2 y dy

12 6 KAPITEL 3. ALLGEMEINE WAHRSCHEINLICHKEITSRÄUME Die Dichten der Zufallsvariablen X und Y erhält man wie folgt: und f X t) = f Y t) = R R ft, y) dy = fx, t) dx = t t + 2ty dy,) t) = 2t,) t) x + 2xt dx,) t) = 2 + t),)t) Mittels der gemeinsamen Dichte kann man die Wahrscheinlichkeit berechnen, dass X Y ist. Ist nämlich A = {x, y) R 2 : x y}, so ist PX Y ) = PX, Y ) A) = = [xy xy 2 y= = 3 4 = 5 2. A y=x dx = fx, y) dx dy = x 2x x 2 x 3 dx x + 2xy dy dx Schließlich berechnen wir noch die Kovarianz von X und Y. Hierzu benötigen wir zunächst die Erwartungswerte. Es ist EX = R tf X t) dt = [ 2 t 2t dt = 3 t3 = 2 3 und Somit ist EY = R CovX, Y ) = E tf Y t) dt = = = = X 2 3 =. t 2 + t) dt = [ t t3 3 = 7 2. ) Y 7 ) 2 x 2 ) y 7 x ) + 2xy dx dy 3 2) y 7 2 y 7 2 ) )[ x 3 x 2 + 2x 2 y 2 3 x 4 xy dx dy x3 y x x2 y dy Folglich sind X und Y unkorreliert. Definition Zufallsvariablen X,..., X n, die auf einem gemeinsamen Wahrscheinlichkeitsraum Ω, Σ, P) definiert sind, heißen unabhängig, falls für alle A,..., A n BR) stets gilt. PX A,..., X n A n ) = PX A )... PX n A n ) Man kann nun folgenden Satz beweisen:

13 3.5. DER ZENTRALE GRENZWERTSATZ 6 Satz Seien X,..., X n Zufallsvariablen auf einem gemeinsamen Wahrscheinlichkeitsraum Ω, Σ, P). Weiter sei F X die Verteilungsfunktion des Vektors X,..., X n ) und F Xj die Verteilungsfunktion der Zufallsvariable X j für j =,..., n. Dann sind folgende Aussagen äquivalent: i) X,..., X n sind unabhängig. ii) F X x,..., x n ) = F X x )... F Xn x n ) für alle x,..., x n R. Besitzt X eine Dichte Dichte f und X j die Dichte f j, so sind obige Aussagen äquivalent zu iii) ft,..., t n ) = f t )... f n t n ), wobei f die Dichte von X und f j die Dichte von X j bezeichnet. Beispiel Die Zufallsvariablen X und Y aus Beispiel sind unabhängig. Es ist nämlich f X x)f Y y) = 2x,) x) 2 + y),)y) = x + 2xy),) x),) y) = f X,Y ) x, y). Wir betrachten ein weiteres Beispiel. Beispiel Es sei D = {x, y) : y 2x, x } und f = D. Dann ist f eine Dichte. Es ist nämlich 2x D dx dy = dy dx = 2x dx =. R 2 Ist X, Y ) ein Zufallsvektor mit Dichte f, so sagt man X, Y ) sei gleichverteilt auf dem Dreieck D. Die Randdichten von f sind wie folgt gegeben: 2t f X t) = D t, y) dy =,) t) dy = 2t,) t) und f Y t) = R R D x, t) dx =,2) t) dy = t 2 ),)t). t/2 Hat der Vektor X, Y ) Dichte f, so sind X und Y nicht unabhängig, es ist nämlich f X x)f Y y) = 2x,) x) y/2),2) y) = 2x xy),) x),2) y) D x, y) = f X,Y x, y). 3.5 Der Zentrale Grenzwertsatz Nun kommen wir zu einem zentralen Resultat, welches die Bedeutung der Normalverteilung erklärt. Satz Zentraler Grenzwertsatz) Es sei X, X 2,... eine Folge von unabhängigen und identisch verteilten Zufallsvariablen mit endlichen Momenten zweiter Ordnung und positiver Varianz. Wir setzen σ 2 := VarX und µ := EX. Weiter sei S n := n k= X k. Dann ist Sn nµ ) P σ n x x e t2 2 dt = Φx), n. 2π

14 62 KAPITEL 3. ALLGEMEINE WAHRSCHEINLICHKEITSRÄUME Wir bemerken: Es ist ES n = nµ und, wegen der Unabhängigkeit, V ars n ) = nσ 2. Daher sind E [ S n nµ σ ] S n nµ = und V ar n σ ) = n unabhängig von n. Alternative Interpretation: Ist M n := n S n das Mittel der ersten n Zufallsvariablen, so ist n σ M n µ) = Sn nµ σ n. Der Zentrale Grenzwertsatz besagt gerade, dass die Verteilungsfunktion dieser standardisierten Mittel gegen die Verteilungsfunktion der Standardnormalverteilung konvergiert. Bemerkung Beachte, dass Pa < X b) = F X b) F X a) ist. Es folgt aus dem Zentralen Grenzwertsatz, dass P a < S n nµ ) σ n b Man darf hier <- und - Zeichen auswechseln. b e t2 2 a dt 2π, n. Dank des zentralen Grenzwertsatzes können wir unter Kenntnis der Werte von Φ, die tabelliert sind) Wahrscheinlichkeiten approximieren. Wir geben hierzu ein Beispiel: Beispiel Ein Würfel werde 6 mal geworfen. Was ist die Wahrscheinlichkeit zwischen 9 und Sechsen zu werfen? Hierbei handelt es sich um das 6-fache unabhängige) Wiederholen eines Bernoulli- Experiments mit Erfolgswahrscheinlichkeit p = 6. Damit ist die Zahl der Erfolge Bin6, 6 )- verteilt und die gesuchte Wahrscheinlichkeit ist k=9 6 k ) k 5 6 k. 6 6 Allerdings ist diese Summe relativ schwierig zu berechnen. Wir verwenden den zentralen Grenzwertsatz, um die Wahrscheinlichkeit zu approximieren. Seien hierzu X,..., X 6 unabhängige, Bernoulli verteilte Zufallsvariablen mit Erfolgswahrscheinlichkeit 6. Es ist also µ := EX = p = 6 und σ2 = p p) = Es ist also nµ = und nσ = 5/6 9, 3. Die Anzahl der Erfolge bei 6 Versuchen ist S 6 = 6 k= X k. Nach dem zentralen Grenzwertsatz gilt 9 P9 S 6 ) = P S 6 6µ 9, 3 6σ also ungefähr 36 Prozent. ) 9, 3 Φ) Φ.95) =, 5 Φ, 95)), 363, Bemerkung Bei der Approximation der Binomialverteilung durch die Normalverteilung ist folgendes zu beachten: Die Binomialverteilung ist eine diskrete Verteilung, genauer nimmt sie nur natürliche Zahlen als Werte an. In Beispiel ist somit P9 S 6 ) = P89 < S 6 < ) = P89, 5 S 6, 5).

15 3.6. SCHÄTZUNG DER PARAMETER IN DER NORMALVERTEILUNG 63 Berechnet man diese Wahrscheinlichkeiten näherungsweise mit dem zentralen Grenzwertsatz, so ergeben sich, 363,, 43 bzw., 397. Vergleichen wir diesen Wert mit dem exakten Wert,425 die Berechnung ist zwar aufwendig, aber nicht unmöglich), so sehen wir, dass der letztgenannte Wert am besten ist. Es entspricht auch der allgemeinen Erfahrung, dass, wenn die Wahrscheinlichkeit, dass eine diskrete Zufallsvariable in einem bestimmten Intervall liegt, mit Hilfe des zentralen Grenzwertsatzes approximiert wird, man am besten die Mittelwerte zwischen den beiden in Frage kommenden Zahlen als Intervallgrenzen einsetzt. Wir geben nun noch ein etwas anderes Anwendungsbeispiel. Beispiel Ein Airbus A38 hat gewöhnlich 526 Sitzplätze. Aus Erfahrungen ist bekannt, dass ein verkauftes Ticket mit einer Wahrscheinlichkeit von, storniert wird. Wir nehmen an, dass die Fluggäste, die Entscheidung, ob sie stornieren oder nicht, unabhängig voneinander treffen. Wie viele Tickets kann man für einen Flug verkaufen, wenn dieser mit einer Wahrscheinlichkeit von höchstens 2% überbucht sein soll? Es sei X, X 2,... eine Folge unabängiger Bin,, 9)-verteilter Zufallsvariablen und S n = n k= X n. Wir suchen die größte Zahl n, sodass PS n 526), 2. Es ist, 2 =! Sn n, n, 9 ) 526 n, 9 ) PS n 526) = P Φ n,, 9 n, 9 n, 9 Wir benötigen das,98-quantil der Normalverteilung. kann man in Tabellen nachschlagen. Es gilt Φ, 98) 2, 5. Wir erhalten also 2, 5 Φ, 98) 526 n, 9 n, 9. Wir schreiben m = n und erhalten die Gleichung 526 m 2, 9 m, 9 = 2, m 2, 9 = m, 3 2, 5 Löst man diese quadratische Gleichung, so erhält man m = 23, 8, also n = 568,. Die Fluggesellschaft darf also höchstens 568 Tickets verkaufen. 3.6 Schätzung der Parameter in der Normalverteilung In Kapitel 2 hatten wir bereits die Schätzung von Parametern gewisser Verteilungen diskutiert, dabei aber weil wir absolutstetige Verteilungen noch nicht eingeführt hatten) die Normalverteilung außen vor gelassen. Allerdings ist diese Verteilung in Anwendungen von größtem Interesse. Daher wollen wir das Schätzen der Parameter der Normalverteilung hier nachholen. Es gilt also aus einer Zufallsstichprobe X,..., X n zur Normalverteilung N µ, σ 2 ) die Parameter µ und σ 2 zu schätzen. Wir nutzen zunächst die Momentenmethode. Für Y N µ, σ 2 ) gilt µ, σ 2 ) = EY, EY 2 EY ) 2 ). Somit ergibt sich als Momentenschätzer, wenn Realisierungen x,..., x n beobachtet werden, ˆµ, σ 2 ) = x, n n x k ) 2 x) 2) = k= x, n n x k x) 2). k=

16 64 KAPITEL 3. ALLGEMEINE WAHRSCHEINLICHKEITSRÄUME Nu wenden wir uns der Maximum-Likelihood-Methode zu. Im Falle diskreter Wahrscheinlichkeiten hatten wir als Likelihood-Funktion L gerade das Produkt der Zähldichten verwendet: Lx,..., x n ; θ) = fx, θ)... fx n, θ). Im Falle von absolutstetigen Verteilungen mit Dichte ft, θ) verwenden wir das Produkt der Dichten als Likelihood-Funktion. Definition Es sei X,..., X n eine Zufallsstichprobe zur Verteilungsfunktion P {P θ : θ Θ}. Weiter sei P θ absolutstetig mit Dichte f, θ). Dann heißt L : R n Θ [, ), definiert durch Lx,..., x n ; θ) := fx, θ)... fx n, θ) Likelihood-Funktion. Ist ˆθ : R n Θ eine Funktion mit Lx,..., x n ; a) Lx,..., x n ; ˆθx,..., x n )) für alle a Θ, so heißt ˆθX,..., X n ) Maximum-Likelihood-Schätzer für θ. Wir berechnen nun Maximum-Likelihood-Schätzer für die Parameter µ und σ 2 einer Normalverteilung. Es ist Lx,..., x n ; µ, σ 2 ) = n e x k µ) 2πσ k= Es ist einfacher, die log-likelihood Funktion 2 2σ 2 = lµ, σ 2 ) := log Lx,..., x n ; µ, σ 2 ) = 2σ 2 ) n n exp k= x k µ) 2 ) 2πσ 2σ 2. n x k µ) 2 n 2 log2πσ2 ) zu betrachten. Um einen Kandidaten für die Maximumstelle zu finden, berechnen wir die kritischen Punkte der Log-Likelihood-Funktion, also die Lösungen des Gleichungssystems l =. Für die partielle Ableitung nach µ finden wir l µ = ) n 2σ 2 2x k µ) =! = k= Für die partielle Ableitung nach σ 2 ist l σ 2 = 2σ 4 k= k= n x k µ) = n x nµ µ = x k= n x k µ) 2 n 2π 2 2πσ 2 = 2σ 2 σ 2 n x k µ) 2! n) = Wir wissen bereits, dass in einem kritischen Punkt µ = x sein muss. Wir setzen das in obige Gleichung ein und erhalten l σ 2 = σ 2 k= n x k x) 2 = n σ 2 = n k= Die einzige kritische Stelle von l ist demnach der Punkt µ, σ 2 ) = x, n n x k x) 2). k= n x k x) 2. k=

17 3.6. SCHÄTZUNG DER PARAMETER IN DER NORMALVERTEILUNG 65 Eine genauere Untersuchung der log-likelihood Funktion zeigt, dass dies in der Tat eine globale!) Maximumstelle ist, d.h. dies ist der in diesem Falle eindeutige) Maximum-Likelihood- Schätzer. Für die Normalverteilung stimmen also Momenten- und Maximum-Likelihood- Schätzer überein. Obwohl sich sowohl aus der Momenten- als auch aus der Maximum-Likelihood-Methode n k= x k x) 2 als Schätzer für σ 2 ergibt, zieht man in der Praxis meist n k= x k x) 2 n vor, weil dieser Schätzer erwartungstreu ist. Konfidenzintervall für µ bei bekannter Varianz Als nächstes konstruieren wir Konfidenzintervalle für den Mittelwert µ. Dabei muss unterschieden werden, ob die Varianz σ 2 bekannt ist, oder nicht Es sei also X,..., X n eine Zufallsstichprobe zur Verteilung N µ, σ 2), wobei σ2 eine bekannte, feste, positive Zahl ist und µ ein unbekannter, reeller Parameter ist. Um µ zu schätzen verwenden wir den Schätzer X = n n k= X k. Wir könnten nun mittels Tschebyscheff- Ungleichung ein Konfidenzintervall herleiten. Allerdings ergibt sich ein kürzeres Konfidenzintervall, wenn wir folgende Proposition verwenden. Proposition Seien X i N µ i, σi 2 ), i =,..., n, unabhängige Zufallsvariablen. Dann gilt X + + X n N n i= µ i, n i= σ2 i ). Insbesondere ist X X n N nµ, nσ 2) und daher X N µ, σ 2 /n). Es folgt, dass V := n X µ σ N, ). Beachte, dass diese Verteilung nicht mehr von dem unbekannten Parameter µ abhängt. Um ein Konfidenzintervall zum Konfidenzniveau α zu konstruieren, geht man nun wie folgt vor: Zunächst bestimmt man ein Intervall, in dem V mit Wahrscheinlichkeit α liegt. Weil V symmetrisch verteilt ist, wählen wir auch ein symmetrisches Intervall, also ein c > sodass also c = Φ +α 2 ). Somit ergibt sich α = P µ V > c) = 2P µ V > c) = 2 Φc)) α = P µ V c) = P µ c n X µ = P µ µ σ ) c n 3.3) [ X cσ n, X + cσ n ]). 3.4) Somit ist [ X cσ / n, X + cσ / n] mit c = Φ + α/2) ein α-konfidenzintervall für µ. An diesem Beispiel kann man sehen, wie man allgemein vorgeht, um unter Ausnutzung spezieller Eigenschaften der zu Grunde liegenden Verteilung) Konfidenzintervalle für einen Parameter ϑ Θ zu konstruieren: ) Wähle einen Punkt-) Schätzer ˆθ für θ. 2) Bestimme die Verteilung von ˆθ. 3) Wähle eine Transformation g θ, so dass die Verteilung von g θ ˆθ) nicht von θ abhängt. 4) Wähle nun ein Intervall J mit Pg θ ˆθ) J) = α. 5) Löse die Bedingung g θ ˆθ) J nach θ auf. Falls sich ein Intervall ergibt, ist dies das gesuchte Konfidenzintervall.

18 66 KAPITEL 3. ALLGEMEINE WAHRSCHEINLICHKEITSRÄUME Insbesondere sind Konfidenzintervalle nicht eindeutig bestimmt. Beispiel Bei einer Stichprobe von 5 Brötchen wurden folgende Gewichte in Gramm) gemessen nach aufsteigendem Gewicht): Wir nehmen an, dass das Gewicht normalverteilt ist mit unbekanntem Mittelwert und Standardabweichung 3. Wir bestimmen ein 95%-Konfidenzintervall für µ wie folgt: Zunächst schlagen wir c = Φ,95 2 ) = Φ, 975) =, 96 in einer Tabelle der Verteilung der Standardnormalverteilung nach. Es ist nun cσ, 96 3 = = 2, 63 und X = 45, 6. n 5 Daher ist [42,97, 48,23] ein 95%-Konfidenzintervall für den Mittelwert µ. Mit der Tschebyscheff-Ungleichung hätte sich ergeben. [ X σ 2 n α), X + σ 2 n α) ] = [39,6, 5,6] Konfidenzintervall für µ bei unbekannter Varianz Im allgemeinen kann man in Anwendungen nicht annehmen, dass die Varianz bekannt ist. Sie muss also ebenfalls geschätzt werden. Es ist naheliegend, in obigem Zugang die nun nicht mehr bekannte) Standardabweichung σ durch S, die Wurzel aus dem Schätzer S 2 für die Varianz, zu ersetzen. Um ein Konfidenzintervall zu bestimmen, muss man nun die Verteilung der resultierenden Zufallsvariable kennen. Wir diskutieren dies in allgemeiner Situation. Definition Es seien X,..., X r unabhängig und N, )-verteilt. Dann heißt die Verteilung von Y := X X2 r χ 2 -Verteilung mit r Freiheitsgraden sprich: chi-quadrat). Wir schreiben Y χ 2 r. 2. Es seien X, Y unabhängig mit X N, ) und Y χ 2 r. Dann heißt die Verteilung von Z := X t-verteilung mit r Freiheitsgraden. Wir schreiben Z t r. Y/r Bemerkung a) Sowohl die χ 2 -Verteilungen als auch die t-verteilungen sind absolutstetig. Die Dichten dieser Verteilungen können explizit angegeben werden. Für uns sind jedoch insbesondere die Verteilungsfunktion und deren Umkehrfunktion d.h. die Quantilfunktion) von Bedeutung. Diese liegen in Tabellen vor. b) Die t-verteilung ist symmetrisch. Zur Bestimmung von Konfidenzintervallen wichtig ist folgendes Resultat, welches wir hier ohne Beweis angeben. Satz Es seien X,..., X n unabhängig und N µ, σ 2 )-verteilt. Dann sind X und S 2 unabhängig und es gilt X N µ, σ2 n ) n, σ 2 S 2 χ 2 n, n X µ S t n.

19 3.6. SCHÄTZUNG DER PARAMETER IN DER NORMALVERTEILUNG 67 Wir können also statt der Größe V = n X µ σ, die von der Standardabweichung σ abhängt, die Größe T = n X µ S, die nicht von der Standardabweichung abhängt, betrachten und haben wiederum eine Größe, deren Verteilung nicht von den Parametern µ und σ 2 abhängt. Somit können wir nun ein α-konfidenzintervall für µ wie folgt bestimmen: Es sei c ein + α)/2-quantil der t n -Verteilung, sodass Somit ist P µ,σ 2 T > c) = 2P µ,σ 2T > c) = 2 + α ) = α. 2 P µ,σ 2 X cs n µ X + cs n ) = P µ,σ 2 T c) = α. Wir haben also ein α-konfidenzintervall für µ gefunden. Beispiel Wir betrachten wiederum Beispiel Man rechnet leicht nach, dass S 2 = 8, 3, also S = 2, 88 ist. Um ein 95%-Konfidenzintervall zu berechnen, bestimmen wir zunächst das,975-quantil der t-verteilung mit 4 Freiheitsgraden. Aus einer Tabelle entnehmen wir den Wert 2, 78. Somit ergibt sich cs 2, 78 2, 88 = 3, 58 n 5 Daher ist [42,2, 49,8] ein 95%-Konfidenzintervall für µ. Beachte, dass dieses Intervall länger ist als das in Beispiel berechnete, obwohl die dort angenommene Standardabweichung 3 größer als die nun geschätzte Standardabweichung 2, 88 ist. Der Preis dafür, dass wir σ 2 als unbekannt annehmen dürfen!) ist ein längeres Konfidenzintervall. Konfidenzintervall für σ 2 Wir wollen nun noch ein Konfidenzintervall für die Varianz einer Stichprobe X,..., X n zur Normalverteilung N µ, σ 2 ) bestimmen. Wir nehmen an, dass der Erwartungswert µ bekannt sei. Wir wissen bereits, dass R := n S 2 χ 2 σ 2 n. Insbesondere hängt die Verteilung dieser Größe nicht mehr von den Parametern µ und σ 2 ab. Wir können daher Konfidenzintervalle für σ 2 mittels Quantilen der χ 2 n -Verteilung bestimmen. Um ein α-konfidenzintervall zu bestimmen, gehen wie folgt vor. Wir bestimmen a und b, sodass PR [a, b]) = α. Dann ist α = P µ,σ 2 n ) n )S σ 2 S 2 2 [a, b] = P µ,σ 2 b σ 2 n ) )S2. a Wir haben also ein α-konfidenzintervall gefunden. Es bleibt noch a und b zu wählen. Hier ist zu beachten, dass anders als bei der Standardnormalverteilung und der t-verteilung), die χ 2 -Verteilung nicht symmetrisch ist, genauer gesagt nimmt eine χ 2 -verteilte Zufallsvariable nur positive Werte an. Daher wählt man a und b in der Regel wie folgt: Wir wählen a so, dass R [, a] Wahrscheinlichkeit α)/2 hat, also ist a das α)/2- Quantil der χ 2 n -Verteilung. Dann wählen wir b so, dass R [b, ) ebenfalls Wahrscheinlichkeit α)/2 hat, also ist b das α)/2 = + α)/2-quantil der χ 2 n -Verteilung. Beispiel Wir betrachten wieder Beispiel 3.6.3, wo wir S 2 = 8, 3 bei einem Stichprobenumfang von n = 5 beobachtet hatten. Um ein Konfidenzintervall zum Niveau,95 zu bestimmen benötigen wir noch Quantile der χ 2 4 -Verteilung. Das 2,5%-Quantil von χ2 4 ist

20 68 KAPITEL 3. ALLGEMEINE WAHRSCHEINLICHKEITSRÄUME gegeben durch a = 8, 9. Andererseits ist das 97,5%-Quantil gegeben durch b = 32, 85. Somit ergibt sich als 95%-Konfidenzintervall für σ 2 [ 4 8, 3 32, 85, 4 8, 3 ] = [2,98, 68,5]. 8, 9 Auf Grund des kleinen Stichprobenumfangs ist dies recht ungenau.