Wahrscheinlichkeitsrechnung. Sommersemester Kurzskript

Transkript

1 Wahrscheinlichkeitsrechnung Sommersemester 2008 Kurzskript Version 1.0 S. Döhler 1. Juli 2008 In diesem Kurzskript sind Begriffe und Ergebnisse aus der Lehrveranstaltung zusammengestellt. Außerdem enthält das Skript möglicherweise Themen, die nicht Gegenstand der Vorlesung waren. Das Dokument befindet sich in laufender Überarbeitung. Für Verbesserungsvorschläge und Fehlermeldungen ( bin ich dankbar!

2 Inhaltsverzeichnis 1 Beschreibende Statistik Statistische Grundbegriffe Grundgesamtheit und Stichprobe Merkmale und Merkmalsausprägungen Skalen und Merkmalstypen Tabellarische und grafische Darstellungen Häufigkeiten Die empirische Verteilungsfunktion Stabdiagramm Lagemaße Median und Quantil Stichprobenmittel Ausreißerverhalten Streuungsmaße Spannweite und Quartilsabstand Stichprobenvarianz- und Standardabweichung Grafische Darstellungen Box-Plots Histogramm Diskrete Wahrscheinlichkeitsräume und elementare Kombinatorik Grundlagen Einfache Urnenmodelle (Kombinatorik) Ziehen in Reihenfolge mit Zurücklegen Ziehen in Reihenfolge ohne Zurücklegen Ziehen ohne Reihenfolge mit Zurücklegen Ziehen ohne Reihenfolge ohne Zurücklegen Die hypergeometrische Verteilung Einige diskrete Wahrscheinlichkeitsverteilungen Die Binomialverteilung Die Poissonverteilung Die geometrische Verteilung Die negative Binomialverteilung Allgemeine Wahrscheinlichkeitsräume Grundlagen Einige stetige Wahrscheinlichkeitsverteilungen Bedingte Wahrscheinlichkeiten Unabhängigkeit

3 Inhaltsverzeichnis 4 Zufallsvariablen Einführung Unabhängige ZV en und mehrdimensionale ZV en Mehrdimensionale ZV en Quantilfunktion Summen unabhängiger ZV en Erwartungswert, Varianz und Kovarianz Transformationen von ZV en Grenzwertsätze Das Gesetz großer Zahlen Der zentrale Grenzwertsatz Anwendungen Monte-Carlo Simulation

4 1 Beschreibende Statistik 1.1 Statistische Grundbegriffe Grundgesamtheit und Stichprobe Merkmale und Merkmalsausprägungen 1.2 Skalen und Merkmalstypen 1.3 Tabellarische und grafische Darstellungen Häufigkeiten Die empirische Verteilungsfunktion Definition 1.1 (Indikatorfunktion) Für A R sei die Funktion 1 A : R {0, 1} definiert durch 1 A (x) := { 1 x A 0 x / A 1 A heißt Indikatorfunktion der Menge A. Definition 1.2 (Empirische Verteilungsfunktion) Für x 1,..., x n R wird die empirische Verteilungsfunktion F n : R [0, 1] definiert durch F n (x) := 1 n n 1 (,x] (x i ) i=1 Bemerkung 1.3 Seien x 1,..., x n R. Dann hat die empirische Verteilungsfunktion F n die folgenden Eigenschaften: (a) F n ist eine monoton wachsende Treppenfunktion. (b) F n (x) = 0 für x < min{x 1,..., x n } und F n (x) = 1 für x max{x 1,..., x n } (c) F n (x) ist der relative Anteil der Beobachtungen im Intervall (, x]. 1 F n (x) ist der relative Anteil der Beobachtungen im Intervall (x, ). F n (y) F n (x) ist der relative Anteil der Beobachtungen im Intervall (x, y]. 4

5 1 Beschreibende Statistik Stabdiagramm 1.4 Lagemaße Median und Quantil Stichprobenmittel Ausreißerverhalten 1.5 Streuungsmaße Spannweite und Quartilsabstand Definition 1.4 (Spannweite, Quartilsabstand) Für x 1,..., x n R wird die Spannweite R und Quartilsabstand Q definiert als R = x (n) x (1) Q = x 0.75 x Stichprobenvarianz- und Standardabweichung Definition 1.5 (Stichprobenvarianz- und Standardabweichung) Für x 1,..., x n R wird die Stichprobenvarianz s 2 n und empirische Standardabweichung s n definiert als s 2 n := 1 n n (x i x) 2 i=1 s := s 2 n Bemerkung 1.6 (Verschiebungssatz) Für x 1,..., x n R gilt n n (x i x) 2 = x 2 i n (x) 2 i=1 i=1 s 2 = x 2 (x) 2 bzw. 1.6 Grafische Darstellungen Box-Plots Histogramm 5

6 2 Diskrete Wahrscheinlichkeitsräume und elementare Kombinatorik 2.1 Grundlagen Definition 2.1 (Grundraum, Ereignis) Definition 2.2 (Ereignisse, Operationen) Definition 2.3 ((Diskreter) W-Raum) Sei Ω ein endlicher oder abzählbarer Grundraum. Eine Abbildung P : P ot(ω) [0, 1] heißt Wahrscheinlichkeitsmaß bzw. Wahrscheinlichkeitsverteilung, wenn (A1) P (Ω) = 1. (A2) Für alle A Ω gilt P (A) 0. (A3) Für alle disjunkten A, B Ω gilt P (A B) = P (A) + P (B). (Ω, P ) heißt (diskreter) Wahrscheinlichkeitsraum. Lemma 2.4 Sei (Ω, P ) diskreter Wahrscheinlichkeitsraum, seien A, B, A i Ω. Dann: (a) P (A c ) = 1 P (A), speziell P ( ) = 0 (b) A B P (A) P (B) (c) P (A \ B) = P (A) P (A B) (d) Falls A 1,..., A n paarweise disjunkt P ( n i=1 A i) = n i=1 P (A i) (e) Für beliebige Mengen A 1,..., A n gilt P ( n i=1 A i) n i=1 P (A i) (f) P (A B) = P (A) + P (B) P (A B) (g) P (A) = ω A P ({ω}) Definition 2.5 (Wahrscheinlichkeitsfunktion) Sei (Ω, P ) ein diskreter Wahrscheinlichkeitsraum. Die Abbildung ω P ({ω}) heißt Wahrscheinlichkeitsfunktion bzw. Zähldichte(funktion). Schreibweise: Oft P (ω) statt P ({ω}). 6

7 2 Diskrete Wahrscheinlichkeitsräume und elementare Kombinatorik 2.2 Einfache Urnenmodelle (Kombinatorik) Definition 2.6 (Laplacescher Wahrscheinlichkeitsraum) Sei Ω ein endlicher Grundraum. Wenn alle ω Ω die gleiche Wahrscheinlichkeit P (ω) besitzen, dann heissen: (a) P : (diskrete) Gleichverteilung auf Ω. (b) (Ω, P ): Laplacescher W-raum Ziehen in Reihenfolge mit Zurücklegen Ziehen in Reihenfolge ohne Zurücklegen Ziehen ohne Reihenfolge mit Zurücklegen Ziehen ohne Reihenfolge ohne Zurücklegen Identitäten für Binomialkoeffizienten Die hypergeometrische Verteilung 2.3 Einige diskrete Wahrscheinlichkeitsverteilungen Definition 2.7 (Diskrete Gleichverteilung) Definition 2.8 (Hypergreometrische Verteilung) Die Binomialverteilung Definition 2.9 (Binomialverteilung) Die Poissonverteilung Definition 2.10 (Poisson-Verteilung) Die geometrische Verteilung Definition 2.11 (Geometrische Verteilung) Die negative Binomialverteilung 7

8 3 Allgemeine Wahrscheinlichkeitsräume 3.1 Grundlagen Definition 3.1 (σ-algebra) Definition 3.2 (Wahrscheinlichkeitsraum) Definition 3.3 (Dichtefunktion, Verteilungsfunktion) Lemma 3.4 (Eigenschaften von Verteilungsfunktionen) 3.2 Einige stetige Wahrscheinlichkeitsverteilungen Definition 3.5 (Gleichverteilung) Seien a, b R mit a < b. Dann ist die (stetige) Gleichverteilung (Rechteckverteilung) auf dem Intervall [a, b] definiert durch die Dichtefunktion f(x) = 1 b a 1 [a,b](x) Bezeichnungen: U([a, b]), U(a, b), R(a, b)... (englisch: uniform distribution) Definition 3.6 (Exponentialverteilung) Sei λ > 0. Die Exponentialverteilung mit Parameter λ ist gegeben durch die Dichtefunktion f(x) = λ exp( λx) 1 [0, ) (x) bzw. Verteilungsfunktion F (x) = (1 exp( λx)) 1 [0, ) (x) Bezeichnung: Exp(λ) Definition 3.7 (Normalverteilung) Sei µ R, σ 2 > 0. Die Normalverteilung N(µ, σ 2 ) mit Parametern µ und σ 2 ist definiert durch die Dichtefunktion ( 1 f(x) = exp 1 ( ) ) 2 x µ (x R) 2πσ 2 2 σ Speziell für µ = 0 und σ 2 = 1 heißt N(0, 1) Standardnormalverteilung. Die zugehörige Dichtebzw. Verteilungsfunktion werden mit ϕ bzw. Φ bezeichnet. Es ist ϕ(x) = 1 exp ( 12 ) 2π x2 (x R) 8

9 3 Allgemeine Wahrscheinlichkeitsräume Bemerkung 3.8 (Eigenschaften der Normalverteilung) Mit den Bezeichnungen aus der obigen Definition gilt (a) ϕ ist symmetrisch zur y-achse, d.h. ϕ(x) = ϕ( x) (x R). (b) Φ(x) = 1 Φ( x) (x R). Speziell gilt Φ(0) = 1/2. (c) Sei F µ,σ 2 die Verteilungsfunktion von N(µ, σ 2 ). Dann gilt: F µ,σ 2(x) = Φ( x µ σ ). 9

10 3 Allgemeine Wahrscheinlichkeitsräume 3.3 Bedingte Wahrscheinlichkeiten Definition 3.9 (Bedingte Wahrscheinlichkeit) Sei (Ω, A, P ) ein Wahrscheinlichkeitsraum, B A mit P (B) > 0. Für A A wird die bedingte Wahrscheinlichkeit von A unter B definiert durch P (A B) := P (A B) P (B) Lemma 3.10 (Eigenschaften) Folgerung 3.11 (Satz von der totalen Wahrscheinlichkeit) Sei (Ω, A, P ) ein Wahrscheinlichkeitsraum, B 1,..., B n A mit n i=1 B i = Ω die B i s sind paarweise disjunkt P (B i ) > 0 für alle i = 1,... n. Dann gilt für beliebiges Ereignis A A: P (A) = n P (A B i ) P (B i ) i=1 Folgerung 3.12 (Bayessche Formel) Unter den Bedingungen der obigen Folgerung gilt: P (B i A) = P (B i ) P (A B i ) n k=1 P (A B k) P (B k ) 3.4 Unabhängigkeit Definition 3.13 (Unabhängigkeit von Ereignissen) Sei (Ω, A, P ) ein Wahrscheinlichkeitsraum. Zwei Ereignisse A, B A heißen unabhängig, wenn P (A B) = P (A) P (B) 10

11 4 Zufallsvariablen 4.1 Einführung Definition 4.1 (Zufallsvariable) Sei (Ω, A, P ) ein Wahrscheinlichkeitsraum. Eine Zufallsvariable (ZV e) ist eine Abbildung X : Ω R. Definition 4.2 (Verteilung von X unter P ) Sei (Ω, A, P ) ein Wahrscheinlichkeitsraum, X : Ω R eine Zufallsvariable und B die Borelsche σ-algebra auf R. Für A B definieren wir die Wahrscheinlichkeitsverteilung von X durch P X (A) := P (X A) := P ({ω Ω X(ω) A}) Bezeichnungen: X hat Verteilung P X, X ist verteilt wie P X Notationen: X P X, X P,... Definition 4.3 (Verteilungsfunktion) Sei (Ω, A, P ) ein Wahrscheinlichkeitsraum, X : Ω R eine Zufallsvariable mit Wahrscheinlichkeitsverteilung P X. Die Funktion F X R [0, 1] mit F X (x) := P X ((, x]) = P (X x) heißt die zur Verteilung P X gehörige Verteilungsfunktion. Notationen: F X, F X, F, X F,... Sprechweisen:: F ist Verteilungsfunktion von X, X ist nach F verteilt, Unabhängige ZV en und mehrdimensionale ZV en Definition 4.4 (Unabhängigkeit) Seien X, Y ZV en auf einem Wahrscheinlichkeitsraum (Ω, A, P ). X und Y heißen (stochastisch) unabhängig, wenn für alle x, y R gilt P (X x, Y y) = P (X x) P (Y y) Mehrdimensionale ZV en Definition 4.5 (Randverteilung, gemeinsame Verteilungsfunktion) Seien X, Y ZV en. Dann heißt die Funktion F : R 2 [0, 1] F (x, y) := P (X x, Y y) (x, y R) gemeinsame Verteilungsfunktion von X und Y (Notationen: F, F (X,Y ), F (X,Y ),...) Die Funktionen F X (x) = P (X x) bzw. F Y (y) = P (Y y) heißen Randverteilungen (Randverteilungsfunktionen) von X bzw. Y. 11

12 4 Zufallsvariablen Definition 4.6 (Randdichte, gemeinsame Dichtefunktion) Seien X, Y ZV en. Eine Funktion f : R 2 R + heißt gemeinsame Dichte von X und Y, wenn F (x, y) = x y (Notationen: f, f (X,Y ), f (X,Y ),...) Die Funktionen f X (x) = f(u, v) du dv (x, y R) f(x, y) dy bzw. f Y (y) = heißen Randdichten von X bzw. Y. f(x, y) dx Bemerkung 4.7 (Verteilungsfunktion und Dichte bei unabhängigen ZV en) Seien X, Y unabhängige ZV en. Dann gilt (a) (b) F (X,Y ) (x, y) = F X (x) F Y (y) f (X,Y ) (x, y) = f X (x) f Y (y), falls die Dichtefunktionen existieren. 4.3 Quantilfunktion Definition 4.8 (Quantilfunktion, Quantil) Sei F : R [0, 1] eine stetige und streng monoton steigende Verteilungsfunktion. Für p (0, 1) heißt x p := F 1 (p) das p-quantil von F bzw. von der Wahrscheinlichkeitsverteilung, die zur Verteilungsfunktion F gehört. Die Funktion F 1 : (0, 1) R, p F 1 (p) heißt Quantilfunktion von F. Bezeichnungen: x p, q p,... Folgerung 4.9 (Simulationslemma) Sei F : R [0, 1] eine stetige und streng monoton steigende Verteilungsfunktion. (a) Sei Y U(0, 1), Z := F 1 (Y ). Dann ist Z F, d.h. die Verteilungsfunktion von Z ist F. (b) Sei X F, Z := F (X). Dann ist Z U(0, 1). 4.4 Summen unabhängiger ZV en Satz 4.10 (Faltungsformel für diskrete ZV en) Seien X, Y : Ω Z unabhängige ZV en. Dann gilt für k Z P (X + Y = k) = j Z P (X = k j) P (Y = j) = j Z P (X = j) P (Y = k j) Folgerung 4.11 (a) Seien X 1,..., X n Bin(1, p) iid. Dann ist X X n Bin(n, p). (b) Seien X P ois(λ), Y P ois(µ) unabhängig. Dann ist X + Y P ois(λ + µ). 12

13 4 Zufallsvariablen Satz 4.12 (Faltungsformel für stetige ZV en) Seien X, Y : Ω Z unabhängige ZV en mit DIchten f und g. Dann hat die ZV e X + Y die Dichte f g mit (f g)(x) = = f(y) g(x y) dy f(x y) g(y) dy Bezeichnung: Faltung von f und g. Die Faltung der entsprechenden Verteilungsfunktionen F und G wird entsprechend definiert: (F G)(x) = x F G = F X+Y (f g)(y) dy, d.h. Folgerung 4.13 Seien X N(µ 1, σ 2 1), Y N(µ 2, σ 2 2) unabhängig. Dann ist X + Y N(µ 1 + µ 2, σ σ 2 2). 4.5 Erwartungswert, Varianz und Kovarianz Definition 4.14 (Erwartungswert für diskrete ZV e) Sei X : Ω {x 1, x 2,...} eine diskrete ZV e mit Wahrscheinlichkeitsfunktion (Zähldichte) p. Dann ist der Erwartungswert von X definiert durch E(X) = i N = i N x i p(x i ) x i P (X = x i ) Definition 4.15 (Erwartungswert für stetige ZV e) Sei X : Ω R eine stetige ZV e mit Wahrscheinlichkeitsdichte f. Dann ist der Erwartungswert von X definiert durch E(X) = x f(x) dx Satz 4.16 (Rechnen mit Erwartunsgwerten) Seien X, Y ZV en, a, b R. Dann gilt: (a) E(a) = a. (b) E(aX) = a E(X) (Homogenität). (c) E(X + Y ) = E(X) + E(Y ) (Additivität). (d) Falls X Y (d.h. X(ω) Y (ω) für alle ω Ω), dann: E(X) E(Y ) (Monotonie). (e) E X + Y E X + E Y (Dreiecksungleichung). Satz 4.17 (Multiplikationssatz) Seien X, Y unabhängige ZV en. Dann gilt: E(X Y ) = E(X) E(Y ) 13

14 4 Zufallsvariablen Definition 4.18 (Varianz, Kovarianz) Seien X, Y ZV en. (a) Var(X) := E(X EX) 2 = E(X 2 ) (EX) 2 heißt Varianz von X. (b) Cov(X, Y ) := E((X EX) (Y EY )) = E(XY ) (EX) (EY ) heißt Kovarianz von X und Y. Lemma 4.19 (Eigenschaften Varianz) Seien X, Y ZV en, a, b R. Dann gilt: (a) Var(a) = 0. (b) Var(aX) = a 2 Var(X). (c) Var(X + b) = Var(X) (Translationsinvarianz). (d) E(X a) 2 = VarX + (EX a) 2. Speziell gilt: E(X a) 2 wird minimal für a = E(X). (e) Var(X + Y ) = Var(X) + Var(Y ) + 2Cov(X, Y ). Lemma 4.20 (Eigenschaften Kovarianz) Seien X, Y ZV en, a, b R. Dann gilt: (a) Cov(X, X) = Var(X). (b) Cov(X, Y ) = Cov(Y, X) (Symmetrie). (c) Cov(X + a, Y + b) = Cov(X, Y ) (Translationsinvarianz). (d) Cov(aX, by ) = ab Cov(X, Y ). (e) Wenn X, Y unabhängig sind, folgt Cov(X, Y ) = 0. Speziell gilt dann:. Var(X + Y ) = Var(X) + Var(Y ) Folgerung 4.21 (Erwartungswert einer Funktion von ZV en) Sei X ZV e, g eine Funktion, Y := g(x). Dann ist Y eine ZV e und es gilt: (a) Falls X eine diskrete ZV e mit Wahrscheinlichkeitsfunktion (Zähldichte) p ist, dann gilt: E(Y ) = i N = i N g(x i ) p(x i ) g(x i ) P (X = x i ) (b) Falls X eine stetige ZV e mit Wahrscheinlichkeitsdichte f ist, dann gilt: E(Y ) = g(x) f(x) dx 4.6 Transformationen von ZV en 14

15 5 Grenzwertsätze 5.1 Das Gesetz großer Zahlen Satz 5.1 (Tschebyscheff-Ungleichung) Sei X eine ZV e mit Erwartungswert µ und Varianz σ 2. Dann gilt für alle t > 0: P ( X µ t) σ2 t 2 Satz 5.2 (Gesetz großer Zahlen) Sei X 1, X 2,... eine iid Folge mit E(X i ) = µ und Var(X i ) = σ 2. Sei n X n := 1 n i=1 X i Dann gilt: X n µ (n ) Genauer: Für jedes ε > 0 gilt P ( X n µ > ε) 0 (n ) 5.2 Der zentrale Grenzwertsatz Satz 5.3 (Zentraler Grenzwertsatz) Sei X 1, X 2,... eine iid Folge mit E(X i ) = µ und Var(X i ) = σ 2. Sei Dann gilt: S n := 1 n n i=1 X i µ σ S n Z (n ) und Z N(0, 1). Genauer: Für jedes x R gilt P (S n x) Φ(x) (n ) Dabei ist Φ die Verteilungsfunktion von N(0, 1). 15

16 5 Grenzwertsätze Folgerung 5.4 (de-moivre-laplace) Sei X Bin(n, p) mit p (0, 1). Dann gilt: X np np(1 p) Z (n ) und Z N(0, 1). Genauer: Für jedes x R gilt ( ) X np P x Φ(x) (n ) np(1 p) Dabei ist Φ die Verteilungsfunktion von N(0, 1). 5.3 Anwendungen Monte-Carlo Simulation Monte-Carlo-Integration Berechnung von Pi 16

17 Literaturverzeichnis Lehrbücher [B1] Bourier, Beschreibende Statistik, Gabler, 2005 [B2] Bourier, Wahrscheinlichkeitsrechnung und schließende Statistik, Gabler, 2006 [CK] Cramer, Kamps, Grundlagen der Wahrscheinlichkeitsrechnung und Statistik, Springer, 2007 [DH] Dehling, Haupt, Einführung in die Wahrscheinlichkeitstheorie und Statistik, Springer, 2004 [Kr] Krengel, Einführung in die Wahrscheinlichkeitstheorie und Statistik, Vieweg, 1991 [PfSchu] Pfeifer, Schuchmann, Statistik mit SAS, Oldenbourg, 1997 [Ri] Rice, Mathematical Statistics and Data Analysis, Duxbury, 1995 [St] Steland, Mathematische Grundlagen der empirischen Forschung, Springer, 2004 Nachschlagewerke [Sa] Sachs, Heddrich, Angewandte Statistik, Springer, 2006 [Ha] Hartung, Statistik, Oldenbourg,