Einführung in die Statistik Gliederung zur Vorlesung im Sommersemester Markus Reiß Universität Heidelberg

Transkript

1 Einführung in die Statistik Gliederung zur Vorlesung im Sommersemester 2005 Markus Reiß Universität Heidelberg 9. Januar 2006

2 Inhaltsverzeichnis 1 Diskrete Wahrscheinlichkeitsräume Grundbegriffe Diskrete Verteilungen Bedingte Wahrscheinlichkeiten und Unabhängigkeit Bedingte Wahrscheinlichkeiten Unabhängigkeit Produkträume Zufallsvariablen und ihre Momente Zufallsvariablen Unabhängigkeit von Zufallsvariablen Der Erwartungswert Bedingte Erwartung und Vorhersage Varianz und Kovarianz Testtheorie Grundlagen Einfache Alternativtests Beste einseitige Tests Der χ 2 -Anpassungstest Allgemeine Wahrscheinlichkeitsräume und Dichten σ-algebren und Wahrscheinlichkeitsräume Exkurs: mehrdimensionales Riemann-Integral Modelle mit Dichten Zufallsvariablen Erwartungswert und Varianz bei Zufallsvariablen mit Dichten Die mehrdimensionale Normalverteilung Übertragung von Ergebnissen auf den allgemeinen Fall Grenzwertsätze Gesetze der großen Zahlen Der zentrale Grenzwertsatz I

3 7 Schätztheorie Lineare Regression und die Methode der kleinsten Quadrate Allgemeine Parameterschätzungen Konfidenzbereiche II

4 Kapitel 1 Diskrete Wahrscheinlichkeitsräume 1.1 Grundbegriffe 1.1 Definition. Ein diskreter Wahrscheinlichkeitsraum ist ein Tupel (Ω, P), bestehend aus einer abzählbaren (d.h. endlichen oder abzählbar unendlichen) Menge Ω und einer Abbildung P : P(Ω) [0, 1] mit den Eigenschaften (a) P(Ω) = 1 (Normierung), (b) Für A n Ω, n 1, paarweise disjunkt, gilt ( ) P A n = P(A n ) (σ-additivität). n 1 n 1 Die Mengenfunktion P heißt Wahrscheinlichkeitsmaß. 1.2 Definition. Es sei Ω eine abzählbare Menge. Dann heißt jede Abbildung p : Ω [0, 1] mit ω Ω p(ω) = 1 Zähldichte auf Ω. 1.3 Lemma. Auf jedem diskreten Wahrscheinlichkeitsraum (Ω, P) wird durch p(ω) := P({ω}), ω Ω, eine Zähldichte definiert. Andererseits definiert eine Zähldichte p auf Ω ein Wahrscheinlichkeitsmaß P mittels P(A) = ω A p(ω), A Ω. 1.4 Lemma. Es sei (Ω, P) ein diskreter Wahrscheinlichkeitsraum. Dann gilt: (a) P( ) = 0 (b) A B Ω P(A) P(B) (c) P(A B) + P(A B) = P(A) + P(B) für A, B Ω 1

5 (d) P( n 1 A n) n 1 P(A n) für beliebige A n Ω, n 1 (e) Gilt für A n Ω, n 1, und A Ω, dass A n A (d.h. A n A n+1, n 1, und n A n = A), so folgt lim n P(A n ) = P(A) (σ-stetigkeit). 1.2 Diskrete Verteilungen Laplaceverteilung Urnenmodelle hypergeometrische Verteilung Bernoulli-Verteilung Binomialverteilung geometrische Verteilung Multinomialverteilung Poissonverteilung 1.5 Satz (Poissonscher Grenzwertsatz). Es seien p n [0, 1] Erfolgswahrscheinlichkeiten mit lim n np n = λ > 0. Dann gilt für alle k 0: lim Bin n,p n n (k) = Poiss λ (k). 2

6 Kapitel 2 Bedingte Wahrscheinlichkeiten und Unabhängigkeit 2.1 Bedingte Wahrscheinlichkeiten 2.1 Definition. Es seien A und B zwei Ereignisse mit P(B) > 0. Mit P(A B) := P(A B) P(B) wird die bedingte Wahrscheinlichkeit von A unter/gegeben B bezeichnet. 2.2 Satz. Es sei B ein Ereignis mit P(B) > 0. Dann gilt: (a) Q(A) := P(A B), A Ω, definiert ein Wahrscheinlichkeitsmaß mit Q(B) = 1. (b) Ist B die Vereinigung paarweise disjunkter Ereignisse B n mit P(B n ) > 0, so folgt für jedes Ereignis A P(A B) = n P(B n ) P(A B n ). (Formel von der totalen Wahrscheinlichkeit) (c) Ist A ein Ereignis mit P(A) > 0 und Ω = n B n eine Zerlegung mit paarweise disjunkten Ereignissen (B n ) n 1, für die P(B n ) > 0 gilt, so folgt für jedes n P(B n ) P(A B n ) P(B n A) = m P(B m) P(A B m ). (Formel von Bayes) 2.3 Lemma. Für Ereignisse A 1,..., A n mit P(A 1 A n 1 ) > 0 gilt die Multiplikationsformel P(A 1 A n ) = P(A 1 ) P(A 2 A 1 ) P(A 3 A 1 A 2 ) P(A n A 1 A n 1 ). 3

7 2.2 Unabhängigkeit 2.4 Definition. (a) Zwei Ereignisse A und B heißen unabhängig, falls P(A B) = P(A) P(B) gilt. (b) Eine Familie (A i ) i I von Ereignissen heißt unabhängig, falls für jede endliche Teilmenge J I gilt ( ) P A j = P(A j ). j J j J 2.5 Satz. Die Ereignisse A 1,..., A n seien unabhängig. Dann gilt für alle B k {A k, A k }, k = 1,..., n, ( ) P B k = k n P(B k ), k=1 und die Ereignisse B 1,..., B n sind unabhängig. 2.3 Produkträume 2.6 Definition. Es seien (Ω 1, P 1 ),..., (Ω n, P n ) diskrete Wahrscheinlichkeitsräume mit entsprechenden Zähldichten p 1,..., p n. Durch die Produktmenge Ω = Ω 1 Ω n und die Zähldichte (!) p(ω) = p(ω 1,..., ω n ) := n p k (ω k ), ω Ω, wird das Produkt n k=1 (Ω k, P k ) der Wahrscheinlichkeitsräume definiert. Für das durch p induzierte Wahrscheinlichkeitsmaß P schreibt man auch P = P 1 P n und nennt es das Produktmaß. 2.7 Satz. Es seien (Ω 1, P 1 ),..., (Ω n, P n ) diskrete Wahrscheinlichkeitsräume mit jeweiligen Ereignissen A k Ω k, k = 1,..., n. Setzt man (Ω, P) := n k=1 (Ω k, P k ) und A (k) k := {ω Ω : ω k A k } Ω, so sind die Ereignisse A (1) 1,..., A(n) n P k (A k ) für alle k = 1,..., n. k=1 unabhängig in (Ω, P), und es gilt P(A (k) k ) = 4

8 Kapitel 3 Zufallsvariablen und ihre Momente 3.1 Zufallsvariablen 3.1 Definition. Es sei (Ω, P) ein diskreter Wahrscheinlichkeitsraum. Jede Abbildung X : Ω S in eine beliebige Menge S heißt (diskrete) S-wertige Zufallsvariable. Im Fall S = R spricht man bloß von einer Zufallsvariablen, im Fall S = R d von einem Zufallsvektor. 3.2 Definition. Ist X eine diskrete S-wertige Zufallsvariable, so heißt der diskrete Wahrscheinlichkeitsraum (X(Ω), P X ) mit dem Wahrscheinlichkeitsmaß (!) P X (A) := P(X A) = P(X 1 (A)), A X(Ω), von X induzierter Wahrscheinlichkeitsraum. P X wird als Verteilung von X bezeichnet. 3.2 Unabhängigkeit von Zufallsvariablen 3.3 Definition. Es sei (X i ) i I eine Familie von Zufallsvariablen X i : Ω S i. Die Familie (X i ) i I heißt unabhängig, falls für jede Wahl von Teilmengen A i S i die Ereignisse ({X i A i }) i I = (Xi 1 (A i )) i I unabhängig sind. 3.4 Satz. Die diskreten Zufallsvariablen X 1,..., X n sind genau dann unabhängig, wenn für alle x 1 X 1 (Ω),..., x n X n (Ω) gilt P(X 1 = x 1,..., X n = x n ) = n P(X k = x k ). 3.5 Definition. Es seien X 1 : Ω S 1,..., X n : Ω S n Zufallsvariablen. Dann ist X : Ω S 1 S n mit X = (X 1,..., X n ) ebenfalls eine Zufallsvariable, und ihre Verteilung P X heißt gemeinsame Verteilung von X 1,..., X n. Andererseits heißt für jedes k = 1,..., n die Verteilung P X k der k-ten Komponente die k-te Randverteilung von X. k=1 5

9 3.6 Lemma. Die Zufallsvariablen X 1,..., X n sind genau dann unabhängig, wenn ihre gemeinsame Verteilung P X auf X(Ω) = X 1 (Ω) X n (Ω) das Produkt der Randverteilungen P X k ist: P X = P X 1 P Xn. 3.3 Der Erwartungswert 3.7 Definition. Wir sagen, dass eine (reellwertige, diskrete) Zufallsvariable X auf (Ω, P) mit Zähldichte p einen Erwartungswert besitze, falls X(ω) p(ω) < ω Ω gilt, und schreiben X L 1 = L 1 (Ω, P). In diesem Fall definiert E[X] := ω Ω X(ω)p(ω) den Erwartungswert von X. Falls X nur nicht-negative Werte annimmt und X(ω)p(ω) = + gilt, so schreiben wir E[X] = +. ω Ω 3.8 Satz. Für diskrete Zufallsvariablen X, Y auf (Ω, P) gilt: (a) X L 1 x X(Ω) x P(X = x) <. In diesem Fall erhält man den Transformationssatz E[X] = x P(X = x) = xp X (x). x X(Ω) x X(Ω) (b) X, Y L 1 mit X(ω) Y (ω) für alle ω Ω impliziert E[X] E[Y ] (Monotonie) (c) Für X, Y L 1, c R ist X + cy in L 1 und E[X + cy ] = E[X] + c E[Y ] (Linearität). (d) Sind X, Y L 1 unabhängig, so ist XY in L 1, und es gilt E[XY ] = E[X] E[Y ]. 3.9 Korollar. Es seien X 1,..., X n diskrete Zufallsvariablen sowie g : X 1 (Ω) X n (Ω) R eine beliebige Funktion. Dann gilt E[g(X 1,..., X n )] = g(x 1,..., x n ) P(X 1 = x 1,..., X n = x n ), x 1 X 1 (Ω) x n X n(ω) sofern der Erwartungswert existiert Definition. Wir sagen, dass eine Zufallsvariable X in L p für p > 0 liegt, falls X p L 1 gilt. Für X L p und p N heißt E[X p ] das p-te Moment von X Lemma. Für 0 < p < q gilt: X L q X L p Lemma. Für eine Zufallsvariable X L 2 nimmt die Funktion ϕ : R R, ϕ(z) = E[(X z) 2 ] ihr (endliches) Minimum bei z = E[X] an. 6

10 3.4 Bedingte Erwartung und Vorhersage 3.13 Definition. Es seien X und Y Zufallsvariablen auf (Ω, P). Für x X(Ω) mit P(X = x) > 0 ist die bedingte Verteilung von Y gegeben X = x das Wahrscheinlichkeitsmaß P Y X=x (A) := P(Y A X = x), A Y (Ω). Gilt y Y (Ω) y P(Y = y X = x) <, so wird der bedingte Erwartungswert von Y gegeben X = x definiert als E[Y X = x] := y P(Y = y X = x). y Y (Ω) 3.14 Lemma. Ist Y L 1 sowie P(X = x) > 0 so existiert stets der bedingte Erwartungswert E[Y X = x] Lemma. Es seien X und Y Zufallsvariablen auf (Ω, P). Dann gilt, sofern alles wohldefiniert ist: (a) Sind X und Y unabhängig, so ist E[Y X = x] = E[Y ]. (b) Ist Y = αx, so ist E[Y X = x] = αx. (c) E[Y X = x] ist bezüglich Y monoton und linear Definition. Es seien X, Y Zufallsvariablen mit Y L 1 und P(X = x) > 0 für alle x X(Ω). Setze µ Y X (x) := E[Y X = x]. Dann heißt die Zufallsvariable (!) E[Y X](ω) := µ Y X (X(ω)) bedingte Erwartung von Y gegeben X Satz. Es seien X, Y Zufallsvariablen mit Y L 1 und P(X = x) > 0 für alle x X(Ω). Dann gilt E[E[Y X]] = E[Y ] Satz. Es seien X, Y Zufallsvariablen mit Y L 2 und P(X = x) > 0 für alle x X(Ω). Es bezeichne F X := {Z L 2 h : X(Ω) R : Z(ω) = h(x(ω)) für alle ω Ω} die Menge aller Zufallsvariablen in L 2, die sich als Funktion von X schreiben lassen. Dann nimmt die Funktion ihr Minimum bei Z = E[Y X] an. ϕ : F X R, ϕ(z) = E[(Y Z) 2 ] 3.5 Varianz und Kovarianz 3.19 Definition. Für eine Zufallsvariable X in L 2 bezeichnet Var(X) := E[(X E[X]) 2 ] die Varianz von X. σ(x) = Var(X) heißt Standardabweichung von X. 7

11 3.20 Satz. Für X, Y L 2 gilt: (a) Var(X) = 0 P(X = E[X]) = 1 (b) a, b R : Var(aX + b) = a 2 Var(X) (c) Var(X) = E[X 2 ] (E[X]) 2 (d) Var(X + Y ) 2 Var(X) + 2 Var(Y ) (e) Sind X und Y unabhängig, so gilt Var(X + Y ) = Var(X) + Var(Y ) Satz. Es seien X, Y Zufallsvariablen in L 2 sowie L X := {ax + b : a, b R} die Menge aller Zufallsvariablen, die sich als affin-lineare Funktion von X schreiben lassen. Dann nimmt die Funktion ihr Minimum bei Z = a X + b an mit a = ϕ : L X R, ϕ(z) = E[(Y Z) 2 ] E[(X E[X])(Y E[Y ])], b = E[Y ] a E[X], Var(X) falls Var(X) > 0, sowie a beliebig, falls Var[X] = 0. Im Fall Var(X) > 0 gilt min ϕ(z) = Var(Y ) Z L X 3.22 Definition. Für X, Y definiert (E[(X E[X])(Y E[Y ])])2. Var[X] Cov(X, Y ) := E[(X E[X])(Y E[Y ])] die Kovarianz und im Fall σ(x), σ(y ) > 0 die Korrelation von X und Y Satz. Für X, Y, Z L 2 gilt: ρ(x, Y ) := Cov(X, Y ) σ(x)σ(y ) (a) Cov(X, Y ) = Cov(Y, X) = E[XY ] E[X] E[Y ], Cov(X, X) = Var(X) (b) Var(X + Y ) = Var(X) + 2 Cov(X, Y ) + Var(Y ) (c) a, b R : Cov(aX + b, Y ) = a Cov(X, Y ) (d) Cov(X + Y, Z) = Cov(X, Z) + Cov(Y, Z) (e) Sind X und Y unabhängig, so gilt Cov(X, Y ) = 0 (X und Y sind unkorreliert) (f) Cov(X, Y ) σ(x)σ(y ) (g) ρ(x, Y ) [ 1, 1], falls die Korrelation wohldefiniert ist. 8

12 Kapitel 4 Testtheorie 4.1 Grundlagen 4.1 Definition. Ein diskretes statistisches Modell ist ein Tupel (X, (P ϑ ) ϑ Θ ) bestehend aus einer abzählbaren Menge X (dem Stichprobenraum) und einer Familie (P ϑ ) ϑ Θ von Wahrscheinlichkeitsmaßen auf P(X). Die mindestens zweielementige Menge Θ heißt Parametermenge und jedes ϑ Θ Parameter. 4.2 Definition. Aufbau eines Testverfahrens: (a) Wahl eines statistischen Modells (X, (P ϑ ) ϑ Θ ) (b) Formulierung von Hypothese und Alternative: Θ = Θ 0 Θ 1 ϑ Θ 0 : ϑ entspricht der Hypothese H 0 ϑ Θ 1 : ϑ entspricht der Alternative H 1 (c) Wahl eines Irrtumsniveaus α (0, 1) für den Fehler erster Art, sich bei Vorliegen der Hypothese für die Alternative zu entscheiden. (d) Konstruktion eines (randomisierten) Tests ϕ : X [0, 1] zum Niveau α: ϕ(x) = 0: Entscheidung für H 0, ϕ(x) = 1: Entscheidung für H 1, ϕ(x) (0, 1): Entscheidung mit Wahrscheinlichkeit ϕ(x) für H 1, sup ϑ Θ0 E ϑ [ϕ] α. (e) Durchführen des Experiments 4.3 Definition. Weitere Begriffsbildungen: (a) Jede Zufallsvariable ϕ auf X mit Werten in [0, 1] heißt Test. (b) Gilt ϕ(x) {0, 1} für alle x X, so heißt der Test ϕ nicht-randomisiert. (c) Ist ϕ ein nicht-randomisierter Test, so heißt X 1 := {x X : ϕ(x) = 1} Ablehnungsbereich oder kritischer Bereich des Tests. (d) Die Funktion G ϕ : Θ [0, 1] mit G ϕ (ϑ) = E ϑ [ϕ] heißt Gütefunktion des Tests ϕ. Ist ϕ ein Test vom Niveau α, so gilt G ϕ (ϑ 0 ) α für alle 9

13 ϑ 0 Θ 0. Für ϑ 1 Θ 1 heißt G ϕ (ϑ 1 ) die Macht oder Schärfe von ϕ bei ϑ 1 und β ϕ (ϑ 1 ) = 1 G ϕ (ϑ 1 ) bezeichnet die Wahrscheinlichkeit für den Fehler 2. Art der Entscheidung für H 0, obwohl ϑ 1 Θ 1 vorliegt. 4.4 Definition. Ein Test ϕ von H 0 : ϑ Θ 0 gegen H 1 : ϑ Θ 1 heißt gleichmäßig bester Test zum Niveau α, falls ϕ ein Test zum Niveau α ist und für jeden anderen Test ψ zum Niveau α gilt: ϑ 1 Θ 1 : G ϕ (ϑ 1 ) G ψ (ϑ 1 ). 4.2 Einfache Alternativtests In diesem Abschnitt liege stets das statistische Modell (X, (P 0, P 1 )) mit Θ 0 = {0}, Θ 1 = {1} zugrunde. Außerdem möge für die zugehörigen Zähldichten p 0 (x) + p 1 (x) > 0 für alle x X gelten. Hypothese und Alternative heißen in diesem Fall einfach, weil sie nur jeweils einen Parameter enthalten. 4.5 Definition. Der Likelihood-Quotient von P 1 bezüglich P 0 ist gegeben durch { p 1 (x)/p 0 (x), falls p 0 (x) > 0, R(x) = +, falls p 0 (x) = 0. Jeder Test ϕ der Form 1, falls R(x) > c, ϕ(x) = 0, falls R(x) < c, γ, falls R(x) = c mit beliebigem c 0 und γ [0, 1] heißt Neyman-Pearson-Test. 4.6 Satz. Für das Testen von H 0 : ϑ = 0 gegen H 1 : ϑ = 1 gilt: (a) Ist ϕ ein Neyman-Pearson-Test, so ist ϕ mindestens so mächtig wie jeder andere Test ϕ mit E 0 [ϕ] E 0 [ϕ ]. (b) Für jedes Niveau α (0, 1) existiert ein Neyman-Pearson-Test ϕ mit exakt E 0 [ϕ ] = α. (c) Ein (gleichmäßig) bester Test zum Niveau α ist gegeben durch einen Neyman-Pearson-Test ϕ mit E 0 [ϕ ] = α. 4.3 Beste einseitige Tests 4.7 Definition. Ein diskretes statistisches Modell (X, (P ϑ ) ϑ Θ ) mit X R und Θ R hat wachsende Likelihood-Quotienten, wenn für alle ϑ < ϑ der Likelihood-Quotient { p ϑ (x)/p ϑ (x), falls p ϑ (x) > 0, R ϑ :ϑ(x) = +, falls p ϑ (x) = 0 monoton wachsend in x ist. 10

14 4.8 Satz. Es sei (X, (P ϑ ) ϑ Θ ) ein statistisches Modell mit wachsenden Likelihood-Quotienten. Für jedes ϑ 0 Θ, α (0, 1) existiert dann ein gleichmäßig bester Test zum Niveau α von H 0 : ϑ ϑ 0 gegen H 1 : ϑ > ϑ 0. Dieser hat die Gestalt 1, falls x > c α, ϕ(x) = 0, falls x < c α, γ α, falls x = c α, wobei sich c α R und γ α [0, 1] aus der Forderung E ϑ0 [ϕ] = α ergeben. Ferner ist die Gütefunktion G ϕ monoton wachsend. 4.4 Der χ 2 -Anpassungstest Wir betrachten als statistisches Modell Θ = {ϑ (0, 1) r : ϑ ϑ r = 1}, X = {x {0,..., n} r : x x r = n} und Mult n;ϑ1,...,ϑ r die Multinomialverteilung mit n Versuchen und Wahrscheinlichkeiten ϑ 1,..., ϑ r für die Klassen 1,..., r. Es soll die Hypothese H 0 : ϑ = ϑ gegen die Alternative H 1 : ϑ ϑ getestet werden (sogenannter Signifikanztest). 4.9 Definition. Für ein beliebiges Testproblem heißt jeder Test ϕ der Form 1, falls R(x) > c, ϕ(x) = 0, falls R(x) < c, mit R(x) = sup ϑ Θ 1 p ϑ (x) sup ϑ Θ0 p ϑ (x) γ, falls R(x) = c Likelihood-Quotienten-Test Lemma. Für das vorliegende Testproblem gilt mit Pearsons χ 2 -Statistik log(r(x)) = r i=1 ( xi ) x i log n ϑ 1 2 V 2 (x) i V 2 (x) = r i=1 (x i n ϑ i ) 2 n ϑ i Satz. Für alle v > 0 gilt (mit Kenntlichmachung der Abhängigkeit von n): v lim P n ϑ (V n 2 v) = f χ 2 r 1 (x) dx, 0 1 wobei f χ 2 m (x) = x m/2 1 e x/2 die Dichte der χ 2 -Verteilung mit m Γ(n/2)2 m/2 Freiheitsgraden bezeichnet. Ebenso gilt lim P n ϑ (2 log(r n) v) = v 0 f χ 2 r 1 (x) dx. 11

15 Kapitel 5 Allgemeine Wahrscheinlichkeitsräume und Dichten 5.1 σ-algebren und Wahrscheinlichkeitsräume 5.1 Satz. Sei Ω = {0, 1} N der Raum der 0-1-Folgen. Dann gibt es keine Abbildung P : P(Ω) [0, 1] die normiert und σ-additiv ist sowie folgende Invarianz eigenschaft besitzt A Ω, n 1 : P(T n (A)) = P(A) mit T n (ω) = (ω 1,..., ω n 1, 1 ω n, ω n+1,...). 5.2 Definition. Für Ω heißt F P(Ω) σ-algebra, falls gilt: (a) Ω F, (b) A F A F, (c) A n F, n 1 n 1 A n F. Das Paar (Ω, F) heißt messbarer Raum oder Messraum. 5.3 Lemma. Für eine σ-algebra F gilt: (a) F, (b) A n F, n 1 n 1 A n F, (c) A, B F A B, A B F. 5.4 Lemma. Zu jedem Mengensystem M P(Ω) gibt es eine (bzgl. Mengeninklusion) kleinste σ-algebra die M enthält. Diese von M erzeugte σ-algebra wird mit σ(m) bezeichnet. 5.5 Definition. Es sei Ω = R d und { d } M d = [a i, b i ] : a i < b i ; a i, b i Q i=1 12

16 das System aller d-dimensionalen Quader mit rationalen Endpunkten. Dann heißt B R d = σ(m d ) die Borel-σ-Algebra auf R d und jedes B B R d Borelmenge. 5.6 Lemma. Jede offene und jede abgeschlossene Menge B R d ist eine Borelmenge. 5.7 Definition. Ein Tripel (Ω, F, P) bestehend aus einer Menge Ω, einer σ- Algebra F auf Ω und einer Abbildung P : F [0, 1] mit P(Ω) = 1 und ( ) P A n = P(A n ) für alle paarweise disjunkten A n F, n 1 n 1 n 1 heißt (allgemeiner) Wahrscheinlichkeitsraum. P heißt Wahrscheinlichkeitsmaß auf F und jede Menge A F heißt Ereignis. 5.8 Satz. Es sei (Ω, F, P) ein Wahrscheinlichkeitsraum und M ein F erzeugendes Mengensystem. Ist M durchschnittstabil (d.h. A, B M A B M), so ist das Wahrscheinlichkeitsmaß P bereits durch seine Werte auf M eindeutig bestimmt. 5.2 Exkurs: mehrdimensionales Riemann-Integral 5.3 Modelle mit Dichten 5.9 Definition. Eine integrierbare Funktion f : R d [0, ) mit R d f(x) dx = 1 heißt Wahrscheinlichkeitsdichte oder bloß Dichte auf R d Satz. f sei eine Dichte auf R d. Für jeden Quader Q = d i=1 [a i, b i ] setze b1 bd P(Q) = f(x) dx = f(x 1,..., x d ) dx d dx 1. Q a 1 a d Dann lässt sich P in eindeutiger Weise zu einem Maß auf (R d, B R d) fortsetzen. Für jede Borelmenge gilt P(B) = f(x) dx, sofern das Integral wohldefiniert ist. Gleichmäßige Verteilung auf dem Intervall Exponentialverteilung Normalverteilung Gleichverteilung auf einem Gebiet Produkte von Dichten B 13

17 5.11 Definition. Jede Dichte f auf R induziert die Verteilungsfunktion F (x) = x f(y) dy = P((, x]), wobei P das von f induzierte Wahrscheinlichkeitsmaß bezeichnet Lemma. Die von einer Dichte induzierte Verteilungsfunktion F hat folgende Eigenschaften: (a) F ist monoton wachsend. (b) lim x F (x) = 0, lim x + F (x) = 1 (c) F ist stetig. 5.4 Zufallsvariablen 5.13 Definition. Es sei (Ω, F, P) ein Wahrscheinlichkeitsraum und (S, S) ein Messraum. Dann heißt eine Funktion f : Ω S messbar (bzgl. (F, S)), falls A S : f 1 (A) F gilt. Jede solche messbare Funktion heißt (S, S)-wertige Zufallsvariable. Für S = R d wird kanonisch S = B R d gewählt, und man spricht bloß von einer Zufallsvariablen (d = 1) bzw. einem Zufallsvektor (d 2). Die Verteilung einer (S, S)-wertigen Zufallsvariablen X ist das Wahrscheinlichkeitsmaß (!) P X (A) := P(X A) = P(X 1 (A)), A S. Der Wahrscheinlichkeitsraum (S, S, P X ) heißt von X induzierter Wahrscheinlichkeitsraum Satz. Jede stetige Funktion f : R m R n und jede stückweise stetige Funktion g : R R n ist Borel-messbar Definition. Für eine (reellwertige) Zufallsvariable X heißt F X (x) = P(X x), x R, Verteilungsfunktion von X. Gilt für eine R d -wertige Zufallsvariable X und eine Dichte f X auf R d P(X Q) = f X (x) dx für alle Quader Q, so heißt f X Dichte von X. Q 5.16 Lemma. Ist X eine reellwertige Zufallsvariable mit Dichte f X, so gilt für die Verteilungsfunktion F X (x) = x f X (u) du, x R. Ist f X stetig in x R, so gilt (F X ) (x) = f X (x). 14

18 5.17 Satz. Besitzt die Zufallsvariable X die Dichte f X und ist die Funktion ϕ : X(Ω) R R differenzierbar mit ϕ (x) > 0 für alle x oder aber ϕ (x) < 0 für alle x, so hat Y = ϕ(x) die Dichte f Y (y) = f X (ϕ 1 (y)) (ϕ 1 ) (y) = f X (ϕ 1 (y)) ϕ (ϕ 1 (y)) Lemma. Besitzt der Zufallsvektor X = (X 1,..., X n ) die Dichte f, so besitzt jede Komponente X i ebenfalls eine Dichte und zwar f i (x i ) = f(x 1,..., x n ) dx 1 dx i 1 dx i+1 dx n, x i R. R n 1 In Worten: die i-te Randverteilung von X besitzt die Dichte f i, die sich durch Integration über die anderen Koordinaten ergibt Definition. Eine Familie (X i ) i I von (S i, S i )-wertigen Zufallsvariablen heißt unabhängig, falls für alle A i S i die Ereignisse ({X i A i }) i I unabhängig sind Satz. Reellwertige Zufallsvariablen (X i ) i I sind bereits dann unabhängig, falls für alle x i R die Ereignisse ({X i x i }) i I unabhängig sind Satz. Sind X 1,..., X n unabhängige Zufallsvariablen mit Dichten f 1,..., f n, so besitzt X = (X 1,..., X n ) die Dichte f(x) = f(x 1,..., x n ) = n f i (x i ), x R n. Besitzt umgekehrt X eine Dichte f, die sich in dieser Produktform schreiben lässt, so sind die Komponenten X 1,..., X n unabhängig mit Dichten f 1,..., f n Satz. Sind X 1 und X 2 unabhängige Zufallsvariablen mit Dichten f 1 und f 2, so besitzt X 1 + X 2 die Dichte f X 1+X 2 (x) := f 1 f 2 (x) := i=1 f 1 (x y)f 2 (y) dy, x R Definition. Die gerade definierte Funktion f 1 f 2 heißt Faltung von f 1 und f Erwartungswert und Varianz bei Zufallsvariablen mit Dichten 5.24 Definition. Es sei X eine Zufallsvariable mit Dichte f X. Falls x f X (x) dx < gilt, so bezeichnet E[X] := xf X (x) dx den Erwartungswert von X. Ist P ein Wahrscheinlichkeitsmaß auf (R, B R ) mit Dichte f, so wird xf(x) dx als Erwartungswert der Verteilung P bezeichnet, sofern x f(x) dx endlich ist. 15

19 5.25 Satz. Es seien X, Y Zufallsvariablen mit Dichten f X, f Y sowie Y = g(x) mit einer injektiven differenzierbaren Funktion g. Im Fall g(x) f X (x) dx < existiert der Erwartungswert von Y, und es gilt E[Y ] := yf Y (y) dy = g(x)f X (x) dx Definition. Man definiert allgemeiner für beliebige integrierbare Funktionen g mit g(x) f X (x) dx < : E[g(X)] := g(x)f X (x) dx. 5.6 Die mehrdimensionale Normalverteilung 5.27 Lemma. Es sei X ein p-dimensionaler Zufallsvektor mit Erwartungswertvektor µ und Kovarianzmatrix Σ. Dann besitzt der q-dimensionale Zufallsvektor Y = AX + β, wobei A eine p q-matrix und β ein q-dimensionaler Vektor ist, den Erwartungswertvektor Aµ + β und die Kovarianzmatrix AΣA T Lemma. Jede Kovarianzmatrix eines Zufallsvektors ist, falls sie existiert, symmetrisch und positiv semi-definit Satz. (Cramér-Wold) Die Verteilung eines p-dimensionalen Zufallsvektors ist eindeutig bestimmt durch die eindimensionalen Verteilungen von c T X für alle c R p Korollar. Der Zufallsvektor X = (X 1,..., X p ) ist genau dann standardnormalverteilt, wenn c T X N(0, c 2 ) für alle c R p gilt Definition. Es sei X ein p-dimensionaler Zufallsvektor mit Erwartungswertvektor µ und Kovarianzmatrix Σ. X heißt normalverteilt mit Parametern (µ, Σ) oder N(µ, Σ)-verteilt, falls für alle c R p gilt c T X N(c T µ, c T Σc) Satz. Ist X N(µ, Σ)-verteilt mit µ = (µ 1,..., µ p ) T und Σ = (σ 2 ij ) i,j=1,...,p, so gilt: (a) X i N(µ i, σii 2 ) für alle i = 1,..., p. (b) X 1,..., X p sind genau dann unabhängig, wenn sie paarweise unkorreliert sind Satz. Für X N(µ, Σ), A R p q, β R p gilt AX + β N(Aµ + β, AΣA T ) Satz. Ist X ein N(µ, Σ)-verteilter Zufallsvektor im R p mit strikt positivdefiniter Kovarianzmatrix Σ, so besitzt X die Dichte f X 1 ( ) (x) = (2π) p/2 det(σ) 1/2 exp 1 2 (x µ)t Σ 1 (x µ). χ 2 -Verteilung und Anwendung auf Testprobleme 16

20 5.7 Übertragung von Ergebnissen auf den allgemeinen Fall 5.35 Satz. Folgende Definitionen und Aussagen gelten auch im allgemeinen Fall, sofern Ereignisse als Elemente der σ-algebra, Zufallsvariablen als messbare Funktionen und bei Erwartungswerten die Existenz von Dichten angenommen werden: Lemma 1.4, Definition 2.1, Satz 2.2, Lemma 2.3, Definition 2.4, Satz 2.5, Definition 3.3, Definition 3.5, Satz 3.8(b),(c),(d), Definition 3.10, Lemma 3.11, Lemma 3.12, Definition 3.19, Satz 3.20, Satz 3.21, Definition 3.22, Satz

21 Kapitel 6 Grenzwertsätze 6.1 Gesetze der großen Zahlen 6.1 Satz. (allgemeine Markow-Ungleichung) Es sei X eine Zufallsvariable und ϕ : [0, ) [0, ) monoton wachsend. Dann gilt für jedes K > 0 mit ϕ(k) > 0: P( X K) E[ϕ( X )], ϕ(k) wobei der Fall, dass die rechte Seite unendlich ist, trivial ist. 6.2 Korollar. (Tschebyschew-Ungleichung) Ist X eine Zufallsvariable in L 2, so gilt für jedes ε > 0 P( X E[X] ε) Var(X) ε Satz. (schwaches Gesetz der großen Zahlen) Es seien X 1,..., X n unkorrelierte Zufallsvariablen mit demselben Erwartungswert µ und sup i Var(X i ) V <. Dann erfüllt das arithmetische Mittel A n := 1 n X i n für jedes ε > 0 k=0 i=1 lim P( A n µ > ε) = 0. n 6.4 Korollar. (Weierstraßscher Approximationssatz) Zur stetigen Funktion f : [0, 1] R definiere das zugehörige Bernstein-Polynom n-ten Grades n ( k ) ( ) n f n (x) := f x k (1 x) n k, x [0, 1]. n k Dann gilt lim n f f n = 0 mit g := sup x [0,1] g(x). 6.5 Definition. Es seien (X n ) n 1 und X Zufallsvariablen auf demselben Raum (Ω, F, P). Man sagt, dass X n stochastisch (oder auch in Wahrscheinlichkeit) gegen X konvergiert für n, falls für alle ε > 0 gilt lim P( X X n > ε) = 0. n 18

22 Man sagt, dass X n fast sicher gegen X konvergiert, falls P({ω Ω : lim X n(ω) = X(ω)}) = 1. n 6.6 Lemma. Fast sichere Konvergenz impliziert stochastische Konvergenz, aber nicht umgekehrt. 6.7 Satz. (starkes Gesetz der großen Zahlen) Es seien (X n ) n 1 paarweise unabhängige Zufallsvariablen in L 1, die identisch verteilt sind. Dann konvergiert A n := 1 n n i=1 X i fast sicher gegen den Erwartungswert µ = E[X i ]. 6.2 Der zentrale Grenzwertsatz 6.8 Definition. Die Zufallsvariablen (X n ) n 1 konvergieren in Verteilung gegen die Zufallsvariable X (bzw. genauer: die Verteilungen (P Xn ) n 1 konvergieren schwach gegen die Verteilung P X ), falls für jede stetige beschränkte Funktion ϕ : R R gilt lim n E[ϕ(X n)] = E[ϕ(X)]. Notation: X n L X bzw. P X n L P X bzw. X n L P X. 6.9 Satz. Es sind äquivalent: (a) X n L X (b) Die Verteilungsfunktionen erfüllen F Xn (x) F X (x) für alle x R, an denen F X stetig ist (Stetigkeitspunkte) Lemma. Stochastische Konvergenz von (X n ) n 1 gegen X impliziert Konvergenz in Verteilung: X n L X Satz. (zentraler Grenzwertsatz) Es sei (X n ) n 1 eine Folge unabhängiger identisch verteilter Zufallsvariablen in L 2. Dann gilt S n := 1 n n i=1 X i E[X i ] σ(x i ) L N(0, 1). Insbesondere gilt für a < b also P(a < S n b) Φ(b) Φ(a) mit der Verteilungsfunktion Φ der Standardnormalverteilung N(0, 1). 19

23 Kapitel 7 Schätztheorie 7.1 Lineare Regression und die Methode der kleinsten Quadrate 7.1 Definition. Ein (einfaches eindimensionales) lineares Regressionsmodell ist gegeben durch die Beobachtungen Y k = ax k + b + ε k, k = 1,..., n, mit deterministischen Werten x 1,..., x n R (Versuchsplan), unbekannten Koeffizienten a, b R und unkorrelierten Zufallsvariablen ε 1,..., ε n, die E[ε k ] = 0, Var[ε k ] = σ 2 > 0 für alle k = 1,..., n erfüllen. 7.2 Definition. Die Kleinste-Quadrate-Schätzung vom Tupel (a, b) ist definiert als (â, ˆb) n := argmin (a,b ) R 2 (Y k a x k b ) 2. k=1 7.3 Lemma. Es gilt für die Kleinste-Quadrate-Schätzung ˆb = Ȳ â x, â = ρ xy σ 2 x mit x = 1 n n i=1 x i, Ȳ = 1 n n i=1 Y i und σ x 2 = 1 n n 1 i=1 (x i x) 2, ρ xy = 1 n n 1 i=1 (x i x)(y i Ȳ ). 7.4 Definition. Ein Schätzer ˆϑ für einen Parameter ϑ heißt erwartungstreu, falls E ϑ [ ˆϑ] = ϑ gilt. 7.5 Lemma. Die Kleinste-Quadrate-Schätzungen â und ˆb sind erwartungstreue Schätzer von a bzw. b. 7.6 Lemma. Für den mittleren quadratischen Fehler eines Schätzers ˆϑ für ϑ, der in L 2 liegt, gilt die Bias-Varianz-Zerlegung E ϑ [( ˆϑ ϑ) 2 ] = ( E ϑ [ ˆϑ ϑ] ) 2 + Varϑ ( ˆϑ). 20

24 7.7 Satz. (Gauß-Markov) Die Kleinste-Quadrate-Schätzungen â und ˆb haben unter allen linearen und erwartungstreuen Schätzern die kleinste Varianz. 7.8 Satz. Die Varianz σ 2 im linearen Regressionsmodell wird erwartungstreu geschätzt durch ˆσ 2 := 1 n (Y i âx i n 2 ˆb) 2, wobei â und ˆb die Kleinste-Quadrate-Schätzungen bezeichnen. 7.2 Allgemeine Parameterschätzungen i=1 7.9 Definition. Ist (X, F, (P ϑ ) ϑ Θ ) ein allgemeines statistisches Modell mit Θ R d, so heißt jede Θ-wertige Zufallsvariable auf (X, F) Schätzer von ϑ Definition. Eine Folge ( ˆϑ n ) n 1 von Schätzern eines Parameters ϑ heißt konsistent, falls lim n ˆϑn = ϑ in Wahrscheinlichkeit gilt Definition. Ein diskretes statistisches Modell (X, F, (P ϑ ) ϑ Θ ) mit einem offenen Intervall Θ R heißt regulär, falls gilt: (a) x X ϑ Θ : p ϑ (x) > 0, ṗ ϑ (x) = ϑ p ϑ(x) existiert, (b) ϑ Θ : ṗ ϑ /p ϑ L 2, x X ṗϑ(x) = ϑ x X p ϑ(x) = 0. Ein statistisches Modell mit Dichten heißt entsprechend regulär, falls obige Eigenschaften für die Dichten f ϑ erfüllt sind, wobei die Summen durch Integrale zu ersetzen sind Satz. (Cramér-Rao-Ungleichung) Ist (X, F, (P ϑ ) ϑ Θ ) ein reguläres statistisches Modell, so gilt für jeden erwartungstreuen Schätzer ˆϑ von ϑ folgende untere Schranke für die Varianz: mit der Fisher-Information I(ϑ) := E ϑ [(ṗϑ p ϑ ) 2 ] 7.3 Konfidenzbereiche Var ϑ ( ˆϑ) 1 I(ϑ) bzw. I(ϑ) := E ϑ [( f ϑ f ϑ ) 2 ] Definition. Es seien (X, F, (P ϑ ) ϑ Θ ) ein statistisches Modell sowie α (0, 1). Eine Abbildung C : X P(Θ), die jedem Versuchsausgang x eine Teilmenge C(x) der Parametermenge zuordnet, heißt Konfidenzbereich zum Konfidenz-Niveau 1 α, falls ϑ Θ : P ϑ ({x X : ϑ C(x)}) 1 α Satz. Es sei (X, F, (P ϑ ) ϑ Θ ) ein statistisches Modell. 21

25 (a) Ist für jedes ϑ Θ ein nicht-randomisierter Test ϕ ϑ von H 0 : ϑ = ϑ gegen H 1 : ϑ ϑ zum Signifikanzniveau α gegeben, so definiert C(x) := { ϑ Θ : ϕ ϑ(x) = 0} einen Konfidenzbereich zum Konfidenz-Niveau 1 α. (b) Umgekehrt wird durch einen Konfidenzbereich C( ) zum Konfidenz- Niveau 1 α mittels ϕ ϑ(x) := 1 1 C(x) ( ϑ) ein Test von H 0 : ϑ = ϑ gegen H 1 : ϑ ϑ zum Niveau α definiert. 22