Stochastik I (Statistik)

Transkript

1 Stochastik I (Statistik) Skript Ju.-Prof. Dr. Zakhar Kabluchko Uiversität Ulm Istitut für Stochastik L A TEX-Versio vo Judith Schmidt

2 Ihaltsverzeichis Vorwort Literatur Kapitel. Stichprobe ud Stichprobefuktio.. Stichprobe.. Stichprobefuktioe, empirischer Mittelwert ud empirische Variaz 3 Kapitel. Ordugsstatistike ud Quatile 6.. Ordugsstatistike ud Quatile 6.. Verteilug der Ordugsstatistike 8 Kapitel 3. Empirische Verteilugsfuktio 3.. Empirische Verteilugsfuktio 3.. Empirische Verteilug Satz vo Gliweko Catelli 4 Kapitel 4. Dichteschätzer Histogramm Kerdichteschätzer 9 Kapitel 5. Methode zur Kostruktio vo Schätzer 5.. Parametrisches Modell 5.. Mometemethode Maximum Likelihood Methode Bayes Methode 3 Kapitel 6. Güteeigeschafte vo Schätzer Erwartugstreue, Kosistez, asymptotische Normalverteiltheit Güteeigeschafte des ML Schätzers Cramér Rao Ugleichug Asymptotische Normalverteiltheit der empirische Quatile 5 Kapitel 7. Suffiziez ud Vollstädigkeit Defiitio der Suffiziez im diskrete Fall Faktorisierugssatz vo Neyma Fisher Defiitio der Suffiziez im absolut stetige Fall Vollstädigkeit Expoetialfamilie Vollstädige ud suffiziete Statistik für Expoetialfamilie Der beste erwartugstreue Schätzer 64 i

3 7.8. Bedigter Erwartugswert Satz vo Lehma Scheffé 7 Kapitel 8. Wichtige statistische Verteiluge Gammafuktio ud Gammaverteilug χ Verteilug Poisso Prozess ud die Erlag Verteilug Empirischer Erwartugswert ud empirische Variaz eier ormalverteilte Stichprobe t Verteilug F Verteilug 8 Kapitel 9. Kofidezitervalle Kofidezitervalle für die Parameter der Normalverteilug Asymptotisches Kofidezitervall für die Erfolgswahrscheilichkeit bei Beroulli Experimete Satz vo Slutsky Kofidezitervall für de Erwartugswert der Poissoverteilug Zweistichprobeprobleme 9 Kapitel 0. Tests statistischer Hypothese Ist eie Müze fair? Allgemeie Modellbeschreibug Tests für die Parameter der Normalverteilug Zweistichprobetests für die Parameter der Normalverteilug Asymptotische Tests für die Erfolgswahrscheilichkeit bei Beroulli Experimete 0 ii

4 Vorwort Dies ist ei Skript zur Vorlesug Stochastik I (Statistik), die a der Uiversität Ulm im Sommersemester 03 gehalte wurde. Die erste L A TEX-Versio des Skripts wurde vo Judith Schmidt erstellt. Daach wurde das Skript vo mir korrigiert ud ergäzt. I Zukuft soll das Skript um ei weiteres Kapitel (Lieare Regressio) ergäzt werde. Bei Frage, Wüsche ud Verbesserugsvorschläge köe Sie gere eie a zakhar DOT kabluchko AT ui-ulm DOT de schreibe. 7. September 03 Zakhar Kabluchko Literatur Es gibt sehr viele Lehrbücher über Statistik, z. B.. J. Leh, H. Wegma. Eiführug i die Statistik.. H. Pruscha. Vorlesuge über Mathematische Statistik. 3. H. Pruscha. Agewadte Methode der Mathematische Statistik. 4. V. Rohatgi. Statistical Iferece. 5. G. Casella, R. L. Berger. Statistical Iferece. 6. K. Bosch. Elemetare Eiführug i die agewadte Statistik: Mit Aufgabe ud Lösuge. Folgede Lehrbücher behadel sowohl Wahrscheilichkeitstheorie als auch Statistik:. H. Dehlig ud B. Haupt. Eiführug i die Wahrscheilichkeitstheorie ud Statistik. Spriger Verlag.. U. Kregel. Eiführug i die Wahrscheilichkeitstheorie ud Statistik. Vieweg Verlag. 3. H. O. Georgii. Stochastik: Eiführug i die Wahrscheilichkeitstheorie ud Statistik. De Gruyter.

5 KAPITEL Stichprobe ud Stichprobefuktio I diesem Kapitel werde wir auf Stichprobe ud Stichprobefuktioe eigehe. Als Eistieg begie wir mit zwei kleie Beispiele... Stichprobe Beispiel... Wir betrachte ei Experimet, bei dem eie physikalische Kostate (z.b. die Lichtgeschwidigkeit) bestimmt werde soll. Da das Ergebis des Experimets fehlerbehaftet ist, wird das Experimet mehrmals durchgeführt. Wir bezeiche die Azahl der Messuge mit. Das Resultat der i-te Messug sei mit x i R bezeichet. Fasse wir u die Resultate aller Messuge zusamme, so erhalte wir eie sogeate Stichprobe (x,..., x ) R. Die Azahl der Messuge (also ) ee wir de Stichprobeumfag. Die Mege aller vorstellbare Stichprobe wird der Stichproberaum geat ud ist i diesem Beispiel R. Beispiel... Wir betrachte eie biometrische Studie, i der ei gewisses biometrisches Merkmal, z.b. die Körpergröße, i eier bestimmte Populatio utersucht werde soll. Da die Populatio sehr groß ist, ist es icht möglich, alle Persoe i der Populatio zu utersuche. Deshalb werde für die Studie Persoe, die wir mit,..., bezeiche, aus der Populatio ausgewählt ud gewoge. Mit x i R wird das Gewicht vo Perso i bezeichet. Das Ergebis der Studie ka ma da i eier Stichprobe (x,..., x ) R zusammefasse. Die Auswahl der Persoe aus der Populatio erfolgt zufällig ud ka somit als ei Zufallsexperimet betrachte werde. Die Grudmege dieses Experimets sei mit Ω bezeichet. Die geaue Gestalt vo Ω wird im Weitere keie Rolle spiele. Das Gewicht vo Perso i ka als eie Zufallsvariable X i : Ω R aufgefasst werde. De Zusammehag zwische (X,..., X ) ud (x,..., x ) ka ma folgedermaße beschreibe. Jede kokrete Auswahl vo Persoe aus der Populatio etspricht eiem Elemet (Ausgag) ω i der Grudmege Ω. Das Gewicht der i-te Perso ist da der Wert der Fuktio X i a der Stelle ω, also X i (ω). Es gilt somit x = X (ω),..., x = X (ω). Ma sagt auch, dass (x,..., x ) eie Realisierug des Zufallsvektors (X,..., X ) ist. Oft et ma (x,..., x ) die kokrete Stichprobe ud (X,..., X ) die Zufallsstichprobe. Es sei och eimal bemerkt, dass x i reelle Zahle, wohigege X i : Ω R Zufallsvariable (also Fuktioe auf eiem Wahrscheilichkeitsraum) sid.

6 Im Folgede werde wir sehr oft aehme, dass X,..., X : Ω R uabhägige ud idetisch verteilte Zufallsvariable sid. Die Verteilugsfuktio vo X i bezeiche wir mit F (t) = P[X i t], t R... Stichprobefuktioe, empirischer Mittelwert ud empirische Variaz Defiitio... Eie beliebige Borel-Fuktio ϕ : R R m heißt Stichprobefuktio. Defiitio... Bezeiche mit X = (X,..., X ) : Ω R eie Zufallsstichprobe. Da heißt die zusammegesetzte Fuktio ϕ X : Ω R m eie Statistik: ϕ X : Ω R R m, ω (X (ω),..., X (ω)) ϕ(x (ω),..., X (ω)). Im Folgede werde wir zwei wichtige Beispiele vo Stichprobefuktioe, de empirische Mittelwert ud die empirische Variaz, betrachte. Es sei (x,..., x ) R eie Stichprobe. Defiitio..3. Der empirische Mittelwert (auch das Stichprobemittel oder das arithmetische Mittel geat) ist defiiert durch x = x i. Aalog beutze wir auch die Notatio X = X i. Dabei ist x eie Stichprobefuktio ud X eie Statistik. Im Weitere werde wir meistes keie Uterschied zwische diese Begriffe mache. Satz..4. Seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit µ = EX i ud σ = Var X i. Da gilt E X = µ ud Var X = σ. Beweis. Idem wir die Liearität des Erwartugswertes beutze, erhalte wir [ ] E X X X = E = E[X X ] = E[X ] = E[X ] = µ. Idem wir die Additivität der Variaz (bei uabhägige Zufallsvariable) beutze, erhalte wir ( ) Var X X X = Var = Var(X X ) = Var(X ) = σ. Bemerkug..5. I der Statistik immt ma a, dass die Stichprobe (x,..., x ) bekat ist ud fragt da, wie ahad dieser Stichprobe verschiedee Kegröße der Zufallsvariable X i (etwa der Erwartugswert, die Variaz, die Verteilugsfuktio) geschätzt werde köe. Zum Beispiel bietet sich der empirische Mittelwert x (oder X ) als ei atürlicher Schätzer für de theoretische Erwartugswert µ = EX i. Der obige Satz zeigt, dass durch 3

7 eie solche Schätzug kei systematischer Fehler etsteht, i dem Sie, dass der Erwartugswert des Schätzers X mit dem zu schätzede Parameter µ übereistimmt: E X = µ. Ma sagt, dass X ei erwartugstreuer Schätzer für µ ist. Defiitio..6. Die empirische Variaz oder die Stichprobevariaz ist defiiert durch s = (x i x ). Aalog beutze wir auch die Notatio S = (X i X ). Die Rolle des Faktors (astelle vo ) wird im folgede Satz klar. Satz..7. Seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit EX i = µ ud Var X i = σ. Da gilt E[S ] = σ. Beweis. Zuerst beweise wir die Formel Das geht folgedermaße: Nu ergibt sich S = S = = = = ( ) Xi X. ( X i X i X + X ) ( Xi ) X i X + X ( ) Xi X X + X ( ) Xi X. [ ( )] E[S] = E Xi X ( ) = E[Xi ] E[ X ] = = σ. ( (σ + µ ) 4 ( σ + µ ))

8 Dabei habe wir verwedet, dass ud (mit Satz..4) E[X i ] = Var X i + (EX i ) = σ + µ E[ X ] = Var X + (E X ) = σ + µ. Bemerkug..8. Die empirische Variaz s (bzw. S ) ist ei atürlicher Schätzer für die theoretische Variaz σ = Var X i. Der obige Satz besagt, dass S ei erwartugstreuer Schätzer für σ ist im Sie, dass der Erwartugswert des Schätzers mit dem zu schätzede Parameter σ übereistimmt: ES = σ. Bemerkug..9. A Stelle vo S ka auch folgede Stichprobefuktio betrachtet werde S := (X i X ). Der Uterschied zwische S ud S ist also ur der Vorfaktor bzw.. Allerdigs ist S kei erwartugstreuer Schätzer für σ, de [ E[ S ] = E S ] = E[S ] = σ < σ. Somit wird die Variaz σ uterschätzt. Schätzt ma σ durch S, so etsteht ei systematischer Fehler vo σ. Bemerkug..0. Die empirische Stadardabweichug ist defiiert durch s = s = (x i x ). Bemerkug... Das Stichprobemittel x ist ei Lageparameter (beschreibt die Lage der Stichprobe). Die Stichprobevariaz s (bzw. die empirische Stadardabweichug s ) ist ei Streuugsparameter (beschreibt die Ausdehug der Stichprobe). Bemerkug... Das Stichprobemittel ist kei robuster Parameter, d.h. es wird stark vo Ausreißer beeiflusst. Dies zeigt folgedes Beispiel: Betrachte zuerst die Stichprobe (,,,,,,, ). Somit ist x =.5. Ädert ma ur de letzte Wert der Stichprobe i 0 um, also (,,,,,,, 0), da gilt x = Wir kote also de Wert des Stichprobemittels stark veräder, idem wir ur ei eiziges Elemet aus der Stichprobe verädert habe. Die Stichprobevariaz ist ebefalls icht robust. Im weitere werde wir robuste Lage- ud Streuugsparameter eiführe, d.h. solche Parameter, die sich bei eier Äderug (ud zwar sogar bei eier sehr starke Äderug) vo ur weige Elemete aus der Stichprobe icht sehr stark veräder. 5

9 KAPITEL Ordugsstatistike ud Quatile Um robuste Lage- ud Streuugsparameter eiführe zu köe, beötige wir Ordugsstatistike ud Quatile... Ordugsstatistike ud Quatile Defiitio... Sei (x,..., x ) R eie Stichprobe. Wir köe die Elemete der Stichprobe aufsteiged aorde: x () x ()... x (). Wir ee x (i) die i-te Ordugsstatistik der Stichprobe. Zum Beispiel ist x () = mi x i das Miimum ud x () = max x i das Maximum der Stichprobe.,...,,..., Defiitio... Der Stichprobemedia ist gegebe durch x + ), falls ugerade, med = med (x,..., x ) = ( ) x ( ) + x ( +), falls gerade. Somit befidet sich die Hälfte der Stichprobe über dem Stichprobemedia ud die adere Hälfte der Stichprobe daruter. Beispiel..3. Der Media ist ei robuster Lageparameter. Als Beispiel dafür betrachte wir zwei Stichprobe mit Stichprobeumfag = 8. Die erste Stichprobe sei (x,..., x 8 ) = (,,,,,,, ). Somit sid die Ordugsstatistike gegebe durch (x (),..., x (8) ) = (,,,,,,, ). Daraus lässt sich der Media bereche ud dieser ist med 8 = + =.5. Als zweite Stichprobe betrachte wir Die Ordugsstatistike sid gegebe durch (y,..., y 8 ) = (,,,,,,, 0). (y (),..., y () ) = (,,,,,,, 0), ud der Media ist ach wie vor med 8 =.5. Dies zeigt, dass der Media robust ist. Bemerkug..4. Im Allgemeie gilt med x. Ei weiterer robuster Lageparameter ist das getrimmte Mittel. 6

10 Defiitio..5. Das getrimmte Mittel eier Stichprobe (x,..., x ) ist defiiert durch k k i=k+ Die Wahl vo k etscheidet, wie viele Date icht berücksichtigt werde. Ma ka zum Beispiel k = [0.05 ] wähle, da werde 0% aller Date icht berücksichtigt. I diesem Fall spricht ma auch vom 5%-getrimmte Mittel. x (i). Astatt des getrimmte Mittels betrachtet ma oft das wisorisierte Mittel: ( k ) x (i) + k x (k+) + k x ( k). i=k+ Nachdem wir u eiige robuste Lageparameter kostruiert habe, wede wir us de robuste Streuugsparameter zu. Dazu beötige wir die empirische Quatile. Defiitio..6. Sei (x,..., x ) R eie Stichprobe ud α (0, ). Das empirische α-quatil ist defiiert durch { x ([α]+), falls α / N, q α = (x ([α]) + x ([α]+) ), falls α N. Hierbei steht [ ] für die Gaußklammer. Der Media ist somit das -Quatil. Defiitio..7. Die empirische Quartile sid die Zahle q 0,5, q 0,5, q 0,75. Die Differez q 0,75 q 0,5 et ma de empirische Iterquartilsabstad. Der empirische Iterquartilsabstad ist ei robuster Streuugsparameter. Die empirische Quatile köe als Schätzer für die theoretische Quatile betrachtet werde, die wir u eiführe werde. Defiitio..8. Sei X eie Zufallsvariable mit Verteilugsfuktio F (t) ud sei α (0, ). Das theoretische α-quatil Q(α) vo X ist defiiert als die Lösug der Gleichug F (Q(α)) = α. Leider ka es passiere, dass diese Gleichug keie Lösuge hat (we die Fuktio F de Wert α übersprigt) oder dass es mehrere Lösuge gibt (we die Fuktio F auf eiem Itervall kostat ud gleich α ist). Deshalb beutzt ma die folgede Defiitio, die auch i diese Ausahmefälle Si ergibt: Q(α) = if {t R : F (t) α}. Beispiel..9. Weitere Lageparameter, die i der Statistik vorkomme: () Das Bereichsmittel x ()+x () (icht robust). () Das Quartilsmittel q 0,5+q 0,75 (robust). Beispiel..0. Weitere Streuugsparameter: 7

11 () Die Spaweite x () x (). () Die mittlere absolute Abweichug vom Mittelwert x i x. (3) Die mittlere absolute Abweichug vom Media x i med. Alle drei Parameter sid icht robust... Verteilug der Ordugsstatistike Satz... Seie X, X,..., X uabhägige ud idetisch verteilte Zufallsvariable, die absolut stetig sid mit Dichte f ud Verteilugsfuktio F. Es seie X () X ()... X () die Ordugsstatistike. Da ist die Dichte der Zufallsvariable X (i) gegebe durch f X(i) (t) =! (i )!( i)! f(t)f (t)i ( F (t)) i. Erster Beweis. Damit X (i) = t ist, muss Folgedes passiere:. Eie der Zufallsvariable, z.b. X k, muss de Wert t aehme. Es gibt Möglichkeite, das k auszuwähle. Die Dichte des Ereigisses X k = t ist f(t).. Uter de restliche Zufallsvariable müsse geau i Zufallsvariable Werte uter t aehme. Wir habe ( i ) Möglichkeite, die i Zufallsvariable auszuwähle. Die Wahrscheilichkeit, dass die ausgewählte Zufallsvariable allesamt kleier als t sid, ist F (t) i. 3. Die verbliebee i Zufallsvariable müsse allesamt größer als t sei. Die Wahrscheilichkeit davo ist ( F (t)) i. Idem wir u alles ausmultipliziere, erhalte wir das Ergebis: ( ) f X(i) (t) = f(t) F (t) i ( F (t)) i. i Das ist geau die erwüschte Formel, de ( ) i = ( )! =!. (i )!( i)! (i )!( i)! Zweiter Beweis. Schritt. Die Azahl der Elemete der Stichprobe, die uterhalb vo t liege, bezeiche wir mit N = # {i {,..., } : X i t} = Xi t. Dabei steht # für die Azahl der Elemete i eier Mege. Die Zufallsvariable X,..., X sid uabhägig ud idetisch verteilt mit P[X i t] = F (t). Somit ist die Zufallsvariable N biomialverteilt: N Bi(, F (t)). 8

12 Schritt. Es gilt { X (i) t } = {N i}. Daraus folgt für die Verteilugsfuktio vo X (i), dass ( ) F X(i) (t) = P[X (i) t] = P[N i] = F (t) k ( F (t)) k. k Schritt 3. Die Dichte ist die Ableitug der Verteilugsfuktio. Somit erhalte wir f X(i) (t) = F X (i) (t) ( ) {kf = (t) k f(t)( F (t)) k ( k)f (t) k ( F (t)) k f(t) } k k=i ( ) ( ) = kf (t) k f(t)( F (t)) k ( k)f (t) k ( F (t)) k f(t). k k k=i Wir schreibe u de Term mit k = i i der erste Summe getret, ud für alle adere Terme i der erste Summe führe wir de eue Summatiosidex l = k ei. Die zweite Summe lasse wir uverädert, ersetze aber de Summatiosidex k durch l: f X(i) (t) = ( i l=i k=i k=i ) if (t) i f(t)( F (t)) i ( ) + (l + )F (t) l f(t)( F (t)) l l + l=i ( ) ( l)f (t) l f(t)( F (t)) l. l Der Term mit l = i der zweite Summe ist wege des Faktors l gleich 0, somit köe wir i der zweite Summe bis summiere. Nu sehe wir, dass die beide Summe gleich sid, de ( ) (l + ) = l +! l!( l ) = ( ) ( l). l Die Summe kürze sich ud somit folgt ( ) f X(i) (t) = if (t) i f(t)( F (t)) i. i Aufgabe... Seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Dichte f ud Verteilugsfuktio F. Ma zeige, dass für alle i < j die gemeisame Dichte der Ordugsstatistike X (i) ud X (j) durch die folgede Formel gegebe ist: ( )( f X(i),X (j) (t, s) = f(t)f(s) i, j i, j ) F (t) i (F (s) F (t)) j i ( F (s)) j. Im ächste Satz bestimme wir die gemeisame Dichte aller Ordugsstatistike. 9

13 Satz..3. Seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Dichte f. Seie X ()... X () die Ordugsstatistike. Da ist die gemeisame Dichte des Zufallsvektors (X (),..., X () ) gegebe durch {! f(t )... f(t ), falls t... t, f X(),...,X () (t,..., t ) = 0, sost. Beweis. Da die Ordugsstatistike per Defiitio aufsteiged sid, ist die Dichte gleich 0, we die Bedigug t... t icht erfüllt ist. Sei u die Bedigug t... t erfüllt. Damit X () = t,..., X () = t ist, muss eie der Zufallsvariable (für dere Wahl es Möglichkeite gibt) gleich t sei, eie adere (für dere Wahl es Möglichkeite gibt) gleich t, usw. Wir habe also! Möglichkeite für die Wahl der Reihefolge der Variable. Zum Beispiel tritt für = das Ereigis {X () = t, X () = t } geau da ei, we etweder {X = t, X = t } oder {X = t, X = t } eitritt, was Möglichkeite ergibt. Da alle Möglichkeite sich ur durch Permutatioe uterscheide ud somit die gleiche Dichte besitze, betrachte wir ur eie Möglichkeit ud multipliziere da das Ergebis mit!. Die eifachste Möglichkeit ist, dass {X = t,..., X = t } eitritt. Diesem Ereigis etspricht die Dichte f(t )... f(t ), da die Zufallsvariable X,..., X uabhägig sid. Multipliziere wir u diese Dichte mit!, so erhalte wir das gewüschte Ergebis. Beispiel..4. Seie X,..., X uabhägig ud gleichverteilt auf dem Itervall [0, ]. Die Dichte vo X i ist f(t) = [0,] (t). Somit gilt für die Dichte der i-te Ordugsstatistik {( f X(i) (t) = i) i t i ( t) i, falls t [0, ], 0, sost. Diese Verteilug ist ei Spezialfall der Betaverteilug, die wir u eiführe. Defiitio..5. Eie Zufallsvariable Z heißt betaverteilt mit Parameter α, β > 0, falls { B(α,β) f Z (t) = tα ( t) β, falls t [0, ], 0, sost. Bezeichug: Z Beta(α, β). Hierbei ist B(α, β) die Eulersche Betafuktio, gegebe durch B(α, β) = 0 t α ( t) β dt. Idem wir u die Dichte vo X (i) im gleichverteilte Fall mit der Dichte der Betaverteilug vergleiche, erhalte wir, dass X (i) Beta(i, i + ). Dabei muss ma gar icht achreche, dass B(i, i+) = ( i) i ist, de i beide Fälle hadelt es sich um eie Dichte. Wäre die beide Kostate uterschiedlich, so wäre das Itegral eier der Dichte ugleich, was icht möglich ist. Aufgabe..6. Seie X,..., X uabhägig ud gleichverteilt auf dem Itervall [0, ]. Ma zeige, dass E[X (i) ] = i +. 0

14 KAPITEL 3 Empirische Verteilugsfuktio 3.. Empirische Verteilugsfuktio Seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit theoretischer Verteilugsfuktio F (t) = P[X i t]. Es sei (x,..., x ) eie Realisierug dieser Zufallsvariable. Wie köe wir die theoretische Verteilugsfuktio F ahad der Stichprobe (x,..., x ) schätze? Dafür beötige wir die empirische Verteilugsfuktio. Defiitio 3... Die empirische Verteilugsfuktio eier Stichprobe (x,..., x ) R ist defiiert durch F (t) := xi t = # {i {,..., } : x i t}, t R. Bemerkug 3... Die obe defiierte empirische Verteilugsfuktio ka wie folgt durch die Ordugsstatistike x (),..., x () ausgedrückt werde 0, falls t < x (),, falls x () t < x (), F (t) =, falls x () t < x (3),......, falls x ( ) t < x (),, falls x () t. Bemerkug Die empirische Verteilugsfuktio F hat alle Eigeschafte eier Verteilugsfuktio, de es gilt () lim t F (t) = 0 ud lim t + F (t) =. () F ist mooto ichtfalled. (3) F ist rechtsstetig. Parallel werde wir auch die folgede Defiitio beutze. Defiitio Seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable. Da ist die empirische Verteilugsfuktio gegebe durch F (t) = Xi t, t R.

15 Es sei bemerkt, dass F (t) für jedes t R eie Zufallsvariable ist. Somit ist F eie zufällige Fuktio. Auf die Eigeschafte vo F (t) gehe wir im folgede Satz ei. Satz Seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Verteilugsfuktio F. Da gilt () Die Zufallsvariable F (t) ist biomialverteilt: Das heißt: [ P F (t) = k ] = F (t) Bi(, F (t)). ( ) F (t) k ( F (t)) k, k = 0,,...,. k () Für de Erwartugswert ud die Variaz vo F (t) gilt: E[ F (t)] = F (t), Var[ F (t)] = Somit ist F (t) ei erwartugstreuer Schätzer für F (t). (3) Für alle t R gilt F (t) f.s. F (t). F (t)( F (t)). I diesem Zusammehag sagt ma, dass F (t) ei stark kosisteter Schätzer für F (t) ist. (4) Für alle t R mit F (t) 0, gilt: F (t) F (t) F (t)( F (t)) d N(0, ). I diesem Zusammehag sagt ma, dass F (t) ei asymptotisch ormalverteilter Schätzer für F (t) ist. Bemerkug Die Aussage vo Teil 4 ka ma folgedermaße verstehe: Die Verteilug des Schätzfehlers F (t) F (t) ist für große Werte vo approximativ ( ) F (t)( F (t)) N 0,. Beweis vo (). Wir betrachte Experimete. Beim i-te Experimet überprüfe wir, ob X i t. Falls X i t, sage wir, dass das i-te Experimet ei Erfolg ist. Die Experimete sid uabhägig voeiader, de die Zufallsvariable X,..., X sid uabhägig. Die Erfolgswahrscheilichkeit i jedem Experimet ist P[X i t] = F (t). Die Azahl der Erfolge i de Experimete, also die Zufallsvariable F (t) = Xi t

16 muss somit biomialverteilt mit Parameter (Azahl der Experimete) ud F (t) (Erfolgswahrscheilichkeit) sei. Beweis vo (). Wir habe i () gezeigt, dass F (t) Bi(, F (t)). Der Erwartugswert eier biomialverteilte Zufallsvariable ist die Azahl der Experimete multipliziert mit der Erfolgswahrscheilichkeit. Also gilt E[ F (t)] = F (t). Teile wir beide Seite durch, so erhalte wir E[ F (t)] = F (t). Die Variaz eier Bi(, p)-verteilte Zufallsvariable ist p( p), also Var[ F (t)] = F (t)( F (t)). Wir köe u das aus der Variaz herausziehe, allerdigs wird daraus (ach de Eigeschafte der Variaz). Idem wir u beide Seite durch teile, erhalte wir Var[ F (t)] = F (t)( F (t)). Beweis vo (3). Wir führe die Zufallsvariable Y i = Xi t ei. Diese sid uabhägig ud idetisch verteilt (da X, X,..., uabhägig ud idetisch verteilt sid) mit P[Y i = ] = P[X i t] = F (t), P[Y i = 0] = P[X i t] = F (t). Es gilt also EY i = F (t). Wir köe u das starke Gesetz der große Zahle auf die Folge Y, Y,... awede: F (t) = Xi t = f.s. Y i EY = F (t). Beweis vo (4). Mit der Notatio vo Teil (3) gilt EY i = F (t) Var Y i = F (t)( F (t)). Wir wede de zetrale Grezwertsatz auf die Folge Y, Y,... a: F (t) F (t) = Y i EY Y i EY d = N(0, ). F (t)( F (t)) Var Y Var Y 3.. Empirische Verteilug Mit Hilfe der empirische Verteilugsfuktio köe wir also die theoretische Verteilugsfuktio schätze. Nu führe wir auch die empirische Verteilug ei, mit der wir die theoretische Verteilug schätze köe. Zuerst defiiere wir, was die theoretische Verteilug ist. Defiitio 3... Sei X eie Zufallsvariable. Die theoretische Verteilug vo X ist ei Wahrscheilichkeitsmaß µ auf (R, B) mit µ(a) = P[X A] für jede Borel-Mege A R. 3

17 Der Zusammehag zwische der theoretische Verteilug µ ud der theoretische Verteilugsfuktio F eier Zufallsvariable ist dieses: F (t) = µ((, t]), t R. Wie köe wir die theoretische Verteilug ahad eier Stichprobe (x,..., x ) schätze? Defiitio 3... Die empirische Verteilug eier Stichprobe (x,..., x ) R ist ei Wahrscheilichkeitsmaß µ auf (R, B) mit µ (A) = xi A = # {i {,..., } : x i A}. Die theoretische Verteilug µ ordet jeder Mege A die Wahrscheilichkeit, dass X eie Wert i A aimmt, zu. Die empirische Verteilug ordet jeder Mege A de Ateil der Stichprobe, der i A liegt, zu. Die empirische Verteilug µ ka ma sich folgedermaße vorstelle: Sie ordet jedem der Pukte x i aus der Stichprobe das gleiche Gewicht / zu. Falls ei Wert mehrmals i der Stichprobe vorkommt, wird sei Gewicht etspreched erhöht. Dem Rest der reelle Gerade, also der Mege R\{x,..., x }, ordet µ Gewicht 0 zu. Am Beste ka ma das mit dem Begriff des Dirac-δ-Maßes beschreibe. Defiitio Sei x R eie Zahl. Das Dirac-δ-Maß δ x ist ei Wahrscheilichkeitsmaß auf (R, B) mit {, falls x A, δ x (A) = für alle Borel-Mege A R. 0, falls x / A Das Dirac-δ-Maß δ x ordet dem Pukt x das Gewicht zu. Der Mege R\{x} ordet es das Gewicht 0 zu. Die empirische Verteilug µ lässt sich u wie folgt darstelle: µ = δ xi. Zwische der empirische Verteilug µ ud der empirische Verteilugsfuktio F besteht der folgede Zusammehag: F (t) = µ ((, t]) Satz vo Gliweko Catelli Wir habe i Teil 3 vo Satz 3..5 gezeigt, dass für jedes t R die Zufallsvariable F (t) gege die Kostate F (t) fast sicher kovergiert. Ma ka auch sage, dass die empirische Verteilugsfuktio F puktweise fast sicher gege die theoretische Verteilugsfuktio F (t) kovergiert. Im ächste Satz beweise wir eie viel stärkere Aussage. Wir zeige ämlich, dass die Kovergez mit Wahrscheilichkeit sogar gleichmäßig ist. Defiitio Der Kolmogorov-Abstad zwische der empirische Verteilugsfuktio F ud der theoretische Verteilugsfuktio F wird folgedermaße defiiert: D := sup F (t) F (t). t R 4

18 Abbildug. Die schwarz dargestellte Fuktio ist die empirische Verteilugsfuktio eier Stichprobe vom Umfag = 50 aus der Stadardormalverteilug. Die blaue Kurve ist die Verteilugsfuktio der Normalverteilug. Der Satz vo Gliweko Catelli besagt, dass bei steigedem Stichprobeumfag die schwarze Kurve mit Wahrscheilichkeit gege die blaue Kurve gleichmäßig kovergiert. Satz 3.3. (vo Gliweko Catelli). Für de Kolmogorov-Abstad D gilt Mit adere Worte, es gilt D f.s. 0. [ ] P lim D = 0 =. Beispiel Da aus der fast sichere Kovergez die Kovergez i Wahrscheilichkeit folgt, gilt auch Somit gilt für alle ε > 0: D P 0. [ ] lim P sup F (t) F (t) > ε t R Also geht die Wahrscheilichkeit, dass bei der Schätzug vo F durch F ei Fehler vo mehr als ε etsteht, für gege 0. Bemerkug Für jedes t R gilt offebar 0 F (t) F (t) D. Aus dem Satz vo Gliweko Catelli ud dem Sadwich Lemma folgt u, dass für alle t R F f.s. (t) F (t) 0, was exakt der Aussage vo Satz 3..5, Teil 3 etspricht. Somit ist der Satz vo Gliweko Catelli stärker als Satz 3..5, Teil 3. 5 = 0.

19 Beweis vo Satz Wir werde de Beweis ur uter der vereifachede Aahme führe, dass die Verteilugsfuktio F stetig ist. Sei also F stetig. Sei m N beliebig. Schritt. Da F stetig ist ud vo 0 bis mooto asteigt, köe wir Zahle mit der Eigeschaft z < z <... < z m F (z ) = m,..., F (z k) = k m,..., F (z m ) = m m fide. Um die Notatio zu vereiheitliche, defiier wir och z 0 = ud z m = +, so dass F (z 0 ) = 0 ud F (z m ) =. Schritt. Wir werde u die Differez zwische F (z) ud F (z) a eier beliebige Stelle z durch die Differeze a de Stelle z k abschätze. Für jedes z R köe wir ei k mit z [z k, z k+ ) fide. Da gilt wege der Mootoie vo F ud F : F (z) F (z) F (z k+ ) F (z k ) = F (z k+ ) F (z k+ ) + m. Auf der adere Seite gilt auch F (z) F (z) F (z k ) F (z k+ ) = F (z k ) F (z k ) m. Schritt 3. Defiiere für m N ud k = 0,,..., m das Ereigis { } A m,k := ω Ω : lim F (z k ; ω) = F (z k ). Dabei sei bemerkt, dass F (z k ) eie Zufallsvariable ist, weshalb sie auch als Fuktio des Ausgags ω Ω betrachtet werde ka. Aus Satz 3..5, Teil 3 folgt, dass P[A m,k ] = für alle m N, k = 0,..., m. Schritt 4. Defiiere das Ereigis A m := m k=0 A m,k. Da ei Schitt vo edlich viele fast sichere Ereigis wiederum fast sicher ist, folgt, dass P[A m ] = für alle m N. Da u auch ei Schitt vo abzählbar viele fast sichere Ereigisse wiederum fast sicher ist, gilt auch für das Ereigis A := m=a m, dass P[A] =. Schritt 5. Betrachte u eie beliebige Ausgag ω A m. Da gibt es wege der Defiitio vo A m,k ei (ω, m) N mit der Eigeschaft F (z k ; ω) F (z k ) < m für alle > (ω, m) ud k = 0,..., m. Aus Schritt folgt, dass D (ω) = sup F (z; ω) F (z) z R m für alle ω A m ud > (ω, m). Betrachte u eie beliebige Ausgag ω A. Somit liegt ω im Ereigis A m, ud das für alle m N. Wir köe u das, was obe gezeigt wurde, auch so schreibe: Für alle m N 6

20 existiert ei (ω, m) N so dass für alle > (ω, m) die Ugleichug 0 D (ω) < gilt. m Das bedeutet aber, dass lim D (ω) = 0 für alle ω A. Da u die Wahrscheilichkeit des Ereigisses A laut Schritt 4 gleich ist, erhalte wir [{ }] P ω Ω : lim D (ω) = 0 P[A] =. Somit gilt D f.s. 0. 7

21 KAPITEL 4 Dichteschätzer Es seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Dichte f ud Verteilugsfuktio F. Es sei (x,..., x ) eie Realisierug vo (X,..., X ). I diesem Kapitel beschäftige wir us mit dem folgede Problem: Ma schätze die Dichte f ahad der Stichprobe (x,..., x ). Zuächst eimal ka ma die folgede Idee ausprobiere. Wir köe die Verteilugsfuktio F durch die empirische Verteilugsfuktio F schätze. Die Dichte f ist die Ableitug der Verteilugsfuktio F. Somit köe wir versuche, die Dichte f durch die Ableitug vo F zu schätze. Diese Idee fuktioiert allerdigs icht, da die Fuktio F icht differezierbar (ud sogar icht stetig) ist. Ma muss also adere Methode beutze. 4.. Histogramm Wir wolle u das Histogramm eiführe, das als ei sehr primitiver Schätzer für die Dichte aufgefasst werde ka. Sei (x,..., x ) R eie Stichprobe. Sei c 0,..., c k eie aufsteigede Folge reeller Zahle mit der Eigeschaft, dass die komplette Stichprobe x,..., x im Itervall (c 0, c k ) liegt. Typischerweise wählt ma die Zahle c i so, dass die Abstäde zwische de aufeiaderfolgede Zahle gleich sid. I diesem Fall et ma h := c i c i die Badbreite. Abbildug. Das Histogramm eier stadardormalverteilte Stichprobe vom Umfag = Die glatte blaue Kurve ist die Dichte der Stadardormalverteilug. 8

22 Abbildug. Das Histogramm eier stadardormalverteilte Stichprobe vom Umfag 0000 mit eier schlecht gewählte Badbreite h = c i c i. Liks: Die Badbreite ist zu groß. Rechts: Die Badbreite ist zu klei. I beide Fälle zeigt die glatte blaue Kurve die Dichte der Stadardormalverteilug. Die Azahl der Stichprobevariable x j im Itervall (c i, c i ] wird mit i bezeichet, somit gilt i = xj (c i,c i ], i =,..., k. j= Teilt ma i durch de Stichprobeumfag, so führt dies zur relative Häufigkeit f i = i. Als Histogramm wird die graphische Darstellug dieser relative Häufigkeite bezeichet, siehe Abbildug. Ma kostruiert ämlich über jedem Itervall (c i, c i ] ei Rechteck mit dem Flächeihalt f i. Das Histogramm ist da die Vereiigug dieser Rechtecke. Es ist offesichtlich, dass die Summe der relative Häufigkeite ergibt, d.h. k f i =. Das bedeutet, dass der Flächeihalt uter dem Histogramm gleich ist. Außerdem gilt f i 0. Das Histogramm hat de Nachteil, dass die Wahl der c i s bzw. die Wahl der Badbreite h willkürlich ist. Ist die Badbreite zu klei oder zu groß gewählt, so kommt es zu Histogramme, die die Dichte ur schlecht approximiere, siehe Abbildug. Außerdem ist das Histogramm eie lokal kostate, icht stetige Fuktio, obwohl die Dichte f meistes weder lokal kostat och stetig ist. Im ächste Abschitt betrachte wir eie Dichteschätzer, der zumidest vo diesem zweite Nachteil frei ist. 4.. Kerdichteschätzer Wir werde u eie bessere Methode zur Schätzug der Dichte betrachte, de Kerdichteschätzer. Defiitio 4... Ei Ker ist eie messbare Fuktio K : R [0, ), so dass 9

23 () K(x) 0 für alle x R ud () K(x)dx =. R Abbildug 3. Kerdichteschätzer. Die Bediguge i der Defiitio eies Kers sid somit die gleiche, wie i der Defiitio eier Dichte. Defiitio 4... Sei (x,..., x ) R eie Stichprobe. Sei K ei Ker ud h > 0 ei Parameter, der die Badbreite heißt. Der Kerdichteschätzer ist defiiert durch ˆf (x) = ( ) x xi K, x R. h h Bemerkug Jedem Pukt x i i der Stichprobe wird i dieser Formel ei Beitrag der Form ( ) x h K xi h zugeordet. Der Kerdichteschätzer ˆf ist die Summe der eizele Beiträge. Das Itegral jedes eizele Beitrags ist gleich /, de ( ) x h K xi dx = K(y)dy = h. R Um das Itegral zu bereche, habe wir dabei die Variable y := x x i h mit dy = dx h eigeführt. Somit ist das Itegral vo ˆf gleich : R R ˆf (x)dx =. Es ist außerdem klar, dass f (x) 0 für alle x R. Somit ist ˆf tatsächlich eie Dichte. Bemerkug Die Idee hiter dem Kerdichteschätzer zeigt Abbildug 3. Auf dieser Abbildug ist der Kerdichteschätzer der Stichprobe ( 4, 3,.5, 4.5, 5.0, 5.5, 5.75, 6.5) zu sehe. Die Zahle aus der Stichprobe werde durch rote Kreise auf der x-achse dargestellt. Die gestrichelte Kurve zeige die Beiträge der eizele Pukte. I diesem Fall beutze 0

24 wir de Gauß Ker, der ute eigeführt wird. Die Summe der eizele Beiträge ist der Kerdichteschätzer ˆf, der durch die blaue Kurve dargestellt wird. I der Defiitio des Kerdichteschätzers komme zwei och zu wählede Parameter vor: Der Ker K ud die Badbreite h. Für die Wahl des Kers gibt es z.b. die folgede Möglichkeite. Beispiel Der Rechtecksker ist defiiert durch K(x) = x [,]. Der mit dem Rechtecksker assoziierte Kerdichteschätzer ist somit gegebe durch ˆf (x) = xi [x h,x+h] h ud wird auch als gleitedes Histogramm bezeichet. Ei Nachteil des Rechteckskers ist, dass er icht stetig ist. Beispiel Der Gauß-Ker ist ichts Aderes, als die Dichte der Stadardormalverteilug: K(x) = π e x /, x R. Es gilt da h K ( ) x xi h = πh exp ( (x x i) was der Dichte der Normalverteilug N(x i, h ) etspricht. Der Kerdichteschätzer ˆf ist dass das arithmetische Mittel solcher Dichte. Beispiel Der Epaechikov-Ker ist defiiert durch { 3 K(x) = ( 4 x ), falls x (, ), 0, sost. Dieser Ker verschwidet außerhalb des Itervalls (, ), hat also eie kompakte Träger. Beispiel Der Bisquare-Ker ist gegebe durch { 5 K(x) = ( 6 x ), falls x (, ), 0, sost. Dieser Ker besitzt ebefalls eie kompakte Träger ud ist glatter als der Epaechikov- Ker. Die optimale Wahl der Badbreite h ist ei ichttriviales Problem, mit dem wir us i dieser Vorlesug icht beschäftige werde. h ),

25 KAPITEL 5 Methode zur Kostruktio vo Schätzer 5.. Parametrisches Modell Sei (x,..., x ) eie Stichprobe. I der parametrische Statistik immt ma a, dass die Stichprobe (x,..., x ) eie Realisierug vo uabhägige ud idetisch verteilte Zufallsvariable (X,..., X ) mit Verteilugsfuktio F θ (x) ist. Dabei hägt die Verteilugsfuktio F θ vo eiem ubekate Wert (Parameter) θ ab. I de meiste Fälle immt ma außerdem a, dass etweder die Zufallsvariable X i für alle Werte des Parameters θ absolut stetig sid ud eie Dichte h θ besitze, oder dass sie für alle Werte vo θ diskret sid ud eie Zähldichte besitze, die ebefalls mit h θ bezeichet wird. Die Aufgabe der parametrische Statistik besteht dari, de ubekate Parameter θ ahad der bekate Stichprobe (x,..., x ) zu schätze. Die Mege aller mögliche Werte des Parameters θ wird der Parameterraum geat ud mit Θ bezeichet. I de meiste Fälle ist θ = (θ,..., θ p ) ei Vektor mit Kompoete θ,..., θ p. I diesem Fall muss der Parameterraum Θ eie Teilmege vo R p sei. Um de Parameter θ ahad der Stichprobe (x,..., x ) zu schätze, kostruiert ma eie Schätzer. Defiitio 5... Ei Schätzer ist eie Abbildug ˆθ : R Θ, (x,..., x ) ˆθ(x,..., x ). Ma muss versuche, de Schätzer so zu kostruiere, dass ˆθ(x,..., x ) de wahre Wert des Parameters θ möglichst gut approximiert. Wie das geht, werde wir im Weitere sehe. Beispiel 5... Wir betrachte ei physikalisches Experimet, bei dem eie physikalische Kostate (z.b. die Lichtgeschwidigkeit) bestimmt werde soll. Bei uabhägige Messuge der Kostate ergabe sich die Werte (x,..., x ). Normalerweise immt ma a, dass diese Stichprobe eie Realisierug vo uabhägige ud idetisch verteilte Zufallsvariable (X,..., X ) mit eier Normalverteilug ist: X,..., X N(µ, σ ). Dabei ist µ der wahre Wert der zu bestimmede Kostate ud σ die quadratische Streuug des Experimets. Beide Parameter sid ubekat. Somit besteht das Problem, de Parameter θ = (µ, σ ) aus de gegebee Date (x,..., x ) zu schätze. I diesem Beispiel ist der Parameterraum gegebe durch Θ = {(µ, σ ) : µ R, σ > 0} = R (0, ).

26 Die Dichte vo X i ist gegebe durch (siehe auch Abbildug ) h µ,σ (t) = πσ e (t µ) σ. Abbildug. Das Bild zeigt die Dichte der Normalverteiluge, die zu verschiedee Werte der Parameter µ ud σ gehöre. Die Aufgabe der parametrische Statistik ist es, zu etscheide, zu welche Parameterwerte eie gegebee Stichprobe gehört. Als Schätzer für µ ud σ köe wir z.b. de empirische Mittelwert ud die empirische Variaz verwede: ˆµ(x,..., x ) = x x = x, ˆσ (x,..., x ) = (x i x ) = s. I de ächste drei Abschitte werde wir die drei wichtigste Methode zur Kostruktio vo Schätzer betrachte: die Mometemethode, die Maximum Likelihood Methode ud die Bayes Methode. A dieser Stelle müsse wir och eie Notatio eiführe. Um im parametrische Modell die Verteilug der Zufallsvariable X,..., X eideutig festzugelege, muss ma de Wert des Parameters θ agebe. Bevor ma vo der Wahrscheilichkeit eies mit X,..., X verbudee Ereigisses spricht, muss ma also sage, welche Wert der Parameter θ aehme soll. Wir werde deshalb sehr oft die folgede Notatio verwede. Mit P θ [A] bezeiche wir die Wahrscheilichkeit eies Ereigisses A uter der Aahme, dass die Zufallsvariable X i uabhägig ud idetisch verteilt mit Verteilugsfuktio F θ (bzw. mit Dichte/ Zähldichte h θ ) sid. Dabei köe sich P θ [A] ud P θ [A] durchaus uterscheide. Aalog bezeiche wir mit E θ Z ud Var θ Z de Erwartugswert bzw. die Variaz eier Zufallsvariable Z uter der Aahme, dass die Zufallsvariable X i uabhägig ud idetisch verteilt mit Verteilugsfuktio F θ (bzw. mit Dichte/ Zähldichte h θ ) sid. Die Zufallsvariable X,..., X ka ma sich als messbare Fuktioe auf eiem Messraum (Ω, A) deke. I der Wahrscheilichkeitstheorie musste ma außerdem ei Wahrscheilichkeitsmaß P auf diesem Raum agebe. Im parametrische Modell brauche wir icht ei 3

27 Wahrscheilichkeitsmaß, soder eie durch θ parametrisierte Familie vo Wahrscheilichkeitsmaße {P θ : θ Θ} auf (Ω, A). Je achdem welche Wert der Parameter θ aimmt, köe wir eies dieser Wahrscheilichkeitsmaße verwede. 5.. Mometemethode Wie i der parametrische Statistik üblich, ehme wir a, dass die Stichprobe (x,..., x ) eie Realisierug der uabhägige ud idetisch verteilte Zufallsvariable (X,..., X ) mit Verteilugsfuktio F θ ist. Dabei ist θ = (θ,..., θ p ) R p der ubekate Parameter. Für die Mometemethode brauche wir die folgede Begriffe. Defiitio 5... Das k-te theoretische Momet (mit k N) der Zufallsvariable X i ist defiiert durch m k (θ) = E θ [X k i ]. Zum Beispiel ist m (θ) der Erwartugswert vo X i. Die theoretische Momete sid Fuktioe des Parameters θ. Defiitio 5... Das k-te empirische Momet (mit k N) der Stichprobe (x,..., x ) ist defiiert durch ˆm k = xk x k. Zum Beispiel ist ˆm der empirische Mittelwert x der Stichprobe. Die Idee der Mometemethode besteht dari, die empirische Momete de theoretische gleichzusetze. Dabei sid die empirische Momete bekat, de sie häge ur vo der Stichprobe (x,..., x ) ab. Die theoretische Momete sid higege Fuktioe des ubekate Parameters θ, bzw. Fuktioe seier Kompoete θ,..., θ p. Um p ubekate Parameter zu fide, brauche wir ormalerweise p Gleichuge. Wir betrachte also ei System aus p Gleichuge mit p Ubekate: m (θ,..., θ p ) = ˆm,..., m p (θ,..., θ p ) = ˆm p. Die Lösug dieses Gleichugssystems (falls sie existiert ud eideutig ist) et ma de Mometeschätzer ud bezeichet ih mit ˆθ ME. Dabei steht ME für Momet Estimator. Beispiel Mometemethode für de Parameter der Beroulli Verteilug Ber(θ). I diesem Beispiel betrachte wir eie ufaire Müze. Die Wahrscheilichkeit θ, dass die Müze bei eiem Wurf Kopf zeigt, sei ubekat. Um diese Parameter zu schätze, werfe wir die Müze = 00 Mal. Nehme wir a, dass die Müze dabei s = 60 Mal Kopf gezeigt hat. Das Problem besteht u dari, θ zu schätze. Wir betrachte für dieses Problem das folgede mathematische Modell. Zeigt die Müze bei Wurf i Kopf, so setze wir x i =, asoste sei x i = 0. Auf diese Weise erhalte wir eie Stichprobe (x,..., x ) {0, } mit x x = s = 60. Wir ehme a, dass (x,..., x ) eie Realisierug vo uabhägige Zufallsvariable X,..., X mit eier Beroulli Verteilug mit Parameter θ [0, ] ist, d.h. P θ [X i = ] = θ, P θ [X i = 0] = θ. 4

28 Da wir ur eie ubekate Parameter habe, brauche wir ur das erste Momet zu betrachte. Das erste theoretische Momet vo X i ist gegebe durch m (θ) = E θ X i = P θ [X i = ] + 0 P θ [X i = 0] = θ. Das erste empirische Momet ist gegebe durch ˆm = x x = s = = 0.6. Setze wir beide Momete gleich, so erhalte wir de Mometeschätzer ˆθ ME = s = 0.6. Das Ergebis ist atürlich icht überrasched. Beispiel Mometemethode für die Parameter der Normalverteilug N(µ, σ ). Sei (x,..., x ) eie Realisierug vo uabhägige ud idetisch verteilte Zufallsvariable X,..., X, die eie Normalverteilug mit ubekate Parameter (µ, σ ) habe. Als Motivatio ka etwa Beispiel 5.. diee. Wir schätze µ ud σ mit der Mometemethode. Da wir zwei Parameter habe, brauche wir zwei Gleichuge (also Momete der Orduge ud ), um diese zu fide. Zuerst bereche wir die theoretische Momete. Der Erwartugswert ud die Variaz eier N(µ, σ ) Verteilug sid gegebe durch E µ,σ X i = µ, Var µ,σ X i = σ. Daraus ergebe sich die erste zwei theoretische Momete: m (µ, σ ) = E µ,σ [X i ] = µ, m (µ, σ ) = E µ,σ [X i ] = Var µ,σ X i + (E µ,σ [X i ]) = σ + µ. Setzt ma die theoretische ud die empirische Momete gleich, so erhält ma das Gleichugssystem x x = µ, x x = σ + µ. Dieses Gleichugssystem lässt sich wie folgt ach µ ud σ auflöse: µ = x, σ = x i ( ) ( ) x i = x i x = (x i x ) = s. Dabei habe wir die Idetität x i x = (x i x ) beutzt (Übug). Somit sid die Mometeschätzer gegebe durch ˆµ ME = x, ˆσ ME = s. 5

29 Beispiel Mometemethode für de Parameter der Poisso Verteilug Poi(θ). I diesem Beispiel betrachte wir ei Portfolio aus Versicherugsverträge. Es sei x i {0,,...} die Azahl der Schäde, die der Vertrag i i eiem bestimmte Zeitraum erzeugt hat: Vertrag 3... Schäde x x x 3... x I der Versicherugsmathematik immt ma oft a, dass die kokrete Stichprobe (x,..., x ) eie Realisierug vo uabhägige ud idetisch verteilte Zufallsvariable (X,..., X ) ist, die eie Poissoverteilug mit eiem ubekate Parameter θ 0 habe. Abbildug. Zähldichte der Poissoverteiluge, die zu verschiedee Werte des Parameters θ gehöre. Wir schätze θ mit der Mometemethode. Da der Erwartugswert eier Poi(θ) Verteilug gleich θ ist, gilt m (θ) = E θ X i = θ. Das erste empirische Momet ist gegebe durch ˆm (θ) = x x = x. Nu setze wir die beide Momete gleich ud erhalte de Mometeschätzer ˆθ ME = x Maximum Likelihood Methode Die Maximum Likelihood Methode wurde vo Carl Friedrich Gauß etdeckt ud vo Roald Fisher weiteretwickelt. Die Maximum Likelihood Methode ist (wie auch die Mometemethode) ei Verfahre, um Schätzer für die ubekate Kompoete des Parametervektors θ = (θ,..., θ p ) zu gewie. Sei (x,..., x ) eie Stichprobe. Wir werde aehme, dass etweder alle Verteiluge aus der parametrische Familie {F θ : θ Θ} diskret oder alle Verteiluge absolut stetig sid. Der diskrete Fall. Seie zuerst die Zufallsvariable X i für alle Werte des Parameters θ diskret. Wir bezeiche die Zähldichte vo X i mit h θ. Da ist die Likelihood Fuktio 6

30 gegebe durch L(θ) = L(x,..., x ; θ) = P θ [X = x,..., X = x ]. Die Likelihood Fuktio hägt sowohl vo der Stichprobe, als auch vom Parameterwert θ ab, wir werde sie aber hauptsächlich als Fuktio vo θ auffasse. Wege der Uabhägigkeit vo X,..., X gilt L(x,..., x ; θ) = P θ [X = x ]... P θ [X = x ] = h θ (x )... h θ (x ). Die Likelihood Fuktio ist somit die Wahrscheilichkeit, die gegebee Stichprobe (x,..., x ) zu beobachte, wobei diese Wahrscheilichkeit als Fuktio des Parameters θ aufgefasst wird. Der absolut stetige Fall. Seie u die Zufallsvariable X i für alle Werte des Parameters θ absolut stetig. Wir bezeiche die Dichte vo X i mit h θ. I diesem Fall defiiere wir die Likelihood Fuktio wie folgt: L(θ) = L(x,..., x ; θ) = h θ (x )... h θ (x ). I beide Fälle besteht die Idee der Maximum Likelihood Methode dari, eie Wert vo θ zu fide, der die Likelihood Fuktio maximiert: L(θ) max. Der Maximum Likelihood Schätzer (oder der ML Schätzer) ist defiiert durch ˆθ ML = argmax θ Θ L(θ). Es ka passiere, dass dieses Maximierugsproblem mehrere Lösuge hat. I diesem Fall muss ma eie dieser Lösuge als Schätzer auswähle. Beispiel Maximum Likelihood Schätzer für de Parameter der Beroulli Verteilug Ber(θ). Wir betrachte wieder eie ufaire Müze, wobei die mit θ bezeichete Wahrscheilichkeit vo Kopf wiederum ubekat sei. Nach = 00 Würfe habe die Müze s = 60 Mal Kopf gezeigt. Wir werde u θ mit der Maximum Likelihood Methode schätze. Das ka ma mit zwei verschiedee Asätze mache, die aber (wie wir sehe werde) zum gleiche Ergebis führe. Erstes Modell. Das Ergebis des Experimets, bei dem die Müze Mal geworfe wird, köe wir i eier Stichprobe (x,..., x ) {0, } darstelle, wobei x i = ist, we die Müze bei Wurf i Kopf gezeigt hat, ud x i = 0 ist, we die Müze bei Wurf i Zahl gezeigt hat. Wir modelliere die Stichprobe (x,..., x ) als eie Realisierug vo uabhägige ud idetisch verteilte Zufallsvariable X,..., X, die Beroulli verteilt sid mit Parameter θ. Es hadelt sich um diskrete Zufallsvariable ud die Zähldichte ist gegebe durch θ, falls x =, h θ (x) = P θ [X i = x] = θ, falls x = 0, 0, sost. Somit gilt für die Likelihood Fuktio, dass: L(x,..., x ; θ) = P θ [X = x,..., X = x ] = h θ (x )... h θ (x ) = θ s ( θ) s, wobei s = x x = 60 ist. Wir maximiere u L(θ); siehe Abbildug 3. 7

31 Abbildug 3. Die Likelihood Fuktio L(θ) = θ 60 ( θ) 40, θ [0, ], aus Beispiel 5.3., erstes Modell. Das Maximum wird a der Stelle θ = 0.6 erreicht. Wir beötige eie Falluterscheidug. Fall. Sei s = 0. Da ist L(θ) = ( θ) ud somit gilt argmax L(θ) = 0. Fall. Sei s =. Da ist L(θ) = θ ud somit gilt argmax L(θ) =. Fall 3. Sei u s / {0, }. Wir leite die Likelihood Fuktio ach θ ab: ( d s dθ L(θ) = sθs ( θ) s ( s)θ s ( θ) s = θ s ) θ s ( θ) s. θ Die Ableitug ist gleich 0 a der Stelle θ = s. (Das würde für s = 0 ud s = icht stimme). Außerdem ist L ichtegativ ud es gilt lim L(θ) = lim L(θ) = 0. θ 0 θ Daraus folgt, dass die Stelle θ = s das globale Maximum der Fuktio L(θ) ist. Die Ergebisse der drei Fälle köe wir u wie folgt zusammefasse: Der Maximum Likelihood Schätzer ist gegebe durch ˆθ ML = s für s = 0,,...,. Somit ist i userem Beispiel ˆθ ML = 60 = Zweites Modell. I diesem Modell betrachte wir s = 60 als eie Realisierug eier biomialverteilte Zufallsvariable S mit Parameter = 00 (bekat) ud θ [0, ] (ubekat). Somit ist die Likelihood Fuktio ( ) L(s; θ) = P[S = s] = θ s ( θ) s. s Maximierug dieser Fuktio führt geauso wie im erste Modell zu dem Maximum Likelihood Schätzer ˆθ ML = s. 8

32 Beispiel Maximum Likelihood Schätzer für de Parameter der Poisso Verteilug Poi(θ). Sei (x,..., x ) N 0 eie Realisierug der uabhägige ud mit Parameter θ Poisso verteilte Zufallsvariable X,..., X. Wir schätze θ mit der Maximum Likelihood Methode. Die Zähldichte der Poissoverteilug Poi(θ) ist gegebe durch h θ (x) = e θ θx Dies führt zu folgeder Likelihood Fuktio, x = 0,,.... x! L(x,..., x ; θ) = e θ θx θx... e θ x! x! = θx+...+x e θ x!... x!. A Stelle der Likelihood Fuktio ist es i diesem Falle eifacher, die sogeate log Likelihood Fuktio zu betrachte: log L(θ) = θ + (x x ) log θ log(x!... x!). Nu wolle wir eie Wert vo θ fide, der diese Fuktio maximiert. Für x =... = x = 0 ist dieser Wert offebar θ = 0. Seie u icht alle x i gleich 0. Die Ableitug vo log L(θ) ist gegebe durch d dθ log L(θ) = + x x. θ Die Ableitug ist gleich 0 a der Stelle θ = x. (Das ist im Falle, we alle x i gleich 0 sid, falsch, de da wäre die Ableitug a der Stelle 0 gleich ). Um zu sehe, dass θ = x tatsächlich das globale Maximum der Fuktio log L(θ) ist, ka ma wie folgt vorgehe. Es gilt offebar d log L(θ) > 0 für 0 θ < x dθ ud d log L(θ) < 0 für θ > x dθ. Somit ist die Fuktio log L(θ) strikt steiged auf [0, x ) ud strikt falled auf ( x, ). Die Stelle x ist also tatsächlich das globale Maximum. Der Maximum Likelihood Schätzer ist somit ˆθ ML = x = x x. Nu betrachte wir eiige Beispiele zur Maximum Likelihood Methode im Falle der absolut stetige Verteiluge. Beispiel Maximum Likelihood Schätzer für de Edpukt der Gleichverteilug U[0, θ]. Stelle wir us vor, dass jemad i eiem Itervall [0, θ] zufällig, gleichverteilt ud uabhägig voeiader Pukte x,..., x ausgewählt ud markiert hat. Us werde u die Positioe der Pukte gezeigt, icht aber die Positio des Edpuktes θ; siehe Abbildug 4. Wir solle θ ahad der Stichprobe (x,..., x ) rekostruiere. Abbildug 4. Rote Kreise zeige eie Stichprobe vom Umfag = 7, die gleichverteilt auf eiem Itervall [0, θ] ist. Schwarze Kreise zeige die Edpukte des Itervalls. Die Positio des rechte Edpuktes soll ahad der Stichprobe geschätzt werde. 9

33 Der Parameterraum ist hier Θ = {θ > 0} = (0, ). Wir modelliere (x,..., x ) als Realisieruge vo uabhägige ud idetisch verteilte Zufallsvariable X,..., X, die gleichverteilt auf eiem Itervall [0, θ] sid. Die Zufallsvariable X i sid somit absolut stetig ud ihre Dichte ist gegebe durch h θ (x) = {, θ falls x [0, θ], 0, falls x / [0, θ]. Das führt zu folgeder Likelihood Fuktio L(x,..., x ; θ) = h θ (x )... h θ (x ) = θ x [0,θ]... x [0,θ] = θ x () θ. Dabei ist x () = max{x,..., x } die maximale Beobachtug dieser Stichprobe. Der Graph der Likelihood Fuktio ist auf Abbildug 5 zu sehe. Abbildug 5. Maximum Likelihood Schätzug des Edpuktes der Gleichverteilug. Die rote Pukte zeige die Stichprobe. Die blaue Kurve ist die Likelihood Fuktio L(θ). Die Fuktio L(θ) ist 0 solage θ < x (), ud mooto falled für θ > x (). Somit erhalte wir de Maximum Likelihood Schätzer ˆθ ML = argmax L(θ) = x (). θ>0 Der Maximum Likelihood Schätzer i diesem Beispiel ist also das Maximum der Stichprobe. Es sei bemerkt, dass dieser Schätzer de wahre Wert θ immer uterschätzt, de die maximale Beobachtug x () ist immer kleier als der wahre Wert des Parameters θ. Aufgabe Bestimme Sie de Mometeschätzer im obige Beispiel ud zeige Sie, dass er icht mit dem Maximum Likelihood Schätzer übereistimmt. Beispiel Maximum Likelihood Schätzer für die Parameter der Normalverteilug N(µ, σ ). Es sei (x,..., x ) eie Realisierug vo uabhägige ud mit Parameter µ, σ ormalverteilte Zufallsvariable X,..., X. Wir schätze µ ud σ mit der Maximum Likelihood Methode. Die Dichte vo X i ist gegebe durch h µ,σ (t) = πσ exp ( 30 ) (t µ), t R. σ

34 Dies führt zu folgeder Likelihood Fuktio: ( ) ( L(µ, σ ) = L(x,..., x ; µ, σ ) = exp πσ Die log Likelihood Fuktio sieht folgedermaße aus: log L(µ, σ ) = log(πσ ) σ ) (x i µ). σ (x i µ). Wir bestimme das Maximum dieser Fuktio. Sei zuächst σ fest. Wir betrachte die Fuktio log L(µ, σ ) als Fuktio vo µ ud bestimme das Maximum dieser Fuktio. Wir leite ach µ ab: log L(µ, σ ) = (x µ σ i µ). Die Ableitug ist gleich 0 a der Stelle µ = x. Für µ < x ist die Ableitug positiv (ud somit die Fuktio steiged), für µ > x ist die Ableitug egativ (ud somit die Fuktio falled). Also wird bei festem σ a der Stelle µ = x das globale Maximum erreicht. Nu mache wir auch s := σ variabel. Wir betrachte die Fuktio log L( x, s) = log(πs) (x i x ). s Falls alle x i gleich sid, wird das Maximum a der Stelle s = 0 erreicht. Es seie u icht alle x i gleich. Wir leite ach s ab: log L( x, s) = s s + (x s i x ). Die Ableitug ist gleich 0 a der Stelle s = (x i x ) = s =: s. (Würde alle x i gleich sei, so würde das icht stimme, de a der Stelle 0 existiert die Ableitug icht). Für s < s ist die Ableitug positiv (ud die Fuktio somit steiged), für s > s ist die Ableitug egativ (ud die Fuktio somit falled). Somit wird a der Stelle s = s das globale Maximum der Fuktio erreicht. Wir erhalte somit die folgede Maximum Likelihood Schätzer: ˆµ ML = x, ˆσ ML = (x i x ). Im ächste Beispiel betrachte wir die sogeate Rückfagmethode (Eglisch: capturerecapture method) zur Bestimmug der Größe eier Populatio. Beispiel I eiem Teich befide sich Fische, wobei (die Populatiosgröße) ubekat sei. Um die Populatiosgröße zu schätze, ka ma wie folgt vorgehe. Im erste Schritt ( capture ) werde aus dem Teich (eie bekate Zahl) Fische gefage ud markiert. Daach werde die Fische wieder i de Teich zurückgeworfe. Im zweite Schritt 3

35 ( recapture ) werde k Fische ohe Zurücklege gefage. Uter diese k Fische seie k markiert ud k k icht markiert. Ahad dieser Date ka ma wie folgt schätze. Ma setzt de Ateil der markierte Fische uter de gefagee Fische dem Ateil der markierte Fische uter alle Fische gleich: k =. Aus dieser Gleichug ergibt sich der folgede Schätzer für die Populatiosgröße: k ˆ = k k. Nu werde wir die Maximum Likelihood Methode awede ud schaue, ob sie de gleiche Schätzer liefert. Die Azahl k der markierte Fische uter de k gefagee Fische betrachte wir als eie Realisierug der Zufallsvariable X mit eier hypergeometrische Verteilug. Die Likelihood Fuktio ist somit gegebe durch L(k ; ) = P[X = k ] = ( ) ( k (. k) k k ) Die Frage ist u, für welches diese Fuktio maximal ist. Dabei darf ur Werte {0,,,...} aehme. Um dies herauszufide, betrachte wir die folgede Fuktio: R() = L(k ( ) ( ; ) L(k ; ) = k ) ( k k ) k ( ) ( k ) ( k ) = ( k) ( ) ( k k k + k ). Eie elemetare Rechug zeigt: () für < ˆ ist R() < ; () für > ˆ ist R() > ; (3) für = ˆ ist R() =. Dabei beutze wir die Notatio ˆ = k k. Daraus folgt, dass die Likelihood Fuktio L() für < ˆ steigt ud für > ˆ fällt. Ist u ˆ keie gaze Zahl, so wird das Maximum vo L() a der Stelle = [ˆ] erreicht. Ist aber ˆ eie gaze Zahl, so gibt es zwei Maxima a de Stelle = ˆ ud = ˆ. Dabei sid die Werte vo L() a diese Stelle gleich, de R(ˆ) =. Dies führt zum folgede Maximum Likelihood Schätzer: {[ ] k k, falls k k / Z, ˆ ML = k k oder k k, falls k k Z. Im zweite Fall ist der Maximum Likelihood Schätzer icht eideutig defiiert. Der Maximum Likelihood Schätzer ˆ ML uterscheidet sich also ur uwesetlich vom Schätzer ˆ Bayes Methode Für die Eiführug des Bayes Schätzers muss das parametrische Modell etwas modifiziert werde. Um die Bayes Methode awede zu köe, werde wir zusätzlich aehme, dass der Parameter θ selber eie Zufallsvariable mit eier gewisse (ud bekate) Verteilug ist. Wir betrachte zuerst ei Beispiel. 3

36 Beispiel Eie Versicherug teile die bei ihr versicherte Autofahrer i zwei Kategorie: Typ ud Typ (z.b. ach dem Typ des versicherte Fahrzeugs) ei. Die Wahrscheilichkeit, dass ei Autofahrer vom Typ (bzw. Typ ) pro Jahr eie Schade meldet, sei θ = 0.4 (bzw. θ = 0.). Nu betrachte wir eie Autofahrer vo eiem ubekate Typ, der i = 0 Jahre s = Schäde hatte. Köe wir de Typ dieses Autofahrers rate (schätze)? Der Parameterraum ist i diesem Fall Θ = {θ, θ }. Es sei S die Zufallsvariable, die die Azahl der Schäde modelliert, die ei Autofahrer i = 0 Jahre meldet. Uter θ = θ (also für Autofahrer vom Typ ) gilt S Bi(, θ ). Uter θ = θ (also für Autofahrer vom Typ ) ist S Bi(, θ ). Dies führt zur folgede Likelihood Fuktio: ( ) ( ) 0 L(s; θ ) = P θ [S = s] = θ( s θ ) s = = 0.09, L(s; θ ) = P θ [S = s] = s ( s ) θ s ( θ ) s = ) = Wir köe u die Maximum Likelihood Methode awede, idem wir L(θ ) mit L(θ ) vergleiche. Es gilt L(θ ) > L(θ ) ud somit hadelt es sich vermutlich um eie Autofahrer vom Typ. Sei u zusätzlich bekat, dass 90% aller Autofahrer vom Typ ud somit ur 0% vom Typ seie. Mit dieser zusätzliche Voriformatio ist es atürlich, de Parameter θ als eie Zufallsvariable zu modelliere. Die Zufallsvariable θ immt zwei Werte θ ud θ a ud die Wahrscheilichkeite dieser Werte sid ( 0 q(θ ) := P[θ = θ ] = 0.9 ud q(θ ) := P[θ = θ ] = 0.. Die Verteilug vo θ et ma auch die a priori Verteilug. Wie ist u die Azahl der Schäde S verteilt, die ei Autofahrer vo eiem ubekate Typ i Jahre meldet? Die Atwort erhält ma mit der Formel der totale Wahrscheilichkeit: P[S = s] = P[θ = θ ] P[S = s θ = θ ] + P[θ = θ ] P[S = s θ = θ ] ( ) ( ) = q(θ ) θ s s ( θ ) s + q(θ ) θ s s ( θ ) s. Es sei bemerkt, dass die Zufallsvariable S icht biomialverteilt ist. Vielmehr ist die Verteilug vo S eie Mischug aus zwei verschiedee Biomialverteiluge. Ma sagt auch das S bedigt biomialverteilt ist: S {θ = θ } Bi(, θ ) ud S {θ = θ } Bi(, θ ). Nu betrachte wir eie Autofahrer vo eiem ubekate Typ, der s = Schäde gemeldet hat. Die Wahrscheilichkeit, dass Schäde gemeldet werde, köe wir mit der obige Formel bestimme: P[S = ] = = 0.8. Die a posteriori Verteilug vo θ ist die Verteilug vo θ gegebe die Iformatio, dass S =. Zum Beispiel ist die a posteriori Wahrscheilichkeit vo θ = θ defiiert als die bedigte 33

37 Wahrscheilichkeit, dass θ = θ, gegebe, dass S =. Um die a posteriori Verteilug zu bereche, beutze wir die Bayes Formel: q(θ s) := P[θ = θ S = s] = P[θ = θ S = s] P[S = s] = P[θ = θ ] P[S = s θ = θ ]. P[S = s] Mit de obe berechete Werte erhalte wir, dass q(θ ) = = Die a posteriori Wahrscheilichkeit vo θ = θ ka aalog berechet werde. Es geht aber auch eifacher: q(θ ) = q(θ s) = Nu köe wir die a posteriori Wahrscheilichkeite vergleiche. Da q(θ ) > q(θ ), hadelt es sich vermutlich um eie Autofahrer vom Typ. Bemerkug Das Wort a priori steht für vor dem Experimet, das Wort a posteriori steht für ach dem Experimet. Nu beschreibe wir die allgemeie Form der Bayes Methode. Bayes Methode im diskrete Fall. Zuerst betrachte wir de Fall, dass θ eie diskrete Zufallsvariable ist. Die mögliche Werte für θ seie θ, θ,.... Die Verteilug vo θ (die auch die a priori Verteilug geat wird) sei bekat: q(θ i ) := P[θ = θ i ], i =,,.... Seie (X,..., X ) Zufallsvariable mit der folgede Eigeschaft: Gegebe, dass θ = θ i, sid die Zufallsvariable X,..., X uabhägig ud idetisch verteilt mit Zähldichte/Dichte h θi (x). Es sei bemerkt, dass die Zufallsvariable X,..., X icht uabhägig, soder lediglich bedigt uabhägig sid. Es werde u eie Realisierug (x,..., x ) vo (X,..., X ) beobachtet. Die a posteriori Verteilug vo θ ist die bedigte Verteilug vo θ gegebe die Iformatio, dass X = x,..., X = x, d.h. q(θ i x,..., x ) := P[θ = θ i X = x,..., X = x ], i =,,.... Hier ehme wir der Eifachheit halber, dass die Zufallsvariable X,..., X diskret sid. Diese Wahrscheilichkeit berechet ma mit der Bayes Formel: q(θ i x,..., x ) = P[θ = θ i X = x,..., X = x ] = P[X = x,..., X = x, θ = θ i ] P[X = x,..., X = x ] = P[θ = θ i] P[X = x,..., X = x θ = θ i ] P[X = x,..., X = x ] = q(θ i)h θi (x )... h θi (x ) q(θ j )h θj (x )... h θj (x ). j Wir habe dabei ageomme, dass X i diskret sid, die Edformel macht aber auch für absolut stetige Variable X i Si. 34

38 I der Bayes Statistik schreibt ma oft A(t) B(t), we es eie Kostate C (die vo t icht abhägt) mit A(t) C B(t) gibt. Das Zeiche steht also für die Proportioalität vo Fuktioe. Die Formel für die a posteriori Zähldichte vo θ ka ma da auch wie folgt schreibe: q(θ i x,..., x ) q(θ i )h θi (x )... h θi (x ). Die a posteriori Zähldichte q(θ i x,..., x ) ist somit proportioal zur a priori Zähldichte q(θ i ) ud zur Likelihood Fuktio L(x,..., x ; θ i ) = h θi (x )... h θi (x ). Nach der Awedug der Bayes Methode erhalte wir als Edergebis die a posteriori Verteilug des Parameters θ. Oft möchte ma allerdigs das Edergebis i Form eier Zahl habe. I diesem Fall ka ma z. B. folgedermaße vorgehe: Der Bayes Schätzer wird defiiert als der Erwartugswert der a posteriori Verteilug: ˆθ Bayes = i θ i q(θ i x,..., x ). Alterativ ka ma de Bayes Schätzer auch als de Media der a posteriori Verteilug defiiere. Bayes Methode im absolut stetige Fall. Sei u θ eie absolut stetige Zufallsvariable (bzw. Zufallsvektor) mit Werte i R p ud eier Dichte q(τ). Dabei bezeiche wir mit τ R p mögliche Werte vo θ. Die Dichte q(τ) wird auch die a priori Dichte geat. Seie (X,..., X ) Zufallsvariable mit der folgede Eigeschaft: Gegebe, dass θ = τ, sid die Zufallsvariable X,..., X uabhägig ud idetisch verteilt mit Zähldichte/Dichte h τ (x). Sei (x,..., x ) eie Realisierug vo (X,..., X ). Die a posteriori Verteilug vo θ ist die bedigte Verteilug vo θ gegebe die Iformatio, dass X = x,..., X = x. Idem wir i der Formel aus dem diskrete Fall die Zähldichte vo θ durch die Dichte vo θ ersetze, erhalte wir die folgede Formel für die a posteriori Dichte vo θ: Das köe wir auch wie folgt schreibe: q(τ x,..., x ) = q(τ)h τ(x )... h τ (x ) R p q(t)h t (x )... h t (x )dt. q(τ x,..., x ) q(τ)h τ (x )... h τ (x ). Die a posteriori Dichte q(τ x,..., x ) ist somit proportioal zur a priori Dichte q(τ) ud zur Likelihood Fuktio L(x,..., x ; τ) = h τ (x )... h τ (x ). Geauso wie im diskrete Fall ist der Bayes Schätzer defiiert als der Erwartugswert der a posteriori Verteilug, also ˆθ Bayes = τq(τ x,..., x )dτ. R p Aufgabe Zeige Sie, dass im diskrete Fall (bzw. im stetige Fall) q(τ x,..., x ) als Fuktio vo τ tatsächlich eie Zähldichte (bzw. eie Dichte) ist. Beispiel Ei Uterehme möchte ei eues Produkt auf de Markt brige. Die a priori Iformatio sei, dass der Marktateil θ bei ähliche Produkte i der Vergageheit immer zwische 0. ud 0.3 lag. Da keie weitere Iformatioe über die Verteilug vo θ 35

39 vorliege, ka ma z.b. die Gleichverteilug auf [0., 0.3] als die a priori Verteilug vo θ asetze. Die a priori Dichte für de Marktateil θ ist somit { 5, falls τ [0., 0.3], q(τ) = 0, sost. Ma ka u de a priori Schätzer für de Marktateil z.b. als de Erwartugswert dieser Verteilug bereche: ˆθapr = Eθ = τq(τ)dτ = 0.. R Außerdem seie Kude befragt worde, ob sie das eue Produkt kaufe würde. Sei x i =, falls der i-te Kude die Frage bejaht ud 0, sost. Es sei s = x x die Azahl der Kude i dieser Umfrage, die das eue Produkt kaufe würde. Wir köte u de Marktateil des eue Produkts z.b. mit der Mometemethode (Beispiel 5..3) oder mit der Maximum Likelihood Methode (Beispiel 5.3.) schätze: ˆθ ME = ˆθ ML = s. Dieser Schätzer igoriert allerdigs die a priori Iformatio. Mit der Bayes Methode köe wir eie Schätzer kostruiere, der sowohl die a priori Iformatio, als auch die Befragug berücksichtigt. Wir betrachte (x,..., x ) als eie Realisierug der Zufallsvariable (X,..., X ). Wir ehme a, dass bei eiem gegebee θ die Zufallsvariable X,..., X uabhägig ud mit Parameter θ Beroulli verteilt sid: Die Likelihood Fuktio ist q θ (0) := P θ [X i = 0] = θ, q θ () := P θ [X i = ] = θ. L(x,..., x ; τ) = h τ (x )... h τ (x ) = τ s ( τ) s, wobei s = x +...+x. Die a posteriori-dichte vo θ ist proportioal zu q(τ) ud L(x,..., x ; τ) ud ist somit gegebe durch { 5τ s ( τ) s 0.3, für τ [0., 0.3], q(τ x,..., x ) = 0. 5ts ( t) s dt 0, sost. Es sei bemerkt, dass die a posteriori Dichte (geauso wie die a priori Dichte) außerhalb des Itervalls [0., 0.3] verschwidet. Wir köe u de Bayes Schätzer für de Marktateil θ bestimme: ˆθ Bayes = τq(τ x,..., x )dτ = τ s+ ( τ) s dτ ts ( t) s dt Der Bayes Schätzer liegt im Itervall [0., 0.3] (de außerhalb dieses Itervalls verschwidet die a posteriori Dichte) ud widerspricht somit der a priori Iformatio icht. Nehme wir u a, wir möchte ei Bayes Modell kostruiere, i dem wir z.b. Beroulli verteilte Zufallsvariable mit eiem Parameter θ betrachte, der selber eie Zufallsvariable ist. Wie solle wir die a priori Verteilug vo θ wähle? Es wäre schö, we die a posteriori Verteilug eie ähliche Form habe würde, wie die a priori Verteilug. Wie ma das erreicht, sehe wir im ächste Beispiel. 36

40 Beispiel (Beroulli Beta Modell.) Bei eiem gegebee θ [0, ] seie X,..., X uabhägige Zufallsvariable, die Beroulli verteilt mit Parameter θ sid. Somit gilt h θ (0) = θ, h θ () = θ. Die a priori Verteilug vo θ sei die Betaverteilug Beta(α, β). Somit ist die a priori Dichte vo θ gegebe durch q(τ) = B(α, β) τ α ( τ) β τ α ( τ) β, τ [0, ]. Es werde u eie Realisierug (x,..., x ) vo (X,..., X ) beobachtet. Die Likelihood Fuktio ist L(x,..., x ; τ) = h τ (x )... h τ (x ) = τ s ( τ) s, τ [0, ], wobei s = x x. Für die a posteriori Dichte vo θ gilt somit q(τ x,..., x ) q(τ)l(x,..., x ; τ) τ α+s ( τ) β+ s, τ [0, ]. I dieser Formel habe wir die multiplikative Kostate icht berechet. Diese muss aber so sei, dass die a posteriori Dichte tatsächlich eie Dichte ist, also q(τ x,..., x ) = B(α + s, β + s) τ α+s ( τ) β+ s, τ [0, ]. Somit ist die a posteriori Verteilug vo θ eie Betaverteilug: Beta(α + s, β + s). Die a posteriori Verteilug stammt also aus derselbe Betafamilie, wie die a priori Verteilug, bloß die Parameter sid aders. Der Bayes Schätzer für θ ist der Erwartugswert der a posteriori Betaverteilug: ˆθ Bayes = α + s α + β +. Weitere Beispiele vo Bayes Modelle, i dee die a posteriori Verteilug zur selbe Verteilugsfamilie gehört, wie die a priori Verteilug, fide sich i folgede Aufgabe. Aufgabe (Poisso Gamma Modell). Bei eiem gegebee Wert des Parameters λ > 0 seie die Zufallsvariable X,..., X uabhägig ud Poisso verteilt mit Parameter λ. Dabei wird für λ eie a priori Gammaverteilug mit (determiistische ud bekate) Parameter b > 0, α > 0 ageomme, d.h. q(λ) = bα Γ(α) λα e bλ für λ > 0. Ma beobachtet u eie Realisierug (x,..., x ) vo (X,..., X ). Bestimme Sie die a posteriori Verteilug vo λ ud de Bayes Schätzer ˆλ Bayes. Aufgabe (Geo Beta Modell). Bei eiem gegebee Wert des Parameters p (0, ) seie die Zufallsvariable X,..., X uabhägig ud geometrisch verteilt mit Parameter p. Dabei wird für p eie a priori Betaverteilug mit (determiistische ud bekate) Parameter α > 0, β > 0 ageomme. Ma beobachtet eie Realisierug (x,..., x ) vo (X,..., X ). Bestimme Sie die a posteriori Verteilug vo p ud de Bayes Schätzer ˆp Bayes. 37

41 Aufgabe (A priori Verteilug für de Erwartugswert eier Normalverteilug bei bekater Variaz). Bei eiem gegebee Wert des Parameters µ R seie die Zufallsvariable X,..., X uabhägig ud ormalverteilt mit Parameter (µ, σ ), wobei σ bekat sei. Dabei wird für µ eie a priori Normalverteilug mit (determiistische ud bekate) Parameter µ 0 R, σ 0 > 0 ageomme. Ma beobachtet eie Realisierug (x,..., x ) vo (X,..., X ). Bestimme Sie die a posteriori Verteilug vo µ ud de Bayes Schätzer ˆµ Bayes. Aufgabe (A priori Verteilug für die Variaz eier Normalverteilug bei bekatem Erwartugswert). Bei eiem gegebee Wert des Parameters τ R seie die Zufallsvariable X,..., X uabhägig ud ormalverteilt mit Parameter (µ, σ ), wobei µ bekat sei. Dabei wird für σ eie a priori iverse Gammaverteilug mit (determiistische ud bekate) Parameter b > 0, α > 0 ageomme. Das heißt, es wird ageomme, dass τ := /σ Gammaverteilt mit Parameter b ud α ist. Ma beobachtet eie Realisierug (x,..., x ) vo (X,..., X ). Bestimme Sie die a posteriori Verteilug vo τ = /σ. 38

42 KAPITEL 6 Güteeigeschafte vo Schätzer Wir erier a die Defiitio des parametrische Modells. Sei {h θ : θ Θ}, wobei Θ R m, eie Familie vo Dichte oder Zähldichte. Seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Dichte oder Zähldichte h θ. Dabei ist θ der zu schätzede Parameter. Um die Notatio zu vereifache, werde wir i diesem Kapitel icht zwische de Zufallsvariable (X,..., X ) ud dere Realisierug (x,..., x ) uterscheide. Ei Schätzer ist eie beliebige (Borel messbare) Fuktio ˆθ : R Θ, (X,..., X ) ˆθ(X,..., X ). Die Aufgabe eies Schätzers ist es, de richtige Wert vo θ möglichst gut zu errate. Im Folgede defiiere wir eiige Eigeschafte vo Schätzer, die us erlaube, gute Schätzer vo schlechte Schätzer zu uterscheide. 6.. Erwartugstreue, Kosistez, asymptotische Normalverteiltheit I diesem Kapitel sei der Parameterraum Ω eie Teilmege vo R m. Defiitio 6... Ei Schätzer ˆθ heißt erwartugstreu (oder uverzerrt), falls E θ [ˆθ(X,..., X )] = θ für alle θ Θ. Bemerkug 6... Damit diese Defiitio Si macht, muss ma voraussetze, dass die Zufallsvariable (bzw. Zufallsvektor) ˆθ(X,..., X ) itegrierbar ist. Defiitio Der Bias (die Verzerrug) eies Schätzers ˆθ ist Bias θ (ˆθ) = E θ [ˆθ(X,..., X )] θ. Wir betrachte Bias θ (ˆθ) als eie Fuktio vo θ Θ. Bemerkug Ei Schätzer ˆθ ist geau da erwartugstreu, we Bias θ (ˆθ) = 0 für alle θ Θ. Beispiel I diesem Beispiel werde wir verschiedee Schätzer für de Edpukt der Gleichverteilug kostruiere. Es seie X,..., X uabhägige ud auf dem Itervall [0, θ] gleichverteilte Zufallsvariable, wobei θ > 0 der zu schätzede Parameter sei. Es seie X () <... < X () die Ordugsstatistike vo X,..., X. Folgede Schätzer für θ erscheie atürlich.. Der Maximum Likelihood Schätzer ˆθ (X,..., X ) = X () = max{x,..., X }. Es ist offesichtlich, dass ˆθ < θ. Somit wird θ vo diesem Schätzer immer uterschätzt. 39

43 . Wir versuche u de Schätzer ˆθ zu verbesser, idem wir ih vergrößer. Wir würde ih gere um θ X () vergößer, allerdigs ist θ ubekat. Deshalb mache wir de folgede Asatz. Wir gehe davo aus, dass die beide Itervalle (0, X () ) ud (X (), θ) ugefähr gleich lag sid, d.h.! X () = θ X (). Löse wir diese Gleichug bzgl. θ, so erhalte wir de Schätzer ˆθ (X,..., X ) = X () + X (). 3. Es gibt aber auch eie adere atürliche Asatz. Wir köe davo ausgehe, dass die Itervalle (0, X () ), (X (), X () ),..., (X (), θ) ugefähr gleich lag sid. Da ka ma die Läge des letzte Itervalls durch das arithmetische Mittel der Läge aller vorherige Itervalle schätze, was zu folgeder Gleichug führt: θ X ()! = (X () + (X () X () ) + (X (3) X () ) (X () X ( ) )). Da auf der rechte Seite eie Teleskop-Summe steht, erhalte wir die Gleichug Auf diese Weise ergibt sich der Schätzer θ X ()! = X (). ˆθ 3 (X,..., X ) = + X (). 4. Wir köe auch de Mometeschätzer betrachte. Setze wir de Erwartugswert vo X i dem empirische Mittelwert gleich, so erhalte wir E θ [X i ] = θ! = X. Dies führt zum Schätzer ˆθ 4 (X,..., X ) = X. Aufgabe Zeige Sie, dass ˆθ, ˆθ 3, ˆθ 4 erwartugstreu sid, ˆθ jedoch icht. Ma sieht a diesem Beispiel, dass es für ei parametrisches Problem mehrere atürliche erwartugstreue Schätzer gebe ka. Die Frage ist u, welcher Schätzer der beste ist. Defiitio Sei Θ = (a, b) R ei Itervall. Der mittlere quadratische Fehler (mea square error, MSE) eies Schätzers ˆθ : R R ist defiiert durch MSE θ (ˆθ) = E θ [(ˆθ(X,..., X ) θ) ]. Wir fasse MSE θ (ˆθ) als eie Fuktio vo θ (a, b) auf. Damit die obige Defiitio Si hat, muss ma voraussetze, dass ˆθ(X,..., X ) eie quadratisch itegrierbare Zufallsvariable ist. Lemma Es gilt folgeder Zusammehag zwische dem mittlere quadratische Fehler ud dem Bias: MSE θ (ˆθ) = Var θ ˆθ + (Biasθ (ˆθ)). 40

44 Beweis. Um die Notatio zu vereifache, schreibe wir i diesem Beweis ˆθ für ˆθ(X,..., X ). Wir beutze die Defiitio des mittlere quadratische Fehlers, erweiter mit E θ [ˆθ] ud quadriere: MSE θ (ˆθ) = E θ [(ˆθ θ) ] = E θ [(ˆθ E θ [ˆθ] + E θ [ˆθ] θ) ] = E θ [(ˆθ E θ [ˆθ]) ] + E θ [(ˆθ E θ [ˆθ]) (E θ [ˆθ] θ)] + E θ [(E θ [ˆθ] θ) ] = Var θ (ˆθ) + (E θ [ˆθ] θ) E θ [ˆθ E θ [ˆθ]] + (Bias θ (ˆθ)). Dabei habe wir beutzt, dass E θ [ˆθ] θ icht zufällig ist. Der mittlere Term auf der rechte Seite verschwidet, de E θ [ˆθ E θ [ˆθ]] = E θ [ˆθ] E θ [ˆθ] = 0. Daraus ergibt sich die gewüschte Idetität. Bemerkug Ist ˆθ erwartugstreu, so gilt Bias θ (ˆθ) = 0 für alle θ Θ ud somit vereifacht sich Lemma 6..8 zu MSE θ (ˆθ) = Var θ (ˆθ). Defiitio Seie ˆθ ud ˆθ zwei Schätzer. Wir sage, dass ˆθ besser als ˆθ ist, falls MSE θ (ˆθ ) < MSE θ (ˆθ ) für alle θ Θ. Bemerkug 6... Falls ˆθ ud ˆθ erwartugstreu sid, da ist ˆθ besser als ˆθ, we Var θ (ˆθ ) < Var θ (ˆθ ) für alle θ Θ. Bemerkug 6... I Beispiel 6..5 ist ˆθ 3 = +X () der beste Schätzer uter alle erwartugstreue Schätzer. Der Beweis hierfür folgt später. I der Statistik ist der Stichprobeumfag typischerweise groß. Wir schaue us deshalb die asymptotische Güteeigeschafte vo Schätzer a. Wir betrachte eie Folge vo Schätzer ˆθ (X ), ˆθ (X, X ),..., ˆθ (X,..., X ),.... Sei im Folgede Θ eie Teilmege vo R m. Defiitio Eie Folge vo Schätzer ˆθ : R Θ heißt asymptotisch erwartugstreu, falls lim E θ ˆθ (X,..., X ) = θ für alle θ Θ. Beispiel I Beispiel 6..5 ist X () eie asymptotisch erwartugstreue (aber icht erwartugstreue) Folge vo Schätzer, de (Übugsaufgabe) lim E θx () = lim + θ = θ. Defiitio Eie Folge vo Schätzer ˆθ : R Θ heißt schwach kosistet, falls ˆθ (X,..., X ) P θ uter P θ für alle θ Θ. 4

45 Mit adere Worte, für jedes ε > 0 ud jedes θ Θ soll gelte: lim P θ[ ˆθ (X,..., X ) θ > ε] = 0. Defiitio Eie Folge vo Schätzer ˆθ : R Θ heißt stark kosistet, falls ˆθ (X,..., X ) f.s. θ uter P θ für alle θ Θ. Mit adere Worte, es soll für alle θ Θ gelte: [ ] P θ lim ˆθ (X,..., X ) = θ =. Bemerkug Eie fast sicher kovergete Folge vo Zufallsvariable kovergiert auch i Wahrscheilichkeit. Aus der starke Kosistez folgt somit die schwache Kosistez. Defiitio Eie Folge vo Schätzer ˆθ : R Θ heißt L -kosistet, falls ˆθ (X,..., X ) L θ für alle θ Θ. Mit adere Worte, es soll für alle θ Θ gelte: lim E θ ˆθ (X,..., X ) θ = 0. Bemerkug Aus der L -Kosistez folgt die schwache Kosistez. Beispiel Bei viele Familie vo Verteiluge, z.b. Ber(θ), Poi(θ) oder N(θ, σ ) stimmt der Parameter θ mit dem Erwartugswert der etsprechede Verteilug überei. I diesem Fall ist die Folge vo Schätzer ˆθ = X stark kosistet, de für jedes θ gilt X ach dem starke Gesetz der große Zahle. f.s. E θx = θ uter P θ Defiitio 6... Eie Folge vo Schätzer ˆθ : R Θ R heißt asymptotisch ormalverteilt, we es zwei Folge a (θ) R ud b (θ) > 0 gibt, sodass für alle θ Θ ˆθ(X,..., X ) a (θ) b (θ) d N(0, ) uter P θ. Normalerweise wählt ma a (θ) = E θ ˆθ(X,..., X ) ud b (θ) = Var θ ˆθ(X,..., X ), sodass die Bedigug folgedermaße lautet: Für alle θ Θ ˆθ(X,..., X ) E θ ˆθ(X,..., X ) Var θ ˆθ(X,..., X ) d N(0, ) uter P θ. Beispiel 6... Es seie X,..., X uabhägig ud Ber(θ) verteilt, mit θ (0, ). Da ist der Schätzer ˆθ = X asymptotisch ormalverteilt, de ach dem Satz vo de Moivre Laplace gilt X θ θ(a θ) = X X θ θ( θ) 4 d N(0, ) uter P θ.

46 6.. Güteeigeschafte des ML Schätzers I diesem Abschitt sei Θ = (a, b) ei Itervall. Sei {h θ : θ Θ} eie Familie vo Dichte oder Zähldichte ud sei θ 0 Θ fest. Seie X, X, X,... uabhägige ud idetisch verteilte Zufallsvariable mit Dichte h θ0, wobei θ 0 als der wahre Wert des Parameters aufgefasst wird. Us ist der wahre Wert allerdigs ubekat ud wir schätze ih mit dem Maximum Likelihood Schätzer ˆθ ML = ˆθ ML (X,..., X ). I diesem Abschitt wolle wir die Güteeigeschafte des Maximum Likelihood Schätzers utersuche. Um die Güteeigeschafte vo ˆθ ML zu beweise, muss ma gewisse Regularitätsbediguge a die Familie {h θ : θ Θ} stelle. Leider sid diese Bediguge icht besoders schö. Deshalb werde wir ur die Idee der jeweilige Beweise zeige. Wir werde hier ur eie der viele Regularitätsbediguge formuliere: Alle Dichte (oder Zähldichte) h θ solle de gleiche Träger habe, d.h. die Mege soll icht vo θ abhäge. J := {x R : h θ (x) 0} Kosistez des ML-Schätzers. Zuerst frage wir, ob der Maximum Likelihood Schätzer stark kosistet ist, d.h. ob ˆθ ML (X,..., X ) f.s. θ 0. Wir werde zeige, dass das stimmt. Hierfür betrachte wir die durch geteilte log-likelihood- Fuktio L (X,..., X ; θ) := log L(X,..., X ; θ) = log h θ (X i ). Nach dem Gesetz der große Zahle gilt L (X,..., X ; θ) f.s. E θ 0 log h θ (X) = L (θ) = Lemma 6... Für alle θ Θ gilt: L (θ) L (θ 0 ). J log h θ (t)h θ0 (t)dt. Beweis. Mit der Defiitio vo L (θ) ergibt sich [ L (θ) L (θ 0 ) = E θ0 [log h θ (X) log h θ0 (X)] = E θ0 log h ] θ(x). h θ0 (X) Nu wede wir auf die rechte Seite die Ugleichug log t t (wobei t > 0) a: [ ] hθ (X) L (θ) L (θ 0 ) E θ0 h θ0 (X) ( ) hθ (t) = J h θ0 (t) h θ0 (t)dt = h θ (t)dt h θ0 (t)dt J = 0, 43 J

47 de J h θ(t)dt = J h θ 0 (t)dt =. Satz 6... Seie X, X,... uabhägige ud idetisch verteilte Zufallsvariable mit Dichte oder Zähldichte h θ0. Uter Regularitätsbediguge a die Familie {h θ : θ Θ} gilt, dass ˆθ ML (X,..., X ) f.s. θ 0. Beweisidee. Per Defiitio des Maximum Likelihood Schätzers ist ˆθ ML (X,..., X ) = argmax L (X,..., X ; θ). Idem wir zum Grezwert für übergehe, erhalte wir lim ˆθ ML (X,..., X ) = lim argmax L (X,..., X ; θ) = argmax lim L (X,..., X ; θ) = argmax L (X,..., X ; θ) = θ 0, wobei der letzte Schritt aus Lemma 6.. folgt. Der obige Beweis ist icht streg. Isbesodere bedarf der Schritt lim argmax = argmax lim eier Begrüdug. Asymptotische Normalverteiltheit des ML-Schätzers. Wir werde zeige, dass uter gewisse Regularitätsbediguge der Maximum Likelihood Schätzer asymptotisch ormalverteilt ist: d (ˆθML (X,..., X ) θ 0 ) N(0, σ ML) uter P θ0, wobei die Variaz σml später idetifiziert werde soll. Wir bezeiche mit l θ (x) = log h θ (x) die log-likelihood eier eizele Beobachtug x. Die Ableitug ach θ wird mit bezeichet. Isbesodere schreibe wir Dl θ (x) = d dθ l θ(x), D = d dθ D l θ (x) = d dθ l θ(x). Defiitio Sei {h θ : θ Θ}, wobei Θ = (a, b) ei Itervall ist, eie Familie vo Dichte oder Zähldichte. Die Fisher Iformatio ist eie Fuktio I : Θ R mit I(θ) = E θ (Dl θ (X)). Lemma Uter Regularitätsbediguge a die Familie {h θ θ (a, b), dass () E θ Dl θ (X) = 0. () E θ D l θ (X) = I(θ). 44 : θ Θ} gilt für jedes

48 Beweisidee. Für de Beweis forme wir zuerst Dl θ (x) ud D l θ (x) wie folgt um: Dl θ (x) = D log h θ (x) = Dh θ(x) h θ (x), D l θ (x) = (D h θ (x))h θ (x) (Dh θ (x)) h θ (x) = D h θ (x) h θ (x) (Dl θ (x)). Außerdem gilt für alle θ, dass h J θ(t)dt =, de h θ ist eie Dichte. Wir köe u diese Idetität ach θ ableite: D h θ (t)dt = 0 ud somit Dh θ (t)dt = 0, J J D h θ (t)dt = 0 ud somit D h θ (t)dt = 0. J Dabei habe wir die Ableitug ud das Itegral vertauscht, was uter gewisse Regularitätsbediguge möglich ist. Mit diese Resultate erhalte wir, dass Dh θ (X) E θ Dl θ (X) = h θ (X) h θ(t)dt = Dh θ (X)dt = 0. J Somit ist die erste Behauptug des Lemmas bewiese. Die zweite Behauptug des Lemmas ka ma wie folgt zeige: E θ D l θ (X) = (D l θ (t))h θ (t)dt J ( ) D h θ (t) = (Dl θ (t)) h θ (t)dt J h θ (t) = D h θ (t)dt E θ (Dl θ (X)) J = E θ (Dl θ (X)) = I(θ), wobei der letzte Schritt aus der Defiitio der Fisher Iformatio folgt. Idem wir die Notatio L (θ) = E θ0 log h θ (X) verwede, köe wir das obige Lemma wie folgt formuliere. Lemma Uter Regularitätsbediguge a die Familie {h θ : θ Θ} gilt, dass () E θ0 Dl θ0 (X) = DL (θ 0 ) = 0. () E θ0 D l θ0 (X) = D L (θ 0 ) = I(θ 0 ). Beweis. Uter Regularitätsbediguge ka ma de Erwartugswert E ud die Ableitug D vertausche. Somit gilt E θ Dl θ (X) = DE θ l θ (X) = DL (X) ud E θ D l θ (X) = D E θ l θ (X) = D L (X). J J Satz Sei {h θ : θ Θ} mit Θ = (a, b) eie Familie vo Dichte oder Zähldichte. Sei θ 0 (a, b) ud seie X, X,... uabhägige Zufallsvariable mit Dichte oder Zähldichte h θ0. 45

49 Uter Regularitätsbediguge gilt für de Maximum Likelihood Schätzer ˆθ ML (X,..., X ), dass ( ) d (ˆθML (X,..., X ) θ 0 ) N 0, uter P θ0. I(θ 0 ) Beweisidee. Schritt. Für de Maximum Likelihood Schätzer gilt ˆθ ML = argmax θ Θ log h θ (X i ) = argmax θ Θ L (θ). Somit gilt DL (ˆθ ML ) = 0. Der Mittelwertsatz aus der Aalysis besagt, dass we f eie differezierbare Fuktio auf eiem Itervall [x, y] ist, da lässt sich ei c i diesem Itervall fide mit f(y) = f(x) + f (c)(y x). Wir wede u diese Satz auf die Fuktio f(θ) = DL (θ) ud auf das Itervall mit de Edpukte θ 0 ud ˆθ ML a. Es lässt sich also ei ξ i diesem Itervall fide mit Daraus ergibt sich, dass 0 = DL (ˆθ ML ) = DL (θ 0 ) + D L (ξ )(ˆθ ML θ 0 ). DL (θ 0 ) (ˆθML θ 0 ) =. DL (ξ ) Schritt. Awedug vo Lemma 6..5 führt zu E θ0 Dl θ0 (X) = 0. Somit gilt DL (θ 0 ) = Dl θ0 (X i ) E θ0 Dl θ0 (X i ) (Dl θ0 (X i ) 0) =. Idem wir u de zetrale Grezwertsatz awede, erhalte wir, dass d DL (θ 0 ) N N(0, Var θ 0 Dl θ0 (X)) = N(0, I(θ 0 )), de Var θ0 Dl θ0 (X) = I(θ 0 ) ach Lemma Schritt 3. Da sich ξ zwische ˆθ ML ud θ 0 befidet ud lim ˆθML = θ 0 wege Satz 6.. (Kosistez) gilt, erhalte wir, dass lim ξ = θ 0. Nach dem Gesetz der große Zahle gilt somit D L (ξ ) = D l ξ (X i ) E θ0 D l θ0 (X) = I(θ 0 ), wobei wir im letzte Schritt Lemma 6..5 beutzt habe. Schritt 4. Kombiiert ma u diese Eigeschafte, so führt dies zu ( 0, wobei N N(0, I(θ 0 )). (ˆθML θ 0 ) = L (θ 0 ) D L (ξ ) d N I(θ 0 ) N I(θ 0 ) ), 46

50 Beispiel I diesem Beispiel betrachte wir die Familie der Beroulli Verteiluge mit Parameter θ (0, ). Die Zähldichte ist gegebe durch Eie adere Schreibweise dafür ist diese: h θ () = θ, h θ (0) = θ. h θ (x) = θ x ( θ) x, x {0, }. Die log-likelihood eier eizele Beobachtug x {0, } ist Ableite ach θ führt zu l θ (x) = log h θ (x) = x log θ + ( x) log( θ). Dl θ (x) = x θ x θ, D l θ (x) = ( x θ + x ). ( θ) Sei X eie mit Parameter θ Beroulli verteilte Zufallsvariable. Somit ist die Fisher-Iformatio gegebe durch [ X I(θ) = E θ D l θ (X) = E θ θ + X ] = θ ( θ) θ + θ ( θ) = θ( θ). Seie u X, X,..., X uabhägige, mit Parameter θ Beroulli verteilte Zufallsvariable. Da ist der Maximum Likelihood Schätzer für de Parameter θ gegebe durch ˆθ ML (X,..., X ) = X X = X. Mit Satz 6..6 erhalte wir die asymptotische Normalverteiltheit vo ˆθ ML = X : d ( X θ) N(0, θ( θ)) uter P θ. Diese Aussage köe wir auch aus dem Zetrale Grezwertsatz herleite, de ( X θ) = X X θ d N(0, θ( θ)) uter P θ, da EX i = θ ud Var X i = θ( θ). Beispiel Nu betrachte wir ei Beipsiel, i dem der Maximum Likelihood Schätzer icht asymptotisch ormalverteilt ist. Der Grud hierfür ist, dass eie Regularitätsbedigug verletzt ist. Im folgede Beispiel sid ämlich die Träger der Verteiluge, die zu verschiedee Werte des Parameters gehöre, icht gleich. Wir betrachte die Familie der Gleichverteiluge auf de Itervalle der Form [0, θ] mit θ > 0. Die Dichte ist gegebe durch h θ (x) = θ x [0,θ]. Seie X, X,... uabhägige ud auf dem Itervall [0, θ] gleichverteilte Zufallsvariable. Der Maximum Likelihood Schätzer für θ ist gegebe durch ˆθ ML (X,..., X ) = max {X,..., X } =: M. Wir zeige u, dass dieser Schätzer icht asymptotisch ormalverteilt, soder asymptotisch expoetialverteilt ist. 47

51 Satz Es seie X, X,... uabhägige ud auf dem Itervall [0, θ] gleichverteilte Zufallsvariable. Da gilt für M = max{x,..., X }, dass ( M ) d θ Exp(). Beweis. Sei x 0. Es gilt [ ( P M ) ] > x = P θ [ M θ < x ] [ ( = P X < θ x ) (,..., X < θ x )]. Für geüged großes ist 0 θ( x ) θ ud somit [ ( P X i < θ x )] = x, de X i U[0, θ]. Wege der Uabhägigkeit vo X,..., X erhalte wir, dass [ ( lim P M ) ] > x = lim ( x ) = e x. θ Somit erhalte wir, dass [ ( lim P M ) ] { e x, x 0, x = θ 0, x < 0. Für x < 0 ist der Grezwert gleich 0, de das Ereigis M > θ ist umöglich. Daraus ergibt sich die zu beweisede Aussage. Beispiel I diesem Beispiel betrachte wir die Familie der Expoetialverteiluge. Die Dichte der Expoetialverteilug mit Parameter θ > 0 ist gegebe durch h θ (x) = θ exp( θx), x > 0. Die log-likelihood eier eizele Beobachtug x > 0 ist Zweimaliges Ableite ach θ führt zu l θ (x) = log h θ (x) = log θ θx. D l θ (x) = θ. Das Ergebis ist übriges uabhägig vo x. Sei X Exp(θ). Die Fisher Iformatio ist gegebe durch I(θ) = E θ D l θ (X) = θ, θ > 0. Seie X, X,... uabhägige, mit Parameter θ expoetialverteilte Zufallsvariable. Der Maximum Likelihood Schätzer (ud auch der Mometeschätzer) ist i diesem Beispiel ˆθ ML = X Mit Satz 6..6 erhalte wir die asymptotische Normalverteiltheit vo ˆθ ML : ( ) d (6..) θ X N(0, θ ) uter P θ. 48

52 Auf der adere Seite, ergibt sich aus dem zetrale Grezwertsatz, dass ( (6..) X ) d (0, θ N θ ) uter P θ, de EX i = θ ud Var X i = θ. Sid u (6..) ud (6..) äquivalet? Etwas allgemeier ka ma auch frage: We ei Schätzer asymptotisch ormalverteilt ist, muss da auch eie Fuktio vo diesem Schätzer asymptotisch ormalverteilt sei? Wir werde u zeige, dass uter gewisse Voraussetzuge a die Fuktio die Atwort positiv ist. Lemma 6... Seie Z, Z,... Zufallsvariable ud µ R ud σ > 0 Zahle mit d (Z µ) N(0, σ ). Außerdem sei ϕ eie differezierbare Fuktio mit ϕ (µ) 0. Da gilt: d (ϕ(z ) ϕ(µ)) N(0, (ϕ (µ)σ) ). Beweisidee. Durch die Tayloretwicklug vo ϕ um de Pukt µ gilt ϕ(z ) = ϕ(µ) + ϕ (µ)(z µ) + Rest. Multipliziert ma u beide Seite mit, so führt dies zu (ϕ(z ) ϕ(µ)) = ϕ (µ) (Z µ) + Rest. Nach Voraussetzug gilt für de erste Term auf der rechte Seite, dass ϕ (µ) (Z µ) d N(0, (ϕ (µ)σ) ). Der Restterm hat eie kleiere Ordug als dieser Term, geht also gege 0. Daraus folgt die Behauptug. Beispiel 6... Als Spezialfall vo Lemma 6.. mit ϕ(x) = ud x ϕ (x) = x sich die folgede Implikatio: d (Z µ) N(0, σ ) = ( ) ) d (0, Z µ N σ. µ 4 Daraus ergibt sich die Äquivalez vo (6..) ud (6..). ergibt 6.3. Cramér Rao Ugleichug Sei {h θ (x) : θ Θ}, wobei Θ = (a, b), eie Familie vo Dichte oder Zähldichte. Wir habe bereits gesehe, dass es mehrere erwartugstreue Schätzer für de Parameter θ gebe ka. Uter diese Schätzer versucht ma eie Schätzer mit eier möglichst kleie Variaz zu fide. Ka ma vielleicht sogar für jedes vorgegebee ε > 0 eie erwartugstreue Schätzer kostruiere, desse Variaz kleier als ε ist? Der ächste Satz zeigt, dass die Atwort egativ ist. Er gibt eie utere Schrake a die Variaz eies erwartugstreue Schätzers. 49

53 Satz 6.3. (Cramér Rao). Sei {h θ (x) : θ Θ}, wobei Θ = (a, b), eie Familie vo Dichte oder Zähldichte. Seie weiterhi X, X, X,... uabhägige ud idetisch verteilte Zufallsvariable mit Dichte h θ (x). Sei ˆθ(X,..., X ) ei erwartugstreuer Schätzer für θ. Uter Regularitätsbediguge gilt die folgede Ugleichug: Var θ ˆθ(X,..., X ) I(θ). Beweisidee. Da ˆθ ei erwartugstreuer Schätzer ist, gilt für alle θ (a, b), dass θ = E θ ˆθ(X,..., X ) = ˆθ(x,..., x )h θ (x )... h θ (x )dx... dx. R Nu leite wir ach θ ab: = D ˆθ(x,..., x )h θ (x )... h θ (x )dx... dx R = ˆθ(x,..., x )D[h θ (x )... h θ (x )]dx... dx. R Idem wir u die Formel D log f(θ) = Df(θ) mit f(θ) = h f(θ) θ (x )... h θ (x ) beutze, erhalte wir, dass ( ) = ˆθ(x,..., x )h θ (x )... h θ (x ) D log h θ (x i ) dx... dx R wobei = E θ [ˆθ(X,..., X )U θ (X,..., X )], U θ (x,..., x ) := D log h θ (x i ). Es sei bemerkt, dass U θ die Ableitug der log-likelihood-fuktio ist. Für de Erwartugswert vo U θ gilt ach Lemma 6..4, dass E θ U θ (X,..., X ) = E θ D log h θ (X i ) = 0. Für die Variaz vo U θ erhalte wir wege der Uabhägigkeit vo X,..., X, dass de E θ [U θ (X,..., X )] = Var θ U θ (X,..., X ) = da E θ D log h θ (X i ) = 0 ach Lemma Var θ [D log h θ (X i )] = I(θ), Var θ [D log h θ (X i )] = E θ (D log h θ (X i )) = I(θ), 50

54 Nu erweiter wir mit dem Erwartugswert ud wede die Cauchy Schwarz Ugleichug a: = E θ [(ˆθ(X,..., X ) θ) U θ (X,..., X )] Var θ [ˆθ(X,..., X )] Var θ [U θ (X,..., X )] = Var θ [ˆθ(X,..., X )] I(θ). Umgestellt führt dies zu Var θ ˆθ(X,..., X ) I(θ). Defiitio Ei erwartugstreuer Schätzer ˆθ : R Θ heißt Cramér Rao effiziet, falls für jedes θ Θ Var θ ˆθ(X,..., X ) = I(θ). Beispiel Es seie X,..., X uabhägig ud Beroulli verteilt mit Parameter θ. Der Maximum Likelihood Schätzer ud gleichzeitig der Mometeschätzer für θ ist der empirische Mittelwert: ˆθ(X,..., X ) = X = X X. Die Variaz vo ˆθ lässt sich wie folgt bereche Var θ ˆθ(X,..., X ) = Var θ [ X X ] = Var θ X = θ( θ) = I(θ), de wir habe i Beispiel 6..7 gezeigt, dass I(θ) = θ( θ). Somit ist der Schätzer X Cramér Rao effiziet. Es ist also umöglich, eie erwartugstreue Schätzer mit eier kleiere Variaz als die vo X zu kostruiere. Somit ist X der beste erwartugstreue Schätzer für de Parameter der Beroulli Verteilug. Aufgabe Zeige Sie, dass der Schätzer ˆθ = X für die folgede Familie vo Verteiluge Cramér Rao effiziet ist: () {Poi(θ) : θ > 0}. () {N(θ, σ ) : θ R}, wobei σ bekat ist. Somit ist X i beide Fälle der beste erwartugstreue Schätzer. Bemerkug Der Maximum Likelihood Schätzer muss icht immer Cramér Rao effiziet (ud sogar icht eimal erwartugstreu) sei. Wir wolle allerdigs zeige, dass bei eiem große Stichprobeumfag der Maximum Likelihood Schätzer ˆθ ML die Cramér Rao Schrake asymptotisch erreicht. Nach Satz 6..6 gilt uter P θ, dass (ˆθML θ) d N ( 0, I(θ) Die Verteilug vo ˆθ ML ist also approximativ N(θ, ) ud die Variaz ist approximativ I(θ), bei großem. Somit ähert sich der Maximum Likelihood Schätzer der Cramér Rao I(θ) Schrake asymptotisch a. 5 ).

55 6.4. Asymptotische Normalverteiltheit der empirische Quatile Seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Dichte h(x) ud Verteilugsfuktio F (x). Sei α (0, ). Das theoretische α-quatil Q α der Verteilugsfuktio F ist defiiert als die Lösug der Gleichug F (Q α ) = α. Wir ehme a, dass es eie eideutige Lösug gibt. Das empirische α-quatil der Stichprobe X,..., X ist X ([α]), wobei X () <... < X () die Ordugsstatistike vo X,..., X seie. Wir habe hier die Defiitio des empirische Quatils etwas vereifacht, alle achfolgede Ergebisse stimme aber auch für die alte Defiitio. Das empirische Quatil X [α] ist ei Schätzer für das theoretische Quatil Q α. Wir zeige u, dass dieser Schätzer asymptotisch ormalverteilt ist. Satz Sei α (0, ) ud seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Dichte h, wobei h stetig i eier Umgebug vo Q α sei ud h(q α ) > 0 gelte. Da gilt (X([α]) Q α ) ( d N 0, ) α( α). h (Q α ) Beweisidee. Sei t R. Wir betrachte die Verteilugsfuktio F (t) := P[ [ (X ([α]) Q α ) t] = P X ([α]) Q α + t ] = P[K α], wobei die Zufallsvariable K wie folgt defiiert wird: K = Xi Q α+ t = # { i {,..., } : X i Q α + t }. Somit ist K Bi(, F (Q α + t )). Für de Erwartugswert ud die Variaz vo K gilt somit EK = F ( Q α + t ) (, Var K = F Q α + t ) ( ( F Q α + t )). Idem wir u die Taylor Etwicklug der Fuktio F beutze, erhalte wir, dass ( EK = F (Q α ) + F (Q α ) t ( )) + o = α + h(q α )t + o( ), Var K = α( α) + o(). Nu ka die Verteilugsfuktio F (t) wie folgt berechet werde [ ] K E[K ] F (t) = P[K α] = P Var(K ) α E[K ]. Var(K ) Beutze wir u die Etwickluge vo EK ud Var K, so erhalte wir [ K E[K ] F (t) = P Var(K ) α α h(q α )t o( ] ). α( α) + o() 5

56 Ud u beutze wir de zetrale Grezwertsatz für K. Mit N stadardormalverteilt, erhalte wir, dass [ ] [ lim F (t) = P N h(q α) N ] α( α) t = P t, α( α) h(q α ) wobei wir im letzte Schritt die Symmetrie der Stadardormalverteilug, also die Formel P[N x] = P[N x] beutzt habe. Die Behauptug des Satzes folgt u aus der Tatsache, dass N ( ) α( α) h(q α) N 0, α( α) h (Q α). Wir werde u de obige Satz beutze, um de Media ud de Mittelwert als Schätzer für de Lageparameter eier Dichte auf Effiziez hi zu utersuche ud zu vergleiche. Sei h(x) eie Dichte. Wir mache folgede Aahme: () h ist symmetrisch, d.h. h(x) = h( x). () h ist stetig i eier Umgebug vo 0. (3) h(0) > 0. Seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Dichte h θ (x) = h(x θ), θ R. Die Aufgabe besteht u dari, θ zu schätze. Dabei sei die Dichte h bekat. Da sowohl der theoretische Media Q / als auch der Erwartugswert der Dichte h θ wege der Symmetrie gleich θ sid, köe wir folgede atürliche Schätzer für θ betrachte: () de empirische Media X ([/]). () de empirische Mittelwert X. Welcher Schätzer ist u besser ud um wieviel? Um diese Frage zu beatworte, beutze wir de Begriff der relative Effiziez. ˆθ () ˆθ () Defiitio Seie ud zwei Folge vo Schätzer für eie Parameter θ, wobei de Stichprobeumfag bezeichet. Beide Schätzer seie asymptotisch ormalverteilt mit d (ˆθ() θ) N(0, σ (θ)) ud (ˆθ () d θ) N(0, σ (θ)) uter P θ. Die relative Effiziez der beide Schätzer ist defiiert durch eˆθ(),ˆθ () (θ) = σ (θ) σ (θ). Bemerkug Ist z.b. eˆθ() > so heißt es, dass,ˆθ () ˆθ () besser als ˆθ () ist. Komme wir u wieder zurück zu userer Frage, welcher Schätzer, = X ([/]) oder ˆθ () = X, besser ist. Nach Satz 6.4. ud ach dem zetrale Grezwertsatz, sid beide Schätzer asymptotisch ormalverteilt mit ( ) d (X([/]) θ) N 0, ud ( 4h (0) X d θ) N(0, Var θ X ) uter P θ. 53 ˆθ ()

57 Die asymptotische Variaze sid also uabhägig vo θ ud gegebe durch σ = 4h (0), σ = Var θ X = x h (x)dx. R Nu betrachte wir zwei Beispiele. Beispiel Die Gauß Dichte h(x) = π e x /. Es gilt h(0) = 0, Var θ X = ud somit σ = π, σ =, e Med,MW = <. π Somit ist der empirische Mittelwert besser als der empirische Media. Das Ergebis ka ma so iterpretiere: Der Media erreicht bei eier Stichprobe vom Umfag 00 i etwa die gleiche Präzisio, wie der Mittelwert bei eier Stichprobe vom Umfamg 64. Beispiel Die Laplace Dichte h(x) = e x. Es gilt h(0) =, Var θ X = ud somit σ =, σ =, e Med,MW = >. I diesem Beispiel ist also der Media besser: Bei eier Stichprobe vom Umfag 00 erreicht der Media i etwa die gleiche Präzisio, wie der Mittelwert bei eier Stichprobe vom Umfag

58 KAPITEL 7 Suffiziez ud Vollstädigkeit 7.. Defiitio der Suffiziez im diskrete Fall Beispiel 7... Betrachte wir eie ufaire Müze, wobei die Wahrscheilichkeit θ, dass die Müze Kopf zeigt, geschätzt werde soll. Dafür werde die Müze mal geworfe. Falls die Müze beim i-te Wurf Kopf zeigt, defiiere wir x i =, sost sei x i = 0. Die komplette Iformatio über user Zufallsexperimet ist somit i der Stichprobe (x,..., x ) ethalte. Es erscheit aber ituitiv klar, dass für die Beatwortug der statistische Frage über θ ur die Iformatio darüber, wie oft die Müze Kopf gezeigt hat (also die Zahl x x ) relevat ist. Higege ist die Iformatio, bei welche Würfe die Müze Kopf gezeigt hat, icht ützlich. Deshalb et ma i diesem Beispiel die Stichprobefuktio T (x,..., x ) = x +...+x eie suffiziete (d.h. ausreichede) Statistik. Astatt das Experimet durch die gaze Stichprobe (x,..., x ) zu beschreibe, köe wir es lediglich durch de Wert vo x x beschreibe, ohe dass dabei ützliche statistische Iformatio verlore geht. Es sei im Weitere {h θ : θ Θ} eie Familie vo Zähldichte. De Fall der Dichte werde wir später betrachte. Ist S ei Zufallsvektor mit Werte i R d, so bezeiche wir mit Im S = {z R d : P[S = z] 0} die Mege aller Werte z, die der Zufallsvektor S mit eier strikt positive Wahrscheilichkeit aehme ka. Wirr ee Im S de Träger vo S. Im folgede Abschitt werde wir aehme, dass der Träger vo X,..., X icht vo θ abhägt. Defiitio 7... Seie X,..., X uabhägige ud idetisch verteilte diskrete Zufallsvariable mit Zähldichte h θ. Eie Fuktio T : R R m heißt eie suffiziete Statistik, we für alle x,..., x R ud für alle t Im T (X,..., X ) der Ausdruck P θ [X = x,..., X = x T (X,..., X ) = t] eie vo θ uabhägige Fuktio ist. D.h., für alle θ, θ Θ soll gelte: P θ [X = x,..., X = x T (X,..., X ) = t] = P θ [X = x,..., X = x T (X,..., X ) = t]. Beispiel 7..3 (Fortsetzug vo Beispiel 7..). Seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit X i Ber(θ), wobei θ (0, ) zu schätze sei. Die Zähldichte vo X i ist somit gegebe durch h θ (x) = θ x ( θ) x, x {0, }. 55

59 Wir zeige u, dass T (X,..., X ) = X X eie suffiziete Statistik ist. Sei t {0,..., }. Betrachte de Ausdruck P (θ) := P θ [X = x,..., X = x X X = t] = P θ[x = x,..., X = x, X X = t]. P θ [X X = t] Fall. Ist x x t oder x i / {0, } für midestes ei i, da gilt P (θ) = 0. I diesem Fall hägt P (θ) vo θ icht ab. Fall. Sei u x x = t mit x,..., x {0, }. Da gilt P (θ) = P θ[x = x,..., X = x, X X = t] P θ [X X = t] = P θ[x = x,..., X = x ]. P θ [X X = t] Idem wir u beutze, dass X,..., X uabhägig sid ud X X Bi(, θ) ist, erhalte wir, dass P (θ) = θx ( θ) x... θ x ( θ) ( x ) = ( θt ( θ) t t t). Dieser Ausdruck ist ebefalls vo θ uabhägig. Somit ist T (X,..., X ) = X X eie suffiziete Statistik. Ei guter Schätzer für θ muss eie Fuktio vo X X sei. Das garatiert ämlich, dass der Schätzer ur ützliche statistische Iformatio verwedet ud icht durch die Verwedug vo uützlichem Zufallsrausche die Variaz des Schätzers gesteigert wird. I der Tat, wir habe bereits gezeigt, dass X die Cramér Rao Schrake erreicht ud somit der beste erwartugstreue Schätzer ist. Bemerkug Im obige Beispiel habe wir gezeigt, dass für jedes t {0,..., } die bedigte Verteilug vo (X,..., X ) gegebe, dass X X = t, eie Gleichverteilug auf der Mege {(x,..., x ) {0, } : x x = t} ist. Diese Mege besteht aus ( t) Elemete. Aufgabe Seie X,..., X uabhägige ud mit Parameter θ > 0 Poisso verteilte Zufallsvariable. Zeige Sie, dass T (X,..., X ) = X X eie suffiziete Statistik ist. Bestimme Sie für t N 0 die bedigte Verteilug vo (X,..., X ) gegebe, dass X X = t. Im obige Beispiel habe wir gezeigt, dass X X eie suffiziete Statistik ist. Ist da z.b. auch X = X +...+X eie suffiziete Statistik? Im folgede Lemma zeige wir, dass die Atwort positiv ist. Lemma Sei T eie suffiziete Statistik ud sei g : Im T (X,..., X ) R k ijektive Fuktio. Da ist auch eie suffiziete Statistik. g T : R R k, (X,..., X ) g(t (X,..., X )) 56 eie

60 Beweis. Sei t Im g(t (X,..., X )). Da T eie suffiziete Statistik ist, hägt P (θ) := P θ [X = x,..., X = x g(t (X,..., X )) = t] = P θ [X = x,..., X = x T (X,..., X ) = g (t)] icht vo θ ab. Dabei ist g (t) wohldefiiert, da g ijektiv ist. 7.. Faktorisierugssatz vo Neyma Fisher I diesem Abschitt beweise wir de Faktorisierugssatz vo Neyma Fisher. Dieser Satz bietet eie eifache Methode zur Überprüfug der Suffiziez. Sei {h θ : θ Θ} eie Familie vo Zähldichte ud X,..., X uabhägige Zufallsvariable mit Zähldichte h θ. Sei T : R R m eie Fuktio. Im ächste Lemma beutze wir folgede Notatio: () L(x,..., x ; θ) = P θ [X = x,..., X = x ] ist die Likelihood-Fuktio. () q(t; θ) = P θ [T (X,..., X ) = t], wobei t R m, ist die Zähldichte vo T (X,..., X ) uter P θ. Lemma 7... Eie Fuktio T : R R m ist geau da eie suffiziete Statistik, we für alle x,..., x Im X die Fuktio (7..) icht vo θ abhägt. Beweis. Betrachte de Ausdruck L(x,..., x ; θ) q(t (x,..., x ); θ) P (θ) := P θ [X = x,..., X = x T (X,..., X ) = t]. Im Falle t T (x,..., x ) ist die bedigte Wahrscheilichkeit gleich 0, was uabhägig vo θ ist. Sei deshalb t = T (x,..., x ). Da gilt P (θ) = P θ[x = x,..., X = x, T (X,..., X ) = t] P θ [T (X,..., X ) = T (x,..., x )] P θ [X = x,..., X = x ] = P θ [T (X,..., X ) = T (x,..., x )] = L(x,..., x ; θ) q(t (x,..., x ); θ). Somit ist T eie suffiziete Statistik geau da, we (7..) icht vo θ abhägt. Satz 7.. (Faktorisierugssatz vo Neyma Fisher). Eie Fuktio T : R R m ist eie suffiziete Statistik geau da, we es Fuktioe g : R m Θ R ud h : R R gibt, so dass für alle x,..., x R ud alle θ Θ die folgede Faktorisierug gilt: (7..) L(x,..., x ; θ) = g(t (x,..., x ); θ) h(x,..., x ). Beweis vo =. Sei T eie suffiziete Statistik. Nach Lemma 7.. ist die Fuktio { L(x,...,x ;θ) q(t (x h(x,..., x ) :=, falls x,...,x );θ),..., x Im X, 0, sost 57

61 uabhägig vo θ. Mit diesem h ud g(t; θ) = q(t; θ) gilt die Faktorisierug (7..). Beweis vo =. Es gelte die Faktorisierug (7..). Wir bezeiche mit die Summe über alle (y,..., y ) mit T (y,..., y ) = T (x,..., x ). Da gilt L(x,..., x ; θ) q(t (x,..., x ); θ) = g(t (x,..., x ); θ)h(x,..., x ) L(y,..., y ; θ) = g(t (x,..., x ); θ)h(x,..., x ) g(t (y,..., y ); θ)h(y,..., y ) = h(x,..., x ) h(y,..., y ). Dieser Ausdruck hägt icht vo θ ab. Nach Lemma 7.. ist T suffiziet. Beispiel Seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit X i Ber(θ), wobei θ (0, ). Für die Likelihood Fuktio gilt L(x,..., x ; θ) = h θ (x )... h θ (x ) = θ x ( θ) x x {0,}... θ x ( θ) x x {0,} = θ x +...+x ( θ) (x +...+x ) x,...,x {0,}. Daraus ist ersichtlich, dass die Neyma Fisher Faktorisierug (7..) mit T (x,..., x ) = x x, g(t; θ) = θ t ( θ) t, h(x,..., x ) = x,...,x {0,} gilt. Nach dem Faktorisierugssatz vo Neyma Fisher ist T suffiziet Defiitio der Suffiziez im absolut stetige Fall Bisher habe wir ur diskrete Zufallsvariable betrachtet. Seie u X,..., X absolut stetige Zufallsvariable mit Dichte h θ. Die Fuktio T : R R m sei Borel messbar. Außerdem ehme wir a, dass T (X,..., X ) ebefalls eie absolut stetige Zufallsvariable mit Dichte q(t; θ) ist. Zum Beispiel darf T icht kostat sei. Die vorherige Defiitio der Suffiziez macht im absolut stetige Fall keie Si, de das Ereigis T (X,..., X ) = t hat Wahrscheilichkeit 0. Wir beötige also eie adere Defiitio. Ei möglicher Zugag besteht dari, de Satz vo Neyma Fisher im absolut stetige Fall als Defiitio zu beutze. Die Likelihood Fuktio sei L(x,..., x ; θ) = h θ (x )... h θ (x ). Defiitio Im absolut stetige Fall heißt eie Statistik T suffiziet, we es eie Faktorisierug der Form gibt. L(x,..., x ; θ) = g(t (x,..., x ); θ) h(x,..., x ) 58

62 Beispiel Seie X,..., X uabhägige ud auf dem Itervall [0, θ] gleichverteilte Zufallsvariable, wobei θ > 0 der ubekate Parameter sei. Somit ist die Dichte vo X i gegebe durch h θ (x) = θ x [0,θ]. Wir werde u zeige, dass T (X,..., X ) = max {X,..., X } eie suffiziete Statistik ist. Für die Likelihood Fuktio gilt wobei L(x,..., x ; θ) = h θ (x )... h θ (x ) = θ x [0,θ]... x [0,θ] = θ max(x,...,x ) θ x,...,x 0 = g(t (x,..., x ); θ) h(x,..., x ), g(t; θ) = θ t θ, h(x,..., x ) = x,...,x 0. Somit ist T (X,..., X ) = max{x,..., X } eie suffiziete Statistik. Ei guter Schätzer für θ muss also eie Fuktio vo max{x,..., X } sei. Isbesodere ist der Schätzer X i diesem Sie icht gut, de er beutzt überflüssige Iformatio. Diese überflüssige Iformatio steigert die Variaz des Schätzers. Das ist der Grud dafür, dass der Schätzer + max{x,..., X } (der suffiziet ud erwartugstreu ist) eie kleiere Variaz als der Schätzer X (der ur erwartugstreu ist) hat. Beispiel Seie X,..., X uabhägige ud mit Parameter θ > 0 expoetialverteilte Zufallsvariable. Somit ist die Dichte vo X i gegebe durch h θ (x) = θ exp( θx) x 0. Wir zeige, dass T (x,..., x ) = x +...+x eie suffiziete Statistik ist. Für die Likelihood Fuktio gilt wobei L(x,..., x ; θ) = h θ (x )... h θ (x ) g(t; θ) = θ exp( θt), = θ exp( θ(x x )) x,...,x 0 = g(t (x,..., x ); θ) h(x,..., x ), h(x,..., x ) = x,...,x 0. Ei guter Schätzer für θ muss also eie Fuktio vo X X sei. Beispiel Seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit X i N(µ, σ ). Der ubekate Parameter ist θ = (µ, σ ), wobei µ R ud σ > 0. Die Aufgabe besteht u dari, eie suffiziete Statistik zu fide. Da wir ormalverteilte Zufallsvariable betrachte, gilt für die Dichte h µ,σ (x) = πσ exp ( 59 ) (x µ), x R. σ

63 Somit ist die Likelihood Fuktio gegebe durch L(x,..., x ; µ, σ ) = h µ,σ (x )... h µ,σ (x ) ( ) ( ) = exp (x πσ σ i µ) ( ) ( [ ]) = exp x πσ σ i µ x i + µ. Nu betrachte wir die Statistik T : R R mit ( ) (x,..., x ) x i, x i = (T, T ). Diese Statistik T ist suffiziet, de wir habe die Neyma Fisher Faktorisierug mit h(x,..., x ) = ud L(x,..., x ; µ, σ ) = g(t, T ; µ, σ )h(x,..., x ) g(t, T ; µ, σ ) = ( πσ ) exp Allerdigs ist T oder T allei betrachtet icht suffiziet. ( T µt + µ Bemerkug Im obige Beispiel ist die Statistik ( x, s ) mit ( ) x = x x ud s = x i x ebefalls suffiziet, de σ T = x ud T = ( )s + x. Wir köe also g(t, T ; µ, σ ) auch als eie Fuktio vo x, s ud µ, σ schreibe. Beispiel Sei {h θ : θ Θ} eie beliebige Familie vo Dichte bzw. Zähldichte, da ist die idetische Abbildug T : R R mit (x,..., x ) (x,..., x ) suffiziet. Die Suffiziez folgt aus dem Faktorisierugssatz vo Neyma Fisher, de für die Likelihood Fuktio gilt ). L(x,..., x ; θ) = h θ (x )... h θ (x ) =: g(x,..., x ; θ). Beispiel Sei {h θ : θ Θ} eie beliebige Familie vo Dichte oder Zähldichte, da ist die Statistik T : (x,..., x ) (x (),..., x () ) suffiziet. Das heißt, die Agabe der Werte der Stichprobe ohe die Agabe der Reihefolge, i der diese Werte beobachtet wurde, ist suffiziet. I der Tat, für Likelihood Fuktio gilt L(x,..., x ; θ) = h θ (x )... h θ (x ). Diese Fuktio ädert sich bei Permutatioe vo x,..., x icht ud ka somit als eie Fuktio vo T ud θ dargestellt werde. Somit habe wir eie Neyma Fisher Faktorisierug agegebe. 60

64 7.4. Vollstädigkeit Sei {h θ (x) : θ Θ} eie Familie vo Dichte bzw. Zähldichte ud seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Dichte bzw. Zähldichte h θ. Defiitio Eie Statistik T : R R m heißt vollstädig, falls für alle Borel Fuktioe g : R m R aus der Gültigkeit vo E θ g(t (X,..., X )) = 0 für alle θ Θ folgt, dass g(t (X,..., X )) = 0 fast sicher bezüglich P θ für alle θ Θ. Mit adere Worte: Es gibt keie ichttriviale erwartugstreue Schätzer vo 0, der ur auf dem Wert der Statistik T basiert. Beispiel Seie X,..., X uabhägige ud mit Parameter θ (0, ) Beroulli verteilte Zufallsvariable. I diesem Fall ist die Statistik T : (X,..., X ) (X,..., X ) icht vollstädig für. Um die Uvollstädigkeit zu zeige, betrachte wir die Fuktio g(x,..., X ) = X X. Da gilt für de Erwartugswert E θ g(t (X,..., X )) = E θ g(x,..., X ) = E θ [X X ] = 0, de X hat die gleiche Verteilug wie X. Dabei ist X X 0 fast sicher, also ist die Bedigug aus der Defiitio der Vollstädigkeit icht erfüllt. Beispiel Seie X,..., X uabhägige ud mit Parameter θ (0, ) Beroulli verteilte Zufallsvariable. Da ist die Statistik vollstädig. T (X,..., X ) = X X Beweis. Sei g : R R eie Fuktio mit E θ g(x X ) = 0 für alle θ (0, ). Somit gilt ( ) ( ) ( ) i θ 0 = g(i) θ i ( θ) i = ( θ) g(i). i i θ i=0 Betrachte die Variable z := θ. Nimmt θ alle mögliche Werte im Itervall (0, ) a, so θ immt z alle mögliche Werte im Itervall (0, ) a. Es folgt, dass ( ) g(i) z i = 0 für alle z > 0. i i=0 Also gilt für alle i = 0,...,, dass g(i) ( i) = 0 ud somit auch g(i) = 0. Hieraus folgt, dass g = 0 ud die Vollstädigkeit ist bewiese. i=0 Beispiel Seie X,..., X uabhägige ud auf [0, θ] gleichverteilte Zufallsvariable, wobei θ > 0. Da ist die Statistik T (X,..., X ) = max {X,..., X } vollstädig. 6

65 Beweis. Die Verteilugsfuktio vo T uter P θ ist gegebe durch 0, x 0, P θ [T x] = ( x θ ), 0 x θ,, x θ. Die Dichte vo T uter P θ erhält ma idem ma die Verteilugsfuktio ableitet: q(x; θ) = x θ 0 x θ. Sei u g : R R eie Borel Fuktio mit E θ g(t (X,..., X )) = 0 für alle θ > 0. Das heißt, es gilt θ θ x g(x)dx = 0 für alle θ > 0. 0 Wir köe durch θ teile: θ x g(x)dx = 0 für alle θ > 0. 0 Nu köe wir ach θ ableite: θ g(θ) = 0 ud somit g(θ) = 0 für Lebesgue fast alle θ > 0. Somit ist g(x) = 0 fast sicher bzgl. der Gleichverteilug auf [0, θ] für alle θ > 0. Es sei bemerkt, dass g auf der egative Halbachse durchaus ugleich 0 sei ka, allerdigs hat die egative Halbachse Wahrscheilichkeit 0 bzgl. der Gleichverteilug auf [0, θ] Expoetialfamilie I diesem Abschitt führe wir de Begriff der Expoetialfamilie ei. Auf der eie Seite, lässt sich für eie Expoetialfamilie sehr schell eie suffiziete ud vollstädige Statistik (ud somit, wie wir später sehe werde, der beste erwartugstreue Schätzer) kostruiere. Auf der adere Seite, sid praktisch alle Verteilugsfamilie, die wir bisher betrachtet habe, Expoetialfamilie. Sei {h θ (x) : θ Θ} eie Familie vo Dichte bzw. Zähldichte. Defiitio Die Familie {h θ (x) : θ Θ} heißt Expoetialfamilie, falls es Fuktioe a(θ), b(x), c(θ), d(x) gibt mit h θ (x) = a(θ)b(x)e c(θ)d(x). Beispiel Betrachte wir die Familie der Biomialverteiluge mit Parameter (bekat) ud θ (0, ) (ubekat). Für x {0,..., } ist die Zähldichte gegebe durch ( ) ( ) ( ) x ( ) ( ( ) ) θ θ h θ (x) = θ x ( θ) x = ( θ) = ( θ) exp log x. x x θ x θ Somit habe wir die Darstellug h θ (x) = a(θ)b(x)e c(θ)d(x) mit ( ) a(θ) = ( θ), b(x) =, c(θ) = log x 6 ( θ θ ), d(x) = x.

66 Beispiel Für die Normalverteilug mit Parameter µ R ud σ > 0 ist die Dichte gegebe durch: ( ) ( ) h µ,σ (x) = exp (x µ) ( = πσ σ exp x xµ ) ) exp exp ( µ. πσ σ σ σ Ubekates µ, bekates σ. Betrachte wir de Parameter µ als ubekat ud σ als gegebe ud kostat, so gilt die Darstellug h µ,σ (x) = a(µ)b(x)e c(µ)d(x) mit ( ) ) a(µ) = exp µ, b(x) = exp ( x, c(µ) = µ, d(x) = x. πσ σ σ σ Bekates µ, ubekates σ. Betrachte wir µ als gegebe ud kostat ud σ als ubekat, so gilt die Darstellug h µ,σ (x) = a(σ )b(x)e c(σ )d(x) mit ( ) a(σ ) = exp µ, b(x) =, c(σ ) = πσ σ σ, d(x) = xµ x. Weitere Beispiele vo Expoetialfamilie sid die Familie der Poissoverteiluge ud die familie der Expoetialverteiluge. Kei Beispiel higege ist die Familie der Gleichverteiluge auf [0, θ]. Das liegt dara, dass der Träger der Gleichverteilug vo θ abhägt. Leider bildet die Familie der Normalverteiluge, we ma sowohl µ als auch σ als ubekat betrachtet, keie Expoetialfamilie im Sie der obige Defiitio. Deshalb werde wir die obige Defiitio etwas erweiter. Defiitio Eie Familie {h θ : θ Θ} vo Dichte oder Zähldichte heißt eie m-parametrige Expoetialfamilie, falls es eie Darstellug der Form gibt. h θ (x) = a(θ)b(x)e c (θ)d (x)+...+c m(θ)d m(x) Beispiel Die Familie der Normalverteiluge mit Parameter µ R ud σ > 0 (die beide als ubekat betrachtet werde) ist eie -parametrige Expoetialfamilie, de mit h µ,σ (x) = a(µ, σ )b(x)e c (µ,σ )d (x)+c (µ,σ )d (x) a(µ, σ ) = ( ) exp µ, b(x) =, πσ σ c (µ, σ ) = σ, d (x) = x, c (µ, σ ) = µ σ, d (x) = x. Weitere Beispiele zwei-parametriger Expoetialfamilie sid die Familie der Gammaverteiluge ud die Familie der Betaverteiluge Vollstädige ud suffiziete Statistik für Expoetialfamilie Für eie Expoetialfamilie lässt sich sehr leicht eie suffiziete ud vollstädige Statistik agebe. Nämlich ist die Statistik (T,..., T m ) mit T (X,..., X ) = d (X j ),..., T m (X,..., X ) = d m (X j ) j= 63 j=

67 suffiziet. Um dies zu zeige, schreibe wir die Likelihood Fuktio wie folgt um: L(x,..., x ; θ) = h θ (x )... h θ (x ) ( m ) ( m ) = (a(θ)) b(x )... b(x ) exp c i (θ)d i (x )... exp c i (θ)d i (x ) = (a(θ)) exp (T c (θ) T m c m (θ)). Die Suffiziez vo (T,..., T m ) folgt aus dem Faktorisierugssatz vo Neyma Fisher mit h(x,..., x ) = b(x )... b(x ), g(t,..., T m ; θ) = (a(θ)) exp (T c (θ) T m c m (θ)). Ma ka zeige, dass diese Statistik auch vollstädig ist (ohe Beweis). Beispiel Betrachte wir die Familie der Normalverteiluge mit Parameter µ R ud σ > 0, wobei beide Parameter als ubekat betrachtet werde. Wir habe bereits gesehe, dass diese Familie eie zweiparametrige Expoetialfamilie mit d (x) = x ud d (x) = x ist. Somit st die Statistik (T, T ) mit T (X,..., X ) = d (X j ) = Xj, suffiziet ud vollstädig. T (X,..., X ) = j= d (X j ) = j= j= j= X j 7.7. Der beste erwartugstreue Schätzer Sei Θ = (a, b) R. Wir betrachte eie Familie vo Dichte bzw. Zähldichte {h θ : θ Θ}. Seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable auf eiem Wahrscheilichkeitsraum (Ω, A, P θ ) mit Dichte bzw. Zähldichte h θ. Wir bezeiche mit L die Mege aller Stichprobefuktioe (Schätzer) f : R R mit E θ [f(x,..., X ) ] < für alle θ Θ. Im Folgede werde wir ur Schätzer aus L betrachte. Außerdem beutze wir die folgede Abkürzug: Wir beutze ˆθ als eie Bezeichug für die Zufallsvariable ˆθ(X,..., X ). Defiitio Ei Schätzer ˆθ : R R heißt erwartugstreu (für θ), falls E θ ˆθ = θ für alle θ Θ. Wir bezeiche mit H die Mege der erwartugstreue Schätzer, d.h. H = {ˆθ L : ˆθ ist erwartugstreu}. Aufgabe Zeige Sie, dass H ei affier Uterraum ist, d.h. für alle ˆθ, ˆθ H ud alle t R ist auch tˆθ + ( t)ˆθ H. Wir habe bereits gesehe, dass es i parametrische Modelle typischerweise mehrere erwartugstreue Schätzer für de Parameter existiere. Wie wählt ma uter diese Schätzer de beste? 64

68 Defiitio Ei Schätzer ˆθ heißt bester erwartugstreuer Schätzer (für θ), falls er erwartugstreu ist ud we für jede adere erwartugstreue Schätzer θ H gilt, dass Var θ ˆθ Varθ θ für alle θ Θ. Im ächste Satz zeige wir, dass es höchstes eie beste erwartugstreue Schätzer gebe ka. Satz Seie ˆθ, ˆθ : R Θ zwei beste erwartugstreue Schätzer, da gilt ˆθ = ˆθ fast sicher uter P θ für alle θ Θ. Bemerkug Der beste erwartugstreue Schätzer muss icht i jedem parametrische Modell existiere. Es ka ämlich durchaus passiere, dass der erwartugstreue Schätzer, der die kleiste Variaz uter P θ hat, icht die kleiste Variaz uter eiem adere Wahrscheilichkeitsmaß P θ hat. Beweis. Schritt. Da beide Schätzer beste erwartugstreue Schätzer sid, stimme die Variaze dieser beide Schätzer überei, d.h. Var θ ˆθ = Var θ ˆθ für alle θ Θ. Ist u Var θ ˆθ = Var θ ˆθ = 0 für ei θ Θ, so sid ˆθ ud ˆθ fast sicher kostat uter P θ. Da beide Schätzer erwartugstreu sid, muss diese Kostate gleich θ sei ud somit muss ˆθ = ˆθ fast sicher uter P θ gelte. Die Behauptug des Satzes wäre somit gezeigt. Wir köe also im Folgede aehme, dass die beide Variaze Var θ ˆθ = Var θ ˆθ strikt positiv sid. Schritt. Da beide Schätzer erwartugstreu sid, ist auch θ = ˆθ +ˆθ erwartugstreu ud für die Variaz vo θ gilt Var θ θ = 4 Var ˆθ θ + 4 Var ˆθ θ + Cov θ(ˆθ, ˆθ ) Var ˆθ θ + Var θ ˆθ Var θ ˆθ = Var θ ˆθ. Dabei wurde die Cauchy Schwarzsche Ugleichug agewedet. Somit folgt, dass Var θ θ Var θ ˆθ. Allerdigs ist ˆθ der beste erwartugstreue Schätzer, also muss Var θ θ = Var θ ˆθ gelte. Daraus folgt, dass Cov θ (ˆθ, ˆθ ) = Var θ ˆθ = Var θ ˆθ. Schritt 3. Der Korrelatioskoeffiziet vo ˆθ ud ˆθ ist also gleich. Somit besteht ei liearer Zusammehag zwische ˆθ ud ˆθ, d.h. es gibt a = a(θ), b = b(θ) mit ˆθ = a(θ) ˆθ + b(θ) fast sicher uter P θ für alle θ Θ. Setze wir diese Zusammehag bei der Betrachtug der Kovariaz ei ud berücksichtige zusätzlich, dass wie obe gezeigt Var θ ˆθ = Cov θ (ˆθ, ˆθ ), so erhalte wir, dass Var θ ˆθ = Cov θ (ˆθ, ˆθ ) = Cov θ (ˆθ, a(θ) ˆθ + b(θ)) = a(θ) Var θ ˆθ. 65

69 Also ist a(θ) =. Schritt 4. Somit gilt ˆθ = ˆθ + b(θ). Auf Grud der Erwartugstreue der Schätzer ist b(θ) = 0, de θ = E θ ˆθ = E θ ˆθ + b(θ) = θ + b(θ). Somit folgt, dass ˆθ = ˆθ fast sicher uter P θ für alle θ Θ. Defiitio Ei Stichprobefuktio ϕ : R Θ heißt erwartugstreuer Schätzer für 0, falls E θ ϕ = 0 für alle θ Θ. Satz Sei ˆθ ei erwartugstreuer Schätzer für θ. Da sid die folgede Bediguge äquivalet: () ˆθ ist der beste erwartugstreue Schätzer für θ. () Für alle erwartugstreue Schätzer ϕ für 0 gilt, dass Cov θ (ˆθ, ϕ) = 0 für alle θ Θ. Also ist ei erwartugstreuer Schätzer geau da der beste erwartugstreue Schätzer, we er zu jedem erwartugstreue Schätzer für 0 orthogoal ist. Beweis vo =. Sei ˆθ der beste erwartugstreue Schätzer für θ ud sei ϕ : R Θ eie Stichprobefuktio mit E θ ϕ = 0 für alle θ Θ. Somit müsse wir zeige, dass Cov θ (ˆθ, ϕ) = 0 für alle θ Θ. Defiiere wir us hierfür θ = ˆθ + aϕ, a R. Da ist θ ebefalls ei erwartugstreuer Schätzer für θ, de Es gilt für die Variaz vo θ, dass E θ θ = Eθ ˆθ + a Eθ ϕ = θ. Var θ θ = Varθ ˆθ + a Var θ ϕ + a Cov θ (ˆθ, ϕ) = Var θ ˆθ + g(a), wobei g(a) = a Var θ ϕ+a Cov θ (ˆθ, ϕ). Wäre u Cov θ (ˆθ, ϕ) 0, da hätte die quadratische Fuktio g zwei verschiedee Nullstelle bei 0 ud Cov θ (ˆθ, ϕ)/ Var θ ϕ. (Wir dürfe hier aehme, dass Var θ ϕ 0, de aderfalls wäre ϕ fast sicher kostat uter P θ ud da würde Cov θ (ˆθ, ϕ) = 0 trivialerweise gelte). Zwische diese Nullstelle gäbe es ei a R mit g(a) < 0 ud es würde folge, dass Var θ θ < Varθ ˆθ. Das widerspricht aber der Aahme, dass ˆθ der beste erwartugstreue Schätzer für θ ist. Somit muss Cov θ (ˆθ, ϕ) = 0 gelte. Beweis vo =. Sei ˆθ ei erwartugstreuer Schätzer für θ. Sei außerdem Cov θ (ϕ, ˆθ) = 0 für alle erwartugstreue Schätzer ϕ für 0. Jetzt werde wir zeige, dass ˆθ der beste erwartugstreue Schätzer ist. Mit θ bezeiche wir eie adere erwartugstreue Schätzer für θ. Somit geügt es zu zeige, dass Var θ ˆθ Varθ θ. Um das zu zeige, schreibe wir θ = ˆθ + ( θ ˆθ) =: ˆθ + ϕ. Da ˆθ ud θ beide erwartugstreue Schätzer für θ sid, ist ϕ := ( θ ˆθ) ei erwartugstreuer Schätzer für 0. Für die Variaze 66

70 vo θ ud ˆθ gilt: Var θ θ = Varθ ˆθ + Varθ ϕ + Cov θ (ˆθ, ϕ) = Var θ ˆθ + Varθ ϕ Var θ ˆθ. Die letzte Ugleichug gilt, da Var θ ϕ 0. Somit ist ˆθ der beste erwartugstreue Schätzer Bedigter Erwartugswert Defiitio Sei (Ω, A, P) ei Wahrscheilichkeitsraum. Seie A A ud B A zwei Ereigisse. Da ist die bedigte Wahrscheilichkeit vo A gegebe B folgedermaße defiiert: P[A B] P[A B] =. P[B] Diese Defiitio macht ur da Si, we P[B] 0. Aalog ka ma de bedigte Erwartugswert defiiere. Defiitio Sei (Ω, A, P) ei Wahrscheilichkeitsraum ud X : Ω R eie Zufallsvariable mit E X <. Sei B A ei Ereigis. Da ist der bedigte Erwartugswert vo X gegebe B folgedermaße defiiert: E[X B] = E[X B]. P[B] Auch diese Defiitio macht ur da Si, we P[B] 0. Zwische de beide Begriffe (bedigte Wahrscheilichkeit ud bedigter Erwartugswert) besteht der folgede Zusammehag: P[A B] = E[ A B]. Wir habe aber gesehe (z.b. bei der Defiitio der Suffiziez im absolut stetige Fall), dass ma oft bedigte Wahrscheilichkeite oder Erwartugswerte auch im Falle P[B] = 0 betrachte muss. I diesem Abschitt werde wir eie allgemeie Defiitio des bedigte Erwartugswerts gebe, die das (zumidest i eiige Fälle) möglich macht. Sei X : Ω R eie Zufallsvariable, defiiert auf dem Wahrscheilichkeitsraum (Ω, A, P) mit E X <. Sei B A eie Teil σ Algebra vo A, d.h. für jede Mege B B gelte auch B A. I diesem Abschitt werde wir de bedigte Erwartugswert vo X gegebe die σ Algebra B defiiere. Sei zuächst X 0 fast sicher. Schritt. Sei Q ei Maß auf dem Messraum (Ω, B) mit Q(B) = E[X B ] für alle B B. Das Maß Q ist edlich, de Q(Ω) = EX < ach Voraussetzug. Es sei bemerkt, dass das Maß Q auf (Ω, B) ud icht auf (Ω, A) defiiert wurde. Das Wahrscheilichkeitsmaß 67

71 P higege ist auf (Ω, A) defiiert, wir köe es aber auch auf die kleiere σ Algebra B eischräke ud als ei Wahrscheilichkeitsmaß auf (Ω, B) betrachte. Schritt. Ist u B B eie Mege mit P[B] = 0, so folgt, dass Q(B) = E[X B ] = 0, de die Zufallsvariable X B ist P-fast sicher gleich 0. Somit ist Q absolut stetig bezüglich P auf (Ω, B). Nach dem Satz vo Rado Nikodym gibt es eie Fuktio Z, die messbar bezüglich B ist, mit E[Z B ] = E[X B ] für alle B B. Es sei bemerkt, dass X A messbar ist, wohigege Z lediglich B messbar ist. Wir ee die Zufallsvariable Z de bedigte Erwartugswert vo X gegebe B ud schreibe E[X B] = Z. Schritt 3. Sei u X eie beliebige (icht ubedigt positive) Zufallsvariable auf (Ω, A, P) mit. Sei B A ach wie vor eie Teil σ Algebra. Wir habe die Darstellug X = X + X mit X + 0 ud X 0. Die bedigte Erwartug vo X gegebe B ist defiiert durch E[X B] = E[X + B] E[X B]. Wir köe u die obige Überleguge zu folgeder Defiitio zusammefasse. Defiitio Sei X eie Zufallsvariable mit E X <, defiiert auf eiem Wahrscheilichkeitsraum (Ω, A, P). (Somit ist X A messbar). Sei B A eie Teil σ Algebra. Eie Fuktio Z : Ω R heißt bedigter Erwartugswert vo X gegebe B, falls () Z ist B messbar. () E[Z B ] = E[X B ] für alle B B. Wir schreibe da E[X B] = Z. Bemerkug Die bedigte Erwartug E[X B] ist eie Zufallsvariable, keie Kostate. Die Existez vo E[X B] wurde bereits obe mit dem Satz vo Rado Nikodym bewiese. Der bedigte Erwartugswert ist bis auf P-Nullmege eideutig defiiert. Das folgt aus der etsprechede Eigeschaft der Dichte im Satz vo Rado Nikodym. Beispiel Sei (Ω, A, P) ei Wahrscheilichkeitsraum. Betrachte eie disjukte Zerlegug Ω = Ω... Ω, wobei Ω i A ud P[Ω i ] 0. Sei B die σ Algebra, die vo {Ω,..., Ω } erzeugt wird. Somit ist B = {Ω ε... Ω ε : ε,..., ε {0, }}, wobei Ω i = Ω i ud Ω 0 i =. Sei X eie beliebige (A messbare) Zufallsvariable auf Ω mit E X <. Für de bedigte Erwartugswert vo X geegebe B gilt: Z(ω) := E[X B](ω) = E[X Ω i ]. P[Ω i ] Beweis. Beachte, dass Z := E[X B] B messbar sei muss. Also ist Z kostat auf jeder Mege Ω i. Sei also Z(ω) = c i für ω Ω i. Es muss außerdem gelte, dass E[X Ωi ] = E[Z Ωi ] = c i P[Ω i ]. Daraus folgt, dass c i = E[X Ωi ]/P[Ω i ] sei muss. 68

72 Beispiel Sei Ω = [0, ]. Sei A die Borel σ Algebra auf [0, ] ud P das Lebesgue Maß. Sei X : [0, ] R eie (A messbare) Zufallsvariable mit E X <. Sei B A eie Teil σ Algebra vo A mit B = {C [0, ] : C [0, ] ist Borel}. Da ist der bedigte Erwartugswert vo X gegebe B gegebe durch: Z(s, t) := E[X B](s, t) = 0 X(s, t)dt, (s, t) [0, ]. Beweis. Wir zeige, dass die soebe defiierte Fuktio Z die beide Bediguge aus der Defiitio der bedigte Erwartug erfüllt. Zuächst ist Z(s, t) eie Fuktio, die ur vo s abhägt. Somit ist Z messbar bzgl. B. Außerdem gilt für jede B messbare Mege B = C [0, ], dass ( ) E[Z C [0,] ] = Z(s, t)dsdt = Z(s, t)dt ds = E[X C [0,] ]. C [0,] Somit ist auch die zweite Bedigug erfüllt. Beispiel Sei X : Ω R eie Zufallsvariable mit E X <, defiiert auf eiem Wahrscheilichkeitsraum (Ω, A, P). Da gilt () E[X {0, }] = EX. () E[X A] = X. Beweis. Übug. C 0 Satz Sei X, Y : Ω R Zufallsvariable (beide A messbar) mit E X <, E Y <, defiiert auf dem Wahrscheilichkeitsraum (Ω, A, P). Sei B A eie Teil σ Algebra vo A. () Es gilt die Formel der totale Erwartug: E[E[X B]] = EX. () Aus X Y fast sicher folgt, dass E[X B] E[Y B] fast sicher. (3) Für alle a, b R gilt E[aX + by B] = a E[X B] + b E[Y B] fast sicher. (4) Falls Y sogar B messbar ist ud E XY <, da gilt Beweis. Übug. E[XY B] = Y E[X B] fast sicher. Besoders oft wird die Defiitio der bedigte Erwartug im folgede Spezialfall beutzt. Defiitio Seie X ud Y zwei A messbare Zufallsvariable auf eiem Wahrscheilichkeitsraum (Ω, A, P). Sei σ(y ) = {Y (C) : C R Borel} die vo Y erzeugte σ Algebra. Der bedigte Erwartugswert vo X gegebe Y ist defiiert durch E[X Y ] = E[X σ(y )]. 69

73 Bemerkug Aus der Messbarkeit des bedigte Erwartugswertes bzgl. σ(y ) ka ma herleite, dass E[X Y ] eie Borel Fuktio vo Y sei muss. Es gibt also eie Borel Fuktio g : R R mit E[X Y ] = g(y ) fast sicher. Wir schreibe da E[X Y = t] = g(t). Dabei darf P[Y = t] auch 0 sei. Bemerkug Seie X, Y zwei diskrete Zufallsvariable mit gemeisamer Zähldichte f X,Y (s, t) = P[X = s, Y = t] ud die Zähldichte vo Y sei f Y (t). Da gilt für de bedigte Erwartugswert E[X Y ](ω) = E[X Y = t] = s P[X = s Y = t]s = s f X,Y (s, t)s, we Y (ω) = t. f Y (t) Seie X, Y zwei absolut stetige Zufallsvariable mit gemeisamer Dichte f X,Y (s, t) ud die Dichte vo Y sei f Y (t). Ma ka zeige, dass da für de bedigte Erwartugswert eie ähliche Formel gilt: E[X Y ](ω) = E[X Y = t] = Diese Formel hat Si, we f Y (t) 0. f R X,Y (s, t)sds, we Y (ω) = t. f Y (t) Beispiel I diesem Beispiel betrachte wir zwei faire Müze. Seie X ud X zwei Zufallsvariable, die de Wert aehme, we die erste bzw. die zweite Müze Kopf zeigt, ud de Wert 0 sost. Sei Y = X + X. Wir bestimme E[X Y ]. Lösug. Die Grudmege ist Ω = {0, } = {00, 0, 0, }. Wir zerlege die Grudmege Ω mit Hilfe vo Y i Für ω Ω 0 gilt Für ω Ω gilt Für ω Ω gilt Ω 0 = Y (0) = {00}, Ω = Y () = {0, 0}, Ω = Y () = {}. E[X Y ](ω) = E[X Ω0 ] P[Ω 0 ] E[X Y ](ω) = E[X Ω ] P[Ω ] E[X Y ](ω) = E[X Ω ] P[Ω ] = 0 /4 = 0. = /4 / =. = /4 /4 =. Zusammefassed gilt E[X Y ] = E[X X + X ] = (X + X ). 70

74 7.9. Satz vo Lehma Scheffé Sei {h θ : θ Θ} mit Θ = (a, b) eie Familie vo Dichte bzw. Zähldichte ud X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Dichte bzw. Zähldichte h θ. Satz 7.9. (Lehma Scheffé). Sei ˆθ L ei erwartugstreuer, suffizieter ud vollstädiger Schätzer für θ. Da ist ˆθ der beste erwartugstreue Schätzer für θ. Bevor wir de Satz beweise, betrachte wir eie Reihe vo Beispiele. Beispiel Seie X,..., X uabhägig ud gleichverteilt auf [0, θ], wobei θ > 0 geschätzt werde soll. Wir habe bereits gezeigt, dass X () = max {X,..., X } eie suffiziete ud vollstädige Statistik ist. Jedoch ist der Schätzer X () icht erwartugstreu, de E θ X () = + θ. Deshalb betrachte wir de Schätzer ˆθ(X,..., X ) := + X () = + max {X,..., X }. Dieser Schätzer ist erwartugstreu, suffiziet ud vollstädig. Nach dem Satz vo Lehma Scheffé ist somit +X () der beste erwartugstreue Schätzer für θ. Beispiel Seie X,..., X uabhägige, mit Parameter θ [0, ] Beroulli verteilte Zufallsvariable. Der Schätzer X ist erwartugstreu, suffiziet ud vollstädig ud somit bester erwartugstreuer Schätzer für θ. Diese Argumetatio greift auch für uabhägige, mit Parameter θ > 0 Poisso verteilte Zufallsvariable. Dabei ist der Beweis der Suffiziez ud Vollstädigkeit eie Übug. Beispiel Seie X,..., X uabhägig ud ormalverteilt mit bekater Variaz σ > 0 ud ubekatem Erwartugswert µ R. Diese Verteiluge bilde eie Expoetialfamilie ud die Statistik X ist vollstädig ud suffiziet. Außerdem ist X erwartugstreu. Der beste erwartugstreue Schätzer für µ ist somit X. Versuche wir u, µ als Parameter zu betrachte ud zu schätze. Der Schätzer X ist icht erwartugstreu, de E µ X = Var µ X + (E µ X ) = σ + µ. Deshalb betrachte wir de Schätzer X σ. Dieser Schätzer ist erwartugstreu, suffiziet ud vollstädig (Übug) ud somit bester erwartugstreuer Schätzer für µ. Beweis vo Satz Sei ˆθ ei erwartugstreuer, suffizieter ud vollstädiger Schätzer für θ. Wir wolle zeige, dass ˆθ bester erwartugstreuer Schätzer für θ ist. Sei ϕ : R R ei erwartugstreuer Schätzer für 0, d.h. E θ ϕ = 0 für alle θ Θ. Wir zeige, dass E θ [ˆθϕ] = 0. Dieser Erwartugswert ka mit Hilfe der bedigte Erwartug umgeschriebe werde zu E θ [ˆθϕ] = E θ [E θ [ˆθϕ ˆθ] = E θ [ˆθE θ [ϕ ˆθ]] = E θ [ˆθg(ˆθ)], 7

75 wobei g(ˆθ) = E θ [ϕ ˆθ]. Die Fuktio g ist uabhägig vo θ, da ˆθ suffiziet ist. Es gilt E θ [g(ˆθ)] = E θ [E θ [ϕ ˆθ]] = E θ [ϕ] = 0, da ϕ ei erwartugstreuer Schätzer für 0 ist. Somit folgt durch die Vollstädigkeit vo ˆθ, dass g = 0 fast sicher uter P θ ist. Also gilt E θ [ˆθϕ] = E θ [ˆθ 0] = 0. Wir habe gezeigt, dass ˆθ orthogoal zu jedem erwartugstreue Schätzer vo 0 ist. Laut Satz ist ˆθ der beste erwartugstreue Schätzer für θ. 7

76 KAPITEL 8 Wichtige statistische Verteiluge I diesem Kapitel werde wir die wichtigste statistische Verteilugsfamilie eiführe. Zu diese zähle ebe der Normalverteilug die folgede Verteilugsfamilie: () Gammaverteilug (Spezialfälle: χ Verteilug ud Erlag Verteilug); () Studet t Verteilug; (3) Fisher Sedecor F Verteilug. Diese Verteiluge werde wir später für die Kostruktio vo Kofidezitervalle ud statistische Tests beötige. 8.. Gammafuktio ud Gammaverteilug Defiitio 8... Die Gammafuktio ist gegebe durch Γ(α) = 0 t α e t dt, α > Abbildug. Der Graph der Gammafuktio. Folgede Eigeschafte der Gammafuktio werde oft beutzt: () Γ(α + ) = αγ(α). () Γ() = ( )!, falls N. (3) Γ( ) = π. Die letzte Eigeschaft ka ma wie folgt beweise: Mit t = w ud dt = wdw gilt ( ) Γ = t e t w dt = w e wdw = e w dw = π,

77 de e w 0 dw = π. Defiitio 8... Eie Zufallsvariable X ist Gammaverteilt mit Parameter α > 0 ud λ > 0, falls für die Dichte vo X gilt f X (x) = Notatio X Gamma(α, λ). Aufgabe Zeige Sie, dass 0 λα Γ(α) xα e λx, x > 0. λ α Γ(α) xα e λx dx =. Bemerkug Die Gammaverteilug mit Parameter α = ud λ > 0 hat Dichte λe λt, t > 0, ud stimmt somit mit der Expoetialverteilug mit Parameter λ überei Abbildug. Dichte der Gammaverteiluge mit verschiedee Werte des Parameters α. Liks: α <. Mitte: α = (Expoetialverteilug). Rechts: α >. Satz Sei X Gamma(α, λ) eie Gammaverteilte Zufallsvariable. Da sid die Laplace Trasformierte m X (t) := Ee tx ud die charakteristische Fuktio ϕ X (t) := Ee itx gegebe durch m X (t) = ( ) t α (für t < λ), ϕ X (t) = λ Beweis. Für die Laplace Trasformierte ergibt sich m X (t) = e tx 0 λα Γ(α) xα e λx dx = λα Γ(α) ( ) it α (für t R). λ 0 x α e (λ t)x dx. Dieses Itegral ist für t < λ koverget. Idem wir u w = (λ t)x eisetze, erhalte wir, dass ( ) α m X (t) = λα w w dw e Γ(α) λ t λ t = λα w α e w dw = Γ(α) (λ t) α ( t. λ )α 0 We ma u komplexe Werte vo t zulässt, da sid die obige Itegrale i der Halbebee Re t < λ koverget. Somit stellt m X (t) eie aalytische Fuktio i der Halbebee Re t < λ dar ud ist für reelle Werte vo t gleich /( t λ )α. Nach dem Prizip der aalytische Fortsetzug (Fuktioetheorie) muss diese Formel i der gaze Halbebee gelte. Idem wir u die Formel für Zahle der Form t = is beutze (die i der Halbebee für alle s R liege), erhalte wir, dass ϕ X (s) = m X (is) = ( is. λ )α 74 0

78 Somit ist die Formel für die charakteristische Fuktio bewiese. Aufgabe Zeige Sie, dass für X Gamma(α, λ) gilt EX = α λ, Var X = α λ. Der ächste Satz heißt die Faltugseigeschaft der Gammaverteilug. Satz Sid die Zufallsvariable X Gamma(α, λ) ud Y Gamma(β, λ) uabhägig, da gilt für die Summe X + Y Gamma(α + β, λ). Beweis. Für die charakteristische Fuktio vo X + Y gilt wege der Uabhägigkeit ϕ X+Y (t) = ϕ X (t) ϕ Y (t) = ( it λ )α ( it = λ )β ( it. λ )α+β Dies ist die charakteristische Fuktio eier Gamma(α + β, λ) Verteilug. Da die charakteristische Fuktio die Verteilug eideutig bestimmt, muss X + Y Gamma(α + β, λ) gelte. 8.. χ Verteilug Defiitio 8... Seie X,..., X N(0, ) uabhägige ud stadardormalverteilte Zufallsvariable. Da heißt die Verteilug vo X X die χ Verteilug mit Freiheitsgrade. Notatio 8... X X χ Abbildug 3. Dichte der χ Verteiluge mit =,..., 0 Freiheitsgrade. Wir werde u zeige, dass die χ Verteilug ei Spezialfall der Gammaverteilug ist. Zuerst betrachte wir die χ Verteilug mit eiem Freiheitsgrad. 75

79 Satz Sei X N(0, ). Da ist X Gamma(, ). Symbolisch: χ d = Gamma(, ). Beweis. Wir bestimme die Laplace Trasformierte vo X : ( ) m X (t) = Ee tx = e tx e x dx = π π R R e t x dx = t. Das gilt für komplexe t mit Re t <. Isbesodere erhalte wir mit t = is, dass für die charakteristische Fuktio vo X gilt ϕ X (s) = is, s R. Dies etspricht der charakteristische Fuktio eier Gammaverteilug mit Parameter α = / ud λ = /. Da die charakteristische Fuktio die Verteilug eideutig festlegt, erhalte wir, dass X Gamma(, ). Satz Seie X,..., X N(0, ) uabhägige Zufallsvariable. Da gilt ( X X Gamma, ). Symbolisch: χ d = Gamma(, ). Beweis. Wir habe bereits gezeigt, dass X,..., X Gamma(, ). Außerdem sid die Zufallsvariable X,..., X uabhägig. Der Satz folgt aus der Faltugseigeschaft der Gam- maverteilug. Bemerkug Die Dichte eier χ Verteilug ist somit gegebe durch f(x) = Γ( e x, x > 0. )x Beispiel Seie X, X N(0, ) uabhägige Zufallsvariable. Da gilt ( X + X Gamma, ) ( ) Exp. Symbolisch: χ d = Exp( ) Poisso Prozess ud die Erlag Verteilug Um de Poisso Prozess eizuführe, betrachte wir folgedes Modell. Ei Gerät, das zum Zeitpukt 0 istalliert wird, habe eie Lebesdauer W. Sobald dieses Gerät kaputt geht, wird es durch ei eues baugleiches Gerät ersetzt, das eie Lebesdauer W hat. Sobald dieses Gerät kaputt geht, wird ei eues Gerät istalliert, ud so weiter. Die Lebesdauer des i te Gerätes sei mit W i bezeichet. Die Zeitpukte S = W W, N, 76

80 bezeichet ma als Ereuerugszeite, de zu diese Zeite wird ei eues Gerät istalliert. Folgede Aahme über W, W,... erscheie plausibel. Wir ehme a, dass W, W,... Zufallsvariable sid. Da ei Gerät ichts vo der Lebesdauer eies adere mitbekomme ka, ehme wir a, dass die Zufallsvariable W, W,... uabhägig sid. Da alle Geräte die gleiche Bauart habe, ehme wir a, dass W, W,... idetisch verteilt sid. Welche Verteilug soll es u sei? Es erscheit plausibel, dass diese Verteilug gedächtislos sei muss, also werde wir aehme, dass W, W,... expoetialverteilt sid. Defiitio Seie W, W,... uabhägige ud mit Parameter λ > 0 expoetialverteilte Zufallsvariable. Da heißt die Folge S, S,... mit S = W W ei Poisso Prozess mit Itesität λ. Abbildug 4. Eie Realisierug des Poisso Prozesses. Wie ist u die te Ereuerugszeit S verteilt? Da W i Exp(λ) Gamma(, λ) ist, ergibt sich aus der Faltugseigeschaft der Gammaverteilug, dass S Gamma(, λ). Diese Verteilug (also die Gamma(, λ) Verteilug, wobei eie atürliche Zahl ist), et ma auch die Erlag Verteilug. Aufgabe Zeige Sie, dass ES = λ ud Var S = λ. Wir werde u kurz auf die Bezeichug Poisso Prozess eigehe. Betrachte ei Itervall I = [a, b] [0, ) der Läge l := b a. Sei N(I) eie Zufallsvariable, die die Azahl der Ereueruge im Itervall I zählt, d.h.: N(I) = Sk I. Satz Es gilt N(I) Poi(λl). k= Beweisidee. Betrachte ei sehr kleies Itervall [t, t + δ], wobei δ 0. Da gilt aufgrud der Gedächtislosigkeit der Expoetialverteilug P[ Ereuerug im Itervall [t, t + δ]] = P[ Ereuerug im Itervall [0, δ]]. Die Wahrscheilichkeit, dass es midestes eie Ereuerug im Itervall [0, δ] gibt, lässt sich aber folgedermaße bereche: P[ Ereuerug im Itervall [0, δ]] = P[W < δ] = e λδ λδ. Wir köe u ei beliebiges Itervall I der Läge l i l/δ kleie disjukte Itervalle der Läge δ zerlege. Für jedes kleie Itervall der Läge δ ist die Wahrscheilichkeit, dass es i diesem Itervall midestes eie Ereuerug gibt, λδ. Außerdem sid verschiedee kleie Itervalle wege der Gedächtislosigkeit der Expoetialverteilug uabhägig voeieder. Somit gilt für die Azahl der Ereueruge N(I) i eiem Itervall I der Läge l ( ) l N(I) Bi δ, λδ Poi(λl), 77

81 wobei wir im letzte Schritt de Poisso Grezwertsatz beutzt habe Empirischer Erwartugswert ud empirische Variaz eier ormalverteilte Stichprobe Der ächste Satz beschreibt die gemeisame Verteilug des empirische Erwartugswerts X ud der empirische Variaz S eier ormalverteilte Stichprobe. Satz Seie X,..., X uabhägige ud ormalverteilte Zufallsvariable mit Parameter µ R ud σ > 0. Defiiere X = X X, S = (X i X ). Da gelte folgede drei Aussage: () X N(µ, σ ). () ( )S χ σ. (3) Die Zufallsvariable X ud ( )S σ sid uabhägig. Bemerkug Teil 3 ka ma auch wie folgt formuliere: Die Zufallsvariable X ud S sid uabhägig. Beweis vo Teil. Nach Voraussetzug sid X,..., X ormalverteilt mit Parameter (µ, σ ) ud uabhägig. Aus der Faltugseigeschaft der Normalverteilug folgt, dass die Summe X +...+X ormalverteilt mit Parameter (µ, σ ) ist. Somit ist X ormalverteilt mit Parameter (µ, σ ). Die folgede Überlegug vereifacht die Notatio im Rest des Beweises. Betrachte die stadardisierte Zufallsvariable X i = X i µ N(0, ). σ Es seie X der empirische Mittelwert ud S die empirische Variaz dieser Zufallsvariable. Da gilt X = (σx i + µ) = σ X + µ, S = σ (X i X ) = σ S. Um die Uabhägigkeit vo X ud S zu zeige, reicht es, die Uabhägigkeit vo X ud zu zeige. Außerdem ist S ( )S σ = 78 ( )S.

82 Für de Rest des Beweises köe wir also aehme, dass X,..., X stadardormalverteilt sid, asoste ka ma stattdesse X,..., X betrachte. Seie also X,..., X N(0, ). Wir zeige, dass X ud S u- Beweis vo Teil 3. abhägig sid. Schritt. Wir köe S als eie Fuktio vo X X,..., X X auffasse, de wege (X i X ) = 0 gilt ( ( )S = (X i X )) + (X i X ) = ρ(x X,..., X X ), wobei i= i= ( ) ρ(x,..., x ) = x i + i= x i. Somit geügt es zu zeige, dass die Zufallsvariable X ud der Zufallsvektor (X X,..., X X ) uabhägig sid. Schritt. Dazu bereche wir die gemeisame Dichte vo ( X, X X,..., X X ). Die gemeisame Dichte vo (X,..., X ) ist ach Voraussetzug ( ) ( ) f(x,..., x ) = exp x i. π Betrachte u die Fuktio ψ : R R mit ψ = (ψ,..., ψ ), wobei ψ (x,..., x ) = x, ψ (x,..., x ) = x x,..., ψ (x,..., x ) = x x. Die Umkehrfuktio φ = ψ ist somit gegebe durch φ = (φ,..., φ ) mit φ (y,..., y ) = y y i, φ (y,..., y ) = y + y,..., φ (y,..., y ) = y + y. i= Die Jacobi Determiate vo φ ist kostat (ud gleich, wobei dieser Wert eigetlich icht beötigt wird). Schritt 3. Für die Dichte vo ( X, X X,..., X X ) = ψ(x,..., X ) gilt mit dem Dichtetrasformatiossatz g(y,..., y ) = f(x,..., x ) ( = exp y (π) = (π) ( ) exp y exp 79 i= ) y i i= i= (y + y i ) i= ( ) yi y i. i=

83 Somit ist X uabhägig vo (X X,..., X X ). Beweis vo Teil. Es gilt die Idetität Z := Xi = (X i X ) + ( X ) =: Z + Z. Dabei gilt: () Z χ ach Defiitio der χ Verteilug. () Z χ, de X N(0, ). (3) Z ud Z sid uabhägig (wege Teil 3 des Satzes). Damit ergibt sich für die charakteristische Fuktio vo Z : ϕ Z (t) = ϕ Z(t) ϕ Z (t) = ( it) ( it) = ( it) ( )/. Somit ist ( )S = Z Gamma(, ) d = χ t Verteilug Defiitio Seie X N(0, ) ud U χ r uabhägige Zufallsvariable, wobei r N. Die Zufallvariable V = X U r heißt t verteilt mit r Freiheitsgrade. Notatio V t r Abbildug 5. Dichte der t r Verteiluge mit r =,..., 5 Freiheitsgrade. 80

84 Satz Die Dichte eier t verteilte Zufallsvariable V t r ist gegebe durch f V (t) = Γ( r+ ) Γ( r ) rπ( + t ) r+ r, t R. Beweis. Nach Defiitio der t Verteilug gilt die Darstellug V = wobei X N(0, ) ud U χ r uabhägig sid. Die gemeisame Dichte vo X ud U ist gegebe durch f X,U (x, u) = e x u r e u, x R, u > 0. π r Γ( r ) Betrachte wir u die Abbildug (x, u) (v, w) mit v = x u, w = u. r Die Umkehrabbildug ist somit x = v w ud u = w. Die Jacobi Determiate der Umkehrabbildug ist w. Somit gilt für die gemeisame Dichte vo (V, W ) r r w f V,W (v, w) = f X,Y (x, y) r = ( ) exp v r w w e w w π r r Γ( r ) r. 0 X, U r Somit ka die Dichte vo V wie folgt berechet werde: ( ( v f V (v) = f V,W (v, w)dw = πr r/ Γ( r ) exp w r + )) w r+ dw. 0 Mit der Formel w α e λw dw = Γ(α) 0 λ α f V (v) = Γ( r+ πr r/ Γ( r ) ( v + ) = r+ r Dies ist geau die gewüschte Formel. berechet sich das Itegral zu ) Γ( r+ ) Γ( r ) rπ( + v ) r+ r. Beispiel Die Dichte der t verteilug ist f V (t) = π Dichte der Cauchy Verteilug überei. ud stimmt somit mit der +t Aufgabe Zeige Sie, dass für r die Dichte der t r Verteilug puktweise gege die Dichte der Stadardormalverteilug kovergiert. Satz Seie X,..., X uabhägige ud ormalverteilte Zufallsvariable mit Parameter (µ, σ ). Da gilt X µ σ N(0, ), 8 X µ S t.

85 Beweis. Die erste Formel folgt aus der Tatsache, dass X N(µ, σ ). Wir beweise die zweite Formel. Es gilt die Darstellug X µ σ X µ S =. ( )S σ Da ach Satz 8.4. die Zufallsvariable X µ N(0, ) ud ( )S χ σ σ uabhägig sid, hat X µ S eie t Verteilug mit Freiheitsgrade F Verteilug Defiitio Seie r, s N Parameter. Seie U r χ r ud U s χ s uabhägige Zufallsvariable. Da heißt die Zufallsvariable W = U r/r U s /s F -verteilt mit (r, s) Freiheitsgrade. Notatio W F r,s Abbildug 6. Dichte der F Verteilug mit (0, 8) Freiheitsgrade. Satz Die Dichte eier F verteilte Zufallsvariable W F r,s ist gegebe durch ) r t r f W (t) = r+s Γ( ) ( r Γ( r )Γ( s) s ( r+s + r t) s, t > 0. Beweis. Wir werde die Dichte ur bis auf die multiplikative Kostate bereche. Die Kostate ergibt sich da aus der Bedigug, dass die Dichte sich zu itegriert. Wir schreibe f(t) g(t), falls f(t) = Cg(t), wobei C eie Kostate ist. Wir habe die Darstellug W = U r/r U s /s, 8

86 wobei U r χ r ud U s χ s uabhägig sid. Für die Dichte vo U r ud U s gilt f Ur (x) x r e x/, f Us (x) x s e x/, x > 0. Somit folgt für die Dichte vo U r /r ud U s /s, dass f Ur/r(x) x r e rx/, f Us/s(x) x s e sx/, x > 0. Für die Dichte vo W gilt die Faltugsformel: f W (t) = y f Ur/r(yt)f Us/s(y)dy. Idem wir u die Dichte vo U r /r ud U s /s eisetze, erhalte wir, dass ( f W (t) y(yt) r e ryt s y e sy r r dy t + y + s exp y 0 Mit der Formel y α e λy dy = Γ(α) 0 λ α f W (t) t r R 0 berechet sich das Itegral zu (rt + s) r+s ( + r r+s t) s Dies ist geau die gewüschte Dichte, bis auf eie multiplikative Kostate. t r. ( rt + s )) dy. 83

87 KAPITEL 9 Kofidezitervalle Sei {h θ (x) : θ Θ} eie Familie vo Dichte bzw. Zähldichte. I diesem Kapitel ist Θ = (a, b) R ei Itervall. Seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Dichte bzw. Zähldichte h θ. Wir habe us bereits mit der Frage beschäftigt, wie ma de Parameter θ ahad der Stichprobe schätze ka. Bei eier solche Schätzug bleibt aber uklar, wie groß der mögliche Fehler, also die Differez ˆθ θ, ist. I der Statistik begügt ma sich ormalerweise icht mit der Agabe eies Schätzers, soder versucht auch de Schätzfehler abzuschätze, idem ma ei sogeates Kofidezitervall für θ agibt. Das Ziel ist es, das Itervall so zu kostruiere, dass es de wahre Wert des Parameters θ mit eier große Wahrscheilichkeit (typischerweise 0.99 oder 0.95) ethält. Defiitio Sei α (0, ) eie kleie Zahl, typischerweise α = 0.0 oder α = Es seie θ : R R { } ud θ : R R {+ } zwei Stichprobefuktioe mit θ(x,..., x ) θ(x,..., x ) für alle x,..., x R. Wir sage, dass [θ, θ] ei Kofidezitervall für θ zum Kofideziveau α (0, ) ist, falls P θ [θ(x,..., X ) θ θ(x,..., X )] α für alle θ Θ. Somit ist die Wahrscheilichkeit, dass das zufällige Itervall (θ, θ) de richtige Wert θ ethält, midestes α, also typischerweise 0.99 oder Die allgemeie Vorgehesweise bei der Kostruktio der Kofidezitervalle ist diese: Ma versucht, eie sogeate Pivot Statistik zu fide, d. h. eie Fuktio T (X,..., X ; θ) der Stichprobe (X,..., X ) ud des ubekate Parameters θ mit der Eigeschaft, dass die Verteilug vo T (X,..., X ; θ) uter P θ icht vo θ abhägt ud explizit agegebe werde ka. Das heißt, es soll gelte, dass P θ [T (X,..., X ; θ) t] = F (t), wobei F (t) icht vo θ abhägt. Dabei soll die Fuktio T (X,..., X ; θ) de Parameter θ tatsächlich auf eie ichttriviale Weise ethalte. Für α (0, ) bezeiche wir mit Q α das α Quatil der Verteilugsfuktio F, d. h. die Lösug der Gleichug F (Q α ) = α. Da gilt [ P θ Q α T (X,..., X ; θ) Q α ] = α für alle θ Θ. Idem wir u diese Ugleichug ach θ auflöse, erhalte wir ei Kofidezitervall für θ zum Kofideziveau α. Im Folgede werde wir verschiedee Beispiele vo Kofidezitervalle betrachte. 84

88 9.. Kofidezitervalle für die Parameter der Normalverteilug I diesem Abschitt seie X,..., X N(µ, σ ) uabhägige ud mit Parameter (µ, σ ) ormalverteilte Zufallsvariable. User Ziel ist es, Kofidezitervalle für µ ud σ zu kostruiere. Dabei werde wir vier Fälle betrachte: () Kofidezitervall für µ bei bekatem σ. () Kofidezitervall für µ bei ubekatem σ. (3) Kofidezitervall für σ bei bekatem µ. (4) Kofidezitervall für σ bei ubekatem µ. Fall : Kofidezitervall für µ bei bekatem σ. Es seie also X,..., X N(µ, σ ) uabhägig, wobei µ ubekat ud σ bekat seie. Wir kostruiere ei Kofidezitervall für µ. Ei atürlicher Schätzer für µ ist X. Wir habe gezeigt, dass Wir werde u X stadardisiere: X N X µ σ (µ, σ ). N(0, ). Für α (0, ) sei z α das α Quatil der Stadardormalverteilug. D.h., z α sei die Lösug der Gleichug Φ(z α ) = α, wobei Φ die Verteilugsfuktio der Stadardormalverteilug bezeichet. Somit gilt P µ [z α X µ σ Nach µ umgeformt führt dies zu [ P µ X z α z α σ µ X z α ] = α für alle µ R. σ ] = α für alle µ R. Wege der Symmetrie der Normalverteilug ist z α = z α. Somit ist ei Kofidezitervall zum Niveau α für µ gegebe durch [ X z α Der Mittelpukt dieses Itervalls ist X. σ, X + z α ] σ. Bemerkug 9... Ma ka auch ichtsymmetrische Kofidezitervalle kostruiere. Wähle dazu α 0, α 0 mit α = α + α. Da gilt [ P µ z α X ] µ z α = α für alle µ R. σ Nach µ umgeformt führt dies zu P µ [ X z α σ µ X z α σ ] = α für alle µ R. 85

89 Wege z α = z α führt dies zu folgedem Kofidezitervall für µ: [ X z α σ, X + z α σ ]. Iteressiert ma sich z. B. ur für eie obere Schrake für µ, so ka ma α = α ud α = 0 wähle. Da erhält ma folgedes Kofidezitervall für µ: [, X + z α σ ]. Die Kostruktio der ichtsymmetrische Kofidezitervalle lässt sich auch für die achfolgede Beispiele durchführe, wird aber hier icht mehr wiederholt. Fall : Kofidezitervall für µ bei ubekatem σ. Es seie X,..., X N(µ, σ ) uabhägig, wobei µ ud σ beide ubekat seie. Wir kostruiere ei Kofidezitervall für µ. Es gilt zwar ach wie vor, dass X µ N(0, ), wir köe das aber icht für die σ Kostruktio eies Kofidezitervalls für µ beutze, de der Parameter σ ist ubekat. Wir werde deshalb σ durch eie Schätzer, ämlich S = (X i X ), ersetze. Wir habe im vorige Kapitel gezeigt, dass X µ S t. Sei t,α das α Quatil der t Verteilug. Somit gilt [ P µ,σ t, α X ] µ t, α = α für alle µ R, σ > 0. S Nach µ umgeformt führt dies zu [ P µ,σ X t, α S µ X t, α S ] = α für alle µ R, σ > 0. Wege der Symmetrie der t Verteilug gilt t, α = t, α. Somit erhalte wir folgedes Kofidezitervall für µ zum Niveau α: [ X t, α S, X + t, α ] S. Fall 3: Kofidezitervall für σ bei bekatem µ. Seie u X,..., X N(µ, σ ), wobei µ bekat ud σ ubekat seie. Wir kostruiere ei Kofidezitervall für σ. Ei atürlicher Schätzer für σ ist S = (X i µ). Da gilt S σ = ( ) Xi µ χ σ. 86

90 Sei χ,α das α Quatil der χ Verteilug mit Freiheitsgrade. Da gilt [ ] P σ χ, α S σ χ, α = α für alle σ > 0. Nach σ umgeformt führt dies zu folgedem Kofidezitervall für σ zum Niveau α: [ S, S ]. χ, α χ, α Es sei bemerkt, dass die χ Verteilug icht symmetrisch ist. Fall 4: Kofidezitervall für σ bei ubekatem µ. Seie X,..., X N(µ, σ ), wobei µ ud σ beide ubekat seie. Wir kostruiere ei Kofidezitervall für σ. Ei atürlicher Schätzer für σ ist Bekat ist, dass Somit gilt P µ,σ [ χ, α S = (X i X ). ( )S σ χ. ( ] )S χ σ, α = α für alle µ R, σ > 0. Nach σ umgeformt führt dies zu [ ] ( )S P µ,σ σ ( )S = α für alle µ R, σ > 0. χ, χ α, α Somit erhält ma folgedes Kofidezitervall für σ zum Niveau α [ ] ( )S ( )S,. χ, χ α, α 9.. Asymptotisches Kofidezitervall für die Erfolgswahrscheilichkeit bei Beroulli Experimete Seie X,..., X uabhägige ud Beroulli verteilte Zufallsvariable mit Parameter θ (0, ). Wir wolle ei Kofidezitervall für die Erfolgswahrscheilichkeit θ kostruiere. Ei atürlicher Schätzer für θ ist X. Diese Zufallsvariable hat eie reskalierte Biomialverteilug. Es ist icht eifach, mit de Quatile dieser Verteilug umzugehe. Somit ist es schwierig, ei exaktes Kofidezitervall für θ zu eiem vorgegebee Niveau zu kostruiere. Auf der adere Seite, köe wir ach dem Zetrale Grezwertsatz die Verteilug vo X für großes durch eie Normalverteilug approximiere. Ma ka also versuche, ei Kofidezitervall zu kostruiere, das zumidest bei eiem sehr große Stichprobeumfag das vorgegebee Niveau approximativ erreicht. Dafür beötige wir die folgede allgemeie Defiitio. 87

91 Defiitio 9... Eie Folge [θ, θ ], [θ, θ ],... vo Kofidezitervalle, wobei θ : R R { } ud θ : R R {+ }, heißt asymptotisches Kofidezitervall zum Niveau α, falls lim if P θ[θ (X,..., X ) θ θ (X,..., X )] α für alle θ Θ. Nu kehre wir zu userem Problem mit de Beroulli Experimete zurück. Nach dem Zetrale Grezwertsatz gilt X X θ θ( θ) d N(0, ), de EX i = θ ud Var X i = θ( θ). Durch Umformug ergibt sich X θ θ( θ) d N(0, ). Sei z α das α Quatil der Stadardormalverteilug. Somit gilt [ lim P θ z α X ] θ z α = α für alle θ (0, ). θ( θ) Aufgrud der Symmetrieeigeschaft der Stadardormalverteilug ist z α = z α. Defiiere deshalb z := z α = z α. Somit müsse wir θ bestimme, so dass folgede Ugleichug erfüllt ist: X θ z θ( θ). Quadrierug führt zu ( X + θ X θ) z θ( θ). Dies lässt sich umschreibe zu ( ) g(θ) := θ + z θ ) ( X + z + X 0. Die Fuktio g(θ) ist quadratisch ud hat (wie wir gleich sehe werde) zwei verschiedee reelle Nullstelle. Somit ist g(θ) 0 geau da, we θ zwische diese beide Nullstelle liegt. Idem wir u die Nullstelle mit der p q Formel bereche, erhalte wir folgedes Kofidezitervall zum Niveau α für θ: X + z z X ( X ) + z 4 + z, X + z + z X ( X ) + z 4 + z Für großes erhalte wir die folgede Approximatio (idem wir alle Terme mit / stehe lasse ud alle Terme mit / igoriere): [ X z X ( X ), X + z ] X ( X ). Später werde wir diese Approximatio mit dem Satz vo Slutsky begrüde. 88.

92 Beispiel 9... Bei eier Wahlumfrage werde Persoe befragt, ob sie eie Partei A wähle. Es soll ei Kofidezitervall zum Niveau 0.95 für de Stimmeateil θ kostruiert werde ud die Läge dieses Itervalls soll höchstes 0.0 sei. Wie viele Persoe müsse dafür befragt werde? Lösug. Wir betrachte die Wahlumfrage als ei -faches Beroulli Experimet. Die Läge des Kofidezitervalls für θ soll höchstes 0.0 sei, also erhalte wir die Ugleichug z X ( X ) 0.0. Quadriere ud ach Umforme ergibt die Ugleichug 4z X ( X ) 0.0. Der Mitelwert X ist zwar ubekat, allerdigs gilt 0 X ud somit X ( X ) /4. Es reicht also auf jede Fall, we z 0.0. Nu erier wir us dara, dass z das ( α ) Quatil der Stadardormalverteilug ist. Das Kofideziveau soll α = 0.95 sei, also ist α = Das Quatil der Stadardormalverteilug errechet sich (z. B. aus eier Tabelle) als Lösug vo Φ(z) = zu z =.96. Es müsse also.96 = 9604 Persoe befragt werde Satz vo Slutsky Bei der Kostruktio vo Kofidezitervalle fidet der folgede Satz sehr oft Awedug. Satz 9.3. (Satz vo Slutsky). Seie X, X, X,... ud Y, Y, Y,... Zufallsvariable, die auf eiem gemeisame Wahrscheilichkeitsraum (Ω, A, P) defiiert sid. Gilt d X X ud Y d c, wobei c eie Kostate ist, so folgt, dass d X Y cx. Beweis. Schritt. Es geügt, die puktweise Kovergez der charakteristische Fuktioe zu zeige. D.h., wir müsse zeige, dass lim EeitXY = Ee itcx für alle t R. Sei ϕ(s) = e its. Diese Fuktio ist gleichmäßig stetig auf R ud betragsmäßig durch beschräkt. Wir zeige, dass lim Eϕ(X Y ) = Eϕ(cX). Schritt. Sei ε > 0 fest. Wege der gleichmäßige Stetigkeit vo ϕ gibt es ei δ > 0 mit der Eigeschaft, dass ϕ(x) ϕ(y) ε für alle x, y R mit x y δ. 89

93 Schritt 3. Sei A > 0 so groß, dass P[ X > A] ε. Wir köe aehme, dass A ud A Stetigkeitspukte der Verteilugsfuktio vo X sid, asoste ka ma A vergrößer. d Da X X ud A, A keie Atome vo X sid, folgt, dass lim P[ X > A] = P[ X > A] ε. Also gilt P[ X > A] ε für große. Schritt 4. Es gilt Eϕ(X Y ) Eϕ(cY ) E ϕ(x Y ) ϕ(cx ) + Eϕ(cX ) Eϕ(cX) mit E + E + E 3 + E 4 [ ] E = E ϕ(x Y ) ϕ(cx ) Y c >, δ A ] E = E [ ϕ(x Y ) ϕ(cx ) Y c δa, X >A, ] E 3 = E [ ϕ(x Y ) ϕ(cx ) Y c δa, X A, E 4 = Eϕ(cX ) Eϕ(cX). Schritt 5. Wir werde u E,..., E 4 abschätze. E : Da ϕ(t) ist, folgt, dass E P[ Y c > δ/a]. Dieser Term kovergiert gege 0 für, da Y gege c i Verteilug (ud somit auch i Wahrscheilichkeit) kovergiert. E : Für E gilt die Abschätzug E P[ X > A] 4ε ach Schritt 3, we groß geug ist. E 3 : Es gilt E 3 ε, da X Y cx δ falls Y c δ/a ud X A. Aus Schritt folgt da, dass ϕ(x Y ) ϕ(cx ) ε. E 4 : Der Term E 4 kovergiert für gege 0, de lim Eϕ(cX ) = Eϕ(cX), de ach Voraussetzug kovergiert X i Verteilug gege X. Idem wir u alles zusammefasse, erhalte wir, dass lim sup Eϕ(X Y ) Eϕ(cY ) 5ε. Da ε > 0 beliebig klei gewählt werde ka, folgt, dass lim Eϕ(X Y ) Eϕ(cY ) = 0. Somit ist lim Eϕ(X Y ) = Eϕ(cY ). Beispiel Seie X,..., X uabhägig ud Beroulli verteilt mit Parameter θ (0, ). Wir kostruiere ei asymptotisches Kofidezitervall für θ. Nach dem Zetrale Grezwertsatz gilt X θ d N(0, ). θ( θ) Leider kommt hier θ sowohl im Zähler als auch im Neer vor. Deshalb hat sich bei userer frühere Kostruktio eie quadratische Gleichug ergebe. Wir werde u θ im Neer 90

94 elimiiere, idem wir es durch eie Schätzer, ämlich X, ersetze. Nach dem Satz vo Slutsky gilt ämlich, dass X θ X ( X ) = X θ θ( θ) de ach dem Gesetz der große Zahle kovergiert i Verteilug) gege. Es gilt also [ lim P θ z α X θ X ( X ) z α ] θ( θ) X ( X ) θ( θ) X ( X ) d N(0, ), fast sicher (ud somit auch = α für alle θ (0, ). Sei z := z α = z α. Daraus ergibt sich folgedes aysmptotisches Kofidezitervall für θ zum Kofideziveau α: [ X z X ( X ), X + z ] X ( X ). Dieses Itervall habe wir obe mit eier adere Methode hergeleitet. d Aufgabe Zeige Sie mit dem Satz vo Slutsky, dass t N(0, ). Dabei ist t die t Verteilug mit Freiheitsgrade Kofidezitervall für de Erwartugswert der Poissoverteilug Seie X,..., X uabhägige Zufallsvariable mit X i Poi(θ), wobei θ > 0. Gesucht ist ei Kofidezitervall für θ zum Kofideziveau α. Ei atürlicher Schätzer für θ ist X. Da für die Poisso Verteilug EX i = Var X i = θ gilt, folgt durch de zetrale Grezwertsatz, dass X θ d N(0, ). θ Es sei z α das α Quatil der Stadardormalverteilug. Somit gilt lim P θ [ z α X θ θ z α ] = α für alle θ > 0. Aufgrud der Symmetrieeigeschaft der Stadardormaverteilug gilt z := z α Wir erhalte also folgede Ugleichug für θ: X θ θz. Dies lässt sich durch Quadrierug umschreibe zu ) g(θ) := θ θ ( X + z + X 0. = z α. Die Ugleichug g(θ) 0 gilt geau da, we θ zwische de beide Nullstelle der quadratische Gleichug g(θ) = 0 liegt. Diese lasse durch Verwedug der p q Formel 9

95 bereche. Es ergibt sich folgedes asymptotisches Kofidezitervall für θ zum Kofideziveau α: [ X + z z X + z, X + z + z ] X + z. Idem ma u alle Terme mit / stehe lässt ud alle Terme mit / igoriert, erhält ma die Approximatio [ X z X, X + z ] X. Das Argumet mit der quadratische Gleichug lässt sich mit dem Satz vo Slutsky vermeide. Nach dem Zetrale Grezwertsatz gilt ach wie vor X θ θ d N(0, ). Leider kommt hier der Parameter θ sowohl im Zähler als auch im Neer vor, was im obige Argumet zu eier quadratische Gleichug führte. Wir köe allerdigs θ durch eie Schätzer für θ, ämlich durch X, ersetze. Nach dem starke Gesetz der große Zahle kovergiert θ/ X fast sicher (ud somit auch i Verteilug) gege. Nach dem Satz vo Slutsky gilt da Somit folgt X θ X [ = X θ θ θ X d N(0, ). lim P θ z X θ z = α für alle θ > 0. X Es ergibt sich also wieder eimal das asymptotische Kofidezitervall [ X ] z X, X + z ] X Zweistichprobeprobleme Bislag habe wir ur sogeate Eistichprobeprobleme betrachtet. Es gibt aber auch mehrere Probleme, bei dee ma zwei Stichprobe miteiader vergleiche muss. Beispiel Es solle zwei Futterarte für Masttiere vergliche werde. Dazu betrachtet ma zwei Gruppe vo Tiere. Die erste, aus Tiere bestehede Gruppe bekommt Futter. Die zweite, aus m Tiere bestehede Gruppe, bekommt Futter. Mit X,..., X wird die Gewichtszuahme der Tiere der erste Gruppe otiert. Etspreched bezeiche wir die Gewichtszuahme der Tiere aus der zweite Gruppe mit Y,..., Y m. Die Aufgabe besteht u dari, die beide Futterarte zu vergleiche, also ei Kofidezitervall für µ µ zu fide, wobei µ bzw. µ der Erwartugswert der erste bzw. der zweite Stichprobe ist. Beispiel Es wurde zwei Messverfahre zur Bestimmug eier physikalische Größe etwickelt. Es soll u ermittelt werde, welches Verfahre eie größere Geauigkeit (also eie kleiere Streuug der Messergebisse) hat. Dazu wird die physikalische Größe zuerst Mal mit dem erste Verfahre gemesse, ud da m Mal mit dem zweite Verfahre. 9

96 Es ergebe sich zwei Stichprobe X,..., X ud Y,..., Y m. Diesmal solle die Streuuge der beide Stichprobe vergliche werde, also ei Kofidezitervall für σ /σ kostruiert werde, wobei σ bzw. σ die Variaz der erste bzw. der zweite Stichprobe ist. Für die obige Beispiele erscheit folgedes Modell plausibel. Wir betrachte zwei Stichprobe X,..., X ud Y,..., Y m. Wir ehme a, dass () X,..., X, Y,..., Y m uabhägige Zufallsvariable sid. () X,..., X N(µ, σ ). (3) Y,..., Y m N(µ, σ ). Wir werde Kofidezitervalle für µ µ ud σ /σ kostruiere. Fall : Kofidezitervall für µ µ bei bekate σ ud σ. Es seie also σ ud σ bekat. Da X,..., X N(µ, σ) ud Y,..., Y m N(µ, σ), folgt aus der Faltugseigeschaft der Normalverteilug, dass X := X X N ( µ, σ ), Ȳ m := X Y m m Ei atürlicher Schätzer für µ µ ist gegebe durch ( ) X Ȳm N µ µ, σ + σ. m ( ) N µ, σ. m Idem der Erwartugswert subtrahiert ud durch die Stadardabweichug geteilt wird, erhält ma eie stadardormalverteilte Zufallsvariable: X Ȳm (µ µ ) σ + σ m σ + σ m N(0, ). Es gilt also, dass P µ,µ z α X Ȳm (µ µ ) z α = α für alle µ, µ R. Aufgrud der Symmetrieeigeschaft der Normalverteilug köe wir z = z α defiiere. Umgeformt ach µ µ erhält ma das Kofidezitervall [ X Ȳm z σ + σ m, X Ȳm + z σ + σ m ]. = z α Fall : Kofidezitervall für µ µ bei ubekate aber gleiche σ ud σ. Seie u σ ud σ ubekat. Um das Problem zu vereifache, werde wir aehme, dass σ ud σ gleich sid, d. h. σ := σ = σ. Schritt. Geauso wie i Fall gilt X Ȳm (µ µ ) N(0, ). σ + m 93

97 Leider köe wir das icht zur Kostruktio eies Kofidezitervalls für µ µ direkt verwede, de σ ist ubekat. Wir werde deshalb σ schätze. Schritt. Ei Schätzer für σ, der ur auf der erste Stichprobe basiert, ist gegebe durch SX = (X i X ). Aalog gibt es eie Schätzer für σ, der ur auf der zweite Stichprobe basiert: SY = m (Y j m Ȳm). Für diese Schätzer gilt ( )S X σ χ, j= (m )S Y σ χ m. Bemerke, dass diese zwei χ verteilte Zufallsvariable uabhägig sid. Somit folgt ( )S X σ + (m )S Y σ χ +m. Betrachte u folgede Schätzer für σ, der auf beide Stichprobe basiert: ( ) S = (X i + m X m ) + (Y j Ȳm) = ( )S X + (m )S Y + m Somit gilt j= ( + m )S σ χ +m. Der Erwartugswert eier χ +m verteilte Zufallsvariable ist + m. Daraus folgt isbesodere, dass S ei erwartugstreuer Schätzer für σ ist, was die Wahl der Normierug /( + m ) erklärt. Schritt 3. Aus Schritt ud Schritt folgt, dass X Ȳm (µ µ ) = S + m X Ȳm (µ µ ) σ + m +m (+m )S σ t +m. Dabei habe wir beutzt, dass der Zähler ud der Neer des obige Bruchs uabhägig voeiader sid. Das folgt aus der Tatsache, dass SX ud X sowie SY ud Ȳ uabhägig voeiader sid, sowie aus der Tatsache, dass die Vektore (X, SX ) ud (Y, S Y ) uabhägig voeiader sid. Somit gilt P µ,µ,σ t +m, α X Ȳm (µ µ ) t +m, α = α für alle µ, µ, σ. S + m 94.

98 Wege der Symmetrie der t Verteilug gilt t := t +m, α = t +m, α. Umgeformt ach µ µ ergibt sich folgedes Kofidezitervall für µ µ zum Kofideziveau α: [ X Ȳm S + m t, X Ȳm + S + m t Fall 3: Kofidezitervall für σ/σ bei ubekate µ ud µ. Seie also µ ud µ ubekat. Wir kostruiere ei Kofidezitervall für σ/σ. Die atürliche Schätzer für σ ud σ sid gegebe durch Es gilt S X = ( )S X σ (X i X ), S Y = m χ, (m )S Y σ ] m (Y j Ȳm). j= χ m ud diese beide Zufallsvariable sid uabhägig. Es folgt, dass S X /σ S Y /σ = F,m, α ( )S X σ (m )S Y σ m F,m. Wir bezeiche mit F,m,α das α Quatil der F,m Verteilug. Deshalb gilt, dass [ ] P µ,µ,σ F,σ,m, α S X /σ F SY,m, α = α für alle µ /σ, µ, σ, σ > 0. Somit ergibt sich folgedes Kofidezitervall für σ/σ zum Kofideziveau α: [ ] S X, S X. SY SY F,m, α Fall 4: Kofidezitervall für σ /σ bei bekate µ ud µ. Ählich wie i Fall 3 (Übugsaufgabe). Zum Schluss betrachte wir ei Beispiel, bei dem es sich ur scheibar um ei Zweistichprobeproblem hadelt. Beispiel (Verbudee Stichprobe). Bei eiem Psychologietest fülle Persoe jeweils eie Frageboge aus. Die Frageböge werde ausgewertet ud die Ergebisse der Persoe mit X,..., X otiert. Nach der Therapiezeit werde vo de gleiche Persoe die Ergebisse mit Y,..., Y festgehalte. I diesem Modell gibt es zwei Stichprobe, allerdigs sid die Aahme des Zweistichprobemodells hier icht plausibel. Es ist ämlich klar, dass X ud Y abhägig sid, de beide Ergebisse gehöre zu derselbe Perso. Allgemeier sid X i ud Y i abhägig. Eie bessere Vorgehesweise bei diesem Problem ist diese. Wir betrachte die Zuwächse Z i = Y i X i. Diese köe wir als uabhägige Zufallsvariable Z,..., Z N(µ, σ ) modelliere. Dabei spiegelt µ de mittlere Therapieerfolg wider. Das Kofidezitervall für µ wird wie bei eiem Eistichprobeproblem gebildet.. 95

99 KAPITEL 0 Tests statistischer Hypothese I der Statistik muss ma oft Hypothese teste, z.b. muss ma ahad eier Stichprobe etscheide, ob ei ubekater Parameter eie vorgegebee Wert aimmt. Zuerst betrachte wir ei Beispiel. 0.. Ist eie Müze fair? Es sei eie Müze gegebe. Wir wolle teste, ob diese Müze fair ist, d.h. ob die Wahrscheilichkeit vo Kopf, die wir mit θ bezeiche, gleich / ist. Dazu werfe wir die Müze z.b. = 00 Mal. Sei S die Azahl der Würfe, bei dee die Müze Kopf zeigt. Nu betrachte wir zwei Hypothese: () Nullhypothese H 0 : Die Müze ist fair, d.h., θ = /. () Alterativhypothese H : Die Müze ist icht fair, d.h., θ /. Wir müsse us etscheide, ob wir die Nullhypothese H 0 verwerfe oder beibehalte. Die Etscheidug muss ahad des Wertes vo S getroffe werde. Uter der Nullhypothese gilt, dass E H0 S = 00 = 00. Die Idee besteht u dari, die Nullhypothese zu verwerfe, we S stark vo 00 abweicht. Dazu wähle wir eie Kostate c {0,,...} ud verwerfe H 0, falls S 00 > c. Aderfalls behalte wir die Hypothese H 0 bei. Bei diesem Vorgehe köe wir zwei Arte vo Fehler mache: () Fehler. Art: H 0 wird verworfe, obwohl H 0 richtig ist. () Fehler. Art: H 0 wird icht verworfe, obwohl H 0 falsch ist. Wie sollte u die Kostate c gewählt werde? Ma möchte atürlich die Wahrscheilichkeite der beide Arte vo Fehler klei halte. I diesem Beispiel ist es allerdigs icht möglich, die Wahrscheilichkeit eies Fehlers. Art zu bestimme. Der Grud dafür ist, dass ma für die Berechug dieser Wahrscheilichkeit de Wert vo θ kee muss, bei eiem Fehler. Art ist allerdigs ur bekat, dass θ / ist. Die Wahrscheilichkeit eies Fehlers. Art ka aber sehr wohl bestimmt werde ud ist P H0 [ S 00 > c] = P H0 [S > 00 + c] = 00 k=00+c+ ( ) k, da S Bi(00, /) uter H 0. Wir wolle u c so wähle, dass die Wahrscheilichkeit eies Fehlers. Art icht größer als ei kleies vorgegebees Niveau α (0, ) ist. Normalerweise wählt ma α = 0.0 oder Hier wähle wir das Niveau α = Nu rechet ma ach, dass { , für c = 3, P H0 [ S 00 > c] = , für c = 4. 96

100 Damit die Wahrscheilichkeit eies Fehlers. Art kleier als α = 0.05 ist, müsse wir also c 4 wähle. Dabei ist es sivoll, c möglichst klei zu wähle, de sost vergrößert ma die Wahrscheilichkeit eies Fehlers. Art. Somit wähle wir c = 4. Usere Etscheidugsregel lautet u wie folgt: () Wir verwerfe H 0, falls S 00 > 4. () Sost behalte wir die Hypothese H 0 bei. I diesem Beispiel ka ma für die Berechug der Wahrscheilichkeite die Approximatio durch die Normalverteilug beutze. Es soll ei c mit P H0 [S 00 < c] α bestimmt werde. Um die Güte der Approximatio zu verbesser, beutze wir de Trick. Da c gaz ist, ist die obige Ugleichug äquivalet zu P H0 [S 00 c 0.5] α. Uter H 0 gilt S Bi(00, /) ud somit E H0 S = 00, Var H0 S = 00 Ugleichug ist äquivalet zu P H0 [ S c ] α. = 50. Die obige Nu köe wir die Normalverteilugsapproximatio beutze ud die obige Ugleichug durch die folgede ersetze: ( Φ c ) α 50 Somit muss für c die folgede Ugleichug gelte: c z α. 50 Wege der Symmetrie der Stadardormalverteilug gilt z α = z α. Für α = 0.05 ist z α = z =.96 ud somit ist die obige Ugleichug äquivalet zu c Somit müsse wir c = 4 wähle. Die Etscheidugsregel bleibt geauso wie obe. 0.. Allgemeie Modellbeschreibug Wir beschreibe u allgemei das statistische Testproblem. Sei X = (X,..., X ) eie Stichprobe vo uabhägige ud idetisch verteilte Zufallsvariable mit Dichte bzw. Zähldichte h θ, wobei θ Θ ubekat sei. Es sei außerdem eie Zerlegug des Parameterraums Θ i zwei disjukte Teilmege Θ 0 ud Θ gegebe, d.h. Θ = Θ 0 Θ, Θ 0 Θ =. Wir betrachte u zwei Hypothese: () Die Nullhypothese H 0 : θ Θ 0. () Die Alterativhypothese H : θ Θ. Wir solle ahad der Stichprobe X,..., X etscheide, ob wir H 0 verwerfe oder beibehalte. Dazu wähle wir eie Borel Mege K R, die Ablehugsbereich geat wird. Die Etscheidug wird u wie folgt getroffe: 97

101 () Wir verwerfe H 0, falls (X,..., X ) K. () Wir behalte H 0 bei, falls (X,..., X ) / K. Diese Etscheidugsregel ka auch mit Hilfe eier Fuktio ϕ : R {0, } formuliert werde, wobei {, falls x K, ϕ(x) = 0, falls x / K. Die Nullhypothese wird verworfe, falls ϕ(x,..., X ) = ud wird beibehalte, falls ϕ(x,..., X ) = 0. Nu köe zwei Arte vo Fehler mache: () Fehler. Art: H 0 wird verworfe, obwohl H 0 richtig ist. () Fehler. Art: H 0 wird icht verworfe, obwohl H 0 falsch ist. Normalerweise versucht ma K bzw. ϕ so zu wähle, dass die Wahrscheilichkeit eies Fehlers. Art durch ei vorgegebees Niveau α (0, ) beschräkt ist, typischerweise α = 0.0 oder Defiitio 0... Eie Borel Fuktio ϕ : R {0, } heißt Test zum Niveau α (0, ), falls P θ [ϕ(x,..., X ) = ] α für alle θ Θ 0. Im Folgede werde wir zahlreiche Beispiele vo Tests kostruiere Tests für die Parameter der Normalverteilug Seie X,..., X N(µ, σ ) uabhägige ud mit Parameter (µ, σ ) ormalverteilte Zufallsvariable. Wir wolle Hypothese über die Parameter µ ud σ teste. Wir werde folgede vier Fälle betrachte: () Tests für µ bei bekatem σ. () Tests für µ bei ubekatem σ. (3) Tests für σ bei bekatem µ. (4) Tests für σ bei ubekatem µ. Fall : Tests für µ bei bekatem σ (Gauß z Test). Seie X,..., X N(µ, σ 0) uabhägig, wobei die Variaz σ 0 bekat sei. Wir wolle u verschiedee Hypothese für µ teste, z. B. µ = µ 0, µ µ 0 oder µ µ 0, wobei µ 0 vorgegebe ist. Wir betrachte die Teststatistik T := X µ 0 σ 0. 98

102 Uter µ = µ 0 gilt T N(0, ). Wir betrachte drei Fälle i Abhägigkeit davo, wie die zu testede Hypothese formuliert wird. Fall A. H 0 : µ = µ 0 ; H : µ µ 0. Die Nullhypothese H 0 sollte verworfe werde, we T groß ist. Dabei sollte die Wahrscheilichkeit eies Fehlers. Art höchstes α sei. Dies führt zu der Etscheidugsregel, dass die Nullhypothese H 0 verworfe wird, falls T > z α. Fall B. H 0 : µ µ 0 ; H : µ < µ 0. Die Nullhypothese H 0 sollte verworfe werde, we T klei ist. Dies führt zu der Etscheidugsregel, dass H 0 verworfe wird, falls T < z α. Fall C. H 0 : µ µ 0 ; H : µ > µ 0. Hier sollte H 0 verworfe werde, we T groß ist. I diesem Fall wird H 0 verworfe, we T > z α. Fall : Tests für µ bei ubekatem σ (Studet t Test). Seie X,..., X N(µ, σ ), wobei µ ud σ ubekat seie. Wir möchte Hypothese über µ teste, z. B. µ = µ 0, µ µ 0 oder µ µ 0, wobei µ 0 vorgegebe ist. Die Teststatistik aus Fall köe wir dafür icht verwede, de sie ethält de ubekate Parameter σ. Deshalb schätze wir zuerst σ durch Wir betrachte die Teststatistik S = Da gilt uter µ = µ 0, dass T t. (X i X ). T := X µ 0 S. Fall A. H 0 : µ = µ 0 ; H : µ µ 0. Die Nullhypothese H 0 sollte verworfe werde, we T groß ist. Dabei sollte die Wahrscheilichkeit eies Fehlers. Art höchstes α sei. Wege der Symmetrie der t Verteilug erhalte wir die folgede Etscheidugsregel: H 0 wird verworfe, falls T > t, α. Fall B. H 0 : µ µ 0 ; H : µ < µ 0. Die Nullhypothese H 0 wird verworfe, we T < t,α. Fall C. H 0 : µ µ 0 ; H : µ > µ 0. Die Nullhypothese H 0 wird verworfe, we T > t, α. Fall 3: Tests für σ bei bekatem µ (χ Streuugstest). Seie X,..., X N(µ 0, σ ) uabhägig, wobei der Erwartugswert µ 0 bekat sei. Wir wolle verschiedee Hypothese über die quadratische Streuug σ der Stichprobe teste, wie z. B. σ = σ0, σ σ0 oder σ σ0, wobei σ0 vorgegebe ist. Ei atürlicher Schätzer für σ ist S = (X i µ 0 ). Uter σ = σ 0 gilt T := S σ 0 = ( ) Xi µ 0 χ. 99 σ 0

103 Fall 3A. H 0 : σ = σ0; H : σ σ0. Die Nullhypothese H 0 sollte abgeleht werde, we T zu groß oder zu klei ist. Die χ Verteilug ist icht symmetrisch. Dies führt zu folgeder Etscheidugsregel: H 0 wird verworfe, we T < χ, oder T > χ α,. α Fall 3B. H 0 : σ σ 0; H : σ < σ 0. Die Nullhypothese H 0 sollte verworfe werde, we T zu klei ist. Dies führt zu folgeder Etscheidugsregel: H 0 wird verworfe, we T < χ,α ist. Fall 3C. H 0 : σ σ 0; H : σ > σ 0. Die Nullhypothese H 0 sollte verworfe werde, we T zu groß ist. Dies führt zu folgeder Etscheidugsregel: H 0 wird verworfe, we T > χ, α ist. Fall 4: Tests für σ bei ubekatem µ (χ Streuugstest). Seie X,..., X N(µ, σ ), wobei µ ud σ ubekat seie. Wir wolle Hypothese über σ teste, z. B. σ = σ0, σ σ0 oder σ σ0, wobei σ0 vorgegebe ist. Ei atürlicher Schätzer für σ ist i diesem Fall S = (X i X ). Uter σ = σ 0 gilt T := ( )S σ 0 χ. Die Etscheidugsregel sid also die gleiche wie i Fall 3, lediglich muss ma die Azahl der Freiheitsgrade der χ Verteilug durch ersetze Zweistichprobetests für die Parameter der Normalverteilug Nu betrachte wir zwei Stichprobe (X,..., X ) ud (Y,..., Y m ). Wir wolle verschiedee Hypothese über die Lage ud die Streuug dieser Stichprobe teste. Z. B. ka ma sich für die Hypothese iteressiere, dass die Erwartugswerte (bzw. Streuuge) der beide Stichprobe gleich sid. Wir mache folgede Aahme: () X,..., X, Y,..., Y m sid uabhägige Zufallsvariable. () X,..., X N(µ, σ ). (3) Y,..., Y m N(µ, σ ). Wir wolle u Hypothese über µ µ ud σ /σ teste. Dabei werde wir us auf die Nullhypothese der Form µ = µ bzw. σ = σ beschräke. Nullhypothese der Form µ µ, µ µ, σ σ, σ σ köe aalog betrachtet werde. Fall : Test für µ = µ bei bekate σ ud σ (Zweistichprobe z Test). Es seie also σ ud σ bekat. Wir köe µ µ durch X Ȳm schätze. Uter der Nullhypothese H 0 : µ = µ gilt, dass T := X Ȳm σ + σ m 00 N(0, ).

104 Die Nullhypothese H 0 wird verworfe, we T groß ist, also we T > z α. Fall : Test für µ = µ bei ubekate aber gleiche σ ud σ (Zweistichprobe t Test). Es seie u σ ud σ ubekat. Um das Problem zu vereifache, werde wir aehme, dass die Variaze gleich sid, d.h. σ := σ = σ. Wir schätze σ durch ( ) S = (X i + m X m ) + (Y j Ȳm). Wir betrachte die folgede Teststatistik: T := X Ȳm. S + m Wir habe bei der Kostruktio der Kofidezitervalle gezeigt, dass T t +m uter µ = µ. Somit wird die Nullhypothese H 0 verworfe, we T > t +m, α. Fall 3: Test für σ = σ bei ubekate µ ud µ (F Test). Seie also µ ud µ ubekat. Wir wolle die Nullhypothese H 0 : σ = σ teste. Natürliche Schätzer für σ ud σ sid gegebe durch SX = (X i X ), SY = m (Y j m Ȳm). Bei der Kostruktio der Kofidezitervalle habe wir gezeigt, dass für σ = σ T := S X F SY,m. Die Hypothese H 0 sollte verworfe werde, we T zu klei oder zu groß ist. Dabei ist die F Verteilug icht symmetrisch. Die Nullhypothese wird also verworfe, we T < F,m, α oder T > F,m, α. Fall 4: Test für σ = σ bei bekate µ ud µ (F Test). Aalog zu Fall 3 (Übug) Asymptotische Tests für die Erfolgswahrscheilichkeit bei Beroulli Experimete Machmal ist es icht möglich oder schwierig, eie exakte Test zum Niveau α zu kostruiere. I diesem Fall ka ma versuche, eie Test zu kostruiere, der zumidest approximativ (bei großem Stichprobeumfag ) das Niveau α erreicht. Wir werde u die etsprechede Defiitio eiführe. Seie X, X,... uabhägige ud idetisch verteilte Zufallsvariable mit Dichte bzw. Zähldichte h θ, wobei θ Θ. Es sei außerdem eie Zerlegug des Parameterraumes Θ i zwei disjukte Teilmege Θ 0 ud Θ gegebe: j= Θ = Θ 0 Θ, Θ 0 Θ =. 0 j=

105 Wir wolle die Nullhypothese H 0 : θ Θ 0 gege die Alterativhypothese H : θ Θ teste. Defiitio Eie Folge vo Borel Fuktioe ϕ, ϕ,... mit ϕ : R {0, } heißt asymptotischer Test zum Niveau α (0, ), falls lim sup sup P θ [ϕ (X,..., X ) = ] α. θ Θ 0 Dabei ist ϕ die zum Stichprobeumfag gehörede Etscheidugsregel. Wir werde u asymptotische Tests für die Erfolgswahrscheilichkeit θ bei Beroulli Experimete kostruiere. Seie X,..., X uabhägige ud mit Parameter θ (0, ) Beroulli verteilte Zufallsvariable. Wir wolle verschiedee Hypothese über de Parameter θ teste, z. B. θ = θ 0, θ θ 0 oder θ θ 0. Ei atürlicher Schätzer für θ ist X. Wir betrachte die Teststatistik T := X θ 0 θ0 ( θ 0 ). Uter der Hypothese θ = θ 0 gilt ach dem Zetrale Grezwertsatz d T N(0, ). Wir betrachte u drei verschiedee Fälle. Fall A. H 0 : θ = θ 0 ; H : θ θ 0. I diesem Fall sollte H 0 verworfe werde, we T groß ist. Etscheidugsregel: H 0 wird verworfe, we T z α. Fall B. H 0 : θ θ 0 ; H : θ < θ 0. Die Nullhypothese H 0 sollte verworfe werde, we T klei ist. Etscheidugsregel: H 0 wird verworfe, we T z α. Fall C. H 0 : θ θ 0 ; H : θ > θ 0. Die Nullhypothese H 0 sollte verworfe werde, we T groß ist. Etscheidugsregel: H 0 wird verworfe, we T z α. Nu betrachte wir ei Zweistichprobeproblem, bei dem zwei Parameter θ ud θ vo zwei Beroulli verteilte Stichprobe vergliche werde solle. Wir mache folgede Aahme: () X,..., X, Y,..., Y m sid uabhägige Zufallsvariable. () X,..., X Ber(θ ). (3) Y,..., Y m Ber(θ ). Es solle u Hypothese über die Erfolgswahrscheilichkeite θ ud θ getestet werde, z. B. θ = θ, θ θ oder θ θ. Ei atürlicher Schätzer für θ θ ist X Ȳm. Wir defiiere us folgede Größe X T,m = Ȳm. θ ( θ ) + θ ( θ ) m Satz Uter θ := θ = θ gilt T,m d N(0, ) für, m. Beweis. Wir habe die Darstellug T,m = Z ;,m Z +m;,m, wobei X k θ, falls k =,...,, θ( θ) Z k;,m = + m Y k θ, falls k = +,..., + m. m θ( θ) + m 0

106 Wir wolle de Zetrale Grezwertsatz vo Ljapuow verwede. Es gilt: () Die Zufallsvariable Z ;,m,..., Z +m;,m sid uabhägig. () EZ k;,m = 0. (3) +m k= EZ k;,m =. Die letzte Eigeschaft ka ma folgedermaße beweise: +m k= EZ k;,m = θ( θ) ( + ) m ( θ( θ) + m ) θ( θ) =. m Wir müsse also ur och die Ljapuow Bedigug überprüfe. Sei δ > 0 beliebig. Es gilt +m E Z k;,m +δ { = +δ ( k= θ( θ) + E X m)+δ +δ θ +δ + m } m E Y +δ θ +δ { C(θ) ( + + } m)+δ +δ m +δ = δ C(θ) ( + m ) +δ + ( m δ m C(θ) +δ + ) was für, m gege 0 kovergiert. Dabei ist C(θ) eie vo, m uabhägige Größe. Nach dem Zetrale Grezwertsatz vo Ljapuow folgt die Behauptug des Satzes. Die Größe T,m kovergiert zwar gege die Stadardormalverteilug, wir köe diese Größe allerdigs icht direkt zur Kostruktio vo asymptotische Tests verwede, de T,m beihaltet die ubekate Parameter θ ud θ. Deshalb betrachte wir eie Modifizierug vo T,m, i der θ ud θ durch die etsprechede Schätzer X ud Ȳm ersetzt wurde: X T,m = Ȳm. X( X ), + Ȳm( Ȳm) m Nach dem Gesetz der große Zahle gilt X θ ud Ȳm θ fast sicher für, m. Aus dem Satz vo Slutsky ka ma da herleite (Übugsaufgabe), dass T,m d N(0, ) für, m. Wir betrachte u drei verschiedee Nullhypothese. Fall A. H 0 : θ = θ ; H : θ θ. I diesem Fall sollte H 0 verworfe werde, we T,m groß ist. Etscheidugsregel: H 0 wird verworfe, we T,m z α. Fall B. H 0 : θ θ ; H : θ < θ. Die Nullhypothese H 0 sollte verworfe werde, we T,m klei ist. Etscheidugsregel: H 0 wird verworfe, we T,m z α. Fall C. H 0 : θ θ ; H : θ > θ. Die Nullhypothese H 0 sollte verworfe werde, we T,m groß ist. Etscheidugsregel: H 0 wird verworfe, we T,m z α. 03