Mathematische Statistik

Transkript

1 Skript zur Vorlesug Mathematische Statistik Prof. Dr. Zakhar Kabluchko Uiversität Müster Istitut für Mathematische Stochastik

2 Ihaltsverzeichis Vorwort 1 Literatur Kapitel 1. Stichprobe ud Stichprobefuktio Wahrscheilichkeitstheorie ud Statistik Grudbegriffe Empirischer Mittelwert Empirische Variaz Ordugsstatistike ud Quatile Verteilug der Ordugsstatistike 13 Kapitel. Empirische Verteilugsfuktio Empirische Verteilugsfuktio 17.. Empirische Verteilug 0.3. Plug-i-Schätzer.4. Satz vo Gliweko-Catelli 4 Kapitel 3. Methode zur Kostruktio vo Schätzer Aufgabe der parametrische Statistik Zwei Beispiele Statistische Modelle: Defiitio Mometemethode Maximum-Likelihood-Methode Bayes-Methode Maximum-Spacig-Methode 50 Kapitel 4. Erwartugstreue Schätzer Erwartugstreue, Bias, mittlerer quadratischer Fehler Bester erwartugstreuer Schätzer Bester erwartugstreuer Schätzer im Beroulli-Modell Defiitio der Suffiziez im diskrete Fall Faktorisierugssatz vo Neyma-Fisher Defiitio der Suffiziez im absolut stetige Fall Vollstädigkeit Eie Charakterisierug des beste erwartugstreue Schätzers Expoetialfamilie Vollstädige ud suffiziete Statistik für Expoetialfamilie Bedigter Erwartugswert ud bedigte Wahrscheilichkeite Satz vo Rao-Blackwell 80 i

3 4.13. Satz vo Lehma-Scheffé Satz vo Basu Eiige Gegebeispiele 86 Kapitel 5. Asymptotische Eigeschafte vo Schätzer Kosistez ud asymptotische Normalverteiltheit Güteeigeschafte des ML-Schätzers Cramér-Rao-Schrake Asymptotische Normalverteiltheit der empirische Quatile Asymptotische relative Effiziez 10 Kapitel 6. Statistische Etscheidugstheorie Verlustfuktio, Risiko, Miimax-Schätzer Bayes-Schätzer Kostruktio des Miimax-Schätzers Statistik als Zweipersoespiel 113 Kapitel 7. Dichteschätzer Histogramm Kerdichteschätzer Optimale Wahl der Badbreite 1 Kapitel 8. Wichtige statistische Verteiluge Gammafuktio ud Gammaverteilug Pearsosche χ -Verteilug Poisso-Prozess ud die Erlag-Verteilug Empirischer Erwartugswert ud empirische Variaz eier ormalverteilte Stichprobe Studet-t-Verteilug Fisher-F -Verteilug 139 Kapitel 9. Kofidezitervalle Defiitio eies Kofidezitervalls Kofidezitervalle für die Parameter der Normalverteilug Zweistichprobeprobleme Asymptotische Kofidezitervalle für die Erfolgswahrscheilichkeit bei Beroulli-Experimete Satz vo Slutsky Kofidezitervall für de Erwartugswert der Poissoverteilug Asymptotisches Kofidezitervall um de ML-Schätzer Kofidezbad für die Verteilugsfuktio Kofidezitervalle für Quatile 156 Kapitel 10. Tests statistischer Hypothese Ist eie Müze fair? Tests für die Parameter der Normalverteilug Zweistichprobetests für die Parameter der Normalverteilug Allgemeie Modellbeschreibug 164 ii

4 10.5. Tests eifacher Hypothese: Neyma-Pearso-Theorie Tests für eiseitige Hypothese bei mootoe Dichtequotiete Verallgemeierter Likelihood-Quotiete-Test Asymptotische Tests für die Erfolgswahrscheilichkeit bei Beroulli- Experimete Pearso-χ -Test Exakter Test ach Fisher Der Apassugstest vo Kolmogorow-Smirow 187 Kapitel 11. Eifache lieare Regressio Problemstellug Methode der kleiste Quadrate (MKQ) Bester liearer erwartugstreuer Schätzer Schätzer für Residue ε i ud Variaz σ Maximum-Likelihood-Methode Gemeisame Verteilug vo (ˆα, ˆβ, S ) Kofidezitervalle für α, β, σ 03 Kapitel 1. Bootstrap Verteilugsfuktio ahad eier eizige Realisierug bereche Noch ei Beispiel zum Bootstrap 1 iii

5

6 Vorwort Dies ist ei Skript zur Vorlesug Stochastik I bzw. Mathematische Statistik, die a der Uiversität Ulm im SS 013 bzw. a der Uiversität Müster im WS 014/15 ud WS 015/16 gehalte wurde. Für die Erstellug der erste L A TEX-Versio des Skripts bedake ich mich bei Frau Judith Olszewski. Daach wurde das Skript vo mir überarbeitet, korrigiert ud ergäzt. I Zukuft soll das Skript weiter ergäzt werde. Ich bedake mich bei Hedrik Flasche, Philipp Godlad ud Judith Heusel für ützliche Verbesserugsvorschläge. Bei Frage, Wüsche ud Verbesserugsvorschläge köe Sie gere eie a zakhar DOT kabluchko AT ui-muester DOT de schreibe. 3. Februar 017 Zakhar Kabluchko 1

7 Literatur Es gibt sehr viele eiführede Statistik-Lehrbücher, z. B. J. Leh, H. Wegma. Eiführug i die Statistik. H. Pruscha. Vorlesuge über Mathematische Statistik. H. Pruscha. Agewadte Methode der Mathematische Statistik. V. Rohatgi. Statistical Iferece. G. Casella, R. L. Berger. Statistical Iferece. W. Pestma. Mathematical Statistics: A Itroductio. K. Bosch. Elemetare Eiführug i die agewadte Statistik: Mit Aufgabe ud Lösuge. Folgede Lehrbücher behadel sowohl Wahrscheilichkeitstheorie als auch Statistik: H. Dehlig ud B. Haupt. Eiführug i die Wahrscheilichkeitstheorie ud Statistik. U. Kregel. Eiführug i die Wahrscheilichkeitstheorie ud Statistik. H. O. Georgii. Stochastik: Eiführug i die Wahrscheilichkeitstheorie ud Statistik. Folgede Bücher vo Lehma sid Klassiker: E. L. Lehma, G. Casella. Theory of Poit Estimatio. E. L. Lehma. Testig Statistical Hypotheses. E. L. Lehma. Elemets of Large Sample Theory. Sehr empfehleswert sid diese zwei Bücher: L. Wasserma. All of Statistics. L. Wasserma. All of Noparametric Statistics. Drei sehr iteressate Neuerscheiuge: L. Dümbge. Eiführug i die Statistik. Lik L. Rüschedorf. Mathematische Statistik. Lik L. Dümbge. Biometrie. Lik Eie exzellete Referez zur asymptotische Statistik: A. W. va der Vaart. Asymptotic Statistics. Statistische Etscheidugstheorie wird i folgede Bücher behadelt: M. H. degroot. Statistical Decisio Theory. Th. S. Ferguso. Mathematical Statistics: A Decisio Theoretic Approach. Ud schließlich och eiige Klassiker: P. J. Bickel, K. A. Doksum. Mathematical Statistics: Basic Ideas ad Selected Topics. S. S. Wilks. Mathematical Statistics. S. Zacks. The Theory of Statistical Iferece.

8 KAPITEL 1 Stichprobe ud Stichprobefuktio 1.1. Wahrscheilichkeitstheorie ud Statistik Stochastik teilt sich i Wahrscheilichkeitstheorie ud Statistik auf, zwei Gebiete, die im gewisse Sie etgegegesetzte Fragestelluge betrachte. Eie typische Fragestellug aus der Wahrscheilichkeitstheorie ist diese: Eie Müze, die mit Wahrscheilichkeit p = 0.5 Kopf zeigt, wird = 100 Mal geworfe. Wie groß ist die Wahrscheilichkeit, dass diese Müze k = 60 Mal Kopf zeigt? I der Wahrscheilichkeitstheorie wird also ageomme, dass eie komplette Beschreibug aller Parameter (i diesem Fall ud p) eies Zufallsexperimets vorhade ist. Es wird da gefragt, welche Ausgäge ud mit welche Wahrscheilichkeite beobachtet werde köe. Eie typische Fragestellug aus der Statistik ist diese: Eie Müze wurde = 100 Mal geworfe ud hat dabei k = 60 Mal Kopf gezeigt. Ma bestimme ( schätze ) die Wahrscheilichkeit p, mit der die Müze bei eiem Wurf Kopf zeigt. I der Statistik wird also ageomme, dass ei Zufallsexperimet, desse Beschreibug icht komplett ist, bereits durchgeführt wurde ud sei Ausgag (i diesem Fall k) bekat ist. Gefragt wird da ach de Parameter, die dieses Zufallsexperimet beschreibe (i diesem Fall p). Bei eier statistische Fragestellug ist der Ausgag eies Zufallsexperimets gegebe. Diese Ausgag et ma eie Stichprobe. Ausgehed vo der Stichprobe versucht ma Iformatioe über die Parameter des Experimets zu gewie. Zum Beispiel ka ma versuche, die Parameter des Experimets durch gewisse Fuktioe der Stichprobe zu schätze. Im obige Beispiel ist die Stichprobe k = 60 gegebe ud ma ka de ubekate Parameter p durch k/ = 0.6 schätze. Es sollte aber klar sei, dass die Iformatio darüber, dass eie Müze i 100 Würfe 60 Mal Kopf gezeigt hat, icht ausreicht, um mit absoluter Sicherheit de Wert vo p zu bestimme. Bei statistische Etscheiduge sid also Fehler uvermeidbar. Es geht i der mathematische Statistik darum, wie ma die Wahrscheilichkeite oder die Größe dieser Fehler miimiere ka. 3

9 1.. Grudbegriffe Wir betrachte eie Serie aus Messuge jedweder Art. I viele Situatioe muss ma damit reche, dass die Ergebisse der Messuge durch Zufall etstade sid oder zumidestes durch zufällige Eiflüsse beeiträchtigt werde. Ma deke etwa a folgede Beispiele: (1) mehrere zufällig ausgewählte Persoe werde ach Ihrem Alter gefragt. () ei verrauschtes Sigal wird gemesse. (3) die log-returs eies Aktiepreises werde zu mehrere Zeitpukte otiert. (4) die Koordiate eies Komete am Himmel werde zu mehrere Zeitpukte gemesse. Wir müsse die Ergebisse der Messuge durch Zufallsvariable X 1,..., X : Ω R stochastisch modelliere. Dabei sei mit (Ω, A, P) der Wahrscheilichkeitsraum bezeichet, auf dem die Zufallsvariable X 1,..., X defiiert sid. We u die Messuge durchgeführt werde, so heißt es, dass im Wahrscheilichkeitsraum Ω ei Ausgag ω gemäß Verteilug P ausgewählt wird ud wir die Resultate der Messuge erfahre: x 1 := X 1 (ω),..., x := X (ω). Diese Resultate fasse wir i eier Stichprobe zusamme: (x 1,..., x ) R. Es sei bemerkt, dass x 1,..., x determiistische Zahle, wohigege X 1,..., X Zufallsvariable sid. Ma sagt, dass der determiistische Vektor (x 1,..., x ) eie Realisierug des Zufallsvektors (X 1,..., X ) ist. Die Azahl der Messuge (also ) ee wir de Stichprobeumfag. Die Mege aller vorstellbare Stichprobe wird der Stichproberaum geat ud ist i diesem Beispiel R (oder, we Eischräkuge auf die Messergebisse bestehe, eie Teilmege vo R ). Wir werde sehr oft aehme, dass die Zufallsvariable X 1,..., X uabhägig ud idetisch verteilt sid. Ma ka u die Aufgabe der Statistik wie folgt zusammefasse. Ma betrachte eie Zufallsvektor (X 1,..., X ). Die Verteilug dieses Vektors sei aber icht (oder icht komplett) bekat. Es werde eie Realisierug (x 1,..., x ) = (X 1 (ω),..., X (ω)) vo (X 1,..., X ) beobachtet. Ahad dieser Realisierug solle u Rückschlüsse auf die Verteilug vo (X 1,..., X ) gezoge werde. Zu diesem Zweck bildet ma passede Fuktioe der Stichprobe. Defiitio Eie beliebige Borel-Fuktio ϕ : R R m heißt Stichprobefuktio, Statistik, oder Schätzer. 4

10 Wir werde sehr oft auch die zusammegesetzte Fuktio betrachte: ϕ(x) : Ω R m, ω ϕ(x 1 (ω),..., X (ω)). Es sei bemerkt, dass ϕ(x 1,..., x ) ei determiistisches Elemet aus R m ist, wohigege ϕ(x) ei Zufallsvektor mit Werte i R m ist. Im Folgede werde wir drei wichtige Beispiele vo Stichprobefuktioe, de empirische Mittelwert, die empirische Variaz ud die Ordugsstatistike, betrachte Empirischer Mittelwert Es sei (x 1,..., x ) R eie Realisierug vo uabhägige ud idetisch verteilte Zufallsvariable X 1,..., X mit Verteilugsfuktio F (t) = P[X i t], t R, die icht bekat ist. Ahad der bekate Realisierug (x 1,..., x ) solle u verschiedee Merkmale der Verteilugsfuktio F (z.b. der Erwartugswert µ = EX i, die Variaz σ = Var X i, oder sogar die komplette Fuktio F ) geschätzt werde. Wir werde zuerst de Erwartugswert µ = EX i schätze. Defiitio Der empirische Mittelwert (auch das Stichprobemittel oder das arithmetische Mittel geat) ist defiiert durch x = 1 x i. Aalog beutze wir auch die Notatio X = 1 X i. Es sei bemerkt, dass x eie reelle Zahl ist, wohigege X eie Zufallsvariable ist. Wir fasse x als eie Realisierug vo X auf: x = X (ω). Satz Seie X 1,..., X uabhägige Zufallsvariable mit EX i = µ ud Var X i = σ. Da gilt E X = µ ud Var X = σ. 5

11 Beweis. Idem wir die Liearität des Erwartugswertes beutze, erhalte wir [ ] E X X X = E = 1 E[X X ] = 1 E[X 1] = E[X 1 ] = µ. Idem wir die Additivität der Variaz (bei uabhägige Zufallsvariable) beutze, erhalte wir ( Var X X X = Var ) = 1 Var(X X ) = 1 Var(X 1) = σ. Bemerkug Der obige Satz besagt, dass beim Schätze vo µ = EX i durch x (oder X ) kei systematischer Fehler etsteht, i dem Sie, dass der Erwartugswert des Schätzers X mit dem zu schätzede Parameter µ übereistimmt: E X = µ. Ma sagt, dass X ei erwartugstreuer Schätzer für µ ist. Der ächste Satz besagt, dass bei eier immer größer werdede Stichprobe der Schätzer X gege de zu schätzede Wert µ kovergiert. Satz Seie X 1, X,... uabhägige ud idetisch verteilte Zufallsvariable mit EX i = µ. Da gilt f.s. X µ. Ma sagt i diesem Zusammehag, dass X ei stark kosisteter Schätzer für µ ist. Beweis. Das folgt direkt aus dem starke Gesetz der große Zahle Empirische Variaz Defiitio Die empirische Variaz oder die Stichprobevariaz eier Stichprobe (x 1,..., x ) ist defiiert durch s = 1 (x i x ). 1 Aalog beutze wir auch die Notatio S = 1 1 (X i X ). 1 Die Rolle des Faktors (astelle vo 1 ) wird i Satz klar. Zuerst leite wir eie 1 alterative Formel für S her. 6

12 Satz Es gilt ( ) S = 1 Xi 1 X. Beweis. Durch ausquadriere ergibt sich S = 1 1 = 1 1 = 1 1 = 1 1 ( X i X i X + X ) ( Xi ) X i X + X ( ) Xi X X + X ( ) Xi X. Dabei habe wir die Formel X i = X beutzt. Satz Seie X 1,..., X uabhägige Zufallsvariable mit EX i = µ ud Var X i = σ. Da gilt E[S ] = σ. Beweis. Mit Satz 1.4. ergibt sich [ ( )] E[S] 1 = E Xi 1 X ( ) = 1 E[Xi ] E[ 1 X ] = 1 1 = σ. Dabei habe wir verwedet, dass ( (σ + µ ) ( σ + µ E[X i ] = Var X i + (EX i ) = σ + µ E[ X ] = Var X + (E X ) = σ + µ. Für die zweite Formel habe wir beutzt, dass E X = µ ud Var X = σ, siehe Satz ))

13 Bemerkug Die empirische Variaz s (bzw. S ) ist ei atürlicher Schätzer für die theoretische Variaz σ = Var X i. Der obige Satz besagt, dass S ei erwartugstreuer Schätzer für σ ist im Sie, dass der Erwartugswert des Schätzers mit dem zu schätzede Parameter σ übereistimmt: ES = σ. 1 Bemerkug Der Faktor i der Defiitio vo 1 S wird die Bessel-Korrektur geat ud macht S zu eiem erwartugstreue Schätzer. A Stelle vo S ka auch folgede Stichprobefuktio betrachtet werde: S := 1 (X i X ). Der Uterschied zwische S ud S 1 ist also ur der Vorfaktor bzw. 1. Allerdigs ist S 1 kei erwartugstreuer Schätzer für σ, de [ E[ S 1 ] = E S ] = 1 E[S ] = 1 σ < σ. Somit wird die Variaz σ uterschätzt. Schätzt ma σ durch S, so etsteht ei systematischer Fehler (Bias) vo 1 σ. Aufgabe (Verhalte vo s uter affie Trasformatioe). Es sei s = s (x 1,..., x ) die empirische Variaz der Stichprobe (x 1,..., x ) R. Zeige Sie, dass für alle a, b R, s (ax 1 + b,..., ax + b) = a s (x 1,..., x ). Aufgabe (Satz vo Steier). Es sei (x 1,..., x ) R. Zeige Sie, dass für alle a R, (x i a) = (x i x ) + ( x a). Aufgabe (Charakterisierug des empirische Mittelwerts). Sei (x 1,..., x ) R eie Stichprobe. Bestimme Sie das Miimum der Fuktio f(a) := 1 1 (x i a), a R. Zeige Sie, dass das Miimum für a = x erreicht wird. Aufgabe (Charakterisierug der Erwartugswerts). Sei X eie Zufallsvariable mit E[X ] <. Bestimme Sie das Miimum der Fuktio f(a) := E[(X a) ], a R. Zeige Sie, dass das Miimum für a = EX erreicht wird. Ei atürlicher Schätzer für die theoretische Stadardabweichug σ = Var X i ist durch die Wurzel aus der empirische Variaz gegebe. Defiitio Die empirische Stadardabweichug ist defiiert durch s = s = 1 (x i x ) 1. 8

14 Aufgabe Ist S ei erwartugstreuer Schätzer für σ? Was ist größer: ES oder σ? Bemerkug Das Stichprobemittel x ist ei Lageparameter (beschreibt die Lage der Stichprobe). Die Stichprobevariaz s (bzw. die empirische Stadardabweichug s ) ist ei Streuugsparameter (beschreibt die Ausdehug der Stichprobe). Aufgabe (Starke Kosistez der empirische Variaz). Seie X 1, X,... uabhägige idetisch verteilte Zufallsvariable mit EX i = µ ud Var X i = σ. Zeige Sie, dass S f.s. σ f.s., S σ. Das heißt, S ud S sid stark kosistete Schätzer für σ. Aufgabe (Zwei Stichprobe mit gleicher Variaz). Seie X 1,..., X, Y 1,..., Y m uabhägige Zufallsvariable mit EX i = µ, EY i = ν ud Var X i = Var Y i = σ, wobei alle drei Parameter ubekat seie. Zeige Sie, dass der Schätzer 1 T := + m (X i X m ) + (Y i Ȳ), erwartugstreu für σ ist, d.h. ET = σ. Aufgabe (Variaz schätze bei bekatem Erwartugswert). Es seie X 1,..., X uabhägige Zufallsvariable mit bekatem Erwartugswert µ ud ubekater Variaz σ <. Zeige Sie, dass der Schätzer T := 1 (X i µ) erwartugstreu für σ ist. Ist (X, Y ) ei Zufallsvektor mit E[X ] < ud E[Y ] <, so ist seie Kovariaz durch Cov(X, Y ) = E[(X EX)(Y EY )] = E[XY ] E[X]E[Y ] defiiert. I der ächste Aufgabe geht es darum, die Kovariaz ahad vo uabhägige Beobachtuge vo (X, Y ) zu schätze. Aufgabe (Empirische Kovariaz). Seie (X 1, Y 1 ), (X, Y ),... uabhägige idetisch verteilte Zufallsvektore mit E[Xi ] <, E[Y i ] < ud ρ = Cov(X i, Y i ). Zeige Sie, dass die sogeate empirische Kovariaz R := 1 (X i 1 X )(Y i Ȳ) ei erwartugstreuer ud stark kosisteter Schätzer für die theoretische Kovariaz ρ ist, d.h. f.s. ER = ρ ud R ρ. j=1 9

15 Hiweis: Zuerst ka ma die folgede Formel beweise: ( ) R = 1 (X i Y i 1 X Ȳ ). Aufgabe (Formel für die empirische Variaz). Zeige Sie, dass S = 1 ( ) (X i X j ). 1 i<j Aufgabe (Variaz der empirische Variaz). Seie X 1,..., X uabhägige ud idetisch verteilte Zufallsvariable mit E[Xi 4 ] <. Zeige Sie, dass Var[S] = 1 ( κ 4 3 ) 1 σ4, wobei µ = EX i, σ = Var X i ud κ 4 = E[(X i µ) 4 ] das vierte zetrale Momet vo X i ist Ordugsstatistike ud Quatile Das Stichprobemittel ist kei robuster Lageparameter, d.h. es wird stark vo Ausreißer beeiflusst. Das wird im folgede Beispiel gezeigt. Betrachte zuerst die Stichprobe (1,,,, 1, 1, 1, ). Somit ist x = 1.5. Ädert ma ur de letzte Wert der Stichprobe i 00 um, also (1,,,, 1, 1, 1, 00), da gilt x = 6.5. Wir kote also de Wert des Stichprobemittels stark veräder, idem wir ur ei eiziges Elemet aus der Stichprobe verädert habe. Die Stichprobevariaz ist ebefalls icht robust. Im weitere werde wir robuste Lage- ud Streuugsparameter eiführe, d.h. solche Parameter, die sich bei eier Äderug (ud zwar sogar bei eier sehr starke Äderug) vo ur weige Elemete aus der Stichprobe icht sehr stark veräder. Zu diesem Zweck werde wir u Ordugsstatistike ud Quatile defiiere. Defiitio Sei (x 1,..., x ) R eie Stichprobe. Wir köe die Elemete der Stichprobe aufsteiged aorde: x (1) x ()... x (). Wir ee x (i) die i-te Ordugsstatistik der Stichprobe. Zum Beispiel ist x (1) = mi x i das Miimum ud x () = max x i das Maximum der Stichprobe.,...,,..., 10

16 Defiitio Der Stichprobemedia ist gegebe durch x +1 ), falls ugerade, Med = Med (x 1,..., x ) = ( ) 1 x ( ) + x ( +1), falls gerade. Somit befidet sich die Hälfte der Stichprobe über dem Stichprobemedia ud die adere Hälfte der Stichprobe daruter. Beispiel Der Media ist ei robuster Lageparameter. Als Beispiel dafür betrachte wir zwei Stichprobe mit Stichprobeumfag = 8. Die erste Stichprobe sei (x 1,..., x 8 ) = (1,,,, 1, 1, 1, ). Somit sid die Ordugsstatistike gegebe durch (x (1),..., x (8) ) = (1, 1, 1, 1,,,, ). Daraus lässt sich der Media bereche ud dieser ist Med 8 = 1+ = 1.5. Als zweite Stichprobe betrachte wir Die Ordugsstatistike sid gegebe durch (y 1,..., y 8 ) = (1,,,, 1, 1, 1, 00). (y (1),..., y () ) = (1, 1, 1, 1,,,, 00), ud der Media ist ach wie vor Med 8 = 1.5. Dies zeigt, dass der Media robust ist. Bemerkug Im Allgemeie gilt Med x. Aufgabe (Charakterisierug des empirische Medias). Sei (x 1,..., x ) R eie Stichprobe. Beschreibe Sie die Mege aller a R, für die die Fuktio f(a) := x i a miimal wird. Hiweis: Betrachte Sie die Fälle gerade ud ugerade separat. Ei weiterer robuster Lageparameter ist das getrimmte Mittel. Defiitio Das getrimmte Mittel eier Stichprobe (x 1,..., x ) ist defiiert durch 1 k k i=k+1 Die Wahl vo k etscheidet, wie viele Date icht berücksichtigt werde. Ma ka zum Beispiel k = [0.05 ] wähle, da werde 10% aller Date icht berücksichtigt. I diesem Fall spricht ma auch vom 5%-getrimmte Mittel. x (i). Astatt des getrimmte Mittels betrachtet ma oft das wisorisierte Mittel: ( k ) 1 x (i) + k x (k+1) + k x ( k). i=k+1 11

17 Nachdem wir u eiige robuste Lageparameter kostruiert habe, wede wir us de robuste Streuugsparameter zu. Dazu beötige wir die empirische Quatile. Defiitio Sei (x 1,..., x ) R eie Stichprobe ud α (0, 1). Das empirische α-quatil ist defiiert durch { x ([α]+1), falls α / N, q α = 1 (x ([α]) + x ([α]+1) ), falls α N. Hierbei steht [ ] für die Gaußklammer. Der empirische Media ist somit das empirische 1 -Quatil. Defiitio Die empirische Quartile sid die Zahle q 0,5, q 0,5, q 0,75. Die Differez q 0,75 q 0,5 et ma de empirische Iterquartilsabstad. Der empirische Iterquartilsabstad ist ei robuster Streuugsparameter. Die empirische Quatile köe als Schätzer für die theoretische Quatile betrachtet werde, die wir u eiführe werde. Defiitio Sei X eie Zufallsvariable mit Verteilugsfuktio F (t) ud sei α (0, 1). Das theoretische α-quatil Q(α) vo X ist defiiert als die Lösug der Gleichug F (Q(α)) = α. Leider ka es passiere, dass diese Gleichug keie Lösuge hat (we die Fuktio F de Wert α übersprigt) oder dass es mehrere Lösuge gibt (we die Fuktio F auf eiem Itervall kostat ud gleich α ist). Deshalb beutzt ma die folgede Defiitio, die auch i diese Ausahmefälle Si ergibt: Q(α) = if {t R : F (t) α}. Defiitio Der Wert Q( 1 ) heißt der (theoretische) Media. Aufgabe (Charakterisierug des Medias). Sei X eie Zufallsvariable mit eier stetige Verteilugsfuktio F. Beschreibe Sie die Mege aller a R, für die die Fuktio f(a) := E X a miimal wird. Hiweis: Zeige Sie, dass f (a) = F (a) 1. Beispiel Weitere Lageparameter, die i der Statistik vorkomme: (1) Das Bereichsmittel 1 (x () + x (1) ) (icht robust). 1

18 () Das empirische Quartilsmittel 1 (q 0,5 + q 0,75 ) (robust). Beispiel Weitere Streuugsparameter: (1) Die Spaweite x () x (1). () Die mittlere absolute Abweichug vom Mittelwert 1 x i x. (3) Die mittlere absolute Abweichug vom Media 1 x i Med. Alle drei Parameter sid icht robust. Ma ka de dritte Parameter allerdigs robust mache, we ma wieder eimal de Mittelwert durch de Media ersetzt: Med( x 1 Med,..., x Med ) Verteilug der Ordugsstatistike Satz Seie X 1, X,..., X uabhägige ud idetisch verteilte Zufallsvariable, die absolut stetig sid mit Dichte f ud Verteilugsfuktio F. Es seie X (1) X ()... X () die Ordugsstatistike. Da ist die Dichte der Zufallsvariable X (i) gegebe durch f X(i) (t) =! (i 1)!( i)! f(t)f (t)i 1 (1 F (t)) i. Erster Beweis. Damit X (i) = t ist, muss Folgedes passiere: 1. Eie der Zufallsvariable, z.b. X k, muss de Wert t aehme. Es gibt Möglichkeite, das k auszuwähle. Die Dichte des Ereigisses X k = t ist f(t).. Uter de restliche 1 Zufallsvariable müsse geau i 1 Zufallsvariable Werte uter t aehme. Wir habe ( 1 i 1) Möglichkeite, die i 1 Zufallsvariable auszuwähle. Die Wahrscheilichkeit, dass die ausgewählte Zufallsvariable allesamt kleier als t sid, ist F (t) i Die verbliebee i Zufallsvariable müsse allesamt größer als t sei. Die Wahrscheilichkeit davo ist (1 F (t)) i. Idem wir u alles ausmultipliziere, erhalte wir das Ergebis: ( ) 1 f X(i) (t) = f(t) F (t) i 1 (1 F (t)) i. i 1 Das ist geau die erwüschte Formel, de ( ) 1 i 1 = ( 1)! =!. (i 1)!( i)! (i 1)!( i)! Zweiter Beweis. Schritt 1. Die Azahl der Elemete der Stichprobe, die uterhalb vo t liege, bezeiche wir mit N = # {i {1,..., } : X i t} = 1 Xi t. 13

19 Dabei steht # für die Azahl der Elemete i eier Mege. Die Zufallsvariable X 1,..., X sid uabhägig ud idetisch verteilt mit P[X i t] = F (t). Somit ist die Zufallsvariable N biomialverteilt: N Bi(, F (t)). Schritt. Es gilt { X (i) t } = {N i}. Daraus folgt für die Verteilugsfuktio vo X (i), dass ( ) F X(i) (t) = P[X (i) t] = P[N i] = F (t) k (1 F (t)) k. k Schritt 3. Die Dichte ist die Ableitug der Verteilugsfuktio. Somit erhalte wir f X(i) (t) = F X (i) (t) ( ) {kf = (t) k 1 f(t)(1 F (t)) k ( k)f (t) k (1 F (t)) k 1 f(t) } k k=i ( ) ( ) = kf (t) k 1 f(t)(1 F (t)) k ( k)f (t) k (1 F (t)) k 1 f(t). k k k=i Wir schreibe u de Term mit k = i i der erste Summe getret, ud für alle adere Terme i der erste Summe führe wir de eue Summatiosidex l = k 1 ei. Die zweite Summe lasse wir uverädert, ersetze aber de Summatiosidex k durch l: ( f X(i) (t) = i l=i ) if (t) i 1 f(t)(1 F (t)) i + 1 l=i k=i k=i ( l + 1 ( ) ( l)f (t) l f(t)(1 F (t)) l 1. l ) (l + 1)F (t) l f(t)(1 F (t)) l 1 Der Term mit l = i der zweite Summe ist wege des Faktors l gleich 0, somit köe wir i der zweite Summe bis 1 summiere. Nu sehe wir, dass die beide Summe gleich sid, de ( ) ( )! (l + 1) = l + 1 l!( l 1) = ( l). l Die Summe kürze sich ud somit folgt ( ) f X(i) (t) = if (t) i 1 f(t)(1 F (t)) i. i Aufgabe 1.6. (Gemeisame Dichte vo X (i) ud X (j) ). Seie X 1,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Dichte f ud Verteilugsfuktio F. Ma zeige, dass für alle 1 i < j die gemeisame Dichte f X(i),X (j) (t, s) der Ordugsstatistike X (i) ud X (j) durch die folgede Formel gegebe ist: ( )( f(t)f(s) i 1, j 1 i, j ) F (t) i 1 (F (s) F (t)) j 1 i (1 F (s)) j. Im ächste Satz bestimme wir die gemeisame Dichte aller Ordugsstatistike. 14

20 Satz Seie X 1,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Dichte f. Seie X (1)... X () die Ordugsstatistike. Da ist die gemeisame Dichte des Zufallsvektors (X (1),..., X () ) gegebe durch {! f(t 1 )... f(t ), falls t 1... t, f X(1),...,X () (t 1,..., t ) = 0, sost. Beweis. Da die Ordugsstatistike per Defiitio aufsteiged sid, ist die Dichte gleich 0, we die Bedigug t 1... t icht erfüllt ist. Sei u die Bedigug t 1... t erfüllt. Damit X (1) = t 1,..., X () = t ist, muss eie der Zufallsvariable (für dere Wahl es Möglichkeite gibt) gleich t 1 sei, eie adere (für dere Wahl es 1 Möglichkeite gibt) gleich t, usw. Wir habe also! Möglichkeite für die Wahl der Reihefolge der Variable. Zum Beispiel tritt für = das Ereigis {X (1) = t 1, X () = t } geau da ei, we etweder {X 1 = t 1, X = t } oder {X 1 = t, X = t 1 } eitritt, was Möglichkeite ergibt. Da alle Möglichkeite sich ur durch Permutatioe uterscheide ud somit die gleiche Dichte besitze, betrachte wir ur eie Möglichkeit ud multipliziere da das Ergebis mit!. Die eifachste Möglichkeit ist, dass {X 1 = t 1,..., X = t } eitritt. Diesem Ereigis etspricht die Dichte f(t 1 )... f(t ), da die Zufallsvariable X 1,..., X uabhägig sid. Multipliziere wir u diese Dichte mit!, so erhalte wir das gewüschte Ergebis. Beispiel Seie X 1,..., X uabhägig ud gleichverteilt auf dem Itervall [0, 1]. Die Dichte vo X i ist f(t) = 1 [0,1] (t). Somit gilt für die Dichte der i-te Ordugsstatistik {( f X(i) (t) = i) i t i 1 (1 t) i, falls t [0, 1], 0, sost. Diese Verteilug ist ei Spezialfall der Betaverteilug, die wir u eiführe. Defiitio Eie Zufallsvariable Z heißt betaverteilt mit Parameter α, β > 0, falls { 1 B(α,β) f Z (t) = tα 1 (1 t) β 1, falls t [0, 1], 0, sost. Bezeichug: Z Beta(α, β). Hierbei ist B(α, β) die Eulersche Betafuktio, gegebe durch B(α, β) = 1 0 t α 1 (1 t) β 1 dt. Idem wir u die Dichte vo X (i) im gleichverteilte Fall mit der Dichte der Betaverteilug vergleiche, erhalte wir, dass X (i) Beta(i, i + 1). Dabei muss ma gar icht achreche, dass 1 B(i, i+1) = ( i) i ist, de i beide Fälle hadelt es sich um eie Dichte. Wäre die beide Kostate uterschiedlich, so wäre das Itegral eier der Dichte ugleich 1, was icht möglich ist. 15

21 Abbildug 1. Dichte der Ordugsstatistike X (1),..., X (10) eier uabhägige ud auf [0, 1] gleichverteilte Stichprobe X 1,..., X 10. Aufgabe Seie X 1,..., X uabhägig ud gleichverteilt auf dem Itervall [0, 1]. Zeige Sie, dass E[X (i) ] = i + 1. Aufgabe Seie X 1,..., X uabhägig ud expoetialverteilt mit Parameter 1. Zeige Sie, dass E[X (i) ] = i + 1. Aufgabe Es seie X, X 1,..., X uabhägige ud idetisch verteilte Zufallsvariable mit eier stetige Verteilugsfuktio. Bereche Sie (a) P[X 1 < X <... < X ]. (b) P[X = max{x 1,..., X }]. Aufgabe Es seie X, X 1,..., X uabhägige ud idetisch verteilte Zufallsvariable mit eier stetige Verteilugsfuktio. Es seie X (1) <... < X () die Ordugsstatistike vo X 1,..., X (ohe Berücksichtigug vo X). Bereche Sie P[X < X (k) ] für k = 1,...,. 16

22 KAPITEL Empirische Verteilugsfuktio.1. Empirische Verteilugsfuktio Seie X 1,..., X uabhägige ud idetisch verteilte Zufallsvariable mit theoretischer Verteilugsfuktio F (t) = P[X i t]. Es sei (x 1,..., x ) eie Realisierug dieser Zufallsvariable. Wie köe wir die theoretische Verteilugsfuktio F ahad der Stichprobe (x 1,..., x ) schätze? Dafür beötige wir die empirische Verteilugsfuktio. Defiitio.1.1. Die empirische Verteilugsfuktio eier Stichprobe (x 1,..., x ) R ist defiiert durch F (t) := 1 1 xi t = 1 # {i {1,..., } : x i t}, t R. Bemerkug.1.. Die obe defiierte empirische Verteilugsfuktio ka wie folgt durch die Ordugsstatistike x (1),..., x () ausgedrückt werde 0, falls t < x (1), 1, falls x (1) t < x (), F (t) =, falls x () t < x (3), , falls x ( 1) t < x (), 1, falls x () t. Bemerkug.1.3. Die empirische Verteilugsfuktio F hat alle Eigeschafte eier Verteilugsfuktio, de es gilt (1) lim t F (t) = 0 ud lim t + F (t) = 1. () F ist mooto ichtfalled. (3) F ist rechtsstetig. Parallel werde wir auch die folgede Defiitio beutze. 17

23 Abbildug 1. Empirische Verteilugsfuktio. Die rote Pukte zeige die Stichprobe. A jedem dieser Pukte sprigt die empirische Verteilugsfuktio um 1/. Defiitio.1.4. Seie X 1,..., X uabhägige ud idetisch verteilte Zufallsvariable. Da ist die empirische Verteilugsfuktio gegebe durch F (t) = 1 1 Xi t, t R. Es sei bemerkt, dass F (t) für jedes t R eie Zufallsvariable ist. Somit ist F eie zufällige Fuktio. Auf die Eigeschafte vo F (t) gehe wir im folgede Satz ei. Satz.1.5. Seie X 1, X,... uabhägige ud idetisch verteilte Zufallsvariable mit Verteilugsfuktio F. Da gilt (1) Die Zufallsvariable F (t) ist biomialverteilt: Das heißt: [ P F (t) = k ] = F (t) Bi(, F (t)). ( ) F (t) k (1 F (t)) k, k = 0, 1,...,. k () Für de Erwartugswert ud die Variaz vo F (t) gilt: E[ F (t)] = F (t), Var[ F (t)] = Somit ist F (t) ei erwartugstreuer Schätzer für F (t). (3) Für alle t R gilt F (t) f.s. F (t). F (t)(1 F (t)). 18

24 I diesem Zusammehag sagt ma, dass F (t) ei stark kosisteter Schätzer für F (t) ist. (4) Für alle t R mit F (t) 0, 1 gilt: F (t) F (t) F (t)(1 F (t)) d N(0, 1). I diesem Zusammehag sagt ma, dass F (t) ei asymptotisch ormalverteilter Schätzer ist. Bemerkug.1.6. Die Aussage vo Teil 4 ka ma folgedermaße verstehe: Die Verteilug des Schätzfehlers F (t) F (t) ist für große Werte vo approximativ ( ) F (t)(1 F (t)) N 0,. Beweis vo (1). Wir betrachte Experimete. Beim i-te Experimet überprüfe wir, ob X i t. Falls X i t, sage wir, dass das i-te Experimet ei Erfolg ist. Die Experimete sid uabhägig voeiader, de die Zufallsvariable X 1,..., X sid uabhägig. Die Erfolgswahrscheilichkeit i jedem Experimet ist P[X i t] = F (t). Die Azahl der Erfolge i de Experimete, also die Zufallsvariable F (t) = 1 Xi t muss somit biomialverteilt mit Parameter (Azahl der Experimete) ud F (t) (Erfolgswahrscheilichkeit) sei. Beweis vo (). Wir habe i (1) gezeigt, dass F (t) Bi(, F (t)). Der Erwartugswert eier biomialverteilte Zufallsvariable ist die Azahl der Experimete multipliziert mit der Erfolgswahrscheilichkeit. Also gilt E[ F (t)] = F (t). Teile wir beide Seite durch, so erhalte wir E[ F (t)] = F (t). Die Variaz eier Bi(, p)-verteilte Zufallsvariable ist p(1 p), also Var[ F (t)] = F (t)(1 F (t)). Wir köe u das aus der Variaz herausziehe, allerdigs wird daraus (ach de Eigeschafte der Variaz). Idem wir u beide Seite durch teile, erhalte wir Var[ F (t)] = F (t)(1 F (t)). Beweis vo (3). Wir führe die Zufallsvariable Y i = 1 Xi t ei. Diese sid uabhägig ud idetisch verteilt (da X 1, X,..., uabhägig ud idetisch verteilt sid) mit P[Y i = 1] = P[X i t] = F (t), P[Y i = 0] = 1 P[X i t] = 1 F (t). 19

25 Es gilt also EY i = F (t). Wir köe u das starke Gesetz der große Zahle auf die Folge Y 1, Y,... awede: F (t) = 1 1 Xi t = 1 Y i f.s. EY 1 = F (t). Beweis vo (4). Mit der Notatio vo Teil (3) gilt EY i = F (t) Var Y i = F (t)(1 F (t)). Wir wede de zetrale Grezwertsatz auf die Folge Y 1, Y,... a: F (t) F (t) = F (t)(1 F (t)) 1 Y i EY 1 = Var Y1 Y i EY 1 Var Y1 d N(0, 1)... Empirische Verteilug Mit Hilfe der empirische Verteilugsfuktio köe wir also die theoretische Verteilugsfuktio schätze. Nu führe wir auch die empirische Verteilug ei, mit der wir die theoretische Verteilug schätze köe. Zuerst defiiere wir, was die theoretische Verteilug ist. Defiitio..1. Sei X eie Zufallsvariable. Die theoretische Verteilug vo X ist ei Wahrscheilichkeitsmaß µ auf (R, B) mit µ(a) = P[X A] für jede Borel-Mege A R. Der Zusammehag zwische der theoretische Verteilug µ ud der theoretische Verteilugsfuktio F eier Zufallsvariable ist dieses: F (t) = µ((, t]), t R. Wie köe wir die theoretische Verteilug ahad eier Stichprobe (x 1,..., x ) schätze? Defiitio... Die empirische Verteilug eier Stichprobe (x 1,..., x ) R ist ei Wahrscheilichkeitsmaß µ auf (R, B) mit µ (A) = 1 1 xi A = 1 # {i {1,..., } : x i A} für jede Borel-Mege A R. 0

26 Die theoretische Verteilug µ ordet jeder Mege A die Wahrscheilichkeit, dass X eie Wert i A aimmt, zu. Die empirische Verteilug µ ordet jeder Mege A de Ateil der Stichprobe, der i A liegt, zu. Die empirische Verteilug µ ka ma sich folgedermaße vorstelle: Sie ordet jedem der Pukte x i aus der Stichprobe das gleiche Gewicht 1/ zu. Falls ei Wert mehrmals i der Stichprobe vorkommt, wird sei Gewicht etspreched erhöht. Dem Rest der reelle Gerade, also der Mege R\{x 1,..., x }, ordet µ Gewicht 0 zu. Am Beste ka ma das mit dem Begriff des Dirac-δ-Maßes beschreibe. Defiitio..3. Sei x R eie Zahl. Das Dirac-δ-Maß δ x ist ei Wahrscheilichkeitsmaß auf (R, B) mit δ x (A) = { 1, falls x A, 0, falls x / A für alle Borel-Mege A R. Das Dirac-δ-Maß δ x ordet dem Pukt x das Gewicht 1 zu. Der Mege R\{x} ordet es das Gewicht 0 zu. Die empirische Verteilug µ lässt sich u wie folgt darstelle: µ = 1 δ xi. Zwische der empirische Verteilug µ ud der empirische Verteilugsfuktio F besteht der folgede Zusammehag: F (t) = µ ((, t]). Der ächste Satz fasst die wichtigste Eigeschafte der empirische Verteilug zusamme. Satz..4. Seie X 1,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Verteilug µ. Sei A R eie Borel-Mege. Da gilt (1) Die Zufallsvariable µ (A) ist biomialverteilt: µ (A) Bi(, µ(a)). () Der Erwartugswert ud die Variaz vo µ (A) sid gegebe durch: µ(a)(1 µ(a)) E[ µ (A)] = µ(a), Var[ µ (A)] =. Isbesodere ist µ (A) ei erwartugstreuer Schätzer für µ(a). (3) µ (A) ei stark kosisteter Schätzer für µ(a), d.h. µ (A) f.s. µ(a). 1

27 . (4) Falls µ(a) 0, 1, gilt: µ (A) µ(a) µ(a)(1 µ(a)) d N(0, 1). Somit ist µ (A) ei asymptotisch ormalverteilter Schätzer für µ(a). Aufgabe..5. Beweise Sie Satz..4. Leite Sie Satz.1.5 aus Satz..4 her. Aufgabe..6. Seie A, B R zwei Borel-Mege. Bestimme Sie Cov( µ (A), µ (B)). Aufgabe..7. Seie A 1,..., A k R Borel-Mege. Zeige Sie, dass der Zufallsvektor ( ( µ (A 1 ) µ(a 1 )),..., ( µ (A k ) µ(a k )) ) für i Verteilug gege eie k-variate Normalverteilug kovergiert..3. Plug-i-Schätzer Seie X 1,..., X uabhägige idetisch verteilte Zufallsvariable mit eier Verteilug µ. Gegebe sei dere Realisierug (x 1,..., x ). Ageomme, wir wolle ei bestimmtes Merkmal vo µ schätze, z.b. desse Erwartugswert oder Variaz. Wir wolle also Ψ(µ) schätze, wobei Ψ : M R ei Fuktioal auf eier Mege M ist, die aus Wahrscheilichkeitsmaße auf R besteht. Da wir die theoretische Verteilug µ durch die empirische Verteilug µ schätze, ist es gaz atürlich, Ψ(µ) durch Ψ( µ ) zu schätze. Defiitio.3.1. Ψ( µ ) heißt der Plug-i-Schätzer vo Ψ(µ). Beispiel.3. (Empirische Momete). Sei m k := Ψ(µ) = R xk µ(dx) = E[Xi k ] das k-te Momet vo µ. Der Plug-i-Schätzer für m k ist gegebe durch m k = x k µ (dx) = xk x k. R Ma et m k das k-te empirische Momet der Stichprobe (x 1,..., x ). Isbesodere ist x = ˆm 1 der Plug-i-Schätzer für de Erwartugswert µ = EX 1. Beispiel.3.3 (Plug-i-Schätzer für die Variaz). Sei Ψ(µ) = Var X i = R x µ(dx) ( xµ(dx)) R die Variaz vo µ. Der Plug-i-Schätzer ist gegebe durch ˆσ Plug-i = x µ ( ) (dx) x µ (dx) = 1 x i x = 1 R R s, wobei s die empirische Variaz ist. Beispiel.3.4 (Schiefe ud dere Plug-i-Schätzer). Es seie die erste drei Momete eier Zufallsvariable X edlich: EX = µ, Var X = σ > 0, E[X 3 ] <. Die Schiefe vo X ist

28 defiiert als [ (X ) ] 3 µ γ(x) := E. σ Die Schiefe bleibt ivariat uter affie Trasformatioe, d.h. für alle a > 0, b R gilt γ(ax + b) = γ(x). Für Verteiluge, die symmetrisch um ihre Erwartugswert sid, verschwidet die Schiefe. Dis Schiefe ist somit weder ei Lage- och Skaleparameter, soder ei Maß dafür, wie usymmetrisch (um de Erwartugswert) die Verteilug eier Zufallsvariable ist. Seie u X 1,..., X uabhägige idetisch verteilte Zufallsvariable mit der gleiche Verteilug wie X. Es sei eie Realisierug (x 1,..., x ) vo (X 1,..., X ) gegebe. Der Plug-i-Schätzer für die Schiefe vo X ist gegebe durch ˆγ Plug-i = 1 ( ) 3 x i x. ˆσ Plug-i Aufgabe.3.5 (Kumulate). Es sei X eie Zufallsvariable für die die Fuktio ψ(t) := log Ee tx i eier Umgebug vo 0 edlich ist. Die Ableituge vo ψ a der Stelle 0 heiße die Kumulate vo X: κ k (X) = ψ (k) (0), k N. Die Fuktio ψ heißt die kumulateerzeugede Fuktio vo X. (1) Zeige Sie, dass κ 1 = EX, κ = Var X ud κ 3 = E[(X EX) 3 ]. () Zeige Sie, dass κ k als ei Polyom vo EX, EX,..., EX k dargestellt werde ka. (3) Seie X 1,..., X uabhägige Zufallsvariable. Zeige Sie, dass für alle k N, κ k (X X ) = κ k (X 1 ) κ k (X ). Aufgabe.3.6. Zeige Sie, dass für eie ormalverteilte Zufallsvariable alle Kumulate agefage mit κ 3 verschwide. Aufgabe.3.7. Zeige Sie, dass für eie Poi(λ)-verteilte Zufallsvariable alle Kumulate gleich λ sid. Aufgabe.3.8. Zeige Sie, dass we X 1,..., X uabhägig ud idetisch verteilte Zufallsvariable mit edlichem dritte Momet sid, da gilt γ(x X ) = γ(x). Für geht die Schiefe vo X X also gege 0, was dadurch erklärt werde ka, dass die Zufallsvariable X X ach dem zetrale Grezwertsatz approximativ ormalverteilt ist. Die Schiefe eier Normalverteilug mit beliebige Parameter ist aber 0. Beispiel.3.9 (Empirische charakteristische Fuktio). Es sei (x 1,..., x ) eie Realisierug vo uabhägige ud idetisch verteilte Zufallsvariable X 1,..., X mit Verteilug 3

29 µ. Die charakteristische Fuktio vo X 1,..., X sei mit ϕ(t) = Ee itx 1 = e itx µ(dx), t R, bezeichet. Der Plug-i-Schätzer für ϕ(t) ist ˆϕ (t) = e itxˆµ (dx) = 1 R R e itx k. Aufgabe.3.10 (Eigeschafte der empirische charakteristische Fuktio). Zeige Sie, dass ˆϕ (t) ei erwartugstreuer ud stark kosisteter Schätzer für ϕ(t) ist. D.h. für jedes t R gilt E ˆϕ (t) = ϕ(t), ˆϕ (t) f.s. ϕ(t). k=1.4. Satz vo Gliweko-Catelli Wir habe i Teil 3 vo Satz.1.5 gezeigt, dass für jedes t R die Zufallsvariable F (t) gege die Kostate F (t) fast sicher kovergiert. Ma ka auch sage, dass die empirische Verteilugsfuktio F puktweise fast sicher gege die theoretische Verteilugsfuktio F (t) kovergiert. Im ächste Satz beweise wir eie viel stärkere Aussage. Wir zeige ämlich, dass die Kovergez mit Wahrscheilichkeit 1 sogar gleichmäßig ist. Defiitio.4.1. Der Kolmogorov-Abstad zwische der empirische Verteilugsfuktio F ud der theoretische Verteilugsfuktio F wird folgedermaße defiiert: D := sup F (t) F (t). t R Satz.4. (Gliweko-Catelli). Für de Kolmogorov-Abstad D gilt Mit adere Worte, es gilt D f.s. 0. [ ] P lim D = 0 = 1. Beispiel.4.3. Da aus der fast sichere Kovergez die Kovergez i Wahrscheilichkeit folgt, gilt auch Somit gilt für alle ε > 0: D P 0. [ ] lim P sup F (t) F (t) > ε t R 4 = 0.

30 Abbildug. Die schwarz dargestellte Fuktio ist die empirische Verteilugsfuktio eier Stichprobe vom Umfag = 50 aus der Stadardormalverteilug. Die blaue Kurve ist die Verteilugsfuktio der Normalverteilug. Der Satz vo Gliweko-Catelli besagt, dass bei steigedem Stichprobeumfag die schwarze Kurve mit Wahrscheilichkeit 1 gege die blaue Kurve gleichmäßig kovergiert. Also geht die Wahrscheilichkeit, dass bei der Schätzug vo F durch F a irgedeier Stelle ei Fehler vo mehr als ε etsteht, für gege 0. Bemerkug.4.4. Für jedes t R gilt offebar 0 F (t) F (t) D. Aus dem Satz vo Gliweko-Catelli ud dem Sadwich-Lemma folgt u, dass für alle t R F f.s. (t) F (t) 0, was exakt der Aussage vo Satz.1.5, Teil 3 etspricht. Somit ist der Satz vo Gliweko- Catelli stärker als Satz.1.5, Teil 3. Beweis vo Satz.4.. Wir werde de Beweis ur uter der vereifachede Aahme führe, dass die Verteilugsfuktio F stetig ist. Sei also F stetig. Sei m N beliebig. Schritt 1. Da F stetig ist ud vo 0 bis 1 mooto asteigt, köe wir Zahle mit der Eigeschaft z 1 < z <... < z m 1 F (z 1 ) = 1 m,..., F (z k) = k m,..., F (z m 1) = m 1 m fide. Um die Notatio zu vereiheitliche, defiier wir och z 0 = ud z m = +, so dass F (z 0 ) = 0 ud F (z m ) = 1. Schritt. Wir werde u die Differez zwische F (z) ud F (z) a eier beliebige Stelle z durch die Differeze a de Stelle z k abschätze. Für jedes z R köe wir ei k mit z [z k, z k+1 ) fide. Da gilt wege der Mootoie vo F ud F : F (z) F (z) F (z k+1 ) F (z k ) = F (z k+1 ) F (z k+1 ) + 1 m. 5

31 Auf der adere Seite gilt auch F (z) F (z) F (z k ) F (z k+1 ) = F (z k ) F (z k ) 1 m. Schritt 3. Defiiere für m N ud k = 0, 1,..., m das Ereigis { } A m,k := ω Ω : lim F (z k ; ω) = F (z k ). Dabei sei bemerkt, dass F (z k ) eie Zufallsvariable ist, weshalb sie auch als Fuktio des Ausgags ω Ω betrachtet werde ka. Aus Satz.1.5, Teil 3 folgt, dass P[A m,k ] = 1 für alle m N, k = 0,..., m. Schritt 4. Defiiere das Ereigis A m := m k=0 A m,k. Da ei Schitt vo edlich viele fast sichere Ereigis wiederum fast sicher ist, folgt, dass P[A m ] = 1 für alle m N. Da u auch ei Schitt vo abzählbar viele fast sichere Ereigisse wiederum fast sicher ist, gilt auch für das Ereigis A := m=1a m, dass P[A] = 1. Schritt 5. Betrachte u eie beliebige Ausgag ω A m. Da gibt es wege der Defiitio vo A m,k ei (ω, m) N mit der Eigeschaft Aus Schritt folgt, dass F (z k ; ω) F (z k ) < 1 m für alle > (ω, m) ud k = 0,..., m. D (ω) = sup F (z; ω) F (z) z R m für alle ω A m ud > (ω, m). Betrachte u eie beliebige Ausgag ω A. Somit liegt ω im Ereigis A m, ud das für alle m N. Wir köe u das, was obe gezeigt wurde, auch so schreibe: Für alle m N existiert ei (ω, m) N so dass für alle > (ω, m) die Ugleichug 0 D (ω) < gilt. m Das bedeutet aber, dass lim D (ω) = 0 für alle ω A. Da u die Wahrscheilichkeit des Ereigisses A laut Schritt 4 gleich 1 ist, erhalte wir [{ }] P ω Ω : lim D (ω) = 0 P[A] = 1. Somit gilt D f.s. 0. 6

32 KAPITEL 3 Methode zur Kostruktio vo Schätzer 3.1. Aufgabe der parametrische Statistik I de achfolgede zwei Abschitte werde wir das allgemeie Problem der parametrische Statistik formuliere. 3.. Zwei Beispiele Beispiel Wir betrachte ei Experimet, bei dem eie physikalische Größe (etwa eie Naturkostate wie z.b. die Lichtgeschwidigkeit) bestimmt werde soll. Da das Ergebis eier Messug fehlerbehaftet ist, werde uabhägige Messuge der ubekate Größe durchgeführt. Es ergebe sich die Werte (x 1,..., x ). Üblicherweise immt ma a, dass diese Werte eie Realisierug vo uabhägige ud idetisch verteilte Zufallsvariable (X 1,..., X ) mit eier Normalverteilug sid: X 1,..., X N(µ, σ ). Dabei ist µ der wahre Wert der zu bestimmede Größe ud σ die quadratische Streuug der Messug. Beide Parameter sid ubekat. Somit stellt sich das Problem, die Parameter µ ud σ ahad der gegebee Date (x 1,..., x ) zu schätze, siehe Abbildug Abbildug 1. Das Bild zeigt die Dichte der Normalverteiluge, die zu verschiedee Werte der Parameter µ ud σ gehöre. Die rote Kreise auf der x-achse zeige die Stichprobe. Die Aufgabe der parametrische Statistik ist es, zu etscheide, zu welche Parameterwerte die Stichprobe gehört. 7

33 Als Schätzer für µ ud σ köe wir z.b. de empirische Mittelwert ud die empirische Variaz verwede: ˆµ(x 1,..., x ) = x x = x, ˆσ (x 1,..., x ) = 1 (x i x ) = s 1. Die Mege aller mögliche Stichprobe wird mit X bezeichet ud der Stichproberaum geat. I diesem Beispiel ist X = R. Die Mege aller mögliche Parameterwerte wird der Parameterraum geat ud mit Θ bezeichet. I userem Fall ist Θ = {(µ, σ ): µ R, σ > 0} = R (0, ). Jedem Parameterwert (µ, σ ) Θ etspricht ei Wahrscheilichkeitsmaß P µ,σ auf dem Stichproberaum, das die Verteilug der Stichprobe (X 1,..., X ) uter diesem Parameterwert beschreibt. I userem Fall ist die Lebesgue-Dichte vo P µ,σ gegebe durch L(x 1,..., x ; θ) := 1 e (x i µ) πσ σ. Beispiel 3... Wir betrachte ei Portfolio aus Versicherugsverträge. Es sei x i {0, 1,...} die Azahl der Schäde, die der Vertrag i i eiem bestimmte Zeitraum erzeugt hat: Vertrag Schäde x 1 x x 3... x I der Versicherugsmathematik immt ma oft a, dass die kokrete Stichprobe (x 1,..., x ) eie Realisierug vo uabhägige ud idetisch verteilte Zufallsvariable (X 1,..., X ) ist, die eie Poissoverteilug mit eiem ubekate Parameter θ 0 habe. Es stellt sich Abbildug. Zähldichte der Poissoverteiluge, die zu verschiedee Werte des Parameters θ gehöre. die Aufgabe, de Parameter θ ahad der Stichprobe (x 1,..., x ) zu schätze. Da θ der 8

34 Erwartugswert der Zufallsvariable X i ist, köe wir als eie atürliche Schätzer für θ de empirische Mittelwert x betrachte. Der Stichproberaum ist hier X = {0, 1,,...} = N 0. Der Parameterraum ist Θ = (0, ). Usere Verteilugsaahme lautet P θ [X 1 = x 1,..., X = x ] = e θ θx i θx1+...+x = e θ x i! x 1!... x!, (x 1,..., x ) N 0. Das Wahrscheilichkeitsmaß P θ ist gegebe durch P θ [A] = e θ θ x x x 1!... x!, A N 0. (x 1,...,x ) A 3.3. Statistische Modelle: Defiitio Nu werde wir die obige Beispiele verallgemeier. Defiitio Ei statistisches Modell ist ei Tripel (X, A, (P θ ) θ Θ ), wobei die Kompoete des Tripels die folgede Bedeutug habe. X (geat der Stichproberaum) ist die Mege aller mögliche Stichprobe. A X ist eie σ-algebra auf X. Teilmege A X mit A A heiße Ereigisse (oder messbare Teilmege). Θ (geat der Parameterraum) ist die Mege aller mögliche Werte des Parameters θ. Für jedes θ Θ ist P θ ei Wahrscheilichkeitsmaß auf (X, A). Die Aufgabe der Statistik ka ma sich folgedermaße vorstelle: Die Natur such sich eie Parameterwert θ Θ aus, der us aber vorethalte bleibt. Aus dem Stichproberaum X wird zufällig ud gemäß der Wahrscheilichkeitsverteilug P θ eie Stichprobe x gezoge, die wir beobachte köe. Ahad dieser Stichprobe solle wir θ schätze. Die verüftige Wahl eies statistische Modells ist eie Aufgabe des Statistikers ud hägt vom kokrete Problem ab. Im Weitere werde wir mehrere Beispiele vo statistische Modelle sehe. Wir fasse die Stichprobe x als eie Realisierug eies Zufallselemets X mit Werte im Stichproberaum X auf. I viele Beispiele ist X = R. Da ist X ei -dimesioaler Zufallsvektor, desse Kompoete wir mit X 1,..., X bezeiche. 9

35 Notatio: Wir bezeiche mit X ei Zufallselemet mit Werte i X, desse Verteilug durch P θ gegebe ist. Das heißt, die Wahrscheilichkeit, dass X eie Wert i der Mege A A aimmt, ist P θ [A]. Per Defiitio muss X : Ω X eie Fuktio auf eiem Wahrscheilichkeitsraum (Ω, B, W θ ) sei (wobei das Wahrscheilichkeitsmaß W θ vo θ abhägt). Im Folgede wird es egal sei, wie ma diese Wahrscheilichkeitsraum wählt, die eifachste Wahl aber ist diese: Ω = X, B = A, W θ = P θ. Da ist X : X X die idetische Abbildug: X(x) = x. Bevor ma vo der Wahrscheilichkeit eies Ereigisses A X spricht, muss ma sage, welche Wert der Parameter θ aehme soll: P θ1 [A] ud P θ [A] köe sich durchaus uterscheide. Geauso verhält es sich mit dem Erwartugswert ud der Variaz: Mit E θ Z ud Var θ Z bezeiche wir de Erwartugswert ud die Variaz eier Zufallsvariable Z : X R, die mit Hilfe des Wahrscheilichkeitsmaßes P θ berechet wurde. Nu werde wir ei eifaches statistisches Modell kostruiere. Beispiel Wir betrachte eie (im Allgemeie ufaire) Müze. Die Wahrscheilichkeit θ, dass die Müze bei eiem Wurf Kopf zeigt, sei ubekat. Um diese Parameter zu schätze, werfe wir die Müze Mal. Ma ka für dieses Experimet zwei Modelle vorschlage. Erstes Modell. De Ausgag des Experimets, bei dem die Müze Mal geworfe wird, fasse wir i eier Stichprobe (x 1,..., x ) {0, 1} zusamme, wobei x i = 1, we die Müze bei Wurf i Kopf gezeigt hat, ud x i = 0, we die Müze bei Wurf i Zahl gezeigt hat. Der Stichproberaum ist somit X = {0, 1}. Wir fasse alle Teilmege vo X als messbar auf, d.h. A = X. Wir modelliere die Stichprobe (x 1,..., x ) als eie Realisierug vo uabhägige ud idetisch verteilte Zufallsvariable X 1,..., X, die Beroulli-verteilt mit Parameter θ [0, 1] sid, d.h. P θ [X i = x i ] = θ x i (1 θ) 1 x i = { θ, falls x i = 1, 1 θ, falls x i = 0, x i {0, 1}. Das Wahrscheilichkeitsmaß P θ auf {0, 1} sieht folgedermaße aus: P θ (A) = P θ [(X 1,..., X ) A] = θ x x (1 θ) (x x ), A {0, 1}. (x 1,...,x ) A Zweites Modell. I diesem Modell betrachte wir die Azahl s der Würfe, bei dee die Müze Kopf gezeigt hat, als eie Realisierug eier Zufallsvariable S, die biomialverteilt mit Parameter ud θ ist. Der Stichprobeumfag ist hier 1, der Stichproberaum ist X = {0, 1,..., }, mit der σ-algebra A = X. Die Wahrscheilichkeitsmaße P θ, θ [0, 1], sehe wie folgt aus: P θ [A] = P θ [S A] = ( ) θ s (1 θ) s, A {0, 1,..., }. s s A 30

36 Abbildug 3 zeigt die Zähldichte der Wahrscheilichkeitsmaße P θ für verschiedee Werte vo θ Abbildug 3. Zu Beispiel 3.3., zweites Modell: Zähldichte der Biomialverteiluge Bi(, θ), mit = 100 ud θ = 0., 0.4, 0.6, 0.8. I diesem Skript werde wir meistes Stichprobe der Form X = (X 1,..., X ) betrachte, wobei X 1,..., X uabhägige ud idetisch verteilte Zufallsvariable sid. Desweitere werde wir aehme, dass eier der folgede beide Fälle eitritt: Der diskrete Fall: Die Zufallsvariable X 1,..., X sid diskret (d.h. sie ehme ur edlich viele oder abzählbar viele Werte a) ud habe eie Zähldichte h θ (x), die vo eiem ubekate Parameter θ abhägt. Der absolut stetige Fall: Die Zufallsvariable X 1,..., X sid absolut stetig ud habe eie Dichte h θ (x), die vo eiem ubekate Parameter θ abhägt. Beispiel Zum diskrete Fall gehöre die folgede Familie vo Zähldichte: (1) Beroulli-Verteiluge {Ber(θ): θ [0, 1]}, () Biomialverteiluge {Bi(m, p): m N, p [0, 1]}, (3) Poisso-Verteiluge {Poi(θ): θ > 0}, usw. Zum absolut stetige Fall gehöre die folgede Verteilugsfamilie: (1) Normalverteiluge {N(µ, σ ): µ R, σ > 0}, () Betaverteiluge {Beta(α, β): α > 0, β > 0}, (3) Gammaverteiluge {Gamma(α, λ): α > 0, λ > 0}, usw. I de obige Beispiele ist θ ei Vektor mit edlich viele Kompoete, d.h. Θ R r. Da spricht ma vo parametrischer Statistik. Ma ka aber auch eie u.i.v. Stichprobe (X 1,..., X ) betrachte, i der gar keie Bedigug a die Verteilugsfuktio vo X i gestellt wird. I diesem Fall ist Θ die Mege aller Verteilugsfuktioe. Oder ma immt 31

37 a, dass die Zufallsvariable X i eie Dichte besitze, die zu eiem bestimmte uedlich dimesioale Fuktioeraum gehört, der da mit Θ idetifiziert wird. Da spricht ma vo ichtparametrischer Statistik. I diesem Kapitel befasse wir us ur mit dem parametrische Fall. Für ichtparametrische Fragestelluge siehe z.b. Kapitel (empirische Verteilugsfuktio) ud Kapitel 7 (Kerdichteschätzer). Usere Aufgabe besteht u dari, de Parameter θ ahad der Stichprobe x X zu schätze. Zu diesem Zweck kostruiert ma Schätzer. Defiitio Sei Θ R r. Ei Schätzer ist eie messbare Abbildug ˆθ : X Θ, x ˆθ(x). Machmal werde wir auch Fuktioe ˆθ : X R r, die Werte außerhalb vo Θ aehme dürfe, als Schätzer bezeiche. Ma muss versuche, de Schätzer so zu kostruiere, dass ˆθ(x) de wahre Wert des Parameters θ möglichst gut approximiert. I de ächste drei Abschitte werde wir die drei wichtigste Methode zur Kostruktio vo Schätzer betrachte: die Mometemethode, die Maximum-Likelihood-Methode ud die Bayes-Methode. Aschließed werde wir auf eie weitere (ziemlich exotische) Methode, die Maximum-Spacig-Methode, eigehe Mometemethode Wir ehme a, dass die Stichprobe (x 1,..., x ) R eie Realisierug vo uabhägige ud idetisch verteilte Zufallsvariable (X 1,..., X ) mit Verteilugsfuktio F θ ist. Wir werde de ubekate Parameter θ = (θ 1,..., θ r ) R r schätze. Für die Mometemethode beötige wir die folgede Begriffe. Defiitio Das k-te theoretische Momet (mit k N) der Zufallsvariable X i ist defiiert durch m k (θ) = E θ [X k i ]. Zum Beispiel ist m 1 (θ) der Erwartugswert vo X i. Die theoretische Momete sid Fuktioe des Parameters θ. Defiitio Das k-te empirische Momet (mit k N) der Stichprobe (x 1,..., x ) ist defiiert durch ˆm k = xk x k. Zum Beispiel ist ˆm 1 der empirische Mittelwert x der Stichprobe. Die Idee der Mometemethode besteht dari, die empirische Momete de theoretische gleichzusetze. Dabei sid die empirische Momete bekat, de sie häge ur vo der 3

38 Stichprobe (x 1,..., x ) ab. Die theoretische Momete sid higege Fuktioe des ubekate Parameters θ, bzw. Fuktioe seier Kompoete θ 1,..., θ r. Um r ubekate Parameter zu fide, brauche wir ormalerweise r Gleichuge. Wir betrachte also ei System aus r Gleichuge mit r Ubekate: m 1 (θ 1,..., θ r ) = ˆm 1,..., m r (θ 1,..., θ r ) = ˆm r. Die Lösug dieses Gleichugssystems (falls sie existiert ud eideutig ist) et ma de Mometeschätzer ud bezeichet mit ˆθ ME. Dabei steht ME für Momet Estimator. Beispiel Mometemethode für de Parameter der Beroulli-Verteilug Ber(θ). I diesem Beispiel betrachte wir eie ufaire Müze. Die Wahrscheilichkeit θ, dass die Müze bei eiem Wurf Kopf zeigt, sei ubekat. Um diese Parameter zu schätze, werfe wir die Müze = 100 Mal. Nehme wir a, dass die Müze dabei s = 60 Mal Kopf gezeigt hat. Das Problem besteht u dari, θ zu schätze. Wir betrachte für dieses Problem das folgede mathematische Modell. Zeigt die Müze bei Wurf i Kopf, so setze wir x i = 1, asoste sei x i = 0. Auf diese Weise erhalte wir eie Stichprobe (x 1,..., x ) {0, 1} mit x x = s = 60. Wir ehme a, dass (x 1,..., x ) eie Realisierug vo uabhägige Zufallsvariable X 1,..., X mit eier Beroulli-Verteilug mit Parameter θ [0, 1] ist, d.h. P θ [X i = 1] = θ, P θ [X i = 0] = 1 θ. Da wir ur eie ubekate Parameter habe, brauche wir ur das erste Momet zu betrachte. Das erste theoretische Momet vo X i ist gegebe durch m 1 (θ) = E θ X i = 1 P θ [X i = 1] + 0 P θ [X i = 0] = θ. Das erste empirische Momet ist gegebe durch ˆm 1 = x x = s = = 0.6. Setze wir beide Momete gleich, so erhalte wir de Mometeschätzer ˆθ ME = s = 0.6. Das Ergebis ist atürlich icht überrasched. Beispiel Mometemethode für die Parameter der Normalverteilug N(µ, σ ). Sei (x 1,..., x ) eie Realisierug vo uabhägige ud idetisch verteilte Zufallsvariable X 1,..., X, die eie Normalverteilug mit ubekate Parameter (µ, σ ) habe. Als Motivatio ka etwa Beispiel 3..1 diee. Wir schätze µ ud σ mit der Mometemethode. Da wir zwei Parameter habe, brauche wir zwei Gleichuge (also Momete der Orduge 1 ud ), um diese zu fide. Zuerst bereche wir die theoretische Momete. Der Erwartugswert ud die Variaz eier N(µ, σ )-Verteilug sid gegebe durch E µ,σ X i = µ, Var µ,σ X i = σ. Daraus ergebe sich die erste zwei theoretische Momete: m 1 (µ, σ ) = E µ,σ [X i ] = µ, m (µ, σ ) = E µ,σ [X i ] = Var µ,σ X i + (E µ,σ [X i ]) = σ + µ. 33

39 Setzt ma die theoretische ud die empirische Momete gleich, so erhält ma das Gleichugssystem x x = µ, x x = σ + µ. Dieses Gleichugssystem lässt sich wie folgt ach µ ud σ auflöse: µ = x, σ = 1 x i ( 1 ) ( ) x i = 1 x i x = 1 (x i x ) = 1 s. Dabei habe wir die Idetität x i x = (x i x ) beutzt (Übug). Somit sid die Mometeschätzer gegebe durch ˆµ ME = x, ˆσ ME = 1 s. Beispiel Mometemethode für de Parameter der Poisso-Verteilug Poi(θ). Sei (x 1,..., x ) eie Realisierug vo uabhägige ud mit Parameter θ > 0 verteilte Zufallsvariable X 1,..., X. Wir schätze θ mit der Mometemethode. Da der Erwartugswert eier Poi(θ)-Verteilug gleich θ ist, gilt m 1 (θ) = E θ X i = θ. Das erste empirische Momet ist gegebe durch ˆm 1 (θ) = x x = x. Nu setze wir die beide Momete gleich ud erhalte de Mometeschätzer ˆθ ME = x. Aufgabe Es seie X 1,..., X uabhägig ud gleichverteilt auf dem Itervall (1) [0, θ], wobei θ > 0 ubekat sei. () [θ 1, θ ], wobei θ 1, θ R mit θ 1 < θ ubekat seie. (3) [θ, θ + 1], wobei θ R ubekat sei. (4) [ θ, θ], wobei θ > 0 ubekat sei. Bestimme Sie die Mometeschätzer für die jeweilige Parameter. Hiweis: Im vierte Fall reicht eie Gleichug icht aus. Aufgabe Es seie X 1,..., X uabhägig ud idetisch verteilt mit (1) X i Gamma(α, λ), wobei α > 0 ud λ > 0 ubekat seie. () X i Beta(α, β), wobei α > 0, β > 0 ubekat seie. (3) X i Bi(m, p), wobei m N bekat ud p [0, 1] ubekat sei. (4) X i Bi(m, p), wobei m N ud p [0, 1] beide ubekat seie. Bestimme Sie de jeweilige Mometeschätzer. Im vierte Fall darf der Schätzer für m auch Werte außerhalb vo N aehme. 34

40 Aufgabe Es seie X 1,..., X uabhägig ud idetisch verteilt. Die Verteilug der X i sei eie Mischug aus zwei Poisso-Verteiluge: P[X i = k] = εe λ 1 λk 1 k! + (1 ε)e λ λk k!, k N 0, wobei ε (0, 1), λ 1 > 0, λ > 0 ubekat seie. Beutze Sie die Mometemethode, um die Gleichuge für die Mometeschätzer ˆε ME, ˆλ 1,ME, ˆλ,ME aufzustelle. Aufgabe Eie Bahschrake steht für θ Miute offe, da für θ Miute geschlosse, da wieder für θ Miute offe, usw. Dabei sei θ > 0 ubekat. Ma hat Persoe gefragt, wie lage sie a der Bahschrake warte musste ud die Werte x 1,..., x bekomme. (Eiige dieser Werte köe 0 sei). Schätze Sie θ mit der Mometemethode. Aufgabe I eiem Hochhaus gibt es Stockwerke gleicher Bauart, im i-te Stockwerk wohe x i Familie mit Haustiere. Schätze Sie die Azahl der Familie ohe Haustiere, die i diesem Haus wohe Maximum-Likelihood-Methode Die Maximum-Likelihood-Methode wurde vo viele Mathematiker uabhägig etdeckt, daruter Daiel Beroulli, Joseph Louis Lagrage ud Carl Friedrich Gauß. Bekat wurde diese Methode vor allem durch die Arbeite vo Roald Fisher um 190. Die Maximum- Likelihood-Methode ist (wie auch die Mometemethode) ei Verfahre, um Schätzer für de ubekate Parameter θ zu gewie. Abbildug 4. Erfider der Maximum-Likelihood-Methode: Daiel Beroulli, Joseph-Louis Lagrage, Carl-Friedrich Gauß, Roald Fisher. Der diskrete Fall. Sei (X, A, (P θ ) θ Θ ) ei statistisches Modell mit eiem edliche oder abzählbare Stichproberaum X. Da ist die Likelihood-Fuktio gegebe durch L(x; θ) = P θ [X = x]. Die Likelihood-Fuktio hägt sowohl vo der Stichprobe x, als auch vom Parameterwert θ ab, wir werde sie aber hauptsächlich als Fuktio vo θ auffasse ud deshalb auch L(θ) schreibe. Wichtigster Spezialfall. Seie X 1,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Werte i eier höchstes abzählbare Mege E R ud Zähldichte h θ (t) = P θ [X i = t], 35

41 die vo eiem Parameter θ abhägt. Wege Uabhägigkeit gilt für die Likelihood-Fuktio L(x 1,..., x ; θ) = P θ [X 1 = x 1,..., X = x ] = h θ (x 1 )... h θ (x ). Die Idee der Maximum-Likelihood-Methode besteht dari, eie Wert vo θ zu fide, der die Likelihood-Fuktio maximiert: L(θ) max. Defiitio Der Maximum-Likelihood-Schätzer (oder der ML-Schätzer) ist defiiert durch ˆθ ML = arg max L(θ). θ Θ Es ka passiere, dass dieses Maximierugsproblem mehrere Lösuge hat. I diesem Fall muss ma eie dieser Lösuge als Schätzer auswähle. Beispiel Maximum-Likelihood-Schätzer für de Parameter der Beroulli-Verteilug Ber(θ). Wir betrachte wieder eie ufaire Müze, wobei die mit θ bezeichete Wahrscheilichkeit vo Kopf wiederum ubekat sei. Nach = 100 Würfe habe die Müze s = 60 Mal Kopf gezeigt. Wir werde u θ mit der Maximum-Likelihood-Methode schätze. Das ka ma mit zwei verschiedee Asätze mache, die aber (wie wir sehe werde) zum gleiche Ergebis führe. Erstes Modell. Wir modelliere die Stichprobe (x 1,..., x ) als eie Realisierug vo uabhägige ud idetisch verteilte Zufallsvariable X 1,..., X, die Beroulli-verteilt mit Parameter θ [0, 1] sid. Es hadelt sich um diskrete Zufallsvariable ud die Zähldichte ist gegebe durch θ, falls x i = 1, h θ (x i ) = P θ [X i = x i ] = 1 θ, falls x i = 0, 0, sost. Somit gilt für die Likelihood-Fuktio, dass: L(x 1,..., x ; θ) = P θ [X 1 = x 1,..., X = x ] = h θ (x 1 )... h θ (x ) = θ s (1 θ) s, wobei s = x x = 60 ist. Wir maximiere u L(θ); siehe Abbildug 5. Wir beötige eie Falluterscheidug. Fall 1. Sei s = 0. Da ist L(θ) = (1 θ) ud somit gilt arg max L(θ) = 0. Fall. Sei s =. Da ist L(θ) = θ ud somit gilt arg max L(θ) = 1. Fall 3. Sei u s / {0, }. Wir leite die Likelihood-Fuktio ach θ ab: ( d s dθ L(θ) = sθs 1 (1 θ) s ( s)θ s (1 θ) s 1 = θ s ) θ s (1 θ) s. 1 θ 36

42 Abbildug 5. Die Likelihood-Fuktio L(θ) = θ 60 (1 θ) 40, θ [0, 1], aus Beispiel 3.5., erstes Modell. Das Maximum wird a der Stelle θ = 0.6 erreicht. Die Ableitug ist gleich 0 a der Stelle θ = s. (Das würde für s = 0 ud s = icht stimme). Außerdem ist L ichtegativ ud es gilt L(0) = L(1) = 0. Daraus folgt, dass die Stelle θ = s das globale Maximum der Fuktio L(θ) ist. Die Ergebisse der drei Fälle köe wir u wie folgt zusammefasse: Der Maximum- Likelihood-Schätzer ist gegebe durch ˆθ ML = s für s = 0, 1,...,. Somit ist i userem Beispiel ˆθ ML = 60 = Zweites Modell. I diesem Modell betrachte wir s = 60 als eie Realisierug eier biomialverteilte Zufallsvariable S mit Parameter = 100 (bekat) ud θ [0, 1] (ubekat). Somit ist die Likelihood-Fuktio ( ) L(s; θ) = P θ [S = s] = θ s (1 θ) s. s Maximierug dieser Fuktio führt geauso wie im erste Modell zu dem Maximum-Likelihood- Schätzer ˆθ ML = s. Beispiel Maximum-Likelihood-Schätzer für de Parameter der Poisso-Verteilug Poi(θ). Sei (x 1,..., x ) N 0 eie Realisierug der uabhägige ud mit Parameter θ Poissoverteilte Zufallsvariable X 1,..., X. Wir schätze θ mit der Maximum-Likelihood-Methode. Die Zähldichte der Poissoverteilug Poi(θ) ist gegebe durch h θ (x) = e θ θx, x = 0, 1,.... x! 37

43 Dies führt zu folgeder Likelihood-Fuktio L(x 1,..., x ; θ) = e θ θx 1 θx... e θ x 1! x! = θx1+...+x e θ x 1!... x!. A Stelle der Likelihood-Fuktio ist es i diesem Falle eifacher, die sogeate log- Likelihood-Fuktio zu betrachte: log L(θ) = θ + (x x ) log θ log(x 1!... x!). Nu wolle wir eie Wert vo θ fide, der diese Fuktio maximiert. Für x 1 =... = x = 0 ist dieser Wert offebar θ = 0. Seie u icht alle x i gleich 0. Die Ableitug vo log L(θ) ist gegebe durch d dθ log L(θ) = + x x. θ Die Ableitug ist gleich 0 a der Stelle θ = x. (Das ist im Falle, we alle x i gleich 0 sid, falsch, de da wäre die Ableitug a der Stelle 0 gleich ). Um zu sehe, dass θ = x tatsächlich das globale Maximum der Fuktio log L(θ) ist, ka ma wie folgt vorgehe. Es gilt offebar d log L(θ) > 0 für 0 θ < x dθ ud d log L(θ) < 0 für θ > x dθ. Somit ist die Fuktio log L(θ) strikt steiged auf [0, x ) ud strikt falled auf ( x, ). Die Stelle x ist also tatsächlich das globale Maximum. Der Maximum-Likelihood-Schätzer ist somit ˆθ ML = x = x x. Aufgabe Seie X 1,..., X Bi(m, p) uabhägig, wobei m N bekat ud p [0, 1] ubekat sei. Schätze Sie p mit der Maximum-Likelihood-Methode. Aufgabe Jeder Mesch trägt eie der drei Geotype AA, Aa oder aa. Gemäß dem Hardy-Weiberg-Gesetz trete diese Geotype mit de Wahrscheilichkeite (1 p), p(1 p) ud p auf, wobei 0 < p < 1 ubekat ist. Eie Utersuchug vo Persoe ergab folgede Resultate: Geotyp AA: x Persoe, Geotyp Aa: y Persoe, Geotyp aa: z Persoe. Beschreibe Sie das dazugehörige statistische Modell ud bestimme Sie de Maximum- Likelihood-Schätzer für p. Der allgemeie Fall. Sei (X, A, (P θ ) θ Θ ) ei statistisches Modell, so dass alle Wahrscheilichkeitsmaße P θ absolut stetig bezüglich eies σ-edliche Maßes λ auf (X, A) sid. Ei solches statistisches Modell heißt domiiert (vo λ). Die Dichte vo P θ bezüglich λ wird mit L(x; θ) = dp θ dλ (x) bezeichet ud die Likelihood-Fuktio geat. Wichtigster Spezialfall. Seie X 1,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Lebesgue-Dichte h θ, die vo eiem Parameter θ abhägt. Als Stichproberaum köe wir da X = R mit der Borel-σ-Algebra ehme. Sei u λ das Lebesgue-Maß auf R. 38

44 Da stimmt die Likelihood-Fuktio mit der gemeisame Dichte vo X 1,..., X überei, die wege Uabhägigkeit i Produktform dargestellt werde ka: L(x 1,..., x ; θ) = h θ (x 1 )... h θ (x ). I diesem Fall ist P θ [X 1 = x 1,..., X = x ] = 0, deshalb wird die Likelihood-Fuktio als Dichte ud icht als Wahrscheilichkeit defiiert! Der Maximum-Likelihood-Schätzer ist defiiert als der Wert vo θ, der die Likelihood- Fuktio maximiert: ˆθ ML = arg max L(θ). θ Θ Beispiel ML-Schätzer für de Edpukt der Gleichverteilug U[0, θ]. Stelle wir us vor, dass jemad i eiem Itervall [0, θ] zufällig, gleichverteilt ud uabhägig voeiader Pukte x 1,..., x ausgewählt ud markiert hat. Us werde u die Positioe der Pukte gezeigt, icht aber die Positio des Edpuktes θ; siehe Abbildug 6. Wir solle θ ahad der Stichprobe (x 1,..., x ) rekostruiere. Abbildug 6. Rote Kreise zeige eie Stichprobe vom Umfag = 7, die gleichverteilt auf eiem Itervall [0, θ] ist. Schwarze Kreise zeige die Edpukte des Itervalls. Die Positio des rechte Edpuktes soll ahad der Stichprobe geschätzt werde. Der Parameterraum ist hier Θ = {θ > 0} = (0, ). Wir modelliere (x 1,..., x ) als Realisieruge vo uabhägige ud idetisch verteilte Zufallsvariable X 1,..., X, die gleichverteilt auf eiem Itervall [0, θ] sid. Die Zufallsvariable X i ist somit absolut stetig ud ihre Dichte ist gegebe durch h θ (x i ) = { 1, θ Das führt zu folgeder Likelihood-Fuktio falls x i [0, θ], 0, falls x i / [0, θ]. L(x 1,..., x ; θ) = h θ (x 1 )... h θ (x ) = 1 θ 1 x 1 [0,θ]... 1 x [0,θ] = 1 θ 1 x () θ. Dabei ist x () = max{x 1,..., x } der maximale Wert i dieser Stichprobe. Der Graph der Likelihood-Fuktio ist auf Abbildug 7 zu sehe. Die Fuktio L(θ) ist 0 solage θ < x (), ud mooto falled für θ > x (). Somit erhalte wir de Maximum-Likelihood-Schätzer ˆθ ML = arg max L(θ) = x (). θ>0 Der Maximum-Likelihood-Schätzer i diesem Beispiel ist also das Maximum der Stichprobe. Es sei bemerkt, dass dieser Schätzer de wahre Wert θ immer uterschätzt, de die maximale Beobachtug x () ist immer kleier als der wahre Wert des Parameters θ. Aufgabe Bestimme Sie de Mometeschätzer im obige Beispiel ud zeige Sie, dass er icht mit dem Maximum-Likelihood-Schätzer übereistimmt. 39

45 Abbildug 7. Maximum-Likelihood-Schätzug des Edpuktes der Gleichverteilug. Die rote Pukte zeige die Stichprobe. Die blaue Kurve ist die Likelihood- Fuktio L(θ). Aufgabe Es seie X 1,..., X uabhägig ud gleichverteilt auf dem Itervall (1) [θ 1, θ ], wobei θ 1, θ R mit θ 1 < θ ubekat seie. () [θ, θ + 1], wobei θ R ubekat sei. (3) [ θ, θ], wobei θ > 0 ubekat sei. Bestimme Sie de jeweilige Maximum-Likelihood-Schätzer bzw. beschreibe Sie die Mege aller Parameterwerte, die die Likelihood-Fuktio maximiere. Beispiel Maximum-Likelihood-Schätzer für die Parameter der Normalverteilug N(µ, σ ). Es sei (x 1,..., x ) eie Realisierug vo uabhägige ud mit Parameter µ, σ ormalverteilte Zufallsvariable X 1,..., X. Wir schätze µ ud σ mit der Maximum-Likelihood- Methode. Die Dichte vo X i ist gegebe durch h µ,σ (x i ) = 1 πσ exp Dies führt zu folgeder Likelihood-Fuktio: L(µ, σ ) = L(x 1,..., x ; µ, σ ) = ( (x i µ) σ ), x i R. ( ) ( 1 exp πσ Die log-likelihood-fuktio sieht folgedermaße aus: log L(µ, σ ) = log(πσ ) 1 σ ) (x i µ). σ (x i µ). Wir bestimme das Maximum dieser Fuktio. Sei zuächst σ fest. Wir betrachte die Fuktio log L(µ, σ ) als Fuktio vo µ ud bestimme das Maximum dieser Fuktio. Wir leite ach µ ab: log L(µ, σ ) = 1 (x µ σ i µ). Die Ableitug ist gleich 0 a der Stelle µ = x. Für µ < x ist die Ableitug positiv (ud somit die Fuktio steiged), für µ > x ist die Ableitug egativ (ud somit die Fuktio 40

46 falled). Also wird bei festem σ a der Stelle µ = x das globale Maximum erreicht. Nu mache wir auch s := σ variabel. Wir betrachte die Fuktio log L( x, s) = log(πs) 1 (x i x ). s Falls alle x i gleich sid, wird das Maximum a der Stelle s = 0 erreicht. Es seie u icht alle x i gleich. Wir leite ach s ab: log L( x, s) = s s + 1 (x s i x ). Die Ableitug ist gleich 0 a der Stelle s = 1 (x i x ) = 1 s =: s. (Würde alle x i gleich sei, so würde das icht stimme, de a der Stelle 0 existiert die Ableitug icht). Für s < s ist die Ableitug positiv (ud die Fuktio somit steiged), für s > s ist die Ableitug egativ (ud die Fuktio somit falled). Somit wird a der Stelle s = s das globale Maximum der Fuktio erreicht. Wir erhalte somit die folgede Maximum-Likelihood-Schätzer: ˆµ ML = x, ˆσ ML = 1 (x i x ). Aufgabe Seie X 1,..., X N(µ, σ ) uabhägig, wobei (1) σ > 0 bekat ud µ R ubekat sei. () µ R bekat ud σ > 0 ubekat sei. Schätze Sie de jeweilige ubekate Parameter mit der Maximum-Likelihood-Methode. Aufgabe Seie X 1,..., X N(θ, θ) uabhägig, wobei θ > 0 ubekat sei. Schätze Sie θ mit der Maximum-Likelihood-Methode. Aufgabe Seie X 1,..., X N(θ, 1) uabhägig, wobei θ ubekat ud die Eischräkug θ 0 gegebe sei. Schätze Sie θ mit der Maximum-Likelihood-Methode. Im ächste Beispiel betrachte wir die sogeate Rückfagmethode (Eglisch: capturerecapture method) zur Bestimmug der Größe eier Populatio. Beispiel I eiem Teich befide sich Fische, wobei (die Populatiosgröße) ubekat sei. Um die Populatiosgröße zu schätze, ka ma wie folgt vorgehe. Im erste Schritt ( capture ) werde aus dem Teich 1 (eie bekate Zahl) Fische gefage ud markiert. Daach werde die 1 Fische wieder i de Teich zurückgeworfe. Im zweite Schritt ( recapture ) werde k Fische ohe Zurücklege gefage. Uter diese k Fische seie k 1 markiert ud k k 1 icht markiert. Ahad dieser Date ka ma wie folgt schätze. Ma setzt de Ateil der markierte Fische uter de gefagee Fische dem Ateil der markierte Fische uter alle Fische 41

47 gleich: k = 1. Aus dieser Gleichug ergibt sich der folgede Schätzer für die Populatiosgröße: k 1 ˆ = 1k k 1. Nu werde wir die Maximum-Likelihood-Methode awede ud schaue, ob sie de gleiche Schätzer liefert. Die Azahl k 1 der markierte Fische uter de k gefagee Fische betrachte wir als eie Realisierug der Zufallsvariable X mit eier hypergeometrische Verteilug. Die Likelihood-Fuktio ist somit gegebe durch L(k 1 ; ) = P[X = k 1 ] = ( 1 ) ( k 1 1 (. k) k k 1 ) Die Frage ist u, für welches diese Fuktio maximal ist. Dabei darf ur Werte {0, 1,,...} aehme. Um dies herauszufide, betrachte wir die folgede Fuktio: R() = L(k ( 1 ) ( 1; ) L(k 1 ; 1) = k 1 1 ) ( k k 1 1 ) k ( ) ( k 1 ) ( k ) = ( k) ( 1) ( k k 1 k + k 1 ). 1 Eie elemetare Rechug zeigt: (1) für < ˆ ist R() < 1; () für > ˆ ist R() > 1; (3) für = ˆ ist R() = 1. Dabei beutze wir die Notatio ˆ = 1k k 1. Daraus folgt, dass die Likelihood-Fuktio L() für < ˆ steigt ud für > ˆ fällt. Ist u ˆ keie gaze Zahl, so wird das Maximum vo L() a der Stelle = [ˆ] erreicht. Ist aber ˆ eie gaze Zahl, so gibt es zwei Maxima a de Stelle = ˆ ud = ˆ 1. Dabei sid die Werte vo L() a diese Stelle gleich, de R(ˆ) = 1. Dies führt zum folgede Maximum-Likelihood-Schätzer: {[ ] 1 k k 1, falls 1k k 1 / Z, ˆ ML = 1 k k 1 oder 1k k 1 1, falls 1k k 1 Z. Im zweite Fall ist der Maximum-Likelihood-Schätzer icht eideutig defiiert. Der Maximum- Likelihood-Schätzer ˆ ML uterscheidet sich also ur uwesetlich vom Schätzer ˆ. Aufgabe Eie Müze, die bei jedem Wurf mit Wahrscheilichkeit p (0, 1) Kopf zeigt, wurde Mal geworfe ud hat k mal Kopf gezeigt. Es seie k ud p bekat. Schätze Sie mit der Maximum-Likelihood-Methode. Zum Schluss betrachte wir ei Beispiel, i dem die Maximum-Likelihood-Methode versagt. Beispiel (Mischug aus zwei Normalverteiluge). Betrachte folgedes Zufallsexperimet, i dem eie Zufallsvariable X erzeugt wird. Ma wirft eie Müze, die mit Wahrscheilichkeit ε (0, 1) Kopf zeigt. Zeigt die Müze Kopf, so erzeugt ma eie ormalverteilte Zufallsvariable mit Parameter (µ 1, σ 1). Zeigt die Müze Zahl, so erzeugt ma 4

48 Abbildug 8. Zu Beispiel : Diese Dichte hat eie sehr große Likelihood. eie ormalverteilte Zufallsvariable mit Parameter (µ, σ). Die auf diese Weise erzeugte Zufallsvariable hat (ach der Formel der totale Wahrscheilichkeit) die folgede Dichte: h ε,µ1,σ1,µ,σ (t) = 1 ε ( ) t µ1 p + ε ( ) t µ p, t R, σ 1 σ 1 σ σ wobei p(t) = 1 π e t / die Dichte der Stadardormalverteilug ist. Sei u (x 1,..., x ) eie Realisierug vo uabhägige idetisch verteilte Zufallsvariable X 1,..., X mit Dichte h ε,µ1,σ1,µ,σ (t), wobei θ := (ε, µ 1, σ 1, µ, σ ) (0, 1) R (0, ) R (0, ) der ubekate Parameter sei. Nu versuche wir, θ mit der Maximum-Likelihood-Methode zu schätze. Wir werde das Problem sogar etwas vereifache, idem wir die Parameter ε, µ, σ als gegebe betrachte ud ur die restliche Parameter µ 1, σ1 schätze. Die Likelihood-Fuktio ist L(x 1,..., x ; θ) = h θ (x 1 )... h θ (x ). Wir versuche, die Likelihood-Fuktio zu maximiere. Sei i {1,..., } beliebig. Wir werde zeige, dass die Likelihood-Fuktio gege + geht, we µ 1 x i ud σ 1 0; siehe Abbildug 8. Für jedes j {1,..., }\{i} gilt ( ) xj µ lim µ 1 x i σ 1 0 h θ (x i ) = +, Folglich gilt auch (bei feste ε, µ, σ ) lim µ 1 x i σ 1 0 lim µ 1 x i σ 1 0 h θ (x j ) = ε σ p L(x 1,..., x ; θ) = +. Die Likelihood-Fuktio ist ubeschräkt. Die Maximum-Likelihood-Methode hat i diesem Beispiel versagt. σ > 0. 43

49 Aufgabe (ML-Methode bei sehr schwere Tails). Seie X 1,..., X uabhägig ud idetisch gemäß der Dichte ( ) x µ h µ,σ (x) = σ 1 p σ verteilt, wobei p(t) > 0 eie bekate Dichtefuktio sei, für die lim t t 1+ε p(t) = für jedes ε > 0 gelte. Zeige Sie, dass da lim L(x 1,..., x ; x (1) σ, σ) = + σ 0 ud somit der Maximum-Likelihood-Schätzer icht wohldefiiert ist. Aufgabe Zeige Sie, dass eie Dichtefuktio p, die der Bedigug lim t t 1+ε p(t) = für jedes ε > 0 geügt, existiert Bayes-Methode Für die Eiführug des Bayes-Schätzers muss das parametrische Modell etwas modifiziert werde. Um die Bayes-Methode awede zu köe, werde wir zusätzlich aehme, dass der Parameter θ selber eie Zufallsvariable mit eier gewisse (ud bekate) Verteilug ist. Wir betrachte zuerst ei Beispiel. Beispiel Eie Versicherug teile die bei ihr versicherte Autofahrer i zwei Kategorie: Typ 1 ud Typ (z.b. ach dem Typ des versicherte Fahrzeugs) ei. Die Wahrscheilichkeit, dass ei Autofahrer vom Typ 1 (bzw. Typ ) pro Jahr eie Schade meldet, sei θ 1 = 0.4 (bzw. θ = 0.1). Nu betrachte wir eie Autofahrer vo eiem ubekate Typ, der i = 10 Jahre s = Schäde hatte. Köe wir de Typ dieses Autofahrers rate (schätze)? Der Parameterraum ist i diesem Fall Θ = {θ 1, θ }. Es sei S die Zufallsvariable, die die Azahl der Schäde modelliert, die ei Autofahrer i = 10 Jahre meldet. Uter θ = θ 1 (also für Autofahrer vom Typ 1) gilt S Bi(, θ 1 ). Uter θ = θ (also für Autofahrer vom Typ ) ist S Bi(, θ ). Dies führt zur folgede Likelihood-Fuktio: ( ) ( ) 10 L(s; θ 1 ) = P θ1 [S = s] = θ1(1 s θ 1 ) s = = 0.109, L(s; θ ) = P θ [S = s] = s ( s ) θ s (1 θ ) s = ) = Wir köe u die Maximum-Likelihood-Methode awede, idem wir L(θ 1 ) mit L(θ ) vergleiche. Es gilt L(θ ) > L(θ 1 ) ud somit hadelt es sich vermutlich um eie Autofahrer vom Typ. Sei u zusätzlich bekat, dass 90% aller Autofahrer vom Typ 1 ud somit ur 10% vom Typ seie. Mit dieser zusätzliche Voriformatio ist es atürlich, de Parameter θ als eie Zufallsvariable zu modelliere. Die Zufallsvariable θ immt zwei Werte θ 1 ud θ a ud die Wahrscheilichkeite dieser Werte sid ( 10 q(θ 1 ) := P[θ = θ 1 ] = 0.9 ud q(θ ) := P[θ = θ ] =

50 Die Verteilug vo θ et ma auch die a-priori-verteilug. Wie ist u die Azahl der Schäde S verteilt, die ei Autofahrer vo eiem ubekate Typ i Jahre meldet? Die Atwort erhält ma mit der Formel der totale Wahrscheilichkeit: P[S = s] = P[θ = θ 1 ] P[S = s θ = θ 1 ] + P[θ = θ ] P[S = s θ = θ ] ( ) ( ) = q(θ 1 ) θ s s 1(1 θ 1 ) s + q(θ ) θ s s (1 θ ) s. Es sei bemerkt, dass die Zufallsvariable S icht biomialverteilt ist. Vielmehr ist die Verteilug vo S eie Mischug aus zwei verschiedee Biomialverteiluge. Ma sagt auch das S bedigt biomialverteilt ist: S {θ = θ 1 } Bi(, θ 1 ) ud S {θ = θ } Bi(, θ ). Nu betrachte wir eie Autofahrer vo eiem ubekate Typ, der s = Schäde gemeldet hat. Die Wahrscheilichkeit, dass Schäde gemeldet werde, köe wir mit der obige Formel bestimme: P[S = ] = = Die a-posteriori-verteilug vo θ ist die Verteilug vo θ gegebe die Iformatio, dass S =. Zum Beispiel ist die a-posteriori-wahrscheilichkeit vo θ = θ 1 defiiert als die bedigte Wahrscheilichkeit, dass θ = θ 1, gegebe, dass S =. Um die a-posteriori-verteilug zu bereche, beutze wir die Bayes-Formel: q(θ 1 s) := P[θ = θ 1 S = s] = P[θ = θ 1 S = s] P[S = s] Mit de obe berechete Werte erhalte wir, dass q(θ 1 ) = = P[θ = θ 1] P[S = s θ = θ 1 ]. P[S = s] = Die a-posteriori-wahrscheilichkeit vo θ = θ ka aalog berechet werde. Es geht aber auch eifacher: q(θ ) = 1 q(θ 1 ) = Nu köe wir die a-posteriori-wahrscheilichkeite vergleiche. Da q(θ 1 ) > q(θ ), hadelt es sich vermutlich um eie Autofahrer vom Typ 1. Bemerkug A priori steht für vor der Erfahrug. A posteriori steht für ach der Erfahrug. Nu beschreibe wir die allgemeie Form der Bayes-Methode. Bayes-Methode im diskrete Fall. Zuerst betrachte wir de Fall, dass θ eie diskrete Zufallsvariable ist. Die mögliche Werte für θ seie θ 1, θ,.... Die Verteilug vo θ (die auch die a-priori-verteilug geat wird) sei bekat: q(θ i ) := P[θ = θ i ], i = 1,,.... Seie (X 1,..., X ) Zufallsvariable mit der folgede Eigeschaft: Gegebe, dass θ = θ i, sid die Zufallsvariable X 1,..., X uabhägig ud idetisch verteilt mit Zähldichte/Dichte h θi (x). Es sei bemerkt, dass die Zufallsvariable X 1,..., X icht uabhägig, soder lediglich bedigt uabhägig sid. Es werde u eie Realisierug (x 1,..., x ) vo (X 1,..., X ) beobachtet. 45

51 Defiitio Die a-posteriori-verteilug vo θ ist die bedigte Verteilug vo θ gegebe die Iformatio, dass X 1 = x 1,..., X = x, d.h. q(θ i x 1,..., x ) := P[θ = θ i X 1 = x 1,..., X = x ], i = 1,,.... Hier ehme wir der Eifachheit halber a, dass die Zufallsvariable X 1,..., X diskret sid. Diese Wahrscheilichkeit berechet ma mit der Bayes-Formel: q(θ i x 1,..., x ) = P[θ = θ i X 1 = x 1,..., X = x ] = P[X 1 = x 1,..., X = x, θ = θ i ] P[X 1 = x 1,..., X = x ] = P[θ = θ i] P[X 1 = x 1,..., X = x θ = θ i ] P[X 1 = x 1,..., X = x ] = q(θ i)h θi (x 1 )... h θi (x ) q(θ j )h θj (x 1 )... h θj (x ). j Wir habe dabei ageomme, dass X i diskret sid, die Edformel hat aber auch für absolut stetige Variable X i Si. I der Bayes-Statistik schreibt ma oft A(t) B(t), we es eie Kostate C (die vo t icht abhägt) mit A(t) = C B(t) gibt. Das Zeiche steht also für die Proportioalität vo Fuktioe. Die Formel für die a-posteriori-zähldichte vo θ ka ma da auch wie folgt schreibe: q(θ i x 1,..., x ) q(θ i )h θi (x 1 )... h θi (x ). Die a-posteriori-zähldichte q(θ i x 1,..., x ) ist somit proportioal zur a-priori-zähldichte q(θ i ) ud zur Likelihood-Fuktio L(x 1,..., x ; θ i ) = h θi (x 1 )... h θi (x ). Nach der Awedug der Bayes-Methode erhalte wir als Edergebis die a-posteriori- Verteilug des Parameters θ. Oft möchte ma allerdigs das Edergebis i Form eier Zahl habe. I diesem Fall ka ma z. B. folgedermaße vorgehe. Defiitio Der Bayes-Schätzer wird defiiert als der Erwartugswert der a- posteriori-verteilug: ˆθ Bayes = θ i q(θ i x 1,..., x ). i Alterativ ka ma de Bayes-Schätzer auch als de Media der a-posteriori-verteilug defiiere. Bayes-Methode im absolut stetige Fall. Sei u θ eie absolut stetige Zufallsvariable (bzw. Zufallsvektor) mit Werte i R r ud eier Dichte q(τ). Dabei bezeiche wir mit τ R r mögliche Werte vo θ. Die Dichte q(τ) wird auch die a-priori-dichte geat. Seie (X 1,..., X ) Zufallsvariable mit der folgede Eigeschaft: Gegebe, dass θ = τ, sid die Zufallsvariable X 1,..., X uabhägig ud idetisch verteilt mit Zähldichte/Dichte h τ (x). Sei (x 1,..., x ) eie Realisierug vo (X 1,..., X ). Die a-posteriori-verteilug vo θ ist die 46

52 bedigte Verteilug vo θ gegebe die Iformatio, dass X 1 = x 1,..., X = x. Idem wir i der Formel aus dem diskrete Fall die Zähldichte vo θ durch die Dichte vo θ ersetze, erhalte wir die folgede Formel für die a-posteriori-dichte vo θ: Das köe wir auch wie folgt schreibe: q(τ x 1,..., x ) = q(τ)h τ(x 1 )... h τ (x ) R r q(t)h t (x 1 )... h t (x )dt. q(τ x 1,..., x ) q(τ)h τ (x 1 )... h τ (x ). Die a-posteriori-dichte q(τ x 1,..., x ) ist somit proportioal zur a-priori-dichte q(τ) ud zur Likelihood-Fuktio L(x 1,..., x ; τ) = h τ (x 1 )... h τ (x ). Geauso wie im diskrete Fall ist der Bayes-Schätzer defiiert als der Erwartugswert der a-posteriori-verteilug, also ˆθ Bayes = τq(τ x 1,..., x )dτ. R r Aufgabe Zeige Sie, dass im diskrete Fall (bzw. im stetige Fall) q(τ x 1,..., x ) als Fuktio vo τ tatsächlich eie Zähldichte (bzw. eie Dichte) ist. Beispiel Ei Uterehme möchte ei eues Produkt auf de Markt brige. Die a- priori-iformatio sei, dass der Marktateil θ bei ähliche Produkte i der Vergageheit immer zwische 0.1 ud 0.3 lag. Da keie weitere Iformatioe über die Verteilug vo θ vorliege, ka ma z.b. die Gleichverteilug auf [0.1, 0.3] als die a-priori-verteilug vo θ asetze. Die a-priori-dichte für de Marktateil θ ist somit { 5, falls τ [0.1, 0.3], q(τ) = 0, sost. Ma ka u de a-priori-schätzer für de Marktateil z.b. als de Erwartugswert dieser Verteilug bereche: ˆθ apr = Eθ = τq(τ)dτ = 0.. R Außerdem seie Kude befragt worde, ob sie das eue Produkt kaufe würde. Sei x i = 1, falls der i-te Kude die Frage bejaht ud 0, sost. Es sei s = x x die Azahl der Kude i dieser Umfrage, die das eue Produkt kaufe würde. Wir köte u de Marktateil des eue Produkts z.b. mit der Mometemethode (Beispiel 3.4.3) oder mit der Maximum-Likelihood-Methode (Beispiel 3.5.) schätze: ˆθ ME = ˆθ ML = s. Dieser Schätzer igoriert allerdigs die a-priori-iformatio. Mit der Bayes-Methode köe wir eie Schätzer kostruiere, der sowohl die a-priori Iformatio, als auch die Befragug berücksichtigt. Wir betrachte (x 1,..., x ) als eie Realisierug der Zufallsvariable (X 1,..., X ). Wir ehme a, dass bei eiem gegebee θ die Zufallsvariable X 1,..., X uabhägig ud mit Parameter θ Beroulli-verteilt sid: q θ (0) := P θ [X i = 0] = 1 θ, q θ (1) := P θ [X i = 1] = θ. 47

53 Die Likelihood-Fuktio ist L(x 1,..., x ; τ) = h τ (x 1 )... h τ (x ) = τ s (1 τ) s, wobei s = x x. Die a-posteriori-dichte vo θ ist proportioal zu q(τ) ud L(x 1,..., x ; τ) ud ist somit gegebe durch { 5τ s (1 τ) s 0.3, für τ [0.1, 0.3], q(τ x 1,..., x ) = 0.1 5ts (1 t) s dt 0, sost. Es sei bemerkt, dass die a-posteriori-dichte (geauso wie die a-priori-dichte) außerhalb des Itervalls [0.1, 0.3] verschwidet. Wir köe u de Bayes-Schätzer für de Marktateil θ bestimme: ˆθ Bayes = τq(τ x 1,..., x )dτ = τ s+1 (1 τ) s dτ ts (1 t) s dt Der Bayes-Schätzer liegt im Itervall [0.1, 0.3] (de außerhalb dieses Itervalls verschwidet die a-posteriori-dichte) ud widerspricht somit der a-priori Iformatio icht. Nehme wir u a, wir möchte ei Bayes-Modell kostruiere, i dem wir z.b. Beroulliverteilte Zufallsvariable mit eiem Parameter θ betrachte, der selber eie Zufallsvariable ist. Wie solle wir die a-priori-verteilug vo θ wähle? Es wäre schö, we die a-posteriori Verteilug eie ähliche Form habe würde, wie die a-priori-verteilug. Wie ma das erreicht, sehe wir im ächste Beispiel. Beispiel (Beroulli-Beta-Modell). Bei eiem gegebee θ [0, 1] seie X 1,..., X uabhägige Zufallsvariable, die Beroulli-verteilt mit Parameter θ sid. Somit gilt h θ (0) = 1 θ, h θ (1) = θ. Die a-priori-verteilug vo θ sei die Betaverteilug Beta(α, β). Somit ist die a-priori-dichte vo θ gegebe durch q(τ) = 1 B(α, β) τ α 1 (1 τ) β 1 τ α 1 (1 τ) β 1, τ [0, 1]. Es werde u eie Realisierug (x 1,..., x ) vo (X 1,..., X ) beobachtet. Die Likelihood- Fuktio ist L(x 1,..., x ; τ) = h τ (x 1 )... h τ (x ) = τ s (1 τ) s, τ [0, 1], wobei s = x x. Für die a-posteriori-dichte vo θ gilt somit q(τ x 1,..., x ) q(τ)l(x 1,..., x ; τ) τ α+s 1 (1 τ) β+ s 1, τ [0, 1]. I dieser Formel habe wir die multiplikative Kostate icht berechet. Diese muss aber so sei, dass die a-posteriori-dichte tatsächlich eie Dichte ist, also q(τ x 1,..., x ) = 1 B(α + s, β + s) τ α+s 1 (1 τ) β+ s 1, τ [0, 1]. Somit ist die a-posteriori-verteilug vo θ eie Betaverteilug: Beta(α + s, β + s). 48

54 Die a-posteriori-verteilug stammt also aus derselbe Betafamilie, wie die a-priori-verteilug, bloß die Parameter sid aders. Eie a-priori-verteilug mit dieser Eigeschaft heißt kojugierte a-priori-verteilug. Der Bayes-Schätzer für θ ist der Erwartugswert der a-posteriori- Betaverteilug: ˆθ Bayes = α + s α + β +. Weitere Beispiele vo Bayes-Modelle, i dee die a-posteriori-verteilug zur selbe Verteilugsfamilie gehört, wie die a-priori-verteilug, fide sich i folgede Aufgabe. Aufgabe (Poisso-Gamma-Modell). Bei eiem gegebee Wert des Parameters λ > 0 seie die Zufallsvariable X 1,..., X uabhägig ud Poisso-verteilt mit Parameter λ. Dabei wird für λ eie a-priori-gammaverteilug mit (determiistische ud bekate) Parameter b > 0, α > 0 ageomme, d.h. q(λ) = bα Γ(α) λα 1 e bλ für λ > 0. Ma beobachtet u eie Realisierug (x 1,..., x ) vo (X 1,..., X ). Bestimme Sie die a-posteriori-verteilug vo λ ud de Bayes-Schätzer ˆλ Bayes. Aufgabe (Exp-Gamma-Modell). Bei eiem gegebee Wert des Parameters λ > 0 seie die Zufallsvariable X 1,..., X uabhägig ud Expoetial-verteilt mit Parameter λ. Dabei wird für λ eie a-priori-gammaverteilug mit (determiistische ud bekate) Parameter b > 0, α > 0 ageomme, d.h. q(λ) = bα Γ(α) λα 1 e bλ für λ > 0. Ma beobachtet u eie Realisierug (x 1,..., x ) vo (X 1,..., X ). Bestimme Sie die a-posteriori-verteilug vo λ ud de Bayes-Schätzer ˆλ Bayes. Aufgabe (Geo-Beta-Modell). Bei eiem gegebee Wert des Parameters p (0, 1) seie die Zufallsvariable X 1,..., X uabhägig ud geometrisch verteilt mit Parameter p. Dabei wird für p eie a-priori-betaverteilug mit (determiistische ud bekate) Parameter α > 0, β > 0 ageomme. Ma beobachtet eie Realisierug (x 1,..., x ) vo (X 1,..., X ). Bestimme Sie die a-posteriori-verteilug vo p ud de Bayes-Schätzer ˆp Bayes. Die Familie der Normalverteiluge mit eiem bekate σ ist selbstkojugiert: Aufgabe (A-priori-Verteilug für de Erwartugswert eier Normalverteilug bei bekater Variaz). Bei eiem gegebee Wert des Parameters µ R seie die Zufallsvariable X 1,..., X uabhägig ud ormalverteilt mit Parameter (µ, σ ), wobei σ bekat sei. Dabei wird für µ eie a-priori-normalverteilug mit (determiistische ud bekate) Parameter µ 0 R, σ0 > 0 ageomme. Ma beobachtet eie Realisierug (x 1,..., x ) vo (X 1,..., X ). Bestimme Sie die a-posteriori-verteilug vo µ ud de Bayes-Schätzer ˆµ Bayes. 49

55 Aufgabe (A-priori-Verteilug für die Variaz eier Normalverteilug bei bekatem Erwartugswert). Bei eiem gegebee Wert des Parameters τ R seie die Zufallsvariable X 1,..., X uabhägig ud ormalverteilt mit Parameter (µ, σ ), wobei µ bekat sei. Dabei wird für σ eie a-priori iverse Gammaverteilug mit (determiistische ud bekate) Parameter b > 0, α > 0 ageomme. Das heißt, es wird ageomme, dass τ := 1/σ Gammaverteilt mit Parameter b ud α ist. Ma beobachtet eie Realisierug (x 1,..., x ) vo (X 1,..., X ). Bestimme Sie die a-posteriori-verteilug vo τ = 1/σ Maximum-Spacig-Methode Zum Schluss dieses Kapitels betrachte eie weitere Methode zur Kostruktio vo Schätzer, die eie Modifikatio der Maximum-Likelihood-Methode ist. Seie X 1,..., X uabhägige idetisch verteilte Zufallsvariable mit Verteilugsfuktio F θ, wobei θ Θ der zu schätzede Parameter sei. Gegebe sei eie Realisierug (x 1,..., x ) vo (X 1,..., X ). Die Maximal- Spacigs-Methode basiert auf de folgede zwei Beobachtuge. Lemma Die Verteilugsfuktio F θ sei stetig ud strikt mooto steiged. Uter P θ sid die Zufallsvariable F θ (X 1 ),..., F θ (X ) uabhägig ud gleichverteilt auf dem Itervall (0, 1) Abbildug 9. Lemma 3.7.1: Eie Stichprobe wird gleichverteilt auf [0, 1], we ma auf Sie ihre eigee Verteilugsfuktio awedet. Beweis. Die Uabhägigkeit folgt aus der Uabhägigkeit vo X 1,..., X. Wir zeige, dass F θ (X i ) gleichverteilt auf (0, 1) ist. Es ist klar, dass F θ (X i ) ur Werte im Itervall (0, 1) aehme ka. Sei x (0, 1). Da gilt P θ [F θ (X i ) x] = P θ [X i F 1 θ (x)] = F θ (F 1 θ (x)) = x. Somit ist die Zufallsvariable F θ (X i ) gleichverteilt auf (0, 1). 50

56 Lemma Es seie z 1,..., z k [0, 1] Zahle mit der Nebebedigug z z k = 1. Da gilt z 1... z k 1 k k ud die Gleichheit tritt geau da ei, we alle Zahle gleich 1 k sid. Beweis. Dies folgt aus der Cauchy-Ugleichug zwische dem geometrische ud dem arithmetische Mittel. Nu betrachte wir die Ordugsstatistike x (1)... x () der Stichprobe (x 1,..., x ) ud defiiere zusätzlich x (0) =, x (+1) = +. Der gesuchte Wert des Parameters θ ist dadurch charakterisiert, dass die so-geate spacigs D i (θ) = F θ (x (i) ) F θ (x (i 1) ), i = 1,..., + 1, eie Realisierug der Spacigs der uabhägige ud auf (0, 1) gleichverteilte Zufallsvariable sid. Somit sid die spacigs D 1 (θ),..., D +1 (θ) ugefähr gleich. Nach Lemma 3.7. sollte das Produkt der Spacigs ah am maximale mögliche Wert ( + 1) (+1) liege. Dies motiviert die folgede Defiitio: Defiitio Der Maximum-Spacig-Schätzer ist defiiert durch +1 ˆθ MS = arg max (F θ (x (i) ) F θ (x (i 1) )). θ Θ Beispiel Sei (x 1,..., x ) (0, ) eie Realisierug vo uabhägige, auf dem Itervall [0, θ] gleichverteilte Zufallsvariable X 1,..., X. Die Verteilugsfuktio F θ ist gegebe durch 0, t 0, t F θ (x) = θ, t [0, θ], 1, t θ. Wir bereche das Produkt der Spacigs als Fuktio vo θ. Für θ x () gilt F θ (x (+1) ) F θ (x () ) = 1 1 = 0, de F θ (+ ) = 1. Somit ist das Produkt der Spacigs gleich 0. Sei also θ > x (). I diesem Fall ergibt sich, dass +1 (F θ (x (i) ) F θ (x (i 1) )) = 1 θ x (1)(x +1 () x (1) )... (x () x ( 1) )(θ x () ). Der Maximum-Spacig-Schätzer ist also gegebe durch ˆθ MS = arg max θ>x () θ x () = + 1 θ +1 Später werde wir sehe, dass dieser Schätzer erwartugstreu ist ud uter alle erwartugstreue Schätzer die kleiste Variaz besitzt. 51 x ().

57 Aufgabe Sei (x 1,..., x ) R eie Realisierug vo uabhägige, auf eiem Itervall [θ 1, θ ] gleichverteilte Zufallsvariable (X 1,..., X ). Dabei seie θ 1, θ R mit θ 1 < θ die ubekate Parameter. Schätze Sie θ 1 ud θ mit der Maximum-Spacig- Methode. 5

58 KAPITEL 4 Erwartugstreue Schätzer Ei statistisches Modell ist ei Tripel (X, A, (P θ ) θ Θ ), wobei X (geat der Stichproberaum) die Mege aller mögliche Stichprobe, A eie σ-algebra auf X, ud (P θ ) θ Θ eie Familie vo Wahrscheilichkeitsmaße auf (X, A) ist. I diesem Kapitel sei der Parameterraum Θ eie Teilmege vo R r. Eie Stichprobe X wird gemäß eiem Wahrscheilichkeitsmaß P θ zufällig aus X gezoge, wobei θ Θ ubekat ist. Usere Aufgabe besteht dari, θ ahad vo X zu schätze. Defiitio Ei Schätzer ist eie beliebige (Borel-messbare) Fuktio ˆθ : X Θ, x ˆθ(x). Bemerkug Machmal werde wir erlaube, dass ei Schätzer auch Werte außerhalb vo Θ aimmt. Ma möchte u Schätzer kostruiere, für die ˆθ(X) möglichst ah a θ liegt. Dabei ist es gaz atürlich zu forder, dass der Erwartugswert vo ˆθ(X) mit dem zu schätzede Wert θ übereistimme soll. Solche Schätzer heiße erwartugstreu. I diesem Kapitel werde wir versuche, uter alle erwartugstreue Schätzer i eiem gewisse Sie de beste zu fide Erwartugstreue, Bias, mittlerer quadratischer Fehler Defiitio Ei Schätzer ˆθ heißt erwartugstreu (oder uverzerrt), falls E θ [ˆθ(X)] = θ für alle θ Θ. Der Bias (die Verzerrug) eies Schätzers ˆθ ist Bias θ (ˆθ) = E θ [ˆθ(X)] θ. Wir betrachte Bias θ (ˆθ) als eie Fuktio vo θ Θ. Bemerkug Ei Schätzer ˆθ ist geau da erwartugstreu, we Bias θ (ˆθ) = 0 für alle θ Θ. Aufgabe Zeige Sie, dass die Mege aller erwartugstreue Schätzer ei affier Uterraum des Vektorraumes aller Schätzer ist. D.h. sid ˆθ 1 ud ˆθ erwartugstreu, so ist auch tˆθ 1 + (1 t)ˆθ für alle t R erwartugstreu. 53

59 Machmal möchte ma icht de Parameter θ, soder eie Fuktio g(θ) schätze. Defiitio Ei Schätzer ϕ heißt erwartugstreu für g(θ), falls E θ [ϕ(x)] = g(θ) für alle θ Θ. Aufgabe Seie X 1,..., X uabhägig ud mit Parameter θ [0, 1] Beroulliverteilt. Zeige Sie, dass es keie erwartugstreue Schätzer für 1 θ gibt. Es gibt also statistische Modelle ohe erwartugstreue Schätzer. Beispiel I diesem Beispiel werde wir verschiedee Schätzer für de Edpukt der Gleichverteilug kostruiere. Es seie X 1,..., X U[0, θ] uabhägige ud auf dem Itervall [0, θ] gleichverteilte Zufallsvariable, wobei θ > 0 der zu schätzede Parameter sei. Es seie X (1) <... < X () die Ordugsstatistike vo X 1,..., X. Erster Schätzer. Zuerst betrachte wir de Maximum-Likelihood-Schätzer ˆθ 1 (X 1,..., X ) = X () = max{x 1,..., X }. Es ist offesichtlich, dass ˆθ 1 < θ. Somit hat ˆθ 1 eie egative Bias. Zweiter Schätzer. Wir versuche u de Schätzer ˆθ 1 zu verbesser, idem wir ih etwas vergrößer. Wir würde ih gere um θ X () vergrößer, allerdigs ist θ ubekat. Deshalb mache wir de folgede Asatz. Wir gehe davo aus, dass die beide Itervalle (0, X (1) ) ud (X (), θ) ugefähr gleich lag sid, d.h. X (1)! = θ X (). Löse wir diese Gleichug bzgl. θ, so erhalte wir de Schätzer ˆθ (X 1,..., X ) = X () + X (1). Dritter Schätzer. Es gibt aber auch eie adere atürliche Asatz. Wir köe davo ausgehe, dass die Itervalle (0, X (1) ), (X (1), X () ),..., (X (), θ) ugefähr gleich lag sid. Da ka ma die Läge des letzte Itervalls durch das arithmetische Mittel der Läge aller vorherige Itervalle schätze, was zu folgeder Gleichug führt: θ X ()! = 1 (X (1) + (X () X (1) ) + (X (3) X () ) (X () X ( 1) )). Da auf der rechte Seite eie Teleskop-Summe steht, erhalte wir die Gleichug Auf diese Weise ergibt sich der Schätzer θ X ()! = 1 X (). ˆθ 3 (X 1,..., X ) = + 1 X (). 54

60 Vierter Schätzer. Wir köe auch de Mometeschätzer betrachte. Setze wir de Erwartugswert vo X i dem empirische Mittelwert gleich, so erhalte wir E θ [X i ] = θ! = X. Dies führt zum Schätzer ˆθ 4 (X 1,..., X ) = X. Aufgabe Zeige Sie, dass ˆθ, ˆθ 3, ˆθ 4 erwartugstreu sid, ˆθ 1 jedoch icht. Ma sieht a diesem Beispiel, dass es für ei parametrisches Problem mehrere atürliche (ud sogar mehrere erwartugstreue) Schätzer gebe ka. Die Frage ist u, welcher Schätzer der beste ist. Defiitio Sei Θ = (a, b) R ei Itervall. Der mittlere quadratische Fehler (mea square error, MSE) eies Schätzers ˆθ : X R ist defiiert durch MSE θ (ˆθ) = E θ [(ˆθ(X) θ) ]. I dieser Defiitio wird stillschweiged vorausgesetzt, dass ˆθ quadratisch itegrierbar ist, d.h. E θ [f(x) ] < für alle θ Θ. Wir bezeiche mit L die Mege aller quadratisch itegrierbare Schätzer. Wir fasse MSE θ (ˆθ) als eie Fuktio vo θ (a, b) auf. Lemma Es gilt der folgede Zusammehag zwische dem mittlere quadratische Fehler ud dem Bias: MSE θ (ˆθ) = Var θ ˆθ + (Biasθ (ˆθ)). Beweis. Um die Notatio zu vereifache, beutze wir ˆθ als eie Abkürzug für die Zufallsvariable ˆθ(X). Wir beutze die Defiitio des mittlere quadratische Fehlers, erweiter mit E θ [ˆθ] ud quadriere: MSE θ (ˆθ) = E θ [(ˆθ θ) ] = E θ [(ˆθ E θ [ˆθ] + E θ [ˆθ] θ) ] = E θ [(ˆθ E θ [ˆθ]) ] + E θ [(ˆθ E θ [ˆθ]) (E θ [ˆθ] θ)] + E θ [(E θ [ˆθ] θ) ] = Var θ (ˆθ) + (E θ [ˆθ] θ) E θ [ˆθ E θ [ˆθ]] + (Bias θ (ˆθ)). Dabei habe wir beutzt, dass E θ [ˆθ] θ icht zufällig ist. Der mittlere Term auf der rechte Seite verschwidet, de E θ [ˆθ E θ [ˆθ]] = E θ [ˆθ] E θ [ˆθ] = 0. Daraus ergibt sich die gewüschte Idetität. 55

61 Bemerkug Ist ˆθ erwartugstreu, so gilt Bias θ (ˆθ) = 0 für alle θ Θ ud somit vereifacht sich Lemma zu MSE θ (ˆθ) = Var θ (ˆθ). Bemerkug Der Bias ist der systematische Fehler eies Schätzers, die Stadardabweichug Var θ ˆθ ka als der zufällige Fehler eies Schätzers agesehe werde. Der mittlere quadratische Fehler MSE berücksichtigt beide Arte vo Fehler. Mit dem Begriff des mittlere quadratische Fehlers köe wir u Schätzer vergleiche: je kleier der Fehler, umso besser der Schätzer. Defiitio Seie ˆθ 1 ud ˆθ zwei Schätzer. Wir sage, dass ˆθ 1 gleichmäßig besser als ˆθ ist, falls MSE θ (ˆθ 1 ) MSE θ (ˆθ ) für alle θ Θ. Bemerkug Falls ˆθ 1 ud ˆθ erwartugstreu sid, da ist ˆθ 1 gleichmäßig besser als ˆθ, we Var θ (ˆθ 1 ) Var θ (ˆθ ) für alle θ Θ. Aufgabe Es sei X eie Zufallsvariable mit P θ [X = ] = e θ θ 1 e θ, N, θ > 0.! Bestimme Sie alle erwartugstreue Schätzer für g(θ) = e θ ud de mittlere quadratische Fehler für jede solche Schätzer. 4.. Bester erwartugstreuer Schätzer I eiem statistische Modell ka es mehrere erwartugstreue Schätzer gebe. Wir versuche u, uter diese Schätzer dejeige mit der kleiste Variaz zu fide. Defiitio Ei Schätzer ˆθ heißt bester erwartugstreuer Schätzer (für θ), falls er erwartugstreu ist ud für jede adere erwartugstreue Schätzer θ gilt, dass Var θ ˆθ Varθ θ für alle θ Θ. Bemerkug 4... Der etsprechede eglische Begriff lautet UMVU estimator (uiformly miimal variace ubiased). Im ächste Satz zeige wir, dass es höchstes eie beste erwartugstreue Schätzer gebe ka. 56

62 Satz Seie ˆθ 1, ˆθ : X Θ zwei beste erwartugstreue Schätzer, da gilt ˆθ 1 = ˆθ fast sicher uter P θ für alle θ Θ. Beweis. Schritt 1. Da beide Schätzer beste erwartugstreue Schätzer sid, stimme die Variaze dieser beide Schätzer überei, d.h. Var θ ˆθ1 = Var θ ˆθ für alle θ Θ. Ist u Var θ ˆθ1 = Var θ ˆθ = 0 für ei θ Θ, so sid ˆθ 1 ud ˆθ fast sicher kostat uter P θ. Da beide Schätzer erwartugstreu sid, muss diese Kostate gleich θ sei ud somit muss ˆθ 1 = ˆθ fast sicher uter P θ gelte. Die Behauptug des Satzes wäre somit gezeigt. Wir köe also im Folgede aehme, dass die beide Variaze Var θ ˆθ1 = Var θ ˆθ strikt positiv sid. Schritt. Da beide Schätzer erwartugstreu sid, ist auch θ = ˆθ 1 +ˆθ erwartugstreu ud für die Variaz vo θ gilt Var θ θ = 1 4 Var ˆθ θ Var ˆθ θ + 1 Cov θ(ˆθ 1, ˆθ ) 1 Var ˆθ θ Var θ ˆθ1 Var θ ˆθ = Var θ ˆθ1. Dabei wurde die Cauchy-Schwarzsche Ugleichug agewedet. Somit folgt, dass Var θ θ Var θ ˆθ1. Allerdigs ist ˆθ 1 der beste erwartugstreue Schätzer, also muss Var θ θ = Var θ ˆθ1 gelte. Daraus folgt, dass die Cauchy-Schwarz-Ugleichug i Wirklichkeit eie Gleichheit gewese sei muss, also Cov θ (ˆθ 1, ˆθ ) = Var θ ˆθ1 = Var θ ˆθ. Schritt 3. Der Korrelatioskoeffiziet vo ˆθ 1 ud ˆθ ist also gleich 1. Somit besteht ei liearer Zusammehag zwische ˆθ 1 ud ˆθ, d.h. es gibt a = a(θ), b = b(θ) mit ˆθ = a(θ) ˆθ 1 + b(θ) fast sicher uter P θ für alle θ Θ. Setze wir diese Zusammehag bei der Betrachtug der Kovariaz ei ud berücksichtige zusätzlich, dass wie obe gezeigt Var θ ˆθ1 = Cov θ (ˆθ 1, ˆθ ), so erhalte wir, dass Var θ ˆθ1 = Cov θ (ˆθ 1, ˆθ ) = Cov θ (ˆθ 1, a(θ) ˆθ 1 + b(θ)) = a(θ) Var θ ˆθ1. Also ist a(θ) = 1, de Var θ ˆθ1 0 gemäß Schritt 1. Schritt 4. Somit gilt ˆθ = ˆθ 1 + b(θ). Auf Grud der Erwartugstreue der Schätzer ist b(θ) = 0, de θ = E θ ˆθ = E θ ˆθ1 + b(θ) = θ + b(θ). Somit folgt, dass ˆθ 1 = ˆθ fast sicher uter P θ für alle θ Θ. Bemerkug Der beste erwartugstreue Schätzer muss icht i jedem parametrische Modell existiere. Z.B. ka es passiere, dass es überhaupt keie erwartugstreue Schätzer gibt (Aufgabe 4.1.5). 57

63 4.3. Bester erwartugstreuer Schätzer im Beroulli-Modell Im Folgede werde wir für mehrere statistische Modelle de beste erwartugstreue Schätzer kostruiere. Um usere Vorgehesweise zu erkläre, betrachte wir ei Beispiel, das trotz seier Eifachheit die beide wichtigste Idee, Suffiziez ud Vollstädigkeit, beihaltet, die ma für die allgemeie Kostruktio braucht. Wir werde de beste erwartugstreue Schätzer für die Erfolgswahrscheilichkeit im - fache Beroulli-Experimet bestimme. Es seie X 1,..., X Ber(θ) uabhägige, mit Parameter θ [0, 1] Beroulli-verteilte Zufallsvariable. Wir beobachte eie Realisierug (x 1,..., x ) ud solle θ schätze. Statistisches Modell. Der Stichproberaum ist X = {0, 1}. Als σ-algebra der messbare Ereigisse ehme wir die Potezmege A = X. Die mögliche Verteiluge vo (X 1,..., X ) sehe wie folgt aus. Für θ [0, 1] ist P θ das Wahrscheilichkeitsmaß auf X mit P θ [A] = θ x x (1 θ) (x x ), A X. (x 1,...,x ) A Der folgede Satz sollte icht überrasched sei. Satz Der Schätzer ˆθ(x 1,..., x ) = x ist der beste erwartugstreue Schätzer vo θ im -fache Beroulli-Experimet. Beweis. Zuerst müsse wir amerke, dass der Schätzer X erwartugstreu ist. Es bleibt zu zeige, dass es keie bessere erwartugstreue Schätzer gibt. Sei ϕ : X [0, 1] ei weiterer erwartugstreuer Schätzer vo θ. Wir wolle zeige, dass Var θ ϕ Var θ X für alle θ [0, 1]. Erste Idee: Suffiziez. Ituitiv erscheit es plausibel, dass ei guter Schätzer ur die Iformatio verwede sollte, wieviele Erfolge i de Beroulli-Experimete beobachtet wurde. Es sollte egal sei, wa die Erfolge eitgerete sid. So sollte z.b. ei Schätzer ϕ mit ϕ(0, 0, 1, 1, 1) ϕ(1, 0, 1, 0, 1) kei guter Schätzer sei. Wie köe wir das beweise? Für k = 0, 1,..., defiiere wir die Mege A k := {x = (x 1,..., x ) {0, 1} : x x = k}. Da ( ist A 0... A = X eie disjukte Zerlegug vo X. Die Azahl der Elemete i A k ist ) k. Für jede Schätzer ϕ : X [0, 1] betrachte wir u seie Rao-Blackwell-Verbesserug ϕ : X [0, 1] mit ϕ (x) = ( 1 ) ϕ(y), falls x = (x 1,..., x ) A k. k y Ak Der Schätzer ϕ ist kostat auf jeder der Mege A 0,..., A, ud der Wert vo ϕ auf A k ist eifach der Mittelwert vo ϕ über A k ; siehe Abbildug 1. 58

64 Abbildug 1. Die Idee der Rao-Blackwell-Verbesserug. Eie Fuktio (blau) wird durch Mittelwerte (rot) über Mege aus eier disjukte Zerlegug ersetzt. Der Erwartugswert bleibt uverädert, die Variaz wird kleier. Wir behaupte u, dass ϕ ebefalls erwartugstreu ist. I der Tat, wege der Defiitio vo ϕ gilt Eϕ = 1 ϕ (x) = 1 ϕ (x) = 1 ϕ(y) = Eϕ = θ. x A k y A k x X k=0 Ud u zeige wir, dass Var θ ϕ Var θ ϕ. Mit der Ugleichug a a N ( a 1 ) +...+a N N N (vom arithmetische ud quadratische Mittel) erhalte wir ( ) 1 (ϕ(y) θ) = ( ) ( ) ( k y A k k y Ak(ϕ(y) θ) 1 ( ) ) θ) = k k y Ak(ϕ(y) (ϕ (x) θ). x A k Da die Wahrscheilichkeit (uter P θ ) vo jedem Ausgag y A k gleich θ k (1 θ) k ist, köe wir schreibe: Var θ ϕ = E θ [(ϕ θ) ] = θ k (1 θ) k (ϕ(y) θ) y A k k=0 k=0 θ k (1 θ) k (ϕ (x) θ) = E θ [(ϕ θ) ] = Var θ ϕ. x A k k=0 Zweite Idee: Vollstädigkeit. Im Rest des Beweises köe wir also aehme, dass ϕ kostat auf jeder der Mege A 0,..., A bleibt (de aderfalls köe wir ϕ durch ϕ ersetze, was de Schätzer verbessert). Außerdem muss ϕ erwartugstreu sei. Gibt es viele solche Schätzer? Zum Glück gibt es ur eie, ämlich X! Um das zu zeige, bezeiche wir de Wert vo ϕ auf A k mit a k. Da lautet die Bedigug der Erwartugstreue wie folgt: ( ) E θ ϕ = a k θ k (1 θ) k! = θ für alle θ [0, 1]. k k=0 59

65 Es ist eie (icht gaz triviale) Übug zu zeige, dass das ur für a k = k/ möglich ist. Für die Lösug verweise wir auf Abschitt 4.7. Im Rest dieses Kapitels werde wir de obige Beweis auf eie viel größere Klasse vo statistische Modelle erweiter Defiitio der Suffiziez im diskrete Fall Beispiel Betrachte wir eie ufaire Müze, wobei die Wahrscheilichkeit θ, dass die Müze Kopf zeigt, geschätzt werde soll. Dafür werde die Müze mal geworfe. Falls die Müze beim i-te Wurf Kopf zeigt, defiiere wir x i = 1, sost sei x i = 0. Die komplette Iformatio über user Zufallsexperimet ist somit i der Stichprobe (x 1,..., x ) ethalte. Es erscheit aber ituitiv klar, dass für die Beatwortug der statistische Frage über θ ur die Iformatio darüber, wie oft die Müze Kopf gezeigt hat (also die Zahl x x ) relevat ist. Higege ist die Iformatio, bei welche Würfe die Müze Kopf gezeigt hat, icht ützlich. Deshalb et ma i diesem Beispiel die Stichprobefuktio T (x 1,..., x ) = x x eie suffiziete (d.h. ausreichede) Statistik. Astatt das Experimet durch die gaze Stichprobe (x 1,..., x ) zu beschreibe, köe wir es lediglich durch de Wert vo x x beschreibe, ohe dass dabei ützliche statistische Iformatio verlore geht. Ei guter Schätzer für θ muss eie Fuktio vo x x sei. Das garatiert ämlich, dass der Schätzer ur ützliche statistische Iformatio verwedet ud icht durch die Verwedug vo uützlichem Zufallsrausche die Variaz des Schätzers gesteigert wird. Nu werde wir eie allgemeie Defiitio der Suffiziez gebe. Sei (X, A, (P θ ) θ Θ ) ei statistisches Modell. I diesem Abschitt betrachte wir ur de Fall eies edliche oder abzählbar uedliche Stichproberaumes X. Defiitio Eie Fuktio T : X R r heißt eie suffiziete Statistik, we für alle x X ud für alle t R r die Fuktio kostat ist. D.h. es soll gelte, dass θ P θ [X = x T (X) = t] P θ1 [X = x T (X) = t] = P θ [X = x T (X) = t] für alle t R r ud alle θ 1, θ Θ mit P θ1 [T (X) = t] 0, P θ [T (X) = t] 0. Ma ka die obige Defiitio auch wie folgt formuliere: T ist suffiziet, we die bedigte Verteilug vo X gegebe, dass T (X) = t icht vo θ abhägt. Beispiel (Fortsetzug vo Beispiel 4.4.1). Seie X 1,..., X Ber(θ) uabhägige Zufallsvariable, wobei θ (0, 1) zu schätze sei. Wir behaupte, dass T (x 1,..., x ) = x x eie suffiziete Statistik ist. 60

66 Beweis. Sei t {0,..., }, de für alle adere Werte vo t ist das Ereigis T (X) = t umöglich. Betrachte für (x 1,..., x ) {0, 1} de Ausdruck P (θ) := P θ [X 1 = x 1,..., X = x X X = t] = P θ[x 1 = x 1,..., X = x, X X = t]. P θ [X X = t] Fall 1. Ist x x t, so gilt P (θ) = 0. I diesem Fall hägt P (θ) vo θ icht ab. Fall. Sei u x x = t. Da gilt P (θ) = P θ[x 1 = x 1,..., X = x, X X = t] P θ [X X = t] = P θ[x 1 = x 1,..., X = x ]. P θ [X X = t] Idem wir u beutze, dass X 1,..., X uabhägig sid ud X X Bi(, θ) ist, erhalte wir, dass P (θ) = θx 1 (1 θ) 1 x1... θ x (1 θ) ( 1 x ) = ( 1 θt (1 θ) t t t). Dieser Ausdruck ist ebefalls vo θ uabhägig. Bemerkug Wir habe gezeigt, dass für alle t {0,..., } P θ [X 1 = x 1,..., X = x X X = t] = 1 x x ( =t, (x 1,..., x ) {0, 1} t). Somit ist die bedigte Verteilug vo (X 1,..., X ) gegebe, dass X X = t, eie Gleichverteilug auf der Mege {(x 1,..., x ) {0, 1} : x x = t}. Diese Mege besteht aus ( t) Elemete. Die bedigte Verteilug hägt icht vo θ ab (Suffiziez). Aufgabe Seie X 1,..., X uabhägige ud (a) mit Parameter θ > 0 Poisso-verteilte Zufallsvariable; (b) mit Parameter θ (0, 1) geometrisch-verteilte Zufallsvariable. Zeige Sie, dass T (X 1,..., X ) = X X eie suffiziete Statistik ist. Bestimme Sie für t N 0 die bedigte Verteilug vo (X 1,..., X ) gegebe, dass X X = t. Aufgabe Seie X 1,..., X uabhägige, auf der edliche Mege {1,..., θ} gleichverteilte Zufallsvariable, wobei θ N ei Parameter sei. Zeige Sie, dass T (X 1,..., X ) = max{x 1,..., X } eie suffiziete Statistik ist ud bestimme Sie für t N die bedigte Verteilug vo (X 1,..., X ) gegebe, dass max{x 1,..., X } = t. Im obige Beispiel habe wir gezeigt, dass X X eie suffiziete Statistik ist. Ist da z.b. auch X = X X eie suffiziete Statistik? Im folgede Lemma zeige wir, dass die Atwort positiv ist. 61

67 Lemma Sei T : X R r eie suffiziete Statistik ud sei g : Im T R k eie ijektive Fuktio. Da ist auch eie suffiziete Statistik. g T : X R k, x g(t (x)) Beweis. Seie t R k ud θ 1, θ Θ mit P θi [g(t (X)) = t] 0, i = 1,. Wege der Suffiziez vo T ist P (θ i ) := P θi [X = x g(t (X)) = t] = P θi [X = x T (X) = g 1 (t)] uabhägig vo der Wahl vo i = 1,. Dabei ist das Urbild g 1 (t) wohldefiiert, da g ijektiv ist Faktorisierugssatz vo Neyma-Fisher I diesem Abschitt beweise wir de Faktorisierugssatz vo Neyma-Fisher. Dieser Satz bietet eie eifache Methode zur Überprüfug der Suffiziez. Sei (X, A, (P θ ) θ Θ ) ei statistisches Modell mit eier höchstes abzählbare Stichprobemege X. Sei T : X R r eie Statistik. Im ächste Lemma beutze wir die folgede Notatio: L(x; θ) = P θ [X = x] ist die Likelihood-Fuktio. q(t; θ) = P θ [T (X) = t], wobei t R r, ist die Zähldichte vo T (X) uter P θ. Lemma Eie Fuktio T : X R r ist geau da eie suffiziete Statistik, we für alle x X die Fuktio L(x; θ) (4.5.1) θ q(t (x); θ) kostat ist. (Der Defiitiosbereich besteht aus alle θ Θ mit q(t (x); θ) 0). Beweis. Betrachte de Ausdruck P (θ) := P θ [X = x T (X) = t]. Im Falle t T (x) ist P (θ) = 0, was uabhägig vo θ ist. Sei deshalb t = T (x). Da gilt P (θ) = P θ[x = x, T (X) = t] P θ [T (X) = T (x)] = P θ [X = x] P θ [T (X) = T (x)] = L(x; θ) q(t (x); θ). Somit ist T eie suffiziete Statistik geau da, we (4.5.1) icht vo θ abhägt. Satz 4.5. (Faktorisierugssatz vo Neyma-Fisher, diskreter Fall). Eie Fuktio T : X R r ist eie suffiziete Statistik geau da, we es Fuktioe g : R r Θ R ud h : X R gibt, so dass die folgede Faktorisierug gilt: (4.5.) L(x; θ) = g(t (x); θ) h(x) für alle x X, θ Θ. 6

68 Beweis vo =. Sei T eie suffiziete Statistik. Defiiere die Fuktio L(x; θ) h(x) := q(t (x); θ), x X. Dabei köe wir auf der rechte Seite ei beliebiges θ mit q(t (x); θ) 0 eisetze, de ach Lemma ist der Term uabhägig vo θ. Gibt es kei θ mit q(t (x); θ) 0, so defiiere wir eifach h(x) = 0. Mit diesem h ud g(t; θ) = q(t; θ) gilt die Faktorisierug (4.5.). Beweis vo =. Es gelte die Faktorisierug (4.5.). Sei x X fest. Es bezeiche A := {y X: T (y) = T (x)} die Niveaumege vo T, die x ethält. Da gilt für alle θ Θ mit q(t (x); θ) 0, dass L(x; θ) q(t (x); θ) g(t (x); θ)h(x) g(t = = L(y; θ) y A (x); θ)h(x) h(x) = g(t (y); θ)h(y) y A y A h(y). Dieser Ausdruck hägt icht vo θ ab. Nach Lemma ist T suffiziet. Beispiel Seie X 1,..., X Ber(θ) uabhägig, wobei θ (0, 1). Für die Likelihood- Fuktio gilt L(x 1,..., x ; θ) = P θ [X 1 = x 1,..., X = x ] = θ x 1 (1 θ) 1 x 1 1 x1 {0,1}... θ x (1 θ) 1 x 1 x {0,1} = θ x x (1 θ) (x x ) 1 x1,...,x {0,1}. Daraus ist ersichtlich, dass die Neyma-Fisher-Faktorisierug (4.5.) mit T (x 1,..., x ) = x x, g(t; θ) = θ t (1 θ) t, h(x 1,..., x ) = 1 x1,...,x {0,1} gilt. Nach dem Faktorisierugssatz vo Neyma-Fisher ist T suffiziet Defiitio der Suffiziez im absolut stetige Fall Bisher habe wir ur de Fall eies höchstes abzählbare Stichproberaums X betrachtet. Sei u (X, A, (P θ ) θ Θ ) ei statistisches Modell mit eiem beliebige Stichproberaum X. Die Fuktio T : X R r sei Borel-messbar. Im diskrete Fall habe wir T suffiziet geat, we die bedigte Verteilug vo X gegebe, dass T (X) = t icht vo θ abhägt. Im Allgemeie ka die Wahrscheilichkeit des Ereigisses T (X) = t gleich 0 sei ud es ist icht klar, wie ma die bedigte Verteilug defiiert. Dieses Problem hat eie Lösug, die im Abschitt 4.11 besproche wird. Defiitio Sei (X, A, (P θ ) θ Θ ) ei statistisches Modell. Eie Statistik T : X R r heißt suffiziet, falls es eie (vo θ uabhägige!) Familie vo Wahrscheilichkeitsmaße {π t : t R r } gibt mit (1) Für jedes t R r ist π t ist ei Wahrscheilichkeitsmaß auf der Niveaumege T 1 (t) = {x X: T (x) = t}. 63

69 () Für alle θ Θ gilt die Formel der totale Wahrscheilichkeit P θ [A] = π t (A T 1 (t)) µ θ (dt), A A, R r wobei µ θ (B) = P θ [T B], B R r Borel, die Verteilug vo T uter P θ ist. Bemerkug Ma ka sich π t als die bedigte Verteilug vo X gegebe, dass T (X) = t, vorstelle. Etscheided für die Suffiziez ist die Forderug, dass π t keie Fuktio vo θ sei darf. Stelle wir us vor, es wurde eie Stichprobe X gemäß P θ gezoge, us wurde allerdigs lediglich der Wert T (X) mitgeteilt. Wir wisse also, dass X irgedwo i der Niveaumege T 1 (t) liegt. Die bedigte Verteilug vo X ist π t. Da aber diese Verteilug icht mehr vo θ abhägt, würde us die Iformatio über die geaue Positio vo X auf der Niveaumege ichts ütze. Wir köte aus dieser Iformatio keie Rückschlüsse auf θ ziehe. Deshalb heißt T suffiziet. Beispiel Im -fache Beroulli-Model mit der suffiziete Statistik T (x 1,..., x ) = x x ist π t die Gleichverteilug auf der Mege {(x 1,..., x ) {0, 1} : x x = t}, für alle t {0,..., }. Es ist egal, wie ma π t für adere Werte vo t defiiert, da diese eie Nullmege bzgl. µ θ bilde. Bemerkug Es lässt sich zeige, dass auch die folgede Formel der totale Erwartug gilt: ( ) E θ [f(x)] = fdπ t µ θ (dt), T 1 (t) für alle Fuktioe f : X R mit E θ f(x) <. R r Leider lasse die Bediguge der obige Defiitio icht so eifach überprüfe. Zum Glück gibt es eie allgemeie Versio des Satzes vo Neyma-Fisher, die als eie alterative Defiitio der Suffiziez beutzt werde ka. Wir ehme a, dass das statistische Modell (X, A, (P θ ) θ Θ ) domiiert ist, d.h. es gibt ei σ-edliches Maß λ auf X (typischerweise das Lebesgue- oder das Zählmaß), so dass jedes P θ eie Dichte bezüglich λ besitzt. Diese Dichte wird mit L(x; θ) bezeichet ud heißt die Likelihood-Fuktio. Satz (Faktorisierugssatz vo Neyma-Fisher, allgemeier Fall). Eie Statistik T : X R r ist suffiziet geau da, we es messbare Fuktioe g : R r Θ R ud h : X R gibt mit L(x; θ) = g(t (x); θ) h(x), für alle x X, θ Θ. Beispiel Seie X 1,..., X uabhägige ud auf dem Itervall [0, θ] gleichverteilte Zufallsvariable, wobei θ > 0 der ubekate Parameter sei. Wir zeige, dass T (X 1,..., X ) = max {X 1,..., X } eie suffiziete Statistik ist. Die Dichte vo X i gegebe durch h θ (x i ) = 1 θ 1 x i [0,θ]. 64

70 Für die Likelihood-Fuktio (also die Dichte vo (X 1,..., X ) bzgl. des Lebesgue-Maßes auf R ) gilt wobei L(x 1,..., x ; θ) = h θ (x 1 )... h θ (x ) = 1 θ 1 x 1 [0,θ]... 1 x [0,θ] = 1 θ 1 max(x 1,...,x ) θ 1 x1,...,x 0 = g(t (x 1,..., x ); θ) h(x 1,..., x ), g(t; θ) = 1 θ 1 t θ, h(x 1,..., x ) = 1 x1,...,x 0. Somit ist T (X 1,..., X ) = max{x 1,..., X } eie suffiziete Statistik. Ei guter Schätzer für θ muss also eie Fuktio vo max{x 1,..., X } sei. Isbesodere ist der Schätzer X i diesem Sie icht gut, de er beutzt überflüssige Iformatio. Diese überflüssige Iformatio steigert die Variaz des Schätzers. Das ist der Grud dafür, dass der Schätzer +1 max{x 1,..., X } (der suffiziet ud erwartugstreu ist) eie kleiere Variaz als der Schätzer X (der ur erwartugstreu ist) hat. Beispiel Seie X 1,..., X uabhägige ud mit Parameter θ > 0 expoetialverteilte Zufallsvariable. Somit ist die Dichte vo X i gegebe durch h θ (x i ) = θ exp( θx i )1 xi 0. Wir zeige, dass T (x 1,..., x ) = x x eie suffiziete Statistik ist. Für die Likelihood- Fuktio gilt wobei L(x 1,..., x ; θ) = h θ (x 1 )... h θ (x ) = θ exp( θ(x x ))1 x1,...,x 0 = g(t (x 1,..., x ); θ) h(x 1,..., x ), g(t; θ) = θ exp( θt), h(x 1,..., x ) = 1 x1,...,x 0. Ei guter Schätzer für θ muss also eie Fuktio vo X X sei. Beispiel Seie X 1,..., X uabhägige ud idetisch verteilte Zufallsvariable mit X i N(µ, σ ). Der ubekate Parameter ist θ = (µ, σ ), wobei µ R ud σ > 0. Die Aufgabe besteht u dari, eie suffiziete Statistik zu fide. Da wir ormalverteilte Zufallsvariable betrachte, gilt für die Dichte h µ,σ (x i ) = 1 πσ exp ( (x i µ) 65 σ ), x i R.

71 Somit ist die Likelihood-Fuktio gegebe durch L(x 1,..., x ; µ, σ ) = h µ,σ (x 1 )... h µ,σ (x ) ( ) ( ) 1 = exp 1 (x πσ σ i µ) ( ) ( [ ]) 1 = exp 1 x πσ σ i µ x i + µ. Nu betrachte wir die Statistik T : R R mit ( ) (x 1,..., x ) x i, x i = (T 1, T ). Diese Statistik T ist suffiziet, de wir habe die Neyma-Fisher-Faktorisierug mit h(x 1,..., x ) = 1 ud L(x 1,..., x ; µ, σ ) = g(t 1, T ; µ, σ )h(x 1,..., x ) g(t 1, T ; µ, σ ) = ( 1 πσ ) exp Allerdigs ist T 1 oder T allei betrachtet icht suffiziet. ( T 1 µt + µ Bemerkug Im obige Beispiel ist die Statistik ( x, s ) mit ( ) x = x x ud s = 1 x i x 1 ebefalls suffiziet, de σ T 1 = x ud T = ( 1)s + x. Wir köe also g(t 1, T ; µ, σ ) auch als eie Fuktio vo x, s ud µ, σ schreibe. Beispiel Es seie X 1,..., X uabhägige idetisch verteilte Zufallsvariable mit Dichte h θ, wobei θ ubekat sei. Da ist die Statistik T : (x 1,..., x ) (x (1),..., x () ) suffiziet. Das heißt, die Agabe der Werte der Stichprobe ohe die Agabe der Reihefolge, i der diese Werte beobachtet wurde, ist suffiziet. I der Tat, für die Likelihood-Fuktio gilt L(x 1,..., x ; θ) = h θ (x 1 )... h θ (x ). Diese Fuktio ädert sich bei Permutatioe vo x 1,..., x icht ud ka somit als eie Fuktio vo (x (1),..., x () ) ud θ dargestellt werde. Somit habe wir eie Neyma-Fisher- Faktorisierug agegebe. 66 ).

72 4.7. Vollstädigkeit Sei (P θ ) θ Θ eie Familie vo Wahrscheilichkeitsmaße auf dem Stichproberaum (X, A). Defiitio Eie Stichprobefuktio ϕ : X R heißt erwartugstreuer Schätzer vo 0, falls E θ ϕ = 0 für alle θ Θ. Beispiel Sie ˆθ 1 ud ˆθ beide erwartugstreue Schätzer vo θ, so ist ihre Differez ˆθ 1 ˆθ erwartugstreuer Schätzer vo 0. Defiitio Eie Statistik T : X R r heißt vollstädig, falls für alle Borel- Fuktioe g : R r R aus der Gültigkeit vo E θ g(t ) = 0 für alle θ Θ folgt, dass g(t ) = 0 fast sicher bezüglich P θ für alle θ Θ. Mit adere Worte: Es gibt keie ichttriviale erwartugstreue Schätzer vo 0, der ur auf dem Wert der Statistik T basiert. Beispiel Seie X 1,..., X uabhägige ud mit Parameter θ (0, 1) Beroulliverteilte Zufallsvariable. I diesem Fall ist die Statistik T : (X 1,..., X ) (X 1,..., X ) icht vollstädig für. Um die Uvollstädigkeit zu zeige, betrachte wir die Fuktio g(x 1,..., X ) = X X 1. Da gilt für de Erwartugswert E θ g(t (X 1,..., X )) = E θ g(x 1,..., X ) = E θ [X X 1 ] = 0, de X hat die gleiche Verteilug wie X 1. Dabei ist X X 1 0 fast sicher, also ist die Bedigug aus der Defiitio der Vollstädigkeit icht erfüllt. Beispiel Seie X 1,..., X uabhägige ud mit Parameter θ (0, 1) Beroulliverteilte Zufallsvariable. Da ist die Statistik vollstädig. T (X 1,..., X ) = X X Beweis. Sei g : R R eie Fuktio mit E θ g(x X ) = 0 für alle θ (0, 1). Somit gilt ( ) ( ) ( ) i θ 0 = g(i) θ i (1 θ) i = (1 θ) g(i). i i 1 θ i=0 Betrachte die Variable z := θ. Nimmt θ alle mögliche Werte im Itervall (0, 1) a, so 1 θ immt z alle mögliche Werte im Itervall (0, ) a. Es folgt, dass ( ) g(i) z i = 0 für alle z > 0. i i=0 67 i=0

73 Also gilt für alle i = 0,...,, dass g(i) ( i) = 0 ud somit auch g(i) = 0. Hieraus folgt, dass g = 0 ud die Vollstädigkeit ist bewiese. Aufgabe Seie X 1,..., X Bi(θ) uabhägige Zufallsvariable, wobei über de Parameter θ zusätzlich bekat sei, dass θ Θ (0, 1) mit Θ + 1. Zeige Sie, dass die Statistik X X vollstädig ist. Beispiel Seie X 1,..., X uabhägige ud auf [0, θ] gleichverteilte Zufallsvariable, wobei θ > 0. Da ist die Statistik T (X 1,..., X ) = max {X 1,..., X } vollstädig. Beweis. Die Verteilugsfuktio vo T uter P θ ist gegebe durch 0, x 0, P θ [T x] = ( x θ ), 0 x θ, 1, x θ. Die Dichte vo T uter P θ erhält ma idem ma die Verteilugsfuktio ableitet: q(x; θ) = x 1 θ 1 0 x θ. Sei u g : R R eie Borel-Fuktio mit E θ g(t (X 1,..., X )) = 0 für alle θ > 0. Das heißt, es gilt Wir köe durch θ teile: θ θ θ x 1 g(x)dx = 0 für alle θ > x 1 g(x)dx = 0 für alle θ > 0. Nu köe wir ach θ ableite: θ 1 g(θ) = 0 ud somit g(θ) = 0 für Lebesgue-fast alle θ > 0. Somit ist g(x) = 0 fast sicher bzgl. der Gleichverteilug auf [0, θ] für alle θ > 0. Es sei bemerkt, dass g auf der egative Halbachse durchaus ugleich 0 sei ka, allerdigs hat die egative Halbachse Wahrscheilichkeit 0 bzgl. der Gleichverteilug auf [0, θ] Eie Charakterisierug des beste erwartugstreue Schätzers Sei (P θ ) θ Θ eie Familie vo Wahrscheilichkeitsmaße auf dem Stichproberaum (X, A), wobei Θ R. 1 Satz Sei ˆθ : X R ei erwartugstreuer Schätzer für θ. Da sid die folgede Bediguge äquivalet: (1) ˆθ ist der beste erwartugstreue Schätzer für θ. () Für jede (quadratisch itegrierbare) erwartugstreue Schätzer ϕ für 0 gilt, dass Cov θ (ˆθ, ϕ) = 0 für alle θ Θ. 1 Die Ergebisse dieses Abschitts werde im Folgede icht verwedet. 68

74 Also ist ei erwartugstreuer Schätzer geau da der beste erwartugstreue Schätzer, we er zu jedem erwartugstreue Schätzer für 0 orthogoal ist. Beweis vo =. Sei ˆθ der beste erwartugstreue Schätzer für θ ud sei ϕ : R Θ eie Stichprobefuktio mit E θ ϕ = 0 für alle θ Θ. Somit müsse wir zeige, dass Cov θ (ˆθ, ϕ) = 0 für alle θ Θ. Defiiere wir us hierfür θ = ˆθ + aϕ, a R. Da ist θ ebefalls ei erwartugstreuer Schätzer für θ, de Es gilt für die Variaz vo θ, dass E θ θ = Eθ ˆθ + a Eθ ϕ = θ. Var θ θ = Varθ ˆθ + a Var θ ϕ + a Cov θ (ˆθ, ϕ) = Var θ ˆθ + g(a), wobei g(a) = a Var θ ϕ+a Cov θ (ˆθ, ϕ). Wäre u Cov θ (ˆθ, ϕ) 0, da hätte die quadratische Fuktio g zwei verschiedee Nullstelle bei 0 ud Cov θ (ˆθ, ϕ)/ Var θ ϕ. (Wir dürfe hier aehme, dass Var θ ϕ 0, de aderfalls wäre ϕ fast sicher kostat uter P θ ud da würde Cov θ (ˆθ, ϕ) = 0 trivialerweise gelte). Zwische diese Nullstelle gäbe es ei a R mit g(a) < 0 ud es würde folge, dass Var θ θ < Varθ ˆθ. Das widerspricht aber der Aahme, dass ˆθ der beste erwartugstreue Schätzer für θ ist. Somit muss Cov θ (ˆθ, ϕ) = 0 gelte. Beweis vo =. Sei ˆθ ei erwartugstreuer Schätzer für θ. Sei außerdem Cov θ (ϕ, ˆθ) = 0 für alle erwartugstreue Schätzer ϕ für 0. Jetzt werde wir zeige, dass ˆθ der beste erwartugstreue Schätzer ist. Mit θ bezeiche wir eie adere erwartugstreue Schätzer für θ. Somit geügt es zu zeige, dass Var θ ˆθ Varθ θ. Um das zu zeige, schreibe wir θ = ˆθ + ( θ ˆθ) =: ˆθ + ϕ. Da ˆθ ud θ beide erwartugstreue Schätzer für θ sid, ist ϕ := ( θ ˆθ) ei erwartugstreuer Schätzer für 0. Für die Variaze vo θ ud ˆθ gilt: Var θ θ = Varθ ˆθ + Varθ ϕ + Cov θ (ˆθ, ϕ) = Var θ ˆθ + Varθ ϕ Var θ ˆθ. Die letzte Ugleichug gilt, da Var θ ϕ 0. Somit ist ˆθ der beste erwartugstreue Schätzer. Aufgabe Seie ˆν 1,..., ˆν k beste erwartugstreue Schätzer für die Fuktioe ν 1 (θ),..., ν k (θ). Zeige Sie, dass für beliebige Kostate c 1,..., c k R der beste erwartugstreue Schätzer für c 1 ν 1 (θ) c k ν k (θ) durch c 1ˆν c kˆν k gegebe ist Expoetialfamilie I diesem Abschitt führe wir de Begriff der Expoetialfamilie ei. Dieser Begriff ist aus midestes zwei Grüde sehr ützlich. Auf der eie Seite, lässt sich für eie Expoetialfamilie sehr schell eie suffiziete ud vollstädige Statistik (ud somit, wie wir später 69

75 sehe werde, der beste erwartugstreue Schätzer) kostruiere. Auf der adere Seite, sid praktisch alle Verteilugsfamilie, die wir bisher betrachtet habe, Expoetialfamilie. Sei {h θ (x) : θ Θ} eie Familie vo Dichte bzw. Zähldichte. Defiitio Die Familie {h θ (x) : θ Θ} heißt Expoetialfamilie, falls es Fuktioe a(θ), b(x), c(θ), d(x) gibt mit h θ (x) = a(θ)b(x)e c(θ)d(x). Beispiel Betrachte wir die Familie der Biomialverteiluge mit Parameter (bekat) ud θ (0, 1) (ubekat). Für x {0,..., } ist die Zähldichte gegebe durch ( ) ( ) ( ) x ( ) ( ( ) ) θ θ h θ (x) = θ x (1 θ) x = (1 θ) = (1 θ) exp log x. x x 1 θ x 1 θ Somit habe wir die Darstellug h θ (x) = a(θ)b(x)e c(θ)d(x) mit ( ) a(θ) = (1 θ), b(x) =, c(θ) = log x ( θ 1 θ ), d(x) = x. Beispiel Für die Normalverteilug mit Parameter µ R ud σ > 0 ist die Dichte gegebe durch: ( ) ( ) 1 h µ,σ (x) = exp (x µ) 1 ( = πσ σ exp x xµ ) ) exp exp ( µ. πσ σ σ σ Ubekates µ, bekates σ. Betrachte wir de Parameter µ als ubekat ud σ als gegebe ud kostat, so gilt die Darstellug h µ,σ (x) = a(µ)b(x)e c(µ)d(x) mit ( ) ) 1 a(µ) = exp µ, b(x) = exp ( x, c(µ) = µ, d(x) = x. πσ σ σ σ Bekates µ, ubekates σ. Betrachte wir µ als gegebe ud kostat ud σ als ubekat, so gilt die Darstellug h µ,σ (x) = a(σ )b(x)e c(σ )d(x) mit ( ) a(σ 1 ) = exp µ, b(x) = 1, c(σ ) = 1 πσ σ σ, d(x) = xµ x. Aufgabe Zeige Sie, dass folgede Familie vo Verteiluge Expoetialfamilie sid: (1) {Exp(θ): θ > 0}. () {Poi(θ): θ > 0}. Kei Beispiel higege ist die Familie der Gleichverteiluge auf [0, θ]. Das liegt dara, dass der Träger der Gleichverteilug vo θ abhägt. Leider bildet die Familie der Normalverteiluge, we ma sowohl µ als auch σ als ubekat betrachtet, keie Expoetialfamilie im Sie der obige Defiitio. Deshalb werde wir die obige Defiitio etwas erweiter. 70

76 Defiitio Eie Familie {h θ : θ Θ} vo Dichte oder Zähldichte heißt eie m-parametrige Expoetialfamilie, falls es eie Darstellug der Form gibt. h θ (x) = a(θ)b(x)e c 1(θ)d 1 (x)+...+c m(θ)d m(x) Beispiel Die Familie der Normalverteiluge mit Parameter µ R ud σ > 0 (die beide als ubekat betrachtet werde) ist eie -parametrige Expoetialfamilie, de mit h µ,σ (x) = a(µ, σ )b(x)e c 1(µ,σ )d 1 (x)+c (µ,σ )d (x) a(µ, σ ) = ( ) 1 exp µ, b(x) = 1, πσ σ c 1 (µ, σ ) = 1 σ, d 1(x) = x, c (µ, σ ) = µ σ, d (x) = x. Weitere Beispiele zwei-parametriger Expoetialfamilie sid die Familie der Gammaverteiluge ud die Familie der Betaverteiluge, die später eigeführt werde Vollstädige ud suffiziete Statistik für Expoetialfamilie Für eie Expoetialfamilie lässt sich sehr leicht eie suffiziete ud vollstädige Statistik agebe. Nämlich ist die Statistik (T 1,..., T m ) mit T 1 (X 1,..., X ) = d 1 (X j ),..., T m (X 1,..., X ) = d m (X j ) j=1 suffiziet. Um dies zu zeige, schreibe wir die Likelihood-Fuktio wie folgt um: L(x 1,..., x ; θ) = h θ (x 1 )... h θ (x ) ( m ) ( m ) = (a(θ)) b(x 1 )... b(x ) exp c i (θ)d i (x 1 )... exp c i (θ)d i (x ) j=1 = (a(θ)) b(x 1 )... b(x ) exp (T 1 c 1 (θ) T m c m (θ)). Die Suffiziez vo (T 1,..., T m ) folgt aus dem Faktorisierugssatz vo Neyma-Fisher mit h(x 1,..., x ) = b(x 1 )... b(x ), g(t 1,..., T m ; θ) = (a(θ)) exp (T 1 c 1 (θ) T m c m (θ)). Ma ka zeige, dass diese Statistik auch vollstädig ist, we die Mege {(c 1 (θ),..., c m (θ)): θ Θ} R m midestes eie m-dimesioale Ball ethält (ohe Beweis). Beispiel Betrachte wir die Familie der Normalverteiluge mit Parameter µ R ud σ > 0, wobei beide Parameter als ubekat betrachtet werde. Wir habe bereits 71

77 gesehe, dass diese Familie eie zweiparametrige Expoetialfamilie mit d 1 (x) = x ud d (x) = x ist. Somit st die Statistik (T 1, T ) mit T 1 (X 1,..., X ) = T (X 1,..., X ) = d 1 (X j ) = j=1 d (X j ) = j=1 Xj, j=1 j=1 X j suffiziet ud vollstädig Bedigter Erwartugswert ud bedigte Wahrscheilichkeite I diesem Abschitt werde wir eie allgemeie Defiitio der bedigte Wahrscheilichkeite ud Erwartugswerte vorstelle. Elemetare bedigte Wahrscheilichkeite ud Erwartugswerte. Zuerst erier wir us a die Defiitio, die bereits mehrmals beutzt wurde. Defiitio Sei (Ω, A, P) ei Wahrscheilichkeitsraum. Seie A A ud B A zwei Ereigisse mit P[B] 0. Da ist die bedigte Wahrscheilichkeit vo A gegebe B folgedermaße defiiert: P[A B] P[A B] =. P[B] Diese Defiitio ergibt ur da Si, we P[B] 0. Aalog ka ma de bedigte Erwartugswert defiiere. Defiitio Sei (Ω, A, P) ei Wahrscheilichkeitsraum ud X : Ω R eie Zufallsvariable mit E X <. Sei B A ei Ereigis mit P[B] 0. Da ist der bedigte Erwartugswert vo X gegebe B folgedermaße defiiert: E[X B] = E[X1 B]. P[B] Auch diese Defiitio ergibt ur da Si, we P[B] 0. Bedigte Wahrscheilichkeite köe als Spezialfall des bedigte Erwartugswerts agesehe werde, de P[A B] = E[1 A B]. 7

78 Wir habe gesehe (z.b. bei der Defiitio der Suffiziez im absolut stetige Fall), dass ma bedigte Wahrscheilichkeite oder Erwartugswerte oft auch im Falle P[B] = 0 betrachte muss. I diesem Abschitt werde wir eie allgemeie Defiitio des bedigte Erwartugswerts gebe, die das (zumidest i eiige Fälle) möglich macht. Bedigter Erwartugswert gegebe eie σ-algebra. Sei X : Ω R eie auf dem Wahrscheilichkeitsraum (Ω, A, P) defiierte Zufallsvariable. Wir ehme a, dass X itegrierbar ist, d.h. E X <. Sei B A eie Teil-σ-Algebra vo A, d.h. für jede Mege B B gelte auch B A. I diesem Abschitt werde wir de bedigte Erwartugswert vo X gegebe die σ-algebra B defiiere. Sei zuächst X 0 fast sicher. Schritt 1. Sei Q ei Maß auf dem Messraum (Ω, B) mit Q(B) = E[X1 B ] für alle B B. Das Maß Q ist edlich, de Q(Ω) = EX < ach Voraussetzug. Es sei bemerkt, dass das Maß Q auf (Ω, B) ud icht auf (Ω, A) defiiert wurde. Das Wahrscheilichkeitsmaß P higege ist auf (Ω, A) defiiert, wir köe es aber auch auf die kleiere σ-algebra B eischräke ud als ei Wahrscheilichkeitsmaß auf (Ω, B) betrachte. Schritt. Ist u B B eie Mege mit P[B] = 0, so folgt, dass Q(B) = E[X1 B ] = 0, de die Zufallsvariable X1 B ist P-fast sicher gleich 0. Somit ist Q absolut stetig bezüglich P auf (Ω, B). Nach dem Satz vo Rado-Nikodym gibt es eie Fuktio Z, die messbar bezüglich B ist, mit E[Z1 B ] = E[X1 B ] für alle B B. Es sei bemerkt, dass X A-messbar ist, wohigege Z lediglich B-messbar ist. Wir ee die Zufallsvariable Z de bedigte Erwartugswert vo X gegebe B ud schreibe E[X B] = Z. Schritt 3. Sei u X eie beliebige (icht ubedigt positive) Zufallsvariable auf (Ω, A, P) mit E X <. Sei B A ach wie vor eie Teil-σ-Algebra. Wir habe die Darstellug X = X + X mit X + 0 ud X 0. Die bedigte Erwartug vo X gegebe B ist defiiert durch E[X B] = E[X + B] E[X B]. Wir köe u die obige Überleguge zu folgeder Defiitio zusammefasse. Defiitio Sei X eie Zufallsvariable mit E X <, defiiert auf eiem Wahrscheilichkeitsraum (Ω, A, P). (Somit ist X A-messbar). Sei B A eie Teil-σ-Algebra. Eie Fuktio Z : Ω R heißt bedigter Erwartugswert vo X gegebe B, falls (1) Z ist B-messbar. () E[Z1 B ] = E[X1 B ] für alle B B. Wir schreibe da E[X B] = Z. 73

79 Bemerkug Die bedigte Erwartug E[X B] ist eie Zufallsvariable, keie Kostate! Die Existez vo E[X B] wurde bereits obe mit dem Satz vo Rado-Nikodym bewiese. Der bedigte Erwartugswert ist bis auf P-Nullmege eideutig defiiert. Das folgt aus der etsprechede Eigeschaft der Dichte im Satz vo Rado-Nikodym. Abbildug. Bedigter Erwartugswert i Beispiel (liks) ud Beispiel (rechts). Blau: Der Graph vo X. Rot: Der bedigte Erwartugswert. Beispiel Sei (Ω, A, P) ei Wahrscheilichkeitsraum. Betrachte eie disjukte abzählbare Zerlegug Ω = N Ω, wobei Ω A ud P[Ω ] 0. (Wir betrachte hier eie uedliche Zerlegug, der Fall eier edliche Zerlegug ist völlig aalog). Sei B die σ-algebra, die vo der Familie {Ω 1, Ω,...} erzeugt wird. Somit ist { } B = Ω ε : ε 1, ε,... {0, 1}, N wobei Ω 1 = Ω ud Ω 0 =. Sei X eie beliebige (A-messbare) Zufallsvariable auf Ω mit E X <. Für de bedigte Erwartugswert vo X geegebe B gilt: E[X B](ω) = E[X1 Ω ], falls ω Ω. P[Ω ] Beweis. Beachte, dass Z := E[X B] B-messbar sei muss. Also ist Z kostat auf jeder Mege Ω. Sei also Z(ω) = c für ω Ω. Es muss außerdem gelte, dass E[X1 Ω ] = E[Z1 Ω ] = c P[Ω ]. Daraus folgt, dass c = E[X1 Ω ]/P[Ω ] sei muss. Beispiel Sei Ω = [0, 1]. Sei A die Borel-σ-Algebra auf [0, 1] ud P das Lebesgue- Maß. Sei X : [0, 1] R eie (A-messbare) Zufallsvariable mit E X <. Sei B A eie Teil-σ-Algebra vo A mit B = {C [0, 1] : C [0, 1] ist Borel}. 74

80 Da ist der bedigte Erwartugswert vo X gegebe B gegebe durch: Z(s, t) := E[X B](s, t) = 1 0 X(s, u)du, (s, t) [0, 1]. Beweis. Wir zeige, dass die soebe defiierte Fuktio Z die beide Bediguge aus der Defiitio der bedigte Erwartug erfüllt. Zuächst ist Z(s, t) eie Fuktio, die ur vo s abhägt. Somit ist Z messbar bzgl. B. Außerdem gilt für jede B-messbare Mege B = C [0, 1], dass ( 1 ) E[Z1 C [0,1] ] = Z(s, t)dsdt = Z(s, t)dt ds = E[X1 C [0,1] ]. C [0,1] Somit ist auch die zweite Bedigug erfüllt. Beispiel Sei X : Ω R eie Zufallsvariable mit E X <, defiiert auf eiem Wahrscheilichkeitsraum (Ω, A, P). Da gilt (1) E[X {Ω, }] = EX. () E[X A] = X. Beweis. Übug. C 0 Satz Seie X, Y : Ω R Zufallsvariable (beide A-messbar) mit E X <, E Y <, defiiert auf dem Wahrscheilichkeitsraum (Ω, A, P). Sei B A eie Teil-σ- Algebra vo A. (1) Es gilt die Formel der totale Erwartug: E[E[X B]] = EX. () Aus X Y fast sicher folgt, dass E[X B] E[Y B] fast sicher. (3) Für alle a, b R gilt E[aX + by B] = a E[X B] + b E[Y B] fast sicher. (4) Falls Y sogar B-messbar ist ud E XY <, da gilt Beweis. Übug. E[XY B] = Y E[X B] fast sicher. Bedigter Erwartugswert gegebe eie Zufallsvariable. Besoders oft wird die Defiitio der bedigte Erwartug im folgede Spezialfall beutzt. Defiitio Sei Y eie Zufallsvariable auf eiem Wahrscheilichkeitsraum (Ω, A, P). Die vo Y erzeugte σ-algebra ist defiiert durch σ(y ) = {Y 1 (C) : C R Borel}. Ma ka sich die σ-algebra σ(y ) folgedermaße vorstelle. Zuächst eimal liege alle Niveaumege der Form Y 1 (t) := {ω Ω: Y (ω) = t} i σ(y ), für alle t R. Dabei ist Ω eie disjukte Vereiigug dieser Niveaumege: Ω = t R Y 1 (t). Außerdem beihaltet σ(y ) alle Vereiiguge der Niveaumege der Form t C Y 1 (t), wobei C R eie beliebige Borel-Mege ist. 75

81 Defiitio Seie X ud Y zwei A-messbare Zufallsvariable auf eiem Wahrscheilichkeitsraum (Ω, A, P). Sei X itegrierbar. Der bedigte Erwartugswert vo X gegebe Y ist defiiert durch E[X Y ] = E[X σ(y )]. Bemerkug E[X Y ] ist eie Zufallsvariable! Aus der Messbarkeit vo E[X Y ] = E[X σ(y )] bzgl. σ(y ) (s. Defiitio ) ka ma herleite, dass E[X Y ] eie Borel- Fuktio vo Y sei muss (s. das Faktorisierugslemma im ächste Abschitt). Es gibt also eie Borel-Fuktio ϕ : R R mit E[X Y ] = ϕ(y ). D.h. der bedigte Erwartugswert E[X Y ] bleibt kostat auf jeder Niveaumege Ω t = {ω Ω: Y (ω) = t}, für alle t R: E[X Y ](ω) = ϕ(t) falls Y (ω) = t. Dabei ist Ω eie disjukte Vereiigug dieser Niveaumege: Ω = t R Ω t. De Wert vo E[X Y ] auf eier Niveaumege Ω t ka ma sich als de Mittelwert vo X über Ω t vorstelle, vgl. Beispiele ud Defiitio Wir defiiere de bedigte Erwartugswert vo X gegebe, dass Y = t ist, durch E[X Y = t] = E[X Y ](ω) = ϕ(t), t R, wobei ω Ω ei beliebiges Elemet mit Y (ω) = t sei. Dabei darf P[Y = t] auch 0 sei! Wir müsse hier allerdigs die Frage der Eideutigkeit kläre. Die Zufallsvariable E[X Y ] ist ur bis auf P-Nullmege eideutig defiiert. Iwieweit ist die Fuktio ϕ eideutig? Sei µ Y die Verteilug vo Y, d.h. µ Y ist ei Wahrscheilichkeitsmaß auf R mit µ Y (A) = P[Y A]. Veräder wir u ϕ auf eier µ Y -Nullmege, so verädert sich ϕ(y ) auf eier P-Nullmege. Somit ist die Fuktio ϕ ur bis auf µ Y - Nullmege eideutig defiiert. Es folgt, dass auch die Borel-Fuktio t E[X Y = t] bis auf Nullmege vo µ Y eideutig defiiert ist. Für eie vorgegebee Wert t R ka ma also i der Regel leider icht sage, was E[X Y = t] ist! Ma muss die Fuktio t E[X Y = t] immer als Gazes betrachte. Nu köe wir auch bedigte Wahrscheilichkeute als Spezialfall des bedigte Erwartugswerts defiiere. Defiitio Sei Y : Ω R eie Zufallsvariable auf (Ω, A, P). Für ei Ereigis A A defiiere wir die die bedigte Wahrscheilichkeit vo A gegebe, dass Y = t, durch P[A Y = t] := E[1 A Y ](ω), t R, 76

82 wobei ω Ω beliebig mit Y (ω) = t ist. Beispiel Sei Y eie diskrete Zufallsvariable auf (Ω, A, P). Das Bild vo Y, also die Mege Im Y = {t R: P[Y = t] > 0} ist somit höchstes abzählbar. Die vo Y erzeugte σ-algebra σ(y ) wird vo de Mege Ω t = {Y = t}, t Im Y, erzeugt ud hat somit die gleiche Gestalt wie i Beispiel Für der bedigte Erwartugswert eier itegrierbare Zufallsvariable X : Ω R gilt somit E[X Y = t] = E[X Y ](ω) = E[X1 Ω t ], P[Ω t ] wobei ω Ω t beliebig ist. Seie u X ud Y beide diskret mit gemeisamer Zähldichte f X,Y (s, t) = P[X = s, Y = t] ud die Zähldichte vo Y sei f Y (t) = P[Y = t]. Da gilt für de bedigte Erwartugswert E[X Y = t] = s Im X P[X = s Y = t]s P[Y = t] = s Im X f X,Y (s, t)s. f Y (t) Beispiel Seie X, Y Zufallsvariable mit gemeisamer Dichte f X,Y (s, t) ud die Dichte vo Y sei f Y (t). Ma ka zeige, dass da für de bedigte Erwartugswert eie ähliche Formel gilt: E[X Y ](ω) = E[X Y = t] = f R X,Y (s, t)sds, f Y (t) wobei ω Ω beliebig mit Y (ω) = t ist. Diese Formel ergibt Si, we f Y (t) 0. Faktorisierugslemma. Hier beweise wir die im vorherige Abschitt ageküdigte Aussage. Es ist klar, dass eie Zufallsvariable der Form ϕ(y ), wobei ϕ : R R eie Borel- Fuktio ist, σ(y )-messbar ist. Wir beweise u, dass jede σ(y )-messbare Zufallsvariable vo dieser Form ist. Lemma (Faktorisierugslemma). Sei Y : Ω R eie Zufallsvariable auf eiem Wahrscheilichkeitsraum (Ω, A, P). Ist Z : Ω R eie σ(y )-messbare Zufallsvariable, so gibt es eie Borel-Fuktio ϕ : R R mit Z = ϕ(y ). Beweis. Schritt 1. Sei zuerst Z 0. Wir zeige, dass es Mege A 1, A,... σ(y ) ud Kostate α 1, α,... 0 gibt mit Z = α 1 A. =1 Defiiere Z := Z, wobei für das Miimum steht. Da gilt Z Z puktweise ud Z immt Werte i der Mege {0, 1,,..., } a. Defiiere σ(y )-messbare Mege B,i = {ω Ω: Z (ω) Z 1 (ω) = i }, N, i = 1,,...,. 77

83 Es gilt B,i = Ω ud somit Z Z 1 = Teleskop-Summe schreibe: Z = (Z Z 1 ) = =1 =1 i 1 B,i. Wir köe u Z als eie i 1 B,i, de Z 0 = 0. Nach eier Umummerierug der Mege B,i ud der Kostate i erhalte wir die gesuchte Darstellug. Schritt. Sei ach wie vor Z 0 mit der Darstellug Z = =1 α 1 A wie i Schritt 1. Nach Defiitio der σ-algebra σ(y ) gibt es zu jeder Mege A σ(y ) eie Borel-Mege B R mit A = Y 1 (B ) ud somit 1 A (ω) = 1 B (Y (ω)). Defiiere u die Fuktio ϕ(t) = =1 α 1 B. Da gilt Z(ω) = α 1 A (ω) = α 1 B (Y (ω)) = ϕ(y (ω)), =1 was die gesuchte Darstellug vo Z ist. =1 Schritt 3. Sei u Z icht ubedigt icht-egativ. Da gibt es eie Darstellug Z = Z + Z, wobei Z + = max{z, 0} ud Z = max{ Z, 0} ebefalls σ(y )-messbar ud ichtegativ sid. Nach Schritt gibt es Darstelluge Z + = ϕ + (Y ), Z = ϕ (Y ) für geeigete Borel-Fuktioe ϕ + ud ϕ. Es folgt, dass Z = ϕ + (Y ) ϕ (Y ) = ϕ(y ) mit ϕ = ϕ + ϕ. Markow-Kere ud reguläre bedigte Wahrscheilichkeite. Sei Y : Ω R eie Zufallsvariable. Für jedes Ereigis A A ist die Borel-Fuktio t P[A Y = t] bis auf eie µ Y -Nullmege eideutig defiiert. Stelle wir us u vor, dass wir us für jedes Ereigis A auf irgedeie Versio dieser Fuktio geeiigt habe. Ma ka zeige, dass folgede Eigeschafte gelte: (1) P[Ω Y = t] = 1 für µ Y -fast alle t R. () Für jede disjukte Familie vo Ereigisse A 1, A,... A gilt P [ =1A Y = t] = P[A Y = t] für µ Y -fast alle t R. =1 Naiv köte ma u glaube, dass für jedes t R die Zuordug A P[A Y = t] ei Wahrscheilichkeitsmaß auf der Niveaumege {Y = t} defiiert (ud das ma sich sozusage als Eischräkug vo P auf die Niveaumege vorstelle köte). Leider gibt es hier ei Problem: alle Relatioe gelte lediglich für µ Y -fast alle t R. Noch schlimmer, die Ausahmemege derjeige t, für die die zweite Relatio icht gilt, hägt vo A 1, A,... ab. Im schlimmste Fall ka es passiere, dass ma für jedes t eie Familie A 1, A,... fide ka, für die die σ-additivität falsch ist. Glücklicherweise ka ma dieses Problem durch eie geschickte Wahl vo Versioe der Fuktioe t P[A Y = t] vermeide. 78

84 Defiitio Ei Markow-Ker vo (Ω, A) ach (Ω, A ) ist eie Familie {π ω : ω Ω} mit de folgede zwei Eigeschafte: Für jedes ω Ω ist π ω ei Wahrscheilichkeitsmaß auf (Ω, A ). Für alle A A ist die Abbildug ω π ω (A ) eie Borel-Fuktio auf (Ω, A). Beispiel Sei E eie höchstes abzählbare Mege ud p : E E [0, 1] eie Übergagswahrscheilichkeit, d.h. p(i, j) 0 ud j E p(i, j) = 1 für alle i E. Da defiiert π i (A) = p(i, j) j A eie Markow-Ker vo (E, E ) ach sich selbst. Defiitio Sei Y : Ω R eie Zufallsvariable auf (Ω, A, P). Ei Markow- Ker {π t : t R} vo (R, B(R)) ach (Ω, A) heißt reguläre Versio vo P gegebe Y, we (a) Das Wahrscheilichkeitsmaß π t ist auf der Niveaumege Ω t = {Y = t} kozetriert, d.h. π t (Ω t ) = 1 für alle t R. (b) Für jedes Ereigis A A gilt die Formel der totale Wahrscheilichkeit P[A] = π t (A)µ Y (dt). R Eie reguläre Versio vo P existiert uter sehr allgemeie Voraussetzuge a de Wahrscheilichkeitsraum (Ω, A, P). Defiitio Zwei Messräume (Ω, A) ud (Ω, A ) heiße Borel-isomorph, falls es eie bijektive Abbildig T : Ω Ω gibt mit A A T (A) A. Ma ka also die beide Räume aufeiader bijektiv abbilde, sodass messbare Mege auf messbare Mege abgebildet werde. Defiitio Ei Messraum (Ω, A) heißt stadard Borel, falls er zu eiem der folgede Messräume isomorph ist: (E, E ), wobei E eie höchstes abzählbare Mege ist. Das Itervall [0, 1] mit der Borel-σ-Algebra. 79

85 Satz Sei (M, ρ) ei vollstädiger separabler metrischer Raum (z.b. ei kompakter metrischer Raum). Es sei B(M) die Borel-σ-Algebra auf M, also die vo alle offee Mege erzeugte σ-algebra. Da ist der Raum (M, B(M)) stadard Borel. Ohe Beweis. Beispiel Die folgede metrische Räume mit ihre jeweilige Borel-σ-Algebre sid allesamt isomorph zum Itervall [0, 1] mit der Borel-σ-Algebra: (a) Der Euklidische Raum R. (b) Der uedlich-dimesioale Hilbert-Raum L [0, 1]. (c) Der Raum der stetige Fuktioe C[0, 1] mit der Supremumsmetrik. Die meiste Meßräume, die ma i der Stochastik verwedet, sid stadard Borel-Räume. Nu köe wir edlich de Satz über die Existez der reguläre Versio der bedigte Verteilug formuliere. Satz Sei Y : Ω R eie Zufallsvariable auf eiem Wahrscheilichkeitsraum (Ω, A, P) derart, dass (Ω, A) stadard Borel ist. Da existiert eie reguläre Versio vo P gegebe Y, s. Defiitio Ohe Beweis Satz vo Rao-Blackwell Eie suffiziete Statistik beihaltet alles, was ma über das Ergebis eies statistische Experimets wisse muss. Es ist deshalb plausibel, dass ei guter Schätzer eie Fuktio der suffiziete Statistik sei muss. Der ächste Satz bestätigt diese Vermutug. Satz (Rao-Blackwell). Sei (P θ ) θ Θ eie Familie vo Wahrscheilichkeitsmaße auf dem Stichproberaum (X, A), wobei Θ R ei Itervall sei. Es seie weiterhi T : X R m eie suffiziete Statistik ud ˆθ : X R ei erwartugstreuer Schätzer vo θ mit E θ ˆθ < für alle θ Θ. Defiiere θ := E θ [ˆθ T ]. Da ist θ ebefalls ei erwartugstreuer Schätzer vo θ ud es gilt Var θ θ Varθ ˆθ für alle θ Θ. Der Schätzer θ ist somit midestes so gut wie ˆθ ud heißt aus diesem Grude die Rao- Blackwell-Verbesserug vo ˆθ. Da θ als bedigter Erwartugswert σ(t )-messbar ist, ka ma ach dem Faktorisierugslemma θ als eie Borel-Fuktio vo T darstelle. Somit basiert θ ur auf dem Wert der suffiziete Statistik T. Beweis. Schritt 1. Zuallererst müsse wir zeige, dass θ = E θ [ˆθ T ] keie Fuktio vo θ ist. (Das darf ämlich ei Schätzer auf keie Fall sei!) Wir schreibe de bedigte Erwartugswert a der Stelle x X als das Itegral bzgl. der bedigte Verteilug P θ [ T = 80

86 T (x)]: θ(x) = E θ [ˆθ T ](x) = E θ [ˆθ T = T (x)] = X ˆθ(y)P θ [dy T = T (x)]. Da T suffiziet ist, hägt das Wahrscheilichkeitsmaß A P θ [A T = T (x)] icht vo θ ab! Somit hägt das Itegral auf der rechte Seite icht vo θ ab. Schritt. Nu zeige wir, dass θ erwartugstreu ist. Mit der Turmeigeschaft des bedigte Erwartugswerts gilt E θ θ = Eθ E θ [ˆθ T ] = E θ ˆθ = θ, de ˆθ ist erwartugstreu. Schritt 3. Für die Variaz vo θ gilt Var θ θ = Eθ [( θ θ) ] = E θ [ (E θ [ˆθ T ] θ) ] = E θ [ (E θ [ˆθ θ T ]) ]. Die Jese-Ugleichug für de bedigte Erwartugswert besagt, dass ϕ(e[x F]) E[ϕ(X) F] f.s., falls ϕ kovex ist. Mit dieser Ugleichug für ϕ(x) = x ergibt sich [ ] ] E θ (E θ [ˆθ θ T ]) E θ E θ [(ˆθ θ) T = E θ [(ˆθ θ) ] = Var θ ˆθ, was die behauptete Ugleichug Var θ θ Varθ ˆθ beweist. Beispiel Seie X 1,..., X uabhägig ud Beroulli-verteilt mit Parameter θ (0, 1). Die Statistik T (x 1,..., x ) = x x ist suffiziet. Als eie sehr eifache erwartugstreue Schätzer vo θ betrachte wir ˆθ = X 1. Für die Variaz dieses Schätzers gilt Var θ ˆθ = θ(1 θ). Nu defiiere wir die Rao-Blackwell-Verbesserug vo ˆθ: θ = E θ [X 1 X X ]. Diese bedigte Erwartugswert ka ma direkt mir der Defiitio bereche, es gibt allerdigs eie viel elegatere Methode. Wege Symmetrie gilt E θ [X 1 X X ] = E θ [X X X ] =... = E θ [X X X ]. (Ma erwartet im erste Wurf geauso viel, wie im zweite, auch da, we die Summe X X gegebe ist). Es folgt, dass θ = E θ [X 1 X X ] = 1 E θ [X i X X ] = 1 E θ[x X X X ] = 1 (X X ) = X. Für die Variaz vo θ = X gilt Var θ X = θ(1 θ), eie klare Verbesserug im Vergleich zu ˆθ = X 1 (es sei de = 1, i welchem Fall beide Schätzer übereistimme) Satz vo Lehma-Scheffé Der folgede Satz wird us i viele Beispiele erlaube, de beste erwartugstreue Schätzer zu kostruiere. 81

87 Satz (Lehma-Scheffé). Sei (P θ ) θ Θ eie Familie vo Wahrscheilichkeitsmaße auf dem Stichproberaum (X, A), wobei Θ R ei Itervall sei. Es seie weiterhi T : X R m eie suffiziete ud vollstädige Statistik; ˆθ : X R ei erwartugstreuer Schätzer vo θ mit E θ ˆθ < für alle θ Θ. Da ist θ := E θ [ˆθ T ] der beste erwartugstreue Schätzer vo θ. Beweis. Im Satz vo Rao-Blackwell wurde gezeigt, dass θ wohldefiiert (d.h. keie Fuktio vo θ) ud erwartugstreu ist. Sei H ei weiterer erwartugstreuer Schätzer vo θ mit E θ H < für alle θ Θ. Zu zeige ist, dass θ besser ist, als H. Wir betrachte de Schätzer H := E θ [H T ]. Nach dem Satz vo Rao-Blackwell ist H besser als H. Wir zeige u, dass H mit θ übereistimmt. Beide Schätzer sid σ(t )-messbar, da sie als bedigte Erwartugswerte gegebe T defiiert sid. Nach dem Faktorisierugslemma gibt es zwei Borel-Fuktioe f ud g mit θ = f(t ) ud H = g(t ). Da ist θ H = f(t ) g(t ) ei erwartugstreuer Schätzer vo 0, der ur auf dem Wert vo T basiert. Wege der Vollstädigkeit vo T muss f(t ) g(t ) = 0 P θ -f.s. gelte, woraus sich ergibt, dass θ = H P θ -f.s. für alle θ Θ. Korollar Sei ˆθ ei erwartugstreuer, suffizieter ud vollstädiger Schätzer vo θ mit E θ ˆθ < für alle θ Θ. Da ist ˆθ der beste erwartugstreue Schätzer vo θ. Beweis. Folgt aus dem Satz vo Lehma-Scheffé mit T = ˆθ ud θ = E θ [ˆθ ˆθ] = ˆθ. Beispiel Seie X 1,..., X uabhägige, mit Parameter θ [0, 1] Beroulli-verteilte Zufallsvariable. Der Schätzer X ist erwartugstreu, suffiziet ud vollstädig ud somit ach Korollar bester erwartugstreuer Schätzer für θ. Diese Argumetatio greift auch für uabhägige, mit Parameter θ > 0 Poisso-verteilte Zufallsvariable. Dabei ist der Beweis der Suffiziez ud Vollstädigkeit eie Übug. Aus dem Satz vo Lehma-Scheffé ergibt sich die folgede Methode zur Kostruktio des beste erwartugstreue Schätzers: Fide eie vollstädige, suffiziete Statistik T. Fide Fuktio g mit der Eigeschaft, dass g(t ) ei erwartugstreuer Schätzer vo θ ist. Da ist g(t ) der beste erwartugstreue Schätzer vo θ. Beweis. Folgt aus dem Satz vo Lehma-Scheffé mit ˆθ = g(t ) ud θ = E θ [g(t ) T ] = g(t ). Beispiel Seie X 1,..., X uabhägig ud gleichverteilt auf [0, θ], wobei θ > 0 geschätzt werde soll. Wir habe bereits gezeigt, dass X () = max {X 1,..., X } eie suffiziete ud vollstädige Statistik ist. Jedoch ist der Schätzer X () icht erwartugstreu, de E θ X () = + 1 θ. 8

88 Deshalb betrachte wir de Schätzer θ := + 1 X () = + 1 max {X 1,..., X }, der erwartugstreu ud eie Fuktio vo X () ist. Nach de obige Überleguge ist +1 X () der beste erwartugstreue Schätzer für θ. I de folgede Beispiele werde wir de Satz vo Lehma-Scheffé i eier etwas allgemeiere Form beutze. Der Parameterraum Θ sei beliebig ud sei ν : Θ R eie Fuktio des Parameters. Ist ˆν : X R ei erwartugstreuer ud quadratisch itegrierbarer Schätzer vo ν(θ) ud T eie suffiziete ud vollstädige Statistik, so ist ν = E θ [ˆν T ] der beste erwartugstreue Schätzer vo ν(θ). (Der obige Beweis fuktioiert mit miimale Veräderuge). Beispiel Seie X 1,..., X N(µ, σ ) uabhägig ud ormalverteilt, wobei beide Parameter ubekat seie. Wir behaupte, dass X der beste erwartugstreue Schätzer vo µ ist; S = 1 1 (X i X ) der beste erwartugstreue Schätzer vo σ ist. Beweis. Die Statistik ( X, S) ist vollstädig ud suffiziet. Sowohl X als auch S sid Fuktioe dieser Statistik, die erwartugstreu für µ bzw. σ sid. Beispiel Es seie X 1,..., X Poi(θ) uabhägig. Der beste erwartugstreue Schätzer vo θ ist, wie bereits gezeigt wurde, X. Wie sieht u der beste erwartugstreue Schätzer für ν(θ) := e θ = P θ [X i = 0] aus? Ei atürlicher Schätzer vo e θ ist e X, dieser Schätzer ist aber icht erwartugstreu: Aufgabe Bestimme Sie E θ e X. Um de beste erwartugstreue Schätzer für e θ zu kostruiere, beutze wir de Satz vo Lehma-Scheffé. Es ist bekat, dass die Statistik T = X X vollstädig ud suffiziet ist. Nu brauche wir och eie erwartugstreue Schätzer vo e θ. Als solche ehme wir z.b. ˆν = 1 {X1 =0}. Die Erwartugstreue vo ˆν folgt aus E θˆν = P θ [X 1 = 0] = e θ. Nach dem Satz vo Lehma- Scheffé ist ν = E θ [ˆν S ] der beste erwartugstreue Schätzer. Wir müsse ur och diese bedigte Erwartugswert bereche. Für s N 0 betrachte wir f(s) := E θ [ˆν T = s] = P θ [X 1 = 0 T = s] = P θ[x 1 = 0, T = s] P θ [T = s] = P θ[x 1 = 0]P θ [X X ]. P θ [X X = s] Nu beutze wir die Faltugseigeschaft der Poisso-Verteilug: Uter P θ gilt X 1 Poi(θ), X X Poi(( 1)θ), X X Poi(θ). Somit erhalte wir, dass f(s) = e θ e ( 1)θ (( 1)θ) s /s! e θ (θ) s /s! 83 = ( 1 1 ) s.

89 Aus dem Satz vo Lehma-Scheffé folgt u, dass ν = E θ [ˆν T ] = f(t ) = der beste erwartugstreue Schätzer vo e θ ist. ( 1 1 ) T Aufgabe Es seie X 1,..., X Poi(θ) uabhägig. Defiiere T := X X. Zeige Sie, dass der beste erwartugstreue Schätzer vo θ θk ν k = e k! = P θ[x 1 = k], k N 0, durch ( ) ( ) T 1 k ( ˆν k, := 1 1 ) T k k gegebe ist. Zeige Sie auch, dass ˆν k, ei stark kosisteter Schätzer vo ν k ist. Beispiel Seie X 1,..., X N(µ, σ ) uabhägig ud ormalverteilt mit bekater Variaz σ > 0 ud ubekatem Erwartugswert µ R. Diese Verteiluge bilde eie Expoetialfamilie ud die Statistik X ist vollstädig ud suffiziet. Außerdem ist X erwartugstreu. Der beste erwartugstreue Schätzer für µ ist somit X. Versuche wir u, µ als Parameter zu betrachte ud zu schätze. Der Schätzer X ist icht erwartugstreu, de E µ X = Var µ X + (E µ X ) = 1 σ + µ. Deshalb betrachte wir de Schätzer X σ. Dieser Schätzer ist erwartugstreu, suffiziet ud vollstädig (Übug) ud somit bester erwartugstreuer Schätzer für µ. Aufgabe Seie X 1,..., X uabhägig ud Beroulli-verteilt mit Parameter p (0, 1). Bestimme Sie de beste erwartugstreue Schätzer für p. Aufgabe Gegebe sei eie Ure mit eier ubekate Azahl N N Kugel, die vo 1 bis N durchummeriert sid. Es werde Kugel mit Zurücklege gezoge ud die zugehörige Nummer X 1,..., X otiert. Zeige Sie, dass X () eie suffiziete ud vollstädige Statistik ist ud kostruiere Sie de beste erwartugstreue Schätzer für N. Aufgabe Seie X 1,..., X U[θ 1, θ ] uabhägig, wobei θ 1 < θ ubekat seie. Kostruiere Sie die beste erwartugstreue Schätzer vo θ 1 ud θ. Aufgabe Seie X 1,..., X Exp(θ) uabhägig, θ > 0. Kostruiere Sie de beste erwartugstreue Schätzer vo P θ [X 1 > a] = e aθ, wobei a > 0 gegebe ist. Aufgabe Seie X 1,..., X N(µ, 1) uabhägig, wobei µ R ubekat sei. Kostruiere Sie de beste erwartugstreue Schätzer vo e aµ, wobei a R gegebe ist. Sei (X, A, (P θ ) θ Θ ) ei statistisches Modell Satz vo Basu 84

90 Defiitio Eie Statistik S : X R p heißt verteilugsfrei, falls P θ1 [S A] = P θ [S A] für alle θ 1, θ Θ, A R p (Borel). D.h., die Verteilug vo S uter P θ hägt icht vo θ ab. Beispiel Seie X 1,..., X N(µ, σ ) uabhägig, wobei µ R ubekater Parameter ist ud σ bekat sei. Wir behaupte, dass die Spaweite X () X (1) ud die empirische Variaz S = 1 1 (X i X ) verteilugsfreie Statistike sid. Beweis. Die Idee ist, dass µ ei Verschiebugsparameter ist, der sich sowohl i der Spaweite, als auch i S aufhebt. Seie ξ 1,..., ξ N(0, σ ) uabhägig (mit Erwartugswert 0). Uter P µ hat (X 1,..., X ) die gleiche Verteilug wie (ξ 1 + µ,..., ξ + µ). Somit hat S uter P µ die gleiche Verteilug wie 1 1 ( ξ i + µ (ξ 1 + µ) (ξ + µ) ) = 1 1 ( ξ i ξ ) ξ. Die Verteilug der rechte Seite hägt aber icht vo µ ab, de diese Variable taucht dort gar icht erst auf. Für die Spaweite ist der Beweis aalog. Der folgede Satz vo Basu besagt, dass jede verteilugsfreie Statistik vo jeder vollstädig suffiziete Statistik uabhägig ist. Satz (Basu, 1955). Sei S : X R p eie verteilugsfreie Statistik ud T : X R m eie vollstädige suffiziete Statistik. Da sid die Zufallsvektore S ud T uabhägig uter P θ für alle θ Θ. Beweis. Betrachte das folgede Wahrscheilichkeitsmaß Q auf R p : Q(A) = P θ [S A], A R p Borel. Es sei bemerkt, dass Q uabhägig vo θ wege der Verteilugsfreiheit vo S ist. Im Folgede halte wir die Mege A fest. Betrachte die Fuktio f A (t) = P θ [S A T = t] = E θ [1 {S A} T = t], t R m. Diese Fuktio ist uabhägig vo θ, da die Statistik T suffiziet ist! Es gilt da auch f A (T ) = E θ [1 {S A} T ] ud somit E θ [f A (T )] = E θ [ Eθ [1 {S A} T ] ] = E θ 1 {S A} = P θ [S A] = Q(A). Es folgt, dass E θ [f A (T ) Q(A)] = 0 für alle θ Θ. Somit ist f A (T ) Q(A) ei erwartugstreuer Schätzer vo 0, der auf der Statistik T basiert. Wege der Vollstädigkeit vo T folgt daraus, dass Wir habe also gezeigt, dass f A (T ) = Q(A) P θ -f.s. für alle θ Θ. P θ [S A T = t] = P θ [S A]. 85

91 Ist u B R m eie Borel-Mege ud bezeiche wir mit µ T die Verteilug vo T, so ergibt sich mit der Formel der totale Wahrscheilichkeit, dass P θ [S A, T B] = P θ [S A T = t]µ T (dt) = P θ [S A]µ T (dt) = P θ [S A]P θ [T B], B was die Uabhägigkeit vo S ud T beweist. Hier ist eie typische Awedug des Satzes vo Basu. Dieses Korollar wird sich bei der Kostruktio des Studet-t-Tests als sehr wichtig erweise. B Korollar Seie X 1,..., X N(µ, σ ) uabhägig. Da sid die Zufallsvariable X ud S uabhägig. Die Behauptug ist sehr überrasched, de X taucht i der Defiitio vo S explizit auf! Beweis. Wir fasse µ R als ubekate Parameter auf ud halte σ kostat. Die Statistik S ist verteilugsfrei, währed die Statistik X vollstädig suffiziet ist. Die Behauptug folgt u aus dem Satz vo Basu. Aufgabe Seie X 1, X,... Exp(λ) uabhägig. Betrachte Sie die Akuftszeite des Poisso-Puktprozesses S k = X X k, k N. Zeige Sie, dass ( S1, S,..., S ) 1 ud S S S S uabhägig sid. Aufgabe Seie X 1,..., X U[0, 1] uabhägig ud gleichverteilt auf [0, 1]. Seie U (1) <... < U () die Ordugsstatistike. Zeige Sie, dass ( U(1), U (),..., U ) ( 1) ud U U () U () U () () uabhägig sid. Aufgabe Seie X, Y N(µ, σ ) uabhägig. Zeige Sie, dass X + Y ud X Y ebefalls uabhägig sid Eiige Gegebeispiele Ka ma vielleicht sogar uter alle quadratisch itegrierbare (icht ubedigt erwartugstreue) Schätzer eie fide, der gleichmäßig besser, als alle adere ist? Die Atwort ist leider ei. Sei θ 0 Θ beliebig. Wir köe da de kostate Schätzer ϕ = θ 0 betrachte. Es gilt MSE θ0 (ϕ) = 0. Wäre u ei Schätzer ˆθ gleichmäßig besser als ϕ, so müsste MSE θ0 (ˆθ) = 0 gelte. Das bedeutet aber, dass ˆθ = θ 0 f.s. uter P θ0. Wäre ˆθ gleichmäßig besser als alle Schätzer, so müsste ˆθ = θ f.s. uter P θ für alle θ Θ. Das heißt, der Schätzer ˆθ müsste de richtige 86

92 Wert θ mit Wahrscheilichkeit 1 exakt treffe. Solche Schätzer gibt es aber ur i triviale Situatioe. Beispiel Sei X 1 eie Zufallsvariable, die gleichverteilt auf dem Itervall [θ, θ + 1] ist, wobei θ Z ubekat ist. Beobachtet ma u eie Wert x 1 zwische ud 3, so weiß ma gaz geau, dass θ = ist. I diesem Fall köe wir ahad der Stichprobe de Wert vo θ richtig errate. I alle iteressate statistische Modelle ist aber so etwas icht möglich. Die folgede Aufgabe zeige, dass der beste erwartugstreue Schätzer eie gleichmäßig größere quadratische Fehler habe ka, als eiige icht-erwartugstreue Schätzer. Aufgabe Seie X 1,..., X N(µ, σ ) uabhägig. Betrachte Sie de Schätzer T = 1 c (X i X ) für σ. Zeige Sie, dass das Miimum des mittlere quadratische Fehlers für c = + 1 erreicht wird. Dabei etspricht der Wert c = 1 dem beste erwartugstreue Schätzer. Aufgabe Seie X 1,..., X uabhägig ud auf [0, θ] gleichverteilt, θ > 0. Zeige Sie, dass der icht-erwartugstreue Schätzer ˆθ 1 := X () für alle 3 eie gleichmäßig kleiere mittlere quadratische Fehler als der beste erwartugstreue Schätzer ˆθ 3 := X () hat, ämlich +1 MSE θ (ˆθ 1 ) = θ ( + )( + 1), MSE θ(ˆθ 3 ) = θ 3, 87

93 KAPITEL 5 Asymptotische Eigeschafte vo Schätzer Im Folgede defiiere wir eie Reihe vo asymptotische Eigeschafte, die ei guter Schätzer besitze sollte Kosistez ud asymptotische Normalverteiltheit I der Statistik ist der Stichprobeumfag typischerweise groß. Wir schaue us deshalb die asymptotische Güteeigeschafte vo Schätzer a. Wir betrachte eie Folge vo Schätzer ˆθ 1 (X 1 ), ˆθ (X 1, X ),..., ˆθ (X 1,..., X ),.... Sei im Folgede Θ eie Teilmege vo R m. Defiitio Eie Folge vo Schätzer ˆθ : R Θ heißt asymptotisch erwartugstreu, falls lim E θ ˆθ (X 1,..., X ) = θ für alle θ Θ. Beispiel I Beispiel ist X () eie asymptotisch erwartugstreue (aber icht erwartugstreue) Folge vo Schätzer, de (Übugsaufgabe) lim E θx () = lim + 1 θ = θ. Defiitio Eie Folge vo Schätzer ˆθ : R Θ heißt schwach kosistet, falls P ˆθ (X 1,..., X ) θ uter P θ für alle θ Θ. Mit adere Worte, für jedes ε > 0 ud jedes θ Θ soll gelte: lim P θ[ ˆθ (X 1,..., X ) θ > ε] = 0. Defiitio Eie Folge vo Schätzer ˆθ : R Θ heißt stark kosistet, falls ˆθ (X 1,..., X ) f.s. θ uter P θ für alle θ Θ. 88

94 Mit adere Worte, es soll für alle θ Θ gelte: [ ] P θ lim ˆθ (X 1,..., X ) = θ = 1. Bemerkug Eie fast sicher kovergete Folge vo Zufallsvariable kovergiert auch i Wahrscheilichkeit. Aus der starke Kosistez folgt somit die schwache Kosistez. Defiitio Eie Folge vo Schätzer ˆθ : R Θ heißt L -kosistet, falls ˆθ (X 1,..., X ) L θ für alle θ Θ. Mit adere Worte, es soll für alle θ Θ gelte: lim E θ ˆθ (X 1,..., X ) θ = 0. Bemerkug Aus der L -Kosistez folgt die schwache Kosistez. Beispiel Bei viele Familie vo Verteiluge, z.b. Ber(θ), Poi(θ) oder N(θ, σ ) stimmt der Parameter θ mit dem Erwartugswert der etsprechede Verteilug überei. I diesem Fall ist die Folge vo Schätzer ˆθ = X stark kosistet, de für jedes θ gilt X f.s. E θx 1 = θ uter P θ ach dem starke Gesetz der große Zahle. Defiitio Eie Folge vo Schätzer ˆθ : R Θ R heißt asymptotisch ormalverteilt, we es zwei Folge a (θ) R ud b (θ) > 0 gibt, sodass für alle θ Θ ˆθ (X 1,..., X ) a (θ) b (θ) d N(0, 1) uter P θ. Normalerweise wählt ma a (θ) = E θ ˆθ(X1,..., X ) ud b (θ) = Var θ ˆθ(X1,..., X ), sodass die Bedigug folgedermaße lautet: Für alle θ Θ ˆθ (X 1,..., X ) E θ ˆθ (X 1,..., X ) Var θ ˆθ (X 1,..., X ) 89 d N(0, 1) uter P θ.

95 Beispiel Seie X 1, X,... uabhägige idetisch verteilte Zufallsvariable mit EX i = µ ud Var X i = σ > 0. Der zetrale Grezwertsatz besagt, dass X X µ σ Das ka ma auch wie folgt schreibe: X µ σ d N(0, 1). d N(0, 1). Somit ist der Schätzer X asymptotisch ormalverteilt. Bemerkug Viele Schätzer, die i der Statistik beutzt werde, sid asymptotisch ormalverteilt. Für de Maximum-Likelihood-Schätzer werde wir das i Satz 5..6 zeige. Für die empirische Quatile X ([α]), α (0, 1), werde wir das i Satz beweise. Auch das getrimmte Mittel ud das wisorisierte Mittel sid (uter allgemeie Bediguge) asymptotisch ormalverteilt. 5.. Güteeigeschafte des ML-Schätzers I diesem Abschitt sei Θ = (a, b) ei Itervall. Sei {h θ : θ Θ} eie Familie vo Dichte oder Zähldichte ud sei θ 0 Θ fest. Seie X, X 1, X,... uabhägige ud idetisch verteilte Zufallsvariable mit Dichte h θ0, wobei θ 0 als der wahre Wert des Parameters aufgefasst wird. Us ist der wahre Wert allerdigs ubekat ud wir schätze ih mit dem Maximum-Likelihood-Schätzer ˆθ ML = ˆθ ML (X 1,..., X ). I diesem Abschitt wolle wir die Güteeigeschafte des Maximum-Likelihood-Schätzers utersuche. Um die Güteeigeschafte vo ˆθ ML zu beweise, muss ma gewisse Regularitätsbediguge a die Familie {h θ : θ Θ} stelle. Leider sid diese Bediguge icht besoders schö. Deshalb werde wir ur die Idee der jeweilige Beweise zeige. Wir werde hier ur eie der viele Regularitätsbediguge formuliere: Alle Dichte (oder Zähldichte) h θ solle de gleiche Träger habe, d.h. die Mege soll icht vo θ abhäge. J := {x R : h θ (x) 0} Kosistez des ML-Schätzers. Zuerst frage wir, ob der Maximum-Likelihood-Schätzer stark kosistet ist, d.h. ob ˆθ ML (X 1,..., X ) f.s. θ 0. Wir werde zeige, dass das stimmt. Hierfür betrachte wir die durch geteilte log-likelihood- Fuktio L (X 1,..., X ; θ) := 1 log L(X 1,..., X ; θ) = 1 log h θ (X i ). Nach dem Gesetz der große Zahle gilt L (X 1,..., X ; θ) f.s. E θ 0 log h θ (X) =: L (θ) = 90 J log h θ (t)h θ0 (t)dt.

96 Lemma Für alle θ Θ gilt: L (θ) L (θ 0 ). Beweis. Mit der Defiitio vo L (θ) ergibt sich [ L (θ) L (θ 0 ) = E θ0 [log h θ (X) log h θ0 (X)] = E θ0 log h ] θ(x). h θ0 (X) Nu wede wir auf die rechte Seite die Ugleichug log t t 1 (wobei t > 0) a: [ ] hθ (X) L (θ) L (θ 0 ) E θ0 h θ0 (X) 1 ( ) hθ (t) = J h θ0 (t) 1 h θ0 (t)dt = h θ (t)dt h θ0 (t)dt de J h θ(t)dt = J h θ 0 (t)dt = 1. J = 0, J Satz 5... Seie X 1, X,... uabhägige ud idetisch verteilte Zufallsvariable mit Dichte oder Zähldichte h θ0. Uter Regularitätsbediguge a die Familie {h θ : θ Θ} gilt, dass ˆθ ML (X 1,..., X ) f.s. θ 0. Beweisidee. Per Defiitio des Maximum-Likelihood-Schätzers ist ˆθ ML (X 1,..., X ) = arg max L (X 1,..., X ; θ). Idem wir zum Grezwert für übergehe, erhalte wir lim ˆθ ML (X 1,..., X ) = lim arg max L (X 1,..., X ; θ) = arg max lim L (X 1,..., X ; θ) = arg max L (X 1,..., X ; θ) = θ 0, wobei der letzte Schritt aus Lemma 5..1 folgt. Der obige Beweis ist icht streg. Isbesodere bedarf der Schritt lim arg max = arg max lim eier Begrüdug. Asymptotische Normalverteiltheit des ML-Schätzers. Wir werde zeige, dass uter gewisse Regularitätsbediguge der Maximum-Likelihood-Schätzer asymptotisch ormalverteilt ist: d (ˆθML (X 1,..., X ) θ 0 ) N(0, σ ML) uter P θ0, 91

97 wobei die Variaz σml später idetifiziert werde soll. Wir bezeiche mit l θ (x) = log h θ (x) die log-likelihood eier eizele Beobachtug x. Die Ableitug ach θ wird mit bezeichet. Isbesodere schreibe wir D = d dθ Dl θ (x) = d dθ l θ(x), D l θ (x) = d dθ l θ(x). Defiitio Sei {h θ : θ Θ}, wobei Θ = (a, b) ei Itervall ist, eie Familie vo Dichte oder Zähldichte. Die Fisher-Iformatio ist eie Fuktio I : Θ R mit I(θ) = E θ (Dl θ (X)). Lemma Uter Regularitätsbediguge a die Familie {h θ jedes θ (a, b), dass (1) E θ Dl θ (X) = 0. () E θ D l θ (X) = I(θ). : θ Θ} gilt für Beweisidee. Für de Beweis forme wir zuerst Dl θ (x) ud D l θ (x) wie folgt um: Dl θ (x) = D log h θ (x) = Dh θ(x) h θ (x), D l θ (x) = (D h θ (x))h θ (x) (Dh θ (x)) h θ (x) = D h θ (x) h θ (x) (Dl θ (x)). Außerdem gilt für alle θ, dass h J θ(t)dt = 1, de h θ ist eie Dichte. Wir köe u diese Idetität ach θ ableite: D h θ (t)dt = 0 ud somit Dh θ (t)dt = 0, J J D h θ (t)dt = 0 ud somit D h θ (t)dt = 0. J Dabei habe wir die Ableitug ud das Itegral vertauscht, was uter gewisse Regularitätsbediguge möglich ist. Mit diese Resultate erhalte wir, dass Dh θ (t) E θ Dl θ (X) = h θ (t) h θ(t)dt = Dh θ (t)dt = 0. J 9 J J

98 Somit ist die erste Behauptug des Lemmas bewiese. Die zweite Behauptug des Lemmas ka ma wie folgt zeige: E θ D l θ (X) = (D l θ (t))h θ (t)dt J ( ) D h θ (t) = (Dl θ (t)) h θ (t)dt J h θ (t) = D h θ (t)dt E θ (Dl θ (X)) J = E θ (Dl θ (X)) = I(θ), wobei der letzte Schritt aus der Defiitio der Fisher-Iformatio folgt. Idem wir die Notatio L (θ) = E θ0 log h θ (X) verwede, köe wir das obige Lemma wie folgt formuliere. Lemma Uter Regularitätsbediguge a die Familie {h θ : θ Θ} gilt, dass (1) E θ0 Dl θ0 (X) = DL (θ 0 ) = 0. () E θ0 D l θ0 (X) = D L (θ 0 ) = I(θ 0 ). Beweis. Uter Regularitätsbediguge ka ma de Erwartugswert E ud die Ableitug D vertausche. Somit gilt DL (θ 0 ) = DE θ0 l θ (X) θ=θ0 = E θ0 Dl θ0 (X) = 0 ud D L (θ 0 ) = D E θ0 l θ (X) θ=θ0 = E θ0 D l θ0 (X) = I(θ 0 ). Satz Sei {h θ : θ Θ} mit Θ = (a, b) eie Familie vo Dichte oder Zähldichte. Sei θ 0 (a, b) ud seie X 1, X,... uabhägige Zufallsvariable mit Dichte oder Zähldichte h θ0. Uter Regularitätsbediguge gilt für de Maximum-Likelihood-Schätzer ˆθ ML (X 1,..., X ), dass (ˆθML (X 1,..., X ) θ 0 ) d N ( 0, 1 I(θ 0 ) ) uter P θ0. Beweisidee. Schritt 1. Für de Maximum-Likelihood-Schätzer gilt Somit gilt ˆθ ML = arg max θ Θ 1 log h θ (X i ) = arg max L (θ). θ Θ DL (ˆθ ML ) = 0. 93

99 Der Mittelwertsatz aus der Aalysis besagt, dass we f eie differezierbare Fuktio auf eiem Itervall [x, y] ist, da lässt sich ei c i diesem Itervall fide mit f(y) = f(x) + f (c)(y x). Wir wede u diese Satz auf die Fuktio f(θ) = DL (θ) ud auf das Itervall mit de Edpukte θ 0 ud ˆθ ML a. Es lässt sich also ei ξ i diesem Itervall fide mit Daraus ergibt sich, dass 0 = DL (ˆθ ML ) = DL (θ 0 ) + D L (ξ )(ˆθ ML θ 0 ). DL (θ 0 ) (ˆθML θ 0 ) =. DL (ξ ) Schritt. Awedug vo Lemma 5..5 führt zu E θ0 Dl θ0 (X) = 0. Somit gilt DL (θ 0 ) = 1 Dl θ0 (X i ) E θ0 Dl θ0 (X i ) (Dl θ0 (X i ) 0) =. Idem wir u de zetrale Grezwertsatz awede, erhalte wir, dass d DL (θ 0 ) N N(0, Var θ 0 Dl θ0 (X)) = N(0, I(θ 0 )), de Var θ0 Dl θ0 (X) = I(θ 0 ) ach Lemma Schritt 3. Da sich ξ zwische ˆθ ML ud θ 0 befidet ud lim ˆθML = θ 0 wege Satz 5.. (Kosistez) gilt, erhalte wir, dass lim ξ = θ 0. Nach dem Gesetz der große Zahle gilt somit D L (ξ ) = 1 D l ξ (X i ) E θ0 D l θ0 (X) = I(θ 0 ), wobei wir im letzte Schritt Lemma 5..5 beutzt habe. Schritt 4. Kombiiert ma u diese Eigeschafte, so führt dies zu ( 0, wobei N N(0, I(θ 0 )). (ˆθML θ 0 ) = L (θ 0 ) D L (ξ ) d N I(θ 0 ) N 1 I(θ 0 ) Beispiel I diesem Beispiel betrachte wir die Familie der Beroulli-Verteiluge mit Parameter θ (0, 1). Die Zähldichte ist gegebe durch Eie adere Schreibweise dafür ist diese: h θ (1) = θ, h θ (0) = 1 θ. h θ (x) = θ x (1 θ) 1 x, x {0, 1}. Die log-likelihood eier eizele Beobachtug x {0, 1} ist Ableite ach θ führt zu l θ (x) = log h θ (x) = x log θ + (1 x) log(1 θ). Dl θ (x) = x θ 1 x 1 θ, D l θ (x) = 94 ( x θ + ), 1 x ). (1 θ)

100 Sei X eie mit Parameter θ Beroulli-verteilte Zufallsvariable. Somit ist die Fisher-Iformatio gegebe durch [ X I(θ) = E θ D l θ (X) = E θ θ + 1 X ] = θ (1 θ) θ + 1 θ (1 θ) = 1 θ(1 θ). Seie u X 1, X,..., X uabhägige, mit Parameter θ Beroulli-verteilte Zufallsvariable. Da ist der Maximum-Likelihood-Schätzer für de Parameter θ gegebe durch ˆθ ML (X 1,..., X ) = X X = X. Mit Satz 5..6 erhalte wir die asymptotische Normalverteiltheit vo ˆθ ML = X : d ( X θ) N(0, θ(1 θ)) uter P θ. Diese Aussage köe wir auch aus dem Zetrale Grezwertsatz herleite, de ( X θ) = X X θ d N(0, θ(1 θ)) uter P θ, da EX i = θ ud Var X i = θ(1 θ). Beispiel Nu betrachte wir ei Beipsiel, i dem der Maximum-Likelihood-Schätzer icht asymptotisch ormalverteilt ist. Der Grud hierfür ist, dass eie Regularitätsbedigug verletzt ist. Im folgede Beispiel sid ämlich die Träger der Verteiluge, die zu verschiedee Werte des Parameters gehöre, icht gleich. Wir betrachte die Familie der Gleichverteiluge auf de Itervalle der Form [0, θ] mit θ > 0. Die Dichte ist gegebe durch h θ (x) = 1 θ 1 x [0,θ]. Seie X 1, X,... uabhägige ud auf dem Itervall [0, θ] gleichverteilte Zufallsvariable. Der Maximum-Likelihood-Schätzer für θ ist gegebe durch ˆθ ML (X 1,..., X ) = max {X 1,..., X } =: M. Wir zeige u, dass dieser Schätzer icht asymptotisch ormalverteilt, soder asymptotisch expoetialverteilt ist. Satz Es seie X 1, X,... uabhägige ud auf dem Itervall [0, θ] gleichverteilte Zufallsvariable. Da gilt für M = max{x 1,..., X }, dass ( 1 M ) d θ Exp(1). Beweis. Sei x 0. Es gilt [ ( P 1 M ) ] > x = P θ [ M θ < 1 x Für geüged großes ist 0 θ(1 x ) θ ud somit [ ( P X i < θ 1 x )] = 1 x, ] [ ( = P X 1 < θ 1 x ) (,..., X < θ 1 x )]. 95

101 de X i U[0, θ]. Wege der Uabhägigkeit vo X 1,..., X erhalte wir, dass [ ( lim P 1 M ) ] > x = lim (1 x ) = e x. θ Somit erhalte wir, dass [ ( lim P 1 M ) ] { e x, x 0, x = θ 0, x < 0. Für x < 0 ist der Grezwert gleich 0, de das Ereigis M > θ ist umöglich. Daraus ergibt sich die zu beweisede Aussage. Beispiel I diesem Beispiel betrachte wir die Familie der Expoetialverteiluge. Die Dichte der Expoetialverteilug mit Parameter θ > 0 ist gegebe durch h θ (x) = θ exp( θx), x > 0. Die log-likelihood eier eizele Beobachtug x > 0 ist Zweimaliges Ableite ach θ führt zu l θ (x) = log h θ (x) = log θ θx. D l θ (x) = 1 θ. Das Ergebis ist übriges uabhägig vo x. Sei X Exp(θ). Die Fisher-Iformatio ist gegebe durch I(θ) = E θ D l θ (X) = 1 θ, θ > 0. Seie X 1, X,... uabhägige, mit Parameter θ expoetialverteilte Zufallsvariable. Der Maximum-Likelihood-Schätzer (ud auch der Mometeschätzer) ist i diesem Beispiel ˆθ ML = 1 X Mit Satz 5..6 erhalte wir die asymptotische Normalverteiltheit vo ˆθ ML : ( ) d (5..1) θ 1 X N(0, θ ) uter P θ. Auf der adere Seite, ergibt sich aus dem zetrale Grezwertsatz, dass ( (5..) X 1 ) d (0, θ N 1θ ) uter P θ, de EX i = 1 θ ud Var X i = 1 θ. Sid u (5..1) ud (5..) äquivalet? Etwas allgemeier ka ma auch frage: We ei Schätzer asymptotisch ormalverteilt ist, muss da auch eie Fuktio vo diesem Schätzer asymptotisch ormalverteilt sei? Wir werde u zeige, dass uter gewisse Voraussetzuge a die Fuktio die Atwort positiv ist. 96

102 Lemma Seie Z 1, Z,... Zufallsvariable ud µ R ud σ > 0 Zahle mit d (Z µ) N(0, σ ). Außerdem sei ϕ eie differezierbare Fuktio mit ϕ (µ) 0. Da gilt: d (ϕ(z ) ϕ(µ)) N(0, (ϕ (µ)σ) ). Beweisidee. Durch die Tayloretwicklug vo ϕ um de Pukt µ gilt ϕ(z ) = ϕ(µ) + ϕ (µ)(z µ) + Rest. Multipliziert ma u beide Seite mit, so führt dies zu (ϕ(z ) ϕ(µ)) = ϕ (µ) (Z µ) + Rest. Nach Voraussetzug gilt für de erste Term auf der rechte Seite, dass ϕ (µ) d (Z µ) N(0, (ϕ (µ)σ) ). Der Restterm hat eie kleiere Ordug als dieser Term, geht also gege 0. Daraus folgt die Behauptug. Beispiel Als Spezialfall vo Lemma mit ϕ(x) = 1 ud x ϕ (x) = 1 ergibt x sich die folgede Implikatio: d (Z µ) N(0, σ ) = ( 1 1 ) ) d (0, Z µ N σ. µ 4 Daraus ergibt sich die Äquivalez vo (5..1) ud (5..) Cramér-Rao-Schrake Sei {h θ (x) : θ Θ}, wobei Θ = (a, b), eie Familie vo Dichte oder Zähldichte. Wir habe bereits gesehe, dass es mehrere erwartugstreue Schätzer für de Parameter θ gebe ka. Uter diese Schätzer versucht ma eie Schätzer mit eier möglichst kleie Variaz zu fide. Ka ma vielleicht sogar für jedes vorgegebee ε > 0 eie erwartugstreue Schätzer kostruiere, desse Variaz kleier als ε ist? Der ächste Satz zeigt, dass die Atwort egativ ist. Er gibt eie utere Schrake a die Variaz eies erwartugstreue Schätzers. Regularitätsbediguge: (a) Θ R ist ei (möglicherweise uedliches) Itervall. (b) Der Träger J := {x R: h θ (x) > 0} ist uabhägig vo θ. (c) Die Ableituge h θ θ(x) ud h θ θ (x) existiere. (c) Die Ableituge h θ θ(x) existiere für alle (x, θ) J Θ. Satz (Cramér-Rao). Sei {h θ (x) : θ Θ}, wobei Θ = (a, b), eie Familie vo Dichte oder Zähldichte. Seie weiterhi X, X 1, X,... uabhägige ud idetisch verteilte 97

103 Zufallsvariable mit Dichte h θ (x). Sei ˆθ(X 1,..., X ) ei erwartugstreuer Schätzer für θ. Uter Regularitätsbediguge gilt die folgede Ugleichug: Var θ ˆθ(X1,..., X ) 1 I(θ). Beweisidee. Da ˆθ ei erwartugstreuer Schätzer ist, gilt für alle θ (a, b), dass θ = E θ ˆθ(X1,..., X ) = ˆθ(x1,..., x )h θ (x 1 )... h θ (x )dx 1... dx. R Nu leite wir ach θ ab: 1 = D ˆθ(x1,..., x )h θ (x 1 )... h θ (x )dx 1... dx R = ˆθ(x1,..., x )D[h θ (x 1 )... h θ (x )]dx 1... dx. R Idem wir u die Formel D log f(θ) = Df(θ) mit f(θ) = h f(θ) θ (x 1 )... h θ (x ) beutze, erhalte wir, dass ( ) 1 = ˆθ(x1,..., x )h θ (x 1 )... h θ (x ) D log h θ (x i ) dx 1... dx R wobei = E θ [ˆθ(X 1,..., X )U θ (X 1,..., X )], U θ (x 1,..., x ) := D log h θ (x i ). Es sei bemerkt, dass U θ die Ableitug der log-likelihood-fuktio ist. Für de Erwartugswert vo U θ gilt ach Lemma 5..4, dass E θ U θ (X 1,..., X ) = E θ D log h θ (X i ) = 0. Für die Variaz vo U θ erhalte wir wege der Uabhägigkeit vo X 1,..., X, dass E θ [Uθ (X 1,..., X )] = Var θ U θ (X 1,..., X ) = Var θ [D log h θ (X i )] = I(θ), de Var θ [D log h θ (X i )] = E θ (D log h θ (X i )) = I(θ), da E θ D log h θ (X i ) = 0 ach Lemma Nu erweiter wir mit dem Erwartugswert ud wede die Cauchy-Schwarz-Ugleichug a: 1 = E θ [(ˆθ(X 1,..., X ) θ) U θ (X 1,..., X )] Var θ [ˆθ(X 1,..., X )] Var θ [U θ (X 1,..., X )] = Var θ [ˆθ(X 1,..., X )] I(θ). 98

104 Umgestellt führt dies zu Var θ ˆθ(X1,..., X ) 1 I(θ). Θ heißt Cramér-Rao- Defiitio Ei erwartugstreuer Schätzer ˆθ : R effiziet, falls für jedes θ Θ Var θ ˆθ(X1,..., X ) = 1 I(θ). Beispiel Es seie X 1,..., X uabhägig ud Beroulli-verteilt mit Parameter θ. Der Maximum-Likelihood-Schätzer ud gleichzeitig der Mometeschätzer für θ ist der empirische Mittelwert: ˆθ(X 1,..., X ) = X = X X. Die Variaz vo ˆθ lässt sich wie folgt bereche Var θ ˆθ(X1,..., X ) = Var θ [ X X ] = Var θ X 1 = θ(1 θ) = 1 I(θ), de wir habe i Beispiel 5..7 gezeigt, dass I(θ) = 1 θ(1 θ). Somit ist der Schätzer X Cramér-Rao-effiziet. Es ist also umöglich, eie erwartugstreue Schätzer mit eier kleiere Variaz als die vo X zu kostruiere. Somit ist X der beste erwartugstreue Schätzer für de Parameter der Beroulli-Verteilug. Aufgabe Zeige Sie, dass der Schätzer ˆθ = X für die folgede Familie vo Verteiluge Cramér-Rao-effiziet ist: (1) {Poi(θ) : θ > 0}. () {N(θ, σ ) : θ R}, wobei σ bekat ist. Somit ist X i beide Fälle der beste erwartugstreue Schätzer. Aufgabe Es seie X 1,..., X uabhägig mit X i Bi(m, θ), wobei m N bekat ud θ [0, 1] der zu schätzede ubekate Parameter sei. Zeige Sie, dass der Schätzer ˆθ = 1 X m Cramér-Rao-effiziet (ud somit der beste erwartugstreue Schätzer) ist. Aufgabe Sei 3 ud X 1,..., X uabhägige ud idetisch verteilte Zufallsvariable mit X i Exp(θ), wobei θ > 0 ubekat sei. (a) Zeige Sie, dass X ei erwartugstreuer Schätzer für 1/θ ist. (b) Zeige Sie, dass 1/ X kei erwartugstreuer Schätzer für θ ist ud bestimme Sie eie Kostate c (i Abhägigkeit vo ), so dass c/ X ei erwartugstreuer Schätzer für θ ist. (c) Zeige Sie, dass c/ X icht Cramér-Rao-effiziet ist. (d) Zeige Sie, dass c/ X der beste erwartugstreue Schätzer für θ ist. Bemerkug Der Maximum-Likelihood-Schätzer muss icht immer Cramér-Raoeffiziet (ud sogar icht eimal erwartugstreu) sei. Wir wolle allerdigs zeige, dass 99

105 Abbildug 1. Dichte der Ordugsstatistike X (5), X (50), X (75) eier uabhägige ud stadardormalverteilte Stichprobe X 1,..., X 100. Die schwarze Kurve ist die Dichte der Stadardormalverteilug. bei eiem große Stichprobeumfag der Maximum-Likelihood-Schätzer ˆθ ML die Cramér- Rao-Schrake asymptotisch erreicht. Nach Satz 5..6 gilt uter P θ, dass ( ) (ˆθML θ) 0,. d N 1 I(θ) Die Verteilug vo ˆθ 1 ML ist also approximativ N(θ, ) ud die Variaz ist approximativ I(θ) 1, bei großem. Somit ähert sich der Maximum-Likelihood-Schätzer der Cramér-RaoI(θ) Schrake asymptotisch a Asymptotische Normalverteiltheit der empirische Quatile Seie X 1,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Dichte h(x) ud Verteilugsfuktio F (x). Sei α (0, 1). Das theoretische α-quatil Q α der Verteilugsfuktio F ist defiiert als die Lösug der Gleichug F (Q α ) = α. Wir ehme a, dass es eie eideutige Lösug gibt. Das empirische α-quatil der Stichprobe X 1,..., X ist X ([α]), wobei X (1) <... < X () die Ordugsstatistike vo X 1,..., X seie. Wir habe hier die Defiitio des empirische Quatils etwas vereifacht, alle achfolgede Ergebisse stimme aber auch für die alte Defiitio. Das empirische Quatil X [α] ist ei Schätzer für das theoretische Quatil Q α. Wir zeige u, dass dieser Schätzer asymptotisch ormalverteilt ist. Satz Sei α (0, 1) ud seie X 1,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Dichte h, wobei h stetig i eier Umgebug vo Q α sei ud h(q α ) > 0 gelte. Da gilt (X([α]) Q α ) ( d N 0, ) α(1 α). h (Q α ) 100

106 Beweisidee. Sei t R. Wir betrachte die Verteilugsfuktio F (t) := P[ [ (X ([α]) Q α ) t] = P X ([α]) Q α + t ] = P[K α], wobei die Zufallsvariable K wie folgt defiiert wird: K = 1 Xi Q α+ t = # { i {1,..., } : X i Q α + t }. Somit ist K Bi(, F (Q α + t )). Für de Erwartugswert ud die Variaz vo K gilt somit EK = F ( Q α + t ) (, Var K = F Q α + t ) ( (1 F Q α + t )). Idem wir u die Taylor-Etwicklug der Fuktio F beutze, erhalte wir, dass ( EK = F (Q α ) + F (Q α ) t ( )) 1 + o = α + h(q α )t + o( ), Var K = α(1 α) + o(). Nu ka die Verteilugsfuktio F (t) wie folgt berechet werde [ ] K E[K ] F (t) = P[K α] = P Var(K ) α E[K ]. Var(K ) Beutze wir u die Etwickluge vo EK ud Var K, so erhalte wir [ K E[K ] F (t) = P Var(K ) α α h(q α )t o( ] ). α(1 α) + o() Ud u beutze wir de zetrale Grezwertsatz für K. Mit N stadardormalverteilt, erhalte wir, dass [ ] [ lim F (t) = P N h(q α) N ] α(1 α) t = P t, α(1 α) h(q α ) wobei wir im letzte Schritt die Symmetrie der Stadardormalverteilug, also die Formel P[N x] = P[N x] beutzt habe. Die Behauptug des Satzes folgt u aus der Tatsache, dass N ( ) α(1 α) h(q α) N 0, α(1 α) h (Q α). Bemerkug Satz behadelt ur zetrale Ordugsstatistike X ([α]), α (0, 1), ud macht keie Aussage über X () = max,..., X i ud X (1) = mi,..., X i. Die Ordugsstatistike X () ud X (1) sid icht asymptotisch ormalverteilt. Die mögliche Grezwertverteiluge vo X () ud X (1) heiße Extremwertverteiluge, für dere Beschreibug verweise wir auf das Skript Extremwerttheorie. 101

107 5.5. Asymptotische relative Effiziez I viele statistische Probleme lasse sich mehrere atürliche Schätzer für de ubekate Parameter kostruiere. Wie soll ma etscheide, welcher Schätzer besser ist? Hadelt es sich um zwei Folge vo asymptotisch ormalverteilte Schätzer, so ist es atürlich, dejeige Schätzer zu bevorzuge, der eie kleiere asymptotische Variaz hat. (1) () Defiitio Seie ˆθ ud ˆθ zwei Folge vo Schätzer für eie Parameter θ, wobei de Stichprobeumfag bezeichet. Beide Schätzer seie asymptotisch ormalverteilt mit (ˆθ(1) θ) d N(0, σ 1(θ)) ud (ˆθ () θ) Die asymptotische relative Effiziez der beide Schätzer ist defiiert durch AREˆθ(1),ˆθ () (θ) = σ (θ) σ 1(θ). d N(0, σ (θ)) uter P θ. Bemerkug Ist z.b. AREˆθ(1),ˆθ () besser als ist. ˆθ () (θ) > 1 so heißt es, dass uter P θ der Schätzer ˆθ (1) Als Beispiel werde wir de Media ud de Mittelwert als Schätzer für de Lageparameter eier Dichte vergleiche. Sei h(x), x R, eie Dichte. Wir mache folgede Aahme: (1) h ist symmetrisch, d.h. h(x) = h( x). () h ist stetig i eier Umgebug vo 0. (3) h(0) > 0. Seie X 1,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Dichte h θ (x) = h(x θ), wobei θ R der ubekate Lageparameter ist. Die Aufgabe besteht u dari, θ zu schätze. Dabei sei die Dichte h bekat. Da sowohl der theoretische Media Q( 1 ) als auch der Erwartugswert der Dichte h θ wege der Symmetrie gleich θ sid, köe wir folgede atürliche Schätzer für θ betrachte: (1) de empirische Media X ([/]) (desse Deiitio wir hier etwas vereifacht habe). () de empirische Mittelwert X. Welcher Schätzer ist u besser ud um wieviel? Wir beatworte dieser Frage mit Hilfe des Begriffes der asymptotische relative Effiziez. Nach Satz ud ach dem zetrale Grezwertsatz sid beide Schätzer asymptotisch ormalverteilt mit ( ) d (X([/]) θ) N 1 (5.5.1) 0, uter P 4h θ, (0) d (5.5.) ( X θ) N(0, Var θ X 1 ) uter P θ. 10

108 Abbildug. Liks: Die drei Dichte: Gauß-Verteilug (gru ), LaplaceVerteilug (rot), Cauchy-Verteilug (blau). Rechts: Stichprobe vom Umfag = 50 aus de drei Verteiluge. Die asymptotische Variaze sid also uabha gig vo θ ud gegebe durch Z 1 x h (x)dx. σ1 =, σ = Varθ X1 = 4h (0) R Nu betrachte wir drei Beispiele. Beispiel Die Gauß-Dichte h(x) = 1π e x /, x R. Es gilt h(0) = 1π, Varθ X1 = 1 ud somit π σ1 =, σ = 1, AREMed,MW = < 1. π Der empirische Mittelwert ist also besser als der empirische Media. Das Ergebis ka ma wie folgt iterpretiere: Der Media erreicht bei eier Stichprobe vom Umfag 100 i etwa die gleiche Pra zisio, wie der Mittelwert bei eier Stichprobe vom Umfamg 64. Beispiel Die Laplace-Dichte h(x) = 1 e x, x R. Es gilt h(0) = 1, Varθ X1 = ud somit σ1 = 1, σ =, AREMed,MW = > 1. I diesem Beispiel ist also der Media besser. Bei eier Stichprobe vom Umfag 100 erreicht der Media i etwa die gleiche Pra zisio, wie der Mittelwert bei eier Stichprobe vom Umfag Beispiel Die Cauchy-Dichte h(x) = π1 1+x, x R. Es gilt h(0) = π ud somit ist die asymptotische Variaz des Medias gegebe durch π σ1 =. 4 Der Mittelwert ist aber gar icht asymptotisch ormalverteilt, da die Cauchy-Verteilug keie wohldefiierte Erwartugswert (ud auch keie Variaz) besitzt ud der zetrale Grezwertsatz (auf dem (5.5.) basiert) icht awedbar ist! 103

109 Aufgabe Seie X 1,..., X uabhägige ud idetisch verteilte Zufallsvariable mit der Cauchy-Dichte h θ (x) = 1 1, x R, θ R. π 1 + (x θ) Zeige Sie, dass die Dichte des Mittelwerts X ebefalls durch h θ (x) gegebe ist. Hiweis: Bereche Sie die charakteristische Fuktio vo X. Aufgabe Zeige Sie, dass X kei schwach kosisteter Schätzer für θ ist. Aus Aufgabe folgt, dass sich die Qualität des Schätzers X bei wachsedem Stichprobeumfag icht verbessert: X hat die gleiche Verteilug wie X 1. Der statistische Fehler X θ hat Größeordug 1 für jedes. Dabei hat der Fehler X ([/]) θ die Größeordug 1/, siehe (5.5.1). I diesem Beispiel ist also der Mittelwert uedlich viel schechter als der Media! Symbolisch köe wir das zusammefasse als ARE Med,MW = +. Die obige drei Beispiele zeige, dass die Atwort auf die Frage, welcher Schätzer (der Media oder der Mittelwert) besser ist, vo der zugrudeliegede Verteilug abhägt. Als Kompromisslösug, die bei alle mögliche h s brauchbare Ergebisse liefert, ka ma de sogeate Hodges-Lehma-Schätzer für de Lageparameter betrachte: } { Xi + X j HL := Media. 1 i<j Ma ka zeige, dass HL eiem ähliche zetrale Grezwertsatz wie der Media geügt ud dass die asymptotische Variaz durch σhl 1 = 1( R h (x)dx) gegebe ist. Im Fall der Normalverteilug ergibt sich ARE HL,MW = 3 π Das heißt, HL ist ur uwesetlich schlechter als der Mittelwert. Außerdem ka ma zeige, dass für jede symmetrische Dichte h mit edlicher Variaz e HL,MW = Das heißt, HL ist iemals wesetlich schlechter als der Mittelwert. Dabei gibt es Verteiluge (wie die Cauchy-Verteilug), bei dee HL uedlich viel besser als der Mittelwert ist. Aufgabe Seie X 1,..., X uabhägige ud idetisch verteilte Zufallsvariable mit X i Poi(λ), wobei λ > 0 ei ubekater Parameter sei. Betrachte Sie die folgede beide Schätzer für θ := e λ = P θ [X i = 0]: ˆθ (1) = 1 1 {Xi =0}, ˆθ() = e X. 104

110 Sid diese Schätzer erwartugstreu/asymptotisch erwartugstreu? Zeige Sie, dass beide Schätzer asymptotisch ormal verteilt sid ud bestimme Sie die asymptotische relative Effiziez. Welcher Schätzer ist im Sie der asymptotische relative Effiziez besser? Aufgabe Seie X 1, X,... uabhägige Zufallsvariable mit der Dichte h(x θ), wobei h die sogeate logistische Dichte 1 h(x) = (e x/ + e +x/ ), x R, bezeiche ud θ R der ubekate Lageparameter sei. Zeige Sie, dass der Hodges- Lehma-Schätzer (geauso wie der Maximum-Likelihood-Schätzer) asymptotisch die Cramér- Rao-Schrake erreicht. 105

111 KAPITEL 6 Statistische Etscheidugstheorie 6.1. Verlustfuktio, Risiko, Miimax-Schätzer Es sei (X, A, (P θ ) θ Θ ) ei statistisches Modell. Das heißt, X ist die Mege aller mögliche Stichprobe, A ist eie σ-algebra auf X ud (P θ ) θ Θ ist eie Familie vo Wahrscheilichkeitsmaße auf (X, A). Nu wird eie Stichprobe X gemäß eiem Wahrscheilichkeitsmaß P θ zufällig aus X gezoge, wobei θ Θ ubekat bleibt. Wir kostruiere eie Schätzer ˆθ : X Θ ud versuche, de Parameter θ Θ durch ˆθ(X) zu schätze. Stelle wir us u vor, dass wir für de Fehler, de wir dabei typischerweise mache, eie Strafe der Größe D(θ, ˆθ(X)) auferlegt bekomme, wobei D : Θ Θ [0, ) eie vorgegebee Fuktio ist, die Verlustfuktio geat wird. Natürliche Beispiele vo Verlustfuktioe sid: (1) quadratische Verlustfuktio: D(θ) = ˆθ θ ; () absoluter Fehler: D(θ) = ˆθ θ ; (3) L p -Verlust: D(θ) = ˆθ θ p ; (4) Null-Eis-Verlust: D(θ) = 1 {ˆθ θ}, wobei wir i de erste drei Fälle voraussetze, dass Θ R m ist, ud ˆθ θ de Euklidische Abstad zwische ˆθ ud θ bezeichet. Defiitio Das Risiko eies Schätzers ˆθ ist R(θ; ˆθ) = E θ D(θ, ˆθ(X)). Im Folgede werde wir sehr oft ˆθ als eie Abkürzug für die Zufallsvariable ˆθ(X) beutze. Beispiel Für die quadratische Verlustfuktio D(θ, ˆθ) = (ˆθ θ) (wobei Θ R vorausgesetzt wird) stimmt das Risiko mit dem mittlere quadratische Fehler überei: R(θ; ˆθ) = E θ (ˆθ θ) = MSE θ (ˆθ) = Var θ ˆθ + (Biasθ ˆθ). Ma ka das Risiko beutze, um verschiedee Schätzer miteiader zu vergleiche: je kleier das Risiko, umso besser der Schätzer. Defiitio Wir sage, dass ei Schätzer ˆθ 1 gleichmäßig besser als ei aderer Schätzer ˆθ ist, we R(θ; ˆθ 1 ) R(θ; ˆθ ) für alle θ Θ. 106

112 Abbildug 1. Die Risikofuktioe R(θ; ˆθ 1 ) (blau) ud R(θ; ˆθ ) (rot) aus Beispiel Der Stichprobeumfag ist = 100. Es ka aber durchaus passiere, dass R(θ ; ˆθ 1 ) < R(θ ; ˆθ ) für ei gewisses θ Θ ud R(θ ; ˆθ 1 ) > R(θ ; ˆθ ) für ei aderes θ Θ. I diesem Fall ist kei Schätzer gleichmäßig besser als der adere. Es wäre deshalb schö, die Qualität eies Schätzers durch eie Zahl (ud icht durch eie Fuktio vo θ) charakterisiere zu köe. Dazu gibt es zwei atürliche Asätze. Zuerst betrachte wir de Miimax-Asatz. Defiitio Das maximale Risiko eies Schätzers ˆθ ist M(ˆθ) = sup R(θ; ˆθ). θ Θ Defiitio Ei Schätzer ˆθ heißt Miimax-Schätzer, we das maximale Risiko vo ˆθ icht größer ist, als das maximale Risiko jedes adere Schätzers θ, d.h. we sup R(θ; ˆθ) = if sup R(θ; θ). θ Θ θ θ Θ Beispiel Seie X 1,..., X uabhägige, mit Parameter θ (0, 1) Beroulli-verteilte Zufallsvariable. Wir beutze die quadratische Verlustfuktio D(θ, ˆθ) = (ˆθ θ). Wir werde u zeige, dass der Mittelwert ˆθ 1 := X erstaulicherweise kei Miimax-Schätzer für θ ist. Die Risikofuktio vo ˆθ 1 ist gegebe durch R(θ; ˆθ 1 ) = Var θ ˆθ1 + (Bias θ ˆθ1 ) = Var θ ˆθ1 = Für das maximale Risiko vo ˆθ 1 erhalte wir somit θ(1 θ) M(ˆθ) = sup θ (0,1) 107 = 1 4. θ(1 θ).

113 Betrachte u de Schätzer ˆθ = S + α α + β +, wobei S = X X ud die Kostate α, β > 0 och zu wähle sid. Dieser Schätzer ist der Bayes-Schätzer für θ we die a-priori-verteilug vo θ eie Beta(α, β)-verteilug ist, vgl. Beispiel Das Risiko vo ˆθ ist R(θ; ˆθ ) = Var θ ˆθ1 + (Bias θ ˆθ1 ) = ( ) θ(1 θ) θ + α (α + β + ) + α + β + θ. Wir wolle u α ud β so wähle, dass die Fuktio R(θ; ˆθ ) icht vo θ abhägt. (Der Grud dafür wird später ersichtlich sei, siehe Satz 6.3.3). Nach eier eifache Rechug ka ma sich überzeuge, dass dies für α = β = 1 der Fall ist. Der Schätzer ˆθ ud sei Risiko sehe i diesem Fall wie folgt aus: ˆθ = S + 1 +, R(θ; ˆθ ) = 4( + ) < 1 4. Somit ist ˆθ 1 kei Miimax-Schätzer. Später werde wir zeige, dass ˆθ der Miimax-Schätzer ist. Es sei aber bemerkt, dass die Mege aller θ, für die ˆθ besser als ˆθ ist, ei (bei großem ) sehr kleies Itervall um 1 ist ud dass der Uterschied zwische de Risike vo θ 1 ud θ auf diesem Itervall sehr gerig ist. Für alle adere θ s ist der kovetioelle Schätzer ˆθ 1 besser. Aufgabe Welche Läge hat das Itervall {θ (0, 1): R(θ; ˆθ 1 ) > R(θ, ˆθ )}? 6.. Bayes-Schätzer Nu betrachte wir de Bayes-Asatz zur Charakterisierug des Risikos eies Schätzers. Wir ehme a, dass für de Parameter θ eie a-priori-verteilug, also ei Wahrscheilichkeitsmaß auf Θ, vorgegebe ist. Der Eifachheit halber beschräke wir us auf de Fall, we Θ R m eie messbare Mege mit positivem Lebesgue-Maß ist ud die a-priori- Verteilug vo θ eie Lebesgue-Dichte q : Θ R + besitzt. Defiitio Das Bayes-Risiko eies Schätzers ˆθ uter der a-priori-verteilug q ist gegebe durch B q (ˆθ) = R(θ; ˆθ)q(θ)dθ. Θ Defiitio 6... Ei Schätzer ˆθ heißt der Bayes-Schätzer (uter der a-priori-verteilug q), we das Bayes-Risiko vo ˆθ icht größer ist, als das Bayes-Risiko jedes adere 108

114 Schätzers θ, d.h. we B q (ˆθ) = if θ B q ( θ). Aahme: Es gibt ei σ-edliches Maß λ auf (X, A), sodass alle Wahrscheilichkeitsmaße P θ, θ Θ, absolut stetig bzgl. λ sid. Die Dichte vo P θ bzgl. λ heißt die Likelihood-Fuktio ud wird mit L(x; θ) bezeichet. Wir leite u eie alterative Formel für das Bayes-Risiko B q (ˆθ) her. Stelle wir us vor, dass die Stichprobe x X bekat ist. Nach dem Bekatwerde vo x ädert sich usere Vorstellug über die Verteilug vo θ: Die a-posteriori-dichte vo θ bei bekater Stichprobe x ist gegebe durch q(θ)l(x; θ) (6..1) q(θ x) =, wobei m(x) = L(x; t)q(t)dt. m(x) Θ Dabei ist m(x) die Dichte (bzgl. λ), dass eie Stichprobe x X bei eiem zufällige ud gemäß der a-priori-dichte q verteilte Parameter θ beobachtet wird. Defiitio Schätze wir bei eier gegebee Stichprobe x X de Parameter θ durch eie Wert a Θ, so ist das dadurch etstehede a-posteriori-risiko gegebe durch r(a x) = D(θ, a)q(θ x)dθ. Θ Isbesodere defiiere wir das a-posteriori-risiko eies Schätzers ˆθ : X Θ gegebe die Stichprobe x X als r(ˆθ x) = r(ˆθ(x) x) = D(θ, ˆθ(x))q(θ x)dθ. Der ächste Satz besagt, dass wir das Bayes-Risiko bereche köe, idem wir das a- posteriori-risiko über alle mögliche Stichprobe x X itegriere, wobei der Beitrag der Stichprobe x mit der Dichte m(x) gewichtet wird. Θ Satz Für das Bayes-Risiko B q (ˆθ) gilt die Formel B q (ˆθ) = r(ˆθ x)m(x)λ(dx). Beweis. Mit der Defiitio vo B q (ˆθ) gilt B q (ˆθ) = E θ D(θ, ˆθ(X))q(θ)dθ = D(θ, ˆθ(x))L(x; θ)q(θ)λ(dx)dθ, Θ Θ X 109 X

115 wobei wir die Formel E θ D(θ, ˆθ(X)) = X D(θ, ˆθ(x))L(x; θ)λ(dx) beutzt habe. Idem wir u (6..1) ud daach de Satz vo Fubii beutze, erhalte wir B q (ˆθ) = D(θ, ˆθ(x))q(θ x)m(x)λ(dx)dθ = D(θ, ˆθ(x))q(θ x)m(x)dθλ(dx). Θ X Mit Defiitio 6..3 ergibt sich die Behauptug des Satzes. Nu köe wir de Bayes-Schätzer sogar bereche. Bei eier gegebee Stichprobe x X muss ma de Wert a Θ fide, der das a-posteriori-risiko r(a x) miimiert. Dieser Wert ist da der Bayes-Schätzer. X Θ Satz Für alle x X sei ˆθ(x) = arg mi a Θ r(a x) = arg mi D(θ, a)q(θ x)dθ. a Θ Θ Da ist ˆθ ei Bayes-Schätzer vo θ zur a-priori-verteilug q. Beweis. Aus der Defiitio vo ˆθ(x) folgt, dass r(a x) r(ˆθ(x) x) für alle a Θ. Sei θ : X Θ ei Schätzer vo θ. Mit Satz 6..4 gilt B q ( θ) = r( θ(x) x)m(x)λ(dx) r(ˆθ(x) x)m(x)λ(dx) = B q (ˆθ). Somit ist ˆθ ei Bayes-Schätzer. X X Korollar Sei Θ R ei Itervall ud betrachte die quadratische Verlustfuktio D(θ, ˆθ) = (θ ˆθ). Da ist der Bayes-Schätzer gegebe durch de Erwartugswert der a-posteriori-verteilug, d.h. ˆθ(x) = θq(θ x)dθ. Θ Fasse wir θ als Zufallselemet mit Werte i Θ ud Dichte q, so köe wir auch schreibe ˆθ(x) = E[θ X = x]. Beweis. Gemäß Satz 6..5 müsse wir die folgede Fuktio miimiere: f(a) = (θ a) q(θ x)dθ = E[(Z a) ], a Θ, Θ wobei Z eie Zufallsvariable mit der Dichte q(θ x) sei. Es ist eie Übug zu zeige, dass das Miimum vo E[(Z a) ] für a = EZ erreicht wird. 110

116 Korollar Sei Θ R ei Itervall ud betrachte die Verlustfuktio D(θ, ˆθ) = θ ˆθ. Da ist der Bayes-Schätzer gegebe durch de Media der a-posteriori-verteilug, d.h. ˆθ(x) ist die Lösug vo ˆθ(x) q(θ x)dθ = 1, wobei wir hier die Schwierigkeite igoriere, die wege Nichtexistez oder Nichteideutigkeit der Lösug etstehe köe. Beweis. Laut Satz 6..5 müsse wir die folgede Fuktio miimiere: f(a) = θ a q(θ x)dθ = E Z a, a Θ, Θ wobei Z eie Zufallsvariable mit der Dichte q(θ x) sei. Das Miimum vo E Z a wird erreicht, we a der Media vo Z ist (Übug) Kostruktio des Miimax-Schätzers Nu werde wir eie Zusammehag zwische de Bayes-Schätzer ud dem Miimax- Schätzer herstelle. Satz Sei ˆθ der Bayes-Schäzer, der eier a-priori-verteilug q(θ) etspricht. Falls da ist ˆθ ei Miimax-Schätzer. R(θ; ˆθ) B q (ˆθ) für alle θ Θ, Beweis. Sei ˆθ icht miimax. Da gibt es eie adere Schätzer ˆθ 0 mit sup θ Θ R(θ; ˆθ 0 ) < sup R(θ; ˆθ). θ Θ Nu ist aber der Erwartugswert eier Zufallsvariable immer kleier als ihr Maximum: B q (ˆθ 0 ) = R(θ; ˆθ 0 )q(θ)dθ sup R(θ; ˆθ 0 ). θ Θ Es folgt aus de obige Ugleichuge, dass Θ B q (ˆθ 0 ) < sup R(θ; ˆθ) B q (ˆθ), θ Θ wobei wir die Voraussetzug beutzt habe. Dies ist ei Widerspruch, de wir habe vorausgesetzt, dass ˆθ ei Bayes-Schätzer ist. Bemerkug Die Verteilug q aus Satz heißt die ugüstigste a-priori-verteilug für de Schätzer ˆθ, de für jede adere a-priori-verteilug q 0 (θ) gilt B q0 (ˆθ) = R(θ; ˆθ)q 0 (θ)dθ B q (ˆθ)q 0 (θ)dθ = B q (ˆθ). Θ 111 Θ

117 Somit ist die Qualität des Schätzers ˆθ uter der a-priori-verteilug schlechter, als uter jeder adere a-priori-verteilug q 0. Satz Sei ˆθ ei Bayes-Schätzer für die a-priori-verteilug q(θ) mit Da ist ˆθ miimax. Beweis. Für das Bayes-Risiko vo ˆθ gilt B q (ˆθ) = R(θ; ˆθ)q(θ)dθ = C Nu folgt die Behauptug aus Satz Θ C := R(θ; ˆθ) = cost für alle θ Θ. Θ q(θ)dθ = C R(θ; ˆθ) für alle θ Θ. Beispiel Seie X 1,..., X Ber(θ) uabhägig, wobei θ [0, 1]. Die Verlustfuktio sei quadratisch. Wir habe bereits gesehe, dass die Risikofuktio des Schätzers ˆθ = S icht vo θ abhägt. Außerdem ist ˆθ der Bayes-Schätzer, we wir Beta( 1, 1 ) als a- priori-verteilug wähle, s. Beispiel Somit ist ˆθ ei Miimax-Schätzer. Die ugüstigste a-priori-verteilug ist i diesem Modell die Beta-Verteilug Beta ( 1, 1 ). Der kovetioelle Schätzer X ist erstaulicherweise icht miimax für die quadratische Verlustfuktio. Damit X miimax wird, muss ma eie ukovetioelle Verlustfuktio betrachte. Aufgabe Seie X 1,..., X Ber(θ) uabhägig ud idetisch verteilt, wobei θ (0, 1). Betrachte Sie die Verlustfuktio D(θ, ˆθ) = (θ ˆθ) θ(1 θ). (a) Bestimme Sie das Risiko des Schätzers ˆθ = X als Fuktio vo θ. (b) Zeige Sie, dass X der Bayes-Schätzer vo θ für die a-priori-dichte q(θ) = 1 [0,1] (θ) ist. (c) Zeige Sie, dass X der Miimax-Schätzer vo θ für die agegebee Verlustfuktio D ist. Aufgabe Seie X 1,..., X N(θ, 1) uabhägige ud idetisch verteilte Zufallsvariable, wobei θ R. Betrachte Sie die Verlustfuktio D(θ, ˆθ) = (θ ˆθ). Zeige Sie, dass X der Miimax-Schätzer vo θ ist, wie folgt: (a) Bestimme Sie de Bayes-Schätzer θ vo θ für die a-priori-verteilug N(0, c ), wobei c > 0 sei. 11

118 (b) Bestimme Sie das Bayes-Risiko dieses Schätzers ud zeige Sie damit, dass fur eie beliebige Schätzer ˆθ die folgede Ugleichug gilt: sup R(θ; ˆθ) 1 θ R. (c) Folger Sie, dass X der Miimax-Schätzer vo θ ist. Aufgabe Sei X N(θ, 1) (d.h. die Stichprobe besteht aus eiem Elemet), wobei der Parameterraum Θ := [ m, m] mit 0 < m < 1 sei. Die Verlustfuktio sei quadratisch, d.h. D(θ, ˆθ) = (θ ˆθ). (a) Betrachte Sie die a-priori-verteilug (keie Dichte!) µ mit µ({ m}) = µ({+m}) = 1/ ud beweise Sie für de etsprechede Bayes-Schätzer die Formel ˆθ(x) = m tah(mx), wobei tah z = ez e z e z + e z. (b) Zeige Sie, dass für diese Schätzer R(θ; ˆθ) B µ (ˆθ) gilt ud dass das Risiko R(θ; ˆθ) icht kostat ist. (c) Folger Sie, dass ˆθ ei Miimax-Schätzer ist Statistik als Zweipersoespiel Es gibt eie iteressate Iterpretatio der statistische Etscheidugstheorie als ei Zweipersoespiel. Ma betrachte ei Spiel mit zwei Spieler A ud B. Spieler A habe Strategie A 1,..., A m zur Verfügug, währed die mögliche Strategie des Spielers B mit B 1,..., B bezeichet seie. I jeder Rude des Spiels wählt jeder Spieler uabhägig vom adere Spieler eie der ihm zur Verfügug stehede Strategie. Wählt A Strategie A i ud B Strategie B j, so sei der Gewi vo A i der etsprechede Rude gleich u ij (wobei diese Zahl auch egativ sei darf). Das Spiel wird also durch die Matrix (u ij ) eideutig beschriebe, die auch die Auszahlugsmatrix geat wird. Das Ziel vo A ist es, seie Gewi zu maximiere. Im Gegeteil ist Spieler B bestrebt, de Gewi vo A zu miimiere. Beispiel Beim Spiel Schere, Stei, Papier, Brue hat jeder der beide Spieler die 4 geate Strategie zur Verfügug. Die Regel sid wie folgt: Stei schlägt Schere, Papier schlägt Stei, Brue schlägt Stei, Schere schlägt Papier, Brue schlägt Schere ud Papier schlägt Brue. Der Gewi ist bei verschiedee Symbole gleich ±1. Bei gleiche Symbole ist der Gewi 0. Die Auszahlugsmatrix sieht somit folgedermaße aus: Spieler B Schere Stei Papier Brue Schere Spieler A Stei Papier Brue Das Spiel besteht aus uedlich viele Rude. Am obige Beispiel sieht ma, dass es ugüstig ist, sich für eie Strategie zu etscheide, ud diese immer zu verwede (dieses 113

119 Vorgehe et ma reie Strategie). Spielt z.b. eier der Spieler immer Schere, so merkt das der adere Spieler ach eiige Rude ud atwortet da mit Stei. Güstiger ist es, eie gemischte Strategie zu verwede, bei der i jeder Rude eie der vier Strategie zufällig ausgewählt wird. Defiitio Eie gemischte Strategie vo A ist ei Vektor x = (x 1,..., x m ) mit x x m = 1 ud x 1,..., x m 0. Eie gemischte Strategie vo B ist ei Vektor y = (y 1,..., y ) mit y y = 1 ud y 1,..., y 0. Iterpretatio: A wählt Strategie A i mit Wahrscheilichkeit x i ; B wählt Strategie B j mit Wahrscheilichkeit y j. Da die Spieler uabhägig voeiader agiere, ist der erwartete Gewi vo A gegebe durch m G(x, y) = u ij x i y j. j=1 Aufgabe Nehme wir a, B spielt die aive gemischte Strategie ( 1 4, 1 4, 1 4, 1 4 ). Welche gemischte Strategie ist für A optimal? Wir betrachte u das Spiel aus Sicht der beide Spieler. A dekt: Ageomme, ich wähle eie gemischte Strategie x. Nach geüged viele Rude wird B meie Strategie erkee ud seierseits eie gemischte Strategie y beutze, die G(x, y) miimiert. Ich muss also das folgede Optimierugsproblem löse: Bestimme x, das mi y G(x, y) maximiert. B dekt: Ageomme, ich wähle eie gemischte Strategie y. Nach geüged viele Rude wird A meie Strategie erkee ud seierseits eie gemischte Strategie x beutze, die G(x, y) maximiert. Ich muss also das folgede Optimierugsproblem löse: Bestimme y, das max x G(x, y) miimiert. Es stellt sich heraus, dass die Lösuge der beide Probleme, die Maximi ud Miimax heiße, übereistimme. Satz (vo Neuma, 198). Es gilt max mi x 1...,x m 0 y 1...,y 0 x x m=1 y y =1 G(x, y) = mi max y 1...,y 0 x 1...,x m 0 y y =1 x x m=1 G(x, y). Defiitio Ei Paar vo gemischte Strategie (x, y ) heißt Nash-Gleichgewicht, we keier der beide Spieler seie Positio durch eiseitiges Abweiche vo seier gemischte Strategie verbesser ka, d.h. Für jede gemischte Strategie x vo A gilt G(x, y ) G(x, y ). 114

120 Für jede gemischte Strategie y vo B gilt G(x, y) G(x, y ). Aufgabe Zeige Sie, dass im Spiel Schere, Stei, Papier, Brue das Paar x = y = ( 1 3, 0, 1 3, 1 3 ) ei Nash-Gleichgewicht bildet. Aufgabe Zeige Sie, dass im Spiel Schere, Stei, Papier (ohe Brue) das Paar x = y = ( 1 3, 1 3, 1 3 ) ei Nash-Gleichgewicht bildet. Nu köe wir eie Iterpretatio der statistische Etscheidugstheorie als Zweipersoespiel beschreibe. Sei (X, A, (P θ ) θ Θ ) ei statistisches Modell ud D : Θ Θ [0, ) eie Verlustfuktio. Wir betrachte zwei Spieler, die als Natur ud Statistiker bezeichet werde. Das Spiel verläuft wie folgt. Die Natur wählt ei θ Θ. Gleichzeitig ud uabhägig vo der Natur wählt der Statistiker eie Schätzer ˆθ : X Θ. Nachdem das Paar (θ, ˆθ) gewählt wurde, wird eie Stichprobe X gemäß P θ zufällig gezoge ud der Gewi der Natur (bzw. der Verlust des Statistikers) ist D(θ, ˆθ(X)). Bei eiem gegebee Paar (θ, ˆθ) ist der erwartete Gewi der Natur gegebe durch das Risiko R(θ; ˆθ) = E θ D(θ, ˆθ(X)). Die Fuktio R ist somit ei Aalogo der Auszahlugsmatrix. Die reie Strategie der Natur sid alle mögliche Parameter θ Θ. Die Natur ka aber auch eie gemischte Strategie verwede, die durch ei Wahrscheilichkeitsmaß (zur Vereifachug: Dichte q) auf dem Parameterraum Θ beschriebe wird. Atwortet der Statistiker auf eie solche gemischte Strategie mit eiem Schätzer ˆθ, so ist sei erwarteter Verlust ichts aderes als das Bayes-Risiko des Schätzers ˆθ: B q (ˆθ) = R(θ, ˆθ)q(θ)dθ. Θ Die beste Atwort des Statistikers ist also der Bayes-Schätzer. Die reie Strategie des Statistikers sid alle mögliche Schätzer. Es ist iteressat, dass sich gemischte Strategie für de Statistiker gar icht lohe. Stelle wir us z.b. vor, der Statistiker würde eie gemischte Strategie der folgede Art eisetze: Er sucht sich Schätzer ˆθ 1,..., ˆθ aus ud wählt da de Schätzer ˆθ j mit Wahrscheilichkeit y j 0, wobei y y = 1. Sei erwarteter Verlust wäre da y 1 B q (ˆθ 1 ) y B q (ˆθ ) mi B q(ˆθ j ), j=1,..., de (y 1,..., y ) ist ei Wahrscheilichkeitsvektor. Der Statistiker hätte eifach de Schätzer ˆθ j mit dem kleiste Bayes-Risiko beutze köe, der da midestes geauso gut wie die gemischte Strategie wäre. Nu betrachte wir das Geschehe aus Sicht der beide Spieler. Natur dekt: Ich wähle eie gemischte Strategie q. Der Statistiker, der ja ratioal hadelt, wird diese Strategie ach mehrere Rude erkee ud mit dem etsprechede Bayes-Schätzer atworte. Mei Gewi ist dabei das Bayes-Risiko dieses Schätzers, das ich 115

121 maximiere möchte. Also muss ich als meie gemischte Strategie die ugüstigste a-priori- Verteilug auswähle! Statistiker dekt: Gemischte Strategie lohe sich für mich icht. Also wähle ich eie reie Strategie, d.h. eie Schätzer ˆθ. Die Natur wird diese Schätzer ach mehrere Rude rekostruiere köe. Sie wird da mit dem Wert θ atworte, der ihre Gewi R(θ, ˆθ) maximiert. Mei Verlust ist also gegebe durch das maximale Risiko vo ˆθ: M(ˆθ) = sup R(θ; ˆθ). θ Θ Somit muss ich dejeige Schätzer ˆθ wähle, der de Wert M(ˆθ) miimiert, also de Miimax-Schätzer! Hadel beide Seite ratioal, so muss das Spiel im Nash-Gleichgewicht verharre: Die Natur wählt θ s zufällig gemäß der ugüstigste a-priori-verteilug, währed der Statistiker darauf mit dem etsprechede Bayes-Schätzer atwortet, der gleichzeitig der Miimax-Schätzer ist, s. Abschitt

122 KAPITEL 7 Dichteschätzer Ageomme wir beobachte eie Stichprobe (x 1,..., x ), wie z.b. diese (wobei jeder Pukt der Stichprobe als ei vertikaler Strich dargestellt wird): Wir gehe davo aus, dass x 1,..., x eie Realisierug vo uabhägige ud idetisch verteilte Zufallsvariable X 1,..., X mit ubekater Dichte f ist. I diesem Kapitel werde wir die Dichte f schätze. Das Schwierige a diesem Problem ist, dass wir keie parametrische Aahme a die Dichte f mache wolle. Zuächst eimal ka ma die folgede Idee ausprobiere. Wir köe die Verteilugsfuktio F userer Zufallsvariable durch die empirische Verteilugsfuktio F schätze. Die Dichte f ist die Ableitug der Verteilugsfuktio F. Somit köe wir versuche, die Dichte f durch die Ableitug vo F zu schätze. Diese Idee fuktioiert allerdigs icht, da die Fuktio F icht differezierbar (ud sogar icht stetig) ist. Ma muss also adere Methode beutze Histogramm Wir wolle u das Histogramm eiführe, das als ei sehr primitiver Schätzer für die Dichte aufgefasst werde ka. Sei (x 1,..., x ) R eie Stichprobe. Sei c 0,..., c k eie aufsteigede Folge reeller Zahle mit der Eigeschaft, dass die komplette Stichprobe x 1,..., x im Itervall (c 0, c k ) liegt. Typischerweise wählt ma die Zahle c i so, dass die Abstäde zwische de aufeiaderfolgede Zahle gleich sid. I diesem Fall et ma h := c i c i 1 die Badbreite. Die Azahl der Stichprobevariable x j im Itervall (c i 1, c i ] wird mit i bezeichet, somit gilt i = 1 xj (c i 1,c i ], i = 1,..., k. j=1 Teilt ma i durch de Stichprobeumfag, so führt dies zur relative Häufigkeit f i = i. Als Histogramm wird die graphische Darstellug dieser relative Häufigkeite bezeichet, siehe Abbildug 1. Ma kostruiert ämlich über jedem Itervall (c i 1, c i ] ei Rechteck mit 117

123 Abbildug 1. Das Histogramm eier Stichprobe vom Umfag = 00. Die glatte blaue Kurve ist die wahre Dichte f, die i der Praxis ubekat ist. dem Flächeihalt f i. Das Histogramm ist da die Vereiigug dieser Rechtecke. Es ist offesichtlich, dass die Summe der relative Häufigkeite 1 ergibt, d.h. k f i = 1. Das bedeutet, dass der Flächeihalt uter dem Histogramm gleich 1 ist. Außerdem gilt f i Abbildug. Das Histogramm eier Stichprobe vom Umfag = 00 mit eier schlecht gewählte Badbreite h = c i c i 1. Liks: Die Badbreite ist zu klei. Rechts: Die Badbreite ist zu groß. I beide Fälle zeigt die glatte blaue Kurve die wahre Dichte f. Das Histogramm hat de Nachteil, dass die Wahl der c i s bzw. die Wahl der Badbreite h willkürlich ist. Wird die Badbreite zu klei oder zu groß gewählt, so kommt es zu Histogramme, die die Dichte ur schlecht approximiere, siehe Abbildug. Außerdem ist 118

124 das Histogramm eie lokal kostate, icht stetige Fuktio, obwohl die Dichte f i viele Beispiele stetig ud icht lokal kostat ist. Im ächste Abschitt betrachte wir eie Dichteschätzer, der zumidest vo diesem zweite Nachteil frei ist. 7.. Kerdichteschätzer Wir werde u eie bessere Methode zur Schätzug der Dichte betrachte, de Kerdichteschätzer. Defiitio Ei Ker ist eie messbare Fuktio K : R [0, ), so dass (1) K(x) 0 für alle x R ud () K(x)dx = 1. R Die Bediguge i der Defiitio eies Kers sid somit die gleiche, wie i der Defiitio eier Dichte. Defiitio 7... Sei (x 1,..., x ) R eie Stichprobe. Sei K ei Ker ud h > 0 ei Parameter, der die Badbreite heißt. Der Kerdichteschätzer ist defiiert durch ˆf (x) = 1 ( ) x xi K, x R. h h Bemerkug Jedem Pukt x i i der Stichprobe wird i dieser Formel ei Beitrag der Form ( ) 1 x h K xi h zugeordet. Der Kerdichteschätzer ˆf ist die Summe der eizele Beiträge. Das Itegral jedes eizele Beitrags ist gleich 1/, de ( ) 1 x h K xi dx = 1 K(y)dy = 1 h. R Um das Itegral zu bereche, habe wir dabei die Variable y := x x i h mit dy = dx h eigeführt. Somit ist das Itegral vo ˆf gleich 1: R R ˆf (x)dx = 1. Es ist außerdem klar, dass f (x) 0 für alle x R. Somit ist ˆf tatsächlich eie Dichte. Bemerkug Die Idee hiter dem Kerdichteschätzer zeigt Abbildug 3. Auf dieser Abbildug ist der Kerdichteschätzer der Stichprobe ( 4, 3,.5, 4.5, 5.0, 5.5, 5.75, 6.5) zu sehe. Die Zahle aus der Stichprobe werde durch rote Kreise auf der x-achse dargestellt. Die gestrichelte grüe Kurve zeige die Beiträge der eizele Pukte. I diesem Fall 119

125 Abbildug 3. Kostruktio des Kerdichteschätzers. beutze wir de Gauß-Ker, der ute eigeführt wird. Die Summe der eizele Beiträge ist der Kerdichteschätzer ˆf, der durch die schwarze Kurve dargestellt wird. I der Defiitio des Kerdichteschätzers komme zwei och zu wählede Parameter vor: der Ker K ud die Badbreite h. Für die Wahl des Kers gibt es z.b. die folgede Möglichkeite, s. Abbildug Abbildug 4. Beispiele vo Kere: Rechtecksker, Gauß, Epaechikov, Bisquare. Beispiel Der Rechtecksker ist defiiert durch K(x) = 1 1 x [ 1,1]. Der mit dem Rechtecksker assoziierte Kerdichteschätzer ist somit gegebe durch ˆf (x) = 1 1 xi [x h,x+h] h ud wird auch als gleitedes Histogramm bezeichet. Ei Nachteil des Rechteckskers ist, dass er icht stetig ist. Beispiel Der Gauß-Ker ist ichts Aderes, als die Dichte der Stadardormalverteilug: K(x) = 1 e x /, x R. π 10

126 Es gilt da 1 h K ( ) x xi h = 1 πh exp ( (x x i) h ), was der Dichte der Normalverteilug N(x i, h ) etspricht. Der Kerdichteschätzer ˆf ist das arithmetische Mittel solcher Dichte. Beispiel Der Epaechikov-Ker ist defiiert durch { 3 K(x) = (1 4 x ), falls x ( 1, 1), 0, sost. Dieser Ker verschwidet außerhalb des Itervalls ( 1, 1), hat also eie kompakte Träger. Beispiel Der Bisquare-Ker ist gegebe durch { 15 K(x) = (1 16 x ), falls x ( 1, 1), 0, sost. Dieser Ker besitzt ebefalls eie kompakte Träger ud ist glatter als der Epaechikov- Ker. Wir müsse och beschreibe, wie wir de Ker K ud die Badbreite h wähle. Ma ka zeige, dass die Wahl des Kers icht kritisch ist: so liefer z.b. der Gauß-Ker ud der Epaechikov-Ker sehr ähliche Ergebisse. Viel wichtiger ist die Wahl der Badbreite, s. Abbildug 5. Bei eier zu kleie Badbreite h kommt es zum sogeate udersmoothig : ˆf (x) hat viele sehr hohe Peaks ud ist sehr klei sost. Bei eier zu große Badbreite ist ˆf (x) sehr flach ( oversmoothig ) Abbildug 5. Das ka bei eier falsche Wahl der Badbreite passiere. Blaue Kurve: Die wahre Dichte (eie Mischug aus zwei Normalverteiluge). Schwarze Striche: Die Stichprobe vom Umfag = 00. Rote Kurve: Kerdichteschätzer. Liks: Die Badbreite ist zu klei (udersmoothig). Rechts: Die Badbreite ist zu groß (oversmoothig). 11

127 7.3. Optimale Wahl der Badbreite I diesem Abschitt utersuche wir de Bias ud die Variaz des Kerdichteschätzers. Als Awedug werde wir eie Regel zur Wahl der Badbreite herleite. User Ziel ist es, die wichtigste Idee zu skizziere. Wir werde us hier icht um eie strege Begrüdug der Resultate kümmer. Seie X 1, X,... uabhägige idetisch verteilte Zufallsvariable mit eier Dichte f, die icht bekat ist ud geschätzt werde soll. Im Folgede ehme wir a, dass die Dichte f hireiched oft differezierbar ist. Sei K ei Ker mit de Eigeschafte (7.3.1) yk(y)dy = 0, m := y K(y)dy <. R Die erste Eigeschaft ist z.b. für symmetrische Kere mit K(x) = K( x) erfüllt. Wir betrachte de Kerdichteschätzer ˆf (x) = 1 ( ) x Xi K, x R. h h R Satz Für de Bias des Kerdichteschätzers gilt Bias ˆf (x) = E ˆf (x) f(x) = 1 f (x)m h + o(h ), h 0. Beweis. Nach der Defiitio des Kerdichteschätzers ˆf (x) gilt E ˆf (x) = 1 ( ) x Xi EK = 1 ( ) x h h h EK X1, h wobei wir beutzt habe, dass X 1,..., X idetisch verteilt sid. Es sei bemerkt, dass dieser Ausdruck (ud somit auch der Bias) icht vo abhägt. Da die Dichte vo X 1 gleich f ist, gilt E ˆf (x) = 1 ( ) x z K f(z)dz = K(y)f(x hy)dy. h R h R Nu beutze wir die Taylor-Reihe für f i der Umgebug vo x: f(x yh) = f(x) f (x)hy + 1 f (x)h y + O(h 3 y 3 ), h 0. Durch Eisetze ergibt sich E ˆf (x) = f(x) K(y)dy f (x)h R R yk(y)dy + 1 f (x)h R K(y)y dy + O(h 3 ). Uter Berücksichtigug vo K(y)dy = 1 (ach Defiitio eies Kers) sowie (7.3.1) erhalte wir, R dass E ˆf (x) = f(x) + 1 f (x)m h + o(h ). Daraus ergibt sich die Behauptug des Satzes. 1

128 Satz Es sei zusätzlich R(K) := R K (y)dy <. Für die Variaz des Kerdichteschätzers gilt Var ˆf (x) = f(x)r(k) + O(1), h 0. h Beweis. Wege der Uabhägigkeit vo X 1,..., X erhalte wir Var ˆf (x) = 1 ( ) x h Var K X1 = 1 ( ) ( ( )) x X1 1 x h h EK + h h EK X1. h Der zweite Term ist (E ˆf (x)), was durch C abgeschätzt werde ka. Wir schaue us de erste Term a: ( ) 1 x X1 h EK = 1h ( ) x z K f(z)dz = 1 K (y)f(x hy)dy. h R h h R Nach der Taylor-Etwicklug gilt f(x hy) = f(x) + O(h), so dass ( ) 1 x X1 h EK = f(x) K (y)dy + O(1) = f(x) R(K) + O(1). h h h Daraus ergibt sich die Behauptug. R Bemerkug Idealerweise würde wir die Badbreite h so wähle, dass sowohl der Bias als auch die Variaz klei sid. Dies führt zum sogeate Variaz-Bias-Dilemma: Für kleie h ist der Bias zwar klei, die Variaz aber groß. Für große h ist die Variaz klei, dafür aber der Bias groß. Ma muss eie verüftige Kompromiss zwische dem Bias ud der Variaz fide. Zu diesem Zweck defiiere wir de mittlere quadratische Fehler des Kerdichteschätzers a der Stelle x R wie folgt: MSE ˆf (x) = E[( ˆf (x) f(x)) ] = Var ˆf (x) + (Bias ˆf (x)). Idem wir u die Etwickluge für die Variaz ud de Bias eisetze ud dabei die Restterme igoriere, erhalte wir eie Approximatio a MSE, die asymptotischer mittlerer quadratischer Fehler geat wird: AMSE ˆf (x) = f(x)r(k) h + ( ) 1 f (x)m h. Wir wolle u die Güte des Schätzers ˆf (x) durch de itegrierte asymptotische mittlere quadratische Fehler messe: AMISE(h) = AMSE ˆf (x)dx = R(K) h m R(f )h 4. R Dabei ist R(f ) = R (f (x)) dx. Wir wolle u die Badbreite h so wähle, dass die Fuktio AMISE(h) miimiert wird. Es sei bemerkt, dass der erste Term für h 0 gege + strebt (kleie Badbreite sid schlecht), währed der zweite Term für h + gege + divergiert (große Badbreite sid ebefalls schlecht), s. Abbildug 6. 13

129 Abbildug 6. Variaz-Bias-Dilemma. Schwarze Kurve: Fuktioe cost h 1 ud cost h 4. Blaue Kurve: dere Summe. Idem wir die Ableitug auf 0 setze, erhalte wir ( ) 1 h opt = 1 R(K) 5 5. m R(f ) Somit hat die optimale Badbreite die Größeordug cost 1/5, ei ziemlich uerwartetes Ergebis! Für de etsprechede Fehler gilt AMISE(h opt ) = cost 4/5. Ähliche Berechuge lasse sich übriges für das Histogramm durchführe ud ergebe die optimale Badbreite cost 1/3 ud eie etsprechede Fehler vo cost /3. Nu gilt 4/5 > /3. Dara sieht ma, dass der Kerdichteschätzer für große Werte vo besser als das Histogramm abscheidet. Leider köe wir die obige Formel für h opt i der Praxis icht für die Wahl der Badbreite beutze, de die Formel ethält eie ubekate Größe, ämlich R(f ). Um diese Größe zu schätze, müsste wir f schätze. Dies ist aber midestes geau so schwer, wie f zu schätze! Abbildug 7. Kerdichteschätzer mit eier ach der Silverma-Regel gewählte Badbreite. Blaue Kurve: Die wahre Dichte (eie Mischug aus zwei Normalverteiluge). Schwarze Striche: Die Stichprobe vom Umfag = 00. Rote Kurve: Kerdichteschätzer. 14

130 Silverma-Faustregel. 1 Eie mögliche Ausweg hat Silverma vorgeschlage. Wir sollte im Ausdruck R(f ) = R (f (x)) dx die ubekate Dichte f durch die Dichte eier Normalverteilug ersetze, die die gleiche Variaz wie f besitzt. Der Erwartugswert spielt dabei keie Rolle, de R(f ) ädert sich icht, we wir f(x) durch f(x a) ersetze. Wir werde also die Badbreite geauso wähle, wie wir sie für die Normalverteilug mit der gleiche Variaz wähle würde (Normalverteilug als Goldstadard ). Die Variaz vo f ist zwar auch ubekat, ka aber durch die empirische Variaz S der Stichprobe X 1,..., X geschätzt werde. Wir bezeiche die Dichte der Normalverteilug mit Erwartugswert 0 ud Variaz σ durch g(x; σ ) = 1 πσ e x /(σ ). Es gilt g(t; S) = S 1 g(t/s ; 1). Wir ersetze R(f ) durch ˆR = (g (x; S)) dx = (S 3 g (x/s ; 1)) dx = S 5 (g (x)) dx = 6 S 5 π R R Die Faustregel vo Silverma für die Wahl der Badbreite lautet somit ( ) 1 πr(k) 5 ĥ Silverma = S 1 5. Im Spezialfall, we K(x) = 1 π e x / der Gauß-Ker ist, ergibt sich die Formel 6m ĥ Silverma = (4/3) 1/5 S 1/ S 1/5. Die Silverma-Regel ist icht flexibel geug, da sie auf der Aahme beruht, dass die Dichte ugefähr die gleiche Form besitzt, wie die Normalverteilug. Wir werde deshalb eie adere, sehr iteressate Methode betrachte, die Kreuzvalidierug heißt. Diese Methode ist sehr allgemei ud ka i viele weitere Probleme der ichtparametrische Statistik zur Wahl vo Regularisierugsparameter agewedet werde, z.b. bei der ichtparametrische Regressio. Kreuzvalidierug (Kleiste-Quadrate-Versio). Wir versuche, die folgede Fuktio durch eie geeigete Wahl der Badbreite h zu miimiere: J(h) := ( ˆf,h (x) f(x)) dx = ˆf,h(x)dx + f (x)dx ˆf,h (x)f(x)dx mi. R R Wir habe ˆf,h astelle vo ˆf geschriebe, um die Abhägigkeit vo h zu verdeutliche. Der erste Term ka (als Fuktio vo h) berechet werde. Im zweite Term ist zwar f(x) ubekat, dies stellt aber kei Problem dar, de der zweite Term hägt vo h icht ab ud ka deshalb weggelasse werde. Wir schaue us de dritte Term a. Sei also L(h) := ˆf,h (x)f(x)dx. 1 Eglisch: Silverma s rule of thumb R 15 R R R.

131 Leider ist i diesem Term f(x) ubekat. Sei X eie weitere, vo X 1,..., X uabhägige Zufallsvariable mit Dichte f. Da köe wir L(h) = E ˆf,h (X) schreibe, wobei der Erwartugswert E mittels Itegratio über alle mögliche Werte vo X berechet wird (währed die Stichprobe x 1,..., x als determiistisch betrachtet wird). Eie solche Erwartugswert ka ma schätze, idem ma eie Mittelwert über Realisieruge vo ˆf (X) bildet. Dafür bräuchte wir Realisieruge vo X, die vo ˆf (x), also vo x 1,..., x, uabhägig sid. Wir köe zwar x 1,..., x als Realisieruge vo X betrachte (alle Zufallsvariable habe die gleiche Dichte f), diese sid aber vo sich selbst leider abhägig. Ud u tritt die Idee der Kreuzvalidierug auf die Bühe. Wir wähle ei x i aus der Stichprobe aus ud betrachte es als eie Realisierug vo X. Die verbleibede 1 Elemete der Stichprobe (die ja vo x i uabhägig sid!) beutze wir um eie oe-leave-out Kerdichteschätzer ( x xk ˆf ( i),h (x) := 1 ( 1)h k=1,..., k i K h ), x R, zu kostruiere, der als Ersatz vo ˆf,h (x) beutzt wird. Dabei basiert ˆf,h auf eier Stichprobe vom Umfag, währed sei oe-leave-out-aalogo ˆf ( i),h ei Elemet weiger beutzt. ( i) Dies sollte aber bei eiem große kei großer Uterschied sei. Wir fasse u ˆf,h (x i) als eie Realisierug vo ˆf,h (X) auf ud betrachte de folgede Schätzer vo L(h): ˆL(h) := 1 ˆf ( i),h (x i). Jedes Elemet x i wird beutzt, um die Badbreite eies auf alle adere Elemete basierede Kerdichteschätzers zu validiere. Wir köe also J(h) (ohe de zweite, kostate Term) durch die sogeate Kreuzvalidierugsfuktio Ĵ 0 (h) := R ˆf,h(x)dx ˆf ( i),h (x i) schätze. Die Badbreite h sollte u so gewählt werde, dass Ĵ0(h) miimal wird. Die Berechug der Fuktio Ĵ0(h) ist wege der viele Summe etwas aufwedig, ka aber für die vo us betrachtete Stichprobe vom Umfag = 00 auf eiem Laptop i weige Miute durchgeführt werde, s. Abbildug 8, liks. Das Miimum wird für h erreicht. Der etsprechede Kerdichteschätzer wird auf Abbildug 8, rechts, gezeigt. Kreuzvalidierug (Maximum-Likelihood-Versio). Wir wolle die Badbreite h so wähle, dass der Kerdichteschätzer ˆf,h (x) die Dichte f(x) möglichst gut approximiert. Die Dichte f ist zwar ubekat, hat aber Spure i Form der Stichprobe x 1,..., x hiterlasse. Da die Stichprobe x 1,..., x gemäß der Dichte f erzeugt wurde, sollte die Likelihood dieser Stichprobe bezüglich ˆf,h (x) möglichst groß sei. Ma ka also versuche, die Badbreite 16

132 Abbildug 8. Liks: Kreuzvalidierugsfuktio Ĵ0(h). Rechts: Der Kerdichteschätzer (rote Kurve), desse Badbreite h die Kreuzvalidierugsfuktio miimiert, ud die wahre Dichte (blaue Kurve). so zu wähle, dass die Log-Likelihood-Fuktio l(h) = log ˆf,h (x i ) maximiert wird. Leider fuktioiert dieser Zugag icht. Bei sehr kleie Badbreite h 0 erreicht ˆf,h sehr hohe Werte a de Stelle x 1,..., x, weshalb das Maximum a der Stelle h = 0 erreicht wird! Wir habe aber bereits auf Abbildug 5 gesehe, dass h = 0 eie schlechte Wahl ist. Wori bestad u user Fehler? Wir habe x i beutzt, um die Dichte ˆf,h zu validiere, die selbst vo x i abhägt. Der Berater, de wir zur Expertise heragezoge habe, war befage! Um die Uabhägigkeit zu erreiche, betrachte wir die ( i) Log-Likelihoods vo x i bezüglich des oe-leave-out-kerdichteschätzers ˆf,h, also ˆl(h) = log ˆf ( i),h (x i). Wir wähle die Badbreite h als Maximierer dieser Fuktio Abbildug 9. Kreuzvalidierugsfuktio ˆl(h) ud der etsprechede Kerdichteschätzer. 17

133 I dem vo us betrachtete Beispiel lässt sich die Fuktio ˆl(h) schell umerisch bereche, s. Abbildug 9. Das Maximum wird a der Stelle h 0.36 erreicht. 18

134 KAPITEL 8 Wichtige statistische Verteiluge I diesem Kapitel werde wir die wichtigste statistische Verteilugsfamilie eiführe. Zu diese zähle ebe der Normalverteilug die folgede Verteilugsfamilie: (1) Gammaverteilug (Spezialfälle: Pearso-χ -Verteilug ud Erlag-Verteilug); () Betaverteilug; (3) Studet-t-Verteilug; (4) Fisher-Sedecor-F -Verteilug. Diese Verteiluge werde wir später für die Kostruktio vo Kofidezitervalle ud statistische Tests beötige. Abbildug 1. Karl Pearso, William Gosset (Studet), Roald Fisher, George Sedecor 8.1. Gammafuktio ud Gammaverteilug Defiitio Die Gammafuktio ist gegebe durch Γ(α) = 0 t α 1 e t dt, α > 0. Folgede Eigeschafte der Gammafuktio werde oft beutzt: (1) Γ(α + 1) = αγ(α). () Γ() = ( 1)!, falls N. (3) Γ( 1 ) = π. Die letzte Eigeschaft ka ma wie folgt beweise: Mit t = w ud dt = wdw gilt ( ) 1 Γ = t 1 e t w dt = w e wdw = e w dw = π,

135 de e w 0 dw = 1 π. Abbildug. Der Graph der Gammafuktio. Defiitio Eie Zufallsvariable X ist Gammaverteilt mit Parameter α > 0 ud λ > 0, falls für die Dichte vo X gilt f X (x) = λα Γ(α) xα 1 e λx, x > 0. Notatio X Gamma(α, λ). Aufgabe Zeige Sie, dass 0 λ α Γ(α) xα 1 e λx dx = 1. Bemerkug Die Gammaverteilug mit Parameter α = 1 ud λ > 0 hat Dichte λe λt, t > 0, ud stimmt somit mit der Expoetialverteilug mit Parameter λ überei Abbildug 3. Dichte der Gammaverteiluge mit verschiedee Werte des Parameters α. Liks: α < 1. Mitte: α = 1 (Expoetialverteilug). Rechts: α > 1. Satz Sei X Gamma(α, λ) eie Gammaverteilte Zufallsvariable. Da sid die Laplace-Trasformierte m X (t) := Ee tx ud die charakteristische Fuktio ϕ X (t) := 130

136 Ee itx gegebe durch 1 m X (t) = ( ) 1 t α (für t < λ), ϕ X (t) = λ 1 ( ) 1 it α (für t R). λ Beweis. Für die Laplace-Trasformierte ergibt sich m X (t) = e tx 0 λα Γ(α) xα 1 e λx dx = λα Γ(α) 0 x α 1 e (λ t)x dx. Dieses Itegral ist für t < λ koverget. Idem wir u w = (λ t)x eisetze, erhalte wir, dass ( ) α 1 m X (t) = λα w w dw e Γ(α) λ t λ t = λα 1 w α 1 e w 1 dw = Γ(α) (λ t) α (1 t. λ )α 0 We ma u komplexe Werte vo t zulässt, da sid die obige Itegrale i der Halbebee Re t < λ koverget. Somit stellt m X (t) eie aalytische Fuktio i der Halbebee Re t < λ dar ud ist für reelle Werte vo t gleich 1/(1 t λ )α. Nach dem Prizip der aalytische Fortsetzug (Fuktioetheorie) muss diese Formel i der gaze Halbebee gelte. Idem wir u die Formel für Zahle der Form t = is beutze (die i der Halbebee für alle s R liege), erhalte wir, dass 1 ϕ X (s) = m X (is) = (1 is. λ )α Somit ist die Formel für die charakteristische Fuktio bewiese. Aufgabe Zeige Sie, dass für X Gamma(α, λ) gilt EX = α λ, Var X = α λ. Der ächste Satz heißt die Faltugseigeschaft der Gammaverteilug. 0 Satz Sid die Zufallsvariable X Gamma(α, λ) ud Y Gamma(β, λ) uabhägig, da gilt für die Summe X + Y Gamma(α + β, λ). Beweis. Für die charakteristische Fuktio vo X + Y gilt wege der Uabhägigkeit 1 ϕ X+Y (t) = ϕ X (t) ϕ Y (t) = (1 it 1 λ )α (1 it = 1 λ )β (1 it. λ )α+β Dies ist die charakteristische Fuktio eier Gamma(α + β, λ)-verteilug. Da die charakteristische Fuktio die Verteilug eideutig bestimmt, muss X + Y Gamma(α + β, λ) gelte. 8.. Pearsosche χ -Verteilug 131

137 Defiitio Seie X 1,..., X N(0, 1) uabhägige ud stadardormalverteilte Zufallsvariable. Da heißt die Verteilug vo die χ -Verteilug mit Freiheitsgrade. X X Notatio 8... X X χ. Bemerkug Die Verteilug vo X X heißt die χ-verteilug mit Freiheitsgrade ud wird mit χ bezeichet Abbildug 4. Dichte der χ -Verteiluge mit = 1,..., 10 Freiheitsgrade. Wir werde u zeige, dass die χ -Verteilug ei Spezialfall der Gammaverteilug ist. Zuerst betrachte wir die χ -Verteilug mit eiem Freiheitsgrad. Satz Sei X N(0, 1). Da ist X Gamma( 1, 1 ). Symbolisch: χ 1 Beweis. Wir bestimme die Laplace-Trasformierte vo X : ( ) 1 m X (t) = Ee tx = e tx e x dx = 1 π π R R e 1 t x dx = d = Gamma( 1, 1 ). 1 1 t. Das gilt für komplexe t mit Re t < 1. Isbesodere erhalte wir mit t = is, dass für die charakteristische Fuktio vo X gilt ϕ X (s) = 1 1 is, s R. Dies etspricht der charakteristische Fuktio eier Gammaverteilug mit Parameter α = 1/ ud λ = 1/. Da die charakteristische Fuktio die Verteilug eideutig festlegt, erhalte wir, dass X Gamma( 1, 1). 13

138 Satz Seie X 1,..., X N(0, 1) uabhägige Zufallsvariable. Da gilt ( X X Gamma, 1 ). Symbolisch: χ d = Gamma(, 1 ). Beweis. Wir habe bereits gezeigt, dass X1,..., X Gamma( 1, 1 ). Außerdem sid die Zufallsvariable X1,..., X uabhägig. Der Satz folgt aus der Faltugseigeschaft der Gam- maverteilug. Bemerkug Die Dichte eier χ -Verteilug ist somit gegebe durch f χ (x) = 1 Γ( 1 e x, x > 0. )x Für die Dichte eier χ -Verteilug erhält ma da z.b. mit dem Trasformatiossatz f χ (x) = e x Γ(, x > 0. )x 1 Beispiel Seie X 1, X N(0, 1) uabhägige Zufallsvariable. Da gilt ( X1 + X Gamma 1, 1 ) ( ) 1 Exp. Symbolisch: χ d = Exp( 1 ). Aufgabe Sei S χ. (a) Zeige Sie, dass S d (b) Zeige Sie, dass S N(0, 1). d N(0, 1/) (Fisher-Approximatio). Beispiel 8..9 (Maxwell-Boltzma-Verteilug). Es seie (X 1, X, X 3 ) die drei Kompoete der Geschwidigkeit eies Moleküls i eiem ideale Gas. Da die Azahl der Moleküle sehr groß ist ud auch die Geschwidigkeit eies Moleküls sich sehr oft chaotisch ädert, fasst ma (X 1, X, X 3 ) als eie Zufallsvektor auf, desse Dichte laut Gibbs-Verteilug proportioal zu { exp 1 } { k B T E ki = exp m } k B T (x 1 + x + x 3). sei muss, wobei T die (absolute) Temperatur des Gases, k B = J/K die Boltzma- Kostate ud m die Masse des Moleküls ist. Somit sid X 1, X, X 3 uabhägig ud ormalverteilt mit Parameter 0 ud σ = k B T/m. Es folgt, dass die kietische Eergie E ki = m (X 1 +X +X3) bis auf eie Skalierugsfaktor χ 3-verteilt ist. Der Betrag der Geschwidigkeit V := X1 + X + X3 ist (bis auf eie Faktor) χ 3 -verteilt: V/σ χ

139 Die Dichte vo V heißt die Maxwell-Boltzma-Verteilug ud berechet sich leicht zu ( ) 3/ } m f V (v) = 4πv exp { mv, v > 0. πk B T k B T 8.3. Poisso-Prozess ud die Erlag-Verteilug Um de Poisso-Prozess eizuführe, betrachte wir folgedes Modell. Ei Gerät, das zum Zeitpukt 0 istalliert wird, habe eie Lebesdauer W 1. Sobald dieses Gerät kaputt geht, wird es durch ei eues baugleiches Gerät ersetzt, das eie Lebesdauer W hat. Sobald dieses Gerät kaputt geht, wird ei eues Gerät istalliert, ud so weiter. Die Lebesdauer des i-te Gerätes sei mit W i bezeichet. Die Zeitpukte S = W W, N, bezeichet ma als Ereuerugszeite, de zu diese Zeite wird ei eues Gerät istalliert. Folgede Aahme über W 1, W,... erscheie plausibel. Wir ehme a, dass W 1, W,... Zufallsvariable sid. Da ei Gerät ichts vo der Lebesdauer eies adere mitbekomme ka, ehme wir a, dass die Zufallsvariable W 1, W,... uabhägig sid. Da alle Geräte die gleiche Bauart habe, ehme wir a, dass W 1, W,... idetisch verteilt sid. Welche Verteilug soll es u sei? Es erscheit plausibel, dass diese Verteilug gedächtislos sei muss, also werde wir aehme, dass W 1, W,... expoetialverteilt sid. Defiitio Seie W 1, W,... uabhägige ud mit Parameter λ > 0 expoetialverteilte Zufallsvariable. Da heißt die Folge S 1, S,... mit S = W W ei Poisso-Prozess mit Itesität λ. Abbildug 5. Eie Realisierug des Poisso-Prozesses. Wie ist u die -te Ereuerugszeit S verteilt? Da W i Exp(λ) Gamma(1, λ) ist, ergibt sich aus der Faltugseigeschaft der Gammaverteilug, dass S Gamma(, λ). Diese Verteilug (also die Gamma(, λ)-verteilug, wobei eie atürliche Zahl ist), et ma auch die Erlag-Verteilug. Aufgabe Zeige Sie, dass ES = λ ud Var S = λ. Wir werde u kurz auf die Bezeichug Poisso-Prozess eigehe. Betrachte ei Itervall I = [a, b] [0, ) der Läge l := b a. Sei N(I) eie Zufallsvariable, die die Azahl der Ereueruge im Itervall I zählt, d.h.: N(I) = 1 Sk I. k=1 134

140 Satz Es gilt N(I) Poi(λl). Beweisidee. Betrachte ei sehr kleies Itervall [t, t + δ], wobei δ 0. Da gilt aufgrud der Gedächtislosigkeit der Expoetialverteilug P[ Ereuerug im Itervall [t, t + δ]] = P[ Ereuerug im Itervall [0, δ]]. Die Wahrscheilichkeit, dass es midestes eie Ereuerug im Itervall [0, δ] gibt, lässt sich aber folgedermaße bereche: P[ Ereuerug im Itervall [0, δ]] = P[W 1 < δ] = 1 e λδ λδ. Wir köe u ei beliebiges Itervall I der Läge l i l/δ kleie disjukte Itervalle der Läge δ zerlege. Für jedes kleie Itervall der Läge δ ist die Wahrscheilichkeit, dass es i diesem Itervall midestes eie Ereuerug gibt, λδ. Außerdem sid verschiedee kleie Itervalle wege der Gedächtislosigkeit der Expoetialverteilug uabhägig voeiader. Somit gilt für die Azahl der Ereueruge N(I) i eiem Itervall I der Läge l ( ) l N(I) Bi δ, λδ Poi(λl), wobei wir im letzte Schritt de Poisso-Grezwertsatz beutzt habe Empirischer Erwartugswert ud empirische Variaz eier ormalverteilte Stichprobe Der ächste Satz beschreibt die gemeisame Verteilug des empirische Erwartugswerts X ud der empirische Variaz S eier ormalverteilte Stichprobe. Satz Seie X 1,..., X uabhägige ud ormalverteilte Zufallsvariable mit Parameter µ R ud σ > 0. Defiiere X = X X, S = 1 (X i 1 X ). Da gelte folgede drei Aussage: (1) X N(µ, σ ). () ( 1)S σ χ 1. (3) Die Zufallsvariable X ud ( 1)S σ sid uabhägig. Bemerkug Teil 3 ka ma auch wie folgt formuliere: Die Zufallsvariable X ud S sid uabhägig. Beweis vo Teil 1. Nach Voraussetzug sid X 1,..., X ormalverteilt mit Parameter (µ, σ ) ud uabhägig. Aus der Faltugseigeschaft der Normalverteilug folgt, dass die 135

141 Summe X X ormalverteilt mit Parameter (µ, σ ) ist. Somit ist X ormalverteilt mit Parameter (µ, σ ). Die i Teil 3 behauptete Uabhägigkeit habe wir bereits aus dem Satz vo Basu hergeleitet (s. Korollar ). Der Vollstädigkeit halber gebe wir hier eie uabhägige, direkte Beweis. Die folgede Überlegug vereifacht die Notatio im Rest des Beweises. Betrachte die stadardisierte Zufallsvariable X i = X i µ N(0, 1). σ Es seie X der empirische Mittelwert ud S die empirische Variaz dieser Zufallsvariable. Da gilt X = 1 (σx i + µ) = σ X + µ, S = σ 1 (X i X ) = σ S. Um die Uabhägigkeit vo X ud S zu zeige, reicht es, die Uabhägigkeit vo X ud S zu zeige. Außerdem ist ( 1)S ( 1)S =. σ 1 Für de Rest des Beweises köe wir also aehme, dass X 1,..., X stadardormalverteilt sid, asoste ka ma stattdesse X 1,..., X betrachte. Seie also X 1,..., X N(0, 1). Wir zeige, dass X ud S u- Beweis vo Teil 3. abhägig sid. Schritt 1. Wir köe S als eie Fuktio vo X X,..., X X auffasse, de wege (X i X ) = 0 gilt ( ( 1)S = (X i X )) + (X i X ) = ρ(x X,..., X X ), wobei i= i= ( ) ρ(x,..., x ) = x i + i= x i. Somit geügt es zu zeige, dass die Zufallsvariable X ud der Zufallsvektor (X X,..., X X ) uabhägig sid. Schritt. Dazu bereche wir die gemeisame Dichte vo ( X, X X,..., X X ). Die gemeisame Dichte vo (X 1,..., X ) ist ach Voraussetzug ( ) ( ) 1 f(x 1,..., x ) = exp 1 x i. π Betrachte u die Fuktio ψ : R R mit ψ = (ψ 1,..., ψ ), wobei ψ 1 (x 1,..., x ) = x, ψ (x 1,..., x ) = x x,..., ψ (x 1,..., x ) = x x. 136 i=

142 Die Umkehrfuktio φ = ψ 1 ist somit gegebe durch φ = (φ 1,..., φ ) mit φ 1 (y 1,..., y ) = y 1 y i, φ (y 1,..., y ) = y 1 + y,..., φ (y 1,..., y ) = y 1 + y. i= Die Jacobi-Determiate vo φ ist kostat (ud gleich, wobei dieser Wert eigetlich icht beötigt wird). Schritt 3. Für die Dichte vo ( X, X X,..., X X ) = ψ(x 1,..., X ) gilt mit dem Dichtetrasformatiossatz g(y 1,..., y ) = f(x 1,..., x ) ( = exp 1 y (π) 1 = (π) ( ) exp y 1 exp ) y i 1 i= 1 i= (y 1 + y i ) i= ( ) yi 1 y i. i= Somit ist X uabhägig vo (X X,..., X X ). Beweis vo Teil. Es gilt die Idetität Z := Xi = (X i X ) + ( X ) =: Z 1 + Z. Dabei gilt: (1) Z χ ach Defiitio der χ -Verteilug. () Z χ 1, de X N(0, 1). (3) Z 1 ud Z sid uabhägig (wege Teil 3 des Satzes). Damit ergibt sich für die charakteristische Fuktio vo Z 1 : ϕ Z1 (t) = ϕ Z(t) ϕ Z (t) = 1 (1 it) 1 (1 it) 1 = 1 (1 it) ( 1)/. Somit ist ( 1)S = Z 1 Gamma( 1, 1 ) d = χ Studet-t-Verteilug Defiitio Seie X N(0, 1) ud U χ r uabhägige Zufallsvariable, wobei r N. Die Zufallvariable V = X U r heißt t-verteilt mit r Freiheitsgrade. Notatio V t r. 137

143 Abbildug 6. Dichte der t r -Verteiluge mit r = 1,..., 5 Freiheitsgrade. Satz Die Dichte eier t-verteilte Zufallsvariable V t r ist gegebe durch f V (t) = Γ( r+1 ) 1 Γ( r ) rπ(1 + t ) r+1 r, t R. Beweis. Nach Defiitio der t-verteilug gilt die Darstellug V = X, U r wobei X N(0, 1) ud U χ r uabhägig sid. Die gemeisame Dichte vo X ud U ist gegebe durch f X,U (x, u) = 1 e x u r e u, x R, u > 0. π r Γ( r ) Betrachte wir u die Abbildug (x, u) (v, w) mit v = x u, w = u. r Die Umkehrabbildug ist somit x = v w ud u = w. Die Jacobi-Determiate der Umkehrabbildug ist w. Somit gilt für die gemeisame Dichte vo (V, W ) r r w f V,W (v, w) = f X,Y (x, y) r = 1 ( ) exp v r w w e w w π r r Γ( r ) r. 0 Somit ka die Dichte vo V wie folgt berechet werde: 1 ( ( v f V (v) = f V,W (v, w)dw = πr r/ Γ( r ) exp w r + 1 )) w r+1 1 dw

144 Mit der Formel w α 1 e λw dw = Γ(α) 0 λ α f V (v) = 1 Γ( r+1 πr r/ Γ( r ) ( v + 1) = r+1 r Dies ist geau die gewüschte Formel. berechet sich das Itegral zu ) Γ( r+1 Beispiel Die Dichte der t 1 -Verteilug ist f V (t) = 1 π Dichte der Cauchy-Verteilug überei. ) 1 Γ( r ) rπ(1 + v ) r+1 r. 1 ud stimmt somit mit der 1+t Aufgabe Zeige Sie, dass für r die Dichte der t r -Verteilug puktweise gege die Dichte der Stadardormalverteilug kovergiert. Satz Seie X 1,..., X uabhägige ud ormalverteilte Zufallsvariable mit Parameter (µ, σ ). Da gilt X µ σ N(0, 1), X µ S = X µ S t 1. Beweis. Die erste Formel folgt aus der Tatsache, dass X N(µ, σ ). Wir beweise die zweite Formel. Es gilt die Darstellug X µ σ 1 1. ( 1)S σ Da ach Satz die Zufallsvariable X µ N(0, 1) ud ( 1)S χ σ σ 1 uabhägig sid, hat X µ S eie t-verteilug mit 1 Freiheitsgrade Fisher-F -Verteilug Defiitio Seie r, s N Parameter. Seie U r χ r ud U s χ s uabhägige Zufallsvariable. Da heißt die Zufallsvariable W = U r/r U s /s F -verteilt mit (r, s)-freiheitsgrade. Notatio W F r,s. Satz Die Dichte eier F -verteilte Zufallsvariable W F r,s ist gegebe durch ) r t r 1 f W (t) = r+s Γ( ) ( r Γ( r )Γ( s) s ( r+s 1 + r t) s, t >

145 Abbildug 7. Dichte der F -Verteilug mit (10, 8)-Freiheitsgrade. Beweis. Wir werde die Dichte ur bis auf die multiplikative Kostate bereche. Die Kostate ergibt sich da aus der Bedigug, dass die Dichte sich zu 1 itegriert. Wir schreibe f(t) g(t), falls f(t) = Cg(t), wobei C eie Kostate ist. Wir habe die Darstellug W = U r/r U s /s, wobei U r χ r ud U s χ s uabhägig sid. Für die Dichte vo U r ud U s gilt f Ur (x) x r e x/, f Us (x) x s e x/, x > 0. Somit folgt für die Dichte vo U r /r ud U s /s, dass f Ur/r(x) x r e rx/, f Us/s(x) x s e sx/, x > 0. Für die Dichte vo W gilt die Faltugsformel: f W (t) = y f Ur/r(yt)f Us/s(y)dy. Idem wir u die Dichte vo U r /r ud U s /s eisetze, erhalte wir, dass ( f W (t) y(yt) r e ryt s y e sy r r dy t 1+ y + s exp y 0 Mit der Formel y α 1 e λy dy = Γ(α) 0 λ α f W (t) t r R 0 berechet sich das Itegral zu (rt + s) r+s (1 + r r+s t) s Dies ist geau die gewüschte Dichte, bis auf eie multiplikative Kostate. 1 t r. ( rt + s )) dy. 140

146 KAPITEL 9 Kofidezitervalle 9.1. Defiitio eies Kofidezitervalls Sei (P θ ) θ Θ eie Familie vo Wahrscheilichkeitsmaße auf dem Stichproberaum (X, A). I diesem Kapitel ist Θ = (a, b) R ei Itervall. Seie X eie gemäß P θ verteilte Stichprobe. Wir habe us bereits mit der Frage beschäftigt, wie ma de ubekate Parameter θ ahad der Stichprobe X schätze ka. Bei eier solche Schätzug bleibt aber uklar, wie groß der mögliche Fehler, also die Differez ˆθ θ, ist. I der Statistik begügt ma sich ormalerweise icht mit der Agabe eies Schätzers, soder versucht auch de Schätzfehler zu bestimme, idem ma ei sogeates Kofidezitervall für θ agibt. Das Ziel ist es, das Itervall so zu kostruiere, dass es de wahre Wert des Parameters θ mit eier große Wahrscheilichkeit (typischerweise 0.99 oder 0.95) ethält. Defiitio Sei α (0, 1) eie kleie Zahl, typischerweise α = 0.01 oder α = Es seie θ : X R { } ud θ : X R {+ } zwei Stichprobefuktioe mit θ(x) θ(x) für alle x X. Wir sage, dass [θ, θ] ei Kofidezitervall für θ zum Kofideziveau 1 α (0, 1) ist, falls P θ [θ(x) θ θ(x)] 1 α für alle θ Θ. Somit ist die Wahrscheilichkeit, dass das zufällige Itervall (θ, θ) de richtige Wert θ ethält, midestes 1 α, also typischerweise 0.99 oder Die allgemeie Vorgehesweise bei der Kostruktio der Kofidezitervalle ist diese: Ma versucht, eie sogeate Pivot-Statistik zu fide, d. h. eie Fuktio T (X; θ) der Stichprobe X ud des ubekate Parameters θ mit der Eigeschaft, dass die Verteilug vo T (X; θ) uter P θ icht vo θ abhägt ud explizit agegebe werde ka. Das heißt, es soll gelte, dass P θ [T (X; θ) t] = F (t), wobei F (t) icht vo θ abhägt. Dabei soll die Fuktio T (X; θ) de Parameter θ tatsächlich auf eie ichttriviale Weise ethalte. Für α (0, 1) bezeiche wir mit Q α das α-quatil der Verteilugsfuktio F, d. h. die Lösug der Gleichug F (Q α ) = α. Da gilt [ P θ Q α T (X; θ) Q ] 1 α = 1 α für alle θ Θ. Idem wir u diese Ugleichug ach θ auflöse, erhalte wir ei Kofidezitervall für θ zum Kofideziveau 1 α. Im Folgede werde wir verschiedee Beispiele vo Kofidezitervalle betrachte. 141

147 Aufgabe Seie X 1,..., X gleichverteilt auf [0, θ], wobei θ > 0 ubekat ist. Sei M := max{x 1,..., X }. Bestimme Sie ei a > 1 derart, dass [M, am ] ei Kofidezitervall für θ zum Niveau 1 α bildet. Aufgabe Seie X 1,..., X uabhägige Zufallsvariable mit der Dichte h θ (x) = e (x θ) 1 x θ, wobei θ R der ubekate Parameter sei. Als Schätzer für θ betrachte wir Y = mi{x 1,..., X }. Fide Sie für ei gegebees α (0, 1) Zahle p ud q (die icht vo θ abhäge) mit P θ [θ < Y + p] = P θ [θ > Y + q] = α für alle θ R. Kostruiere Sie ei Kofidezitervall zum Niveau 1 α für θ. 9.. Kofidezitervalle für die Parameter der Normalverteilug I diesem Abschitt seie X 1,..., X N(µ, σ ) uabhägige ud mit Parameter (µ, σ ) ormalverteilte Zufallsvariable. User Ziel ist es, Kofidezitervalle für µ ud σ zu kostruiere. Dabei werde wir vier Fälle betrachte: (1) Kofidezitervall für µ bei bekatem σ. () Kofidezitervall für µ bei ubekatem σ. (3) Kofidezitervall für σ bei bekatem µ. (4) Kofidezitervall für σ bei ubekatem µ. Fall 1: Kofidezitervall für µ bei bekatem σ. Es seie also X 1,..., X N(µ, σ ) uabhägig, wobei µ ubekat ud σ bekat seie. Wir kostruiere ei Kofidezitervall für µ. Ei atürlicher Schätzer für µ ist X. Wir habe gezeigt, dass X N (µ, σ Wir werde u X stadardisiere: X µ N(0, 1). σ Für α (0, 1) sei z α das α-quatil der Stadardormalverteilug. D.h., z α sei die Lösug der Gleichug Φ(z α ) = α, wobei Φ die Verteilugsfuktio der Stadardormalverteilug bezeichet. Somit gilt P µ [z α X µ σ Nach µ umgeformt führt dies zu [ P µ X z 1 α z 1 α σ µ X z α ). ] = 1 α für alle µ R. σ ] = 1 α für alle µ R. Wege der Symmetrie der Normalverteilug ist z α = z 1 α. Somit ist ei Kofidezitervall zum Niveau 1 α für µ gegebe durch [ X z 1 α Der Mittelpukt dieses Itervalls ist X. σ, X + z 1 α 14 ] σ.

148 Bemerkug Ma ka auch ichtsymmetrische Kofidezitervalle kostruiere. Wähle dazu α 1 0, α 0 mit α = α 1 + α. Da gilt [ P µ z α1 X ] µ z 1 α = 1 α für alle µ R. σ Nach µ umgeformt führt dies zu P µ [ X z 1 α σ µ X z α1 σ ] = 1 α für alle µ R. Wege z α1 = z 1 α1 führt dies zu folgedem Kofidezitervall für µ: [ X z 1 α σ, X + z 1 α1 σ ]. Iteressiert ma sich z. B. ur für eie obere Schrake für µ, so ka ma α 1 = α ud α = 0 wähle. Da erhält ma folgedes Kofidezitervall für µ: [, X + z 1 α σ ]. Die Kostruktio der ichtsymmetrische Kofidezitervalle lässt sich auch für die achfolgede Beispiele durchführe, wird aber hier icht mehr wiederholt. Fall : Kofidezitervall für µ bei ubekatem σ. Es seie X 1,..., X N(µ, σ ) uabhägig, wobei µ ud σ beide ubekat seie. Wir kostruiere ei Kofidezitervall für µ. Es gilt zwar ach wie vor, dass X µ N(0, 1), wir köe das aber icht für die σ Kostruktio eies Kofidezitervalls für µ beutze, de der Parameter σ ist ubekat. Wir werde deshalb σ durch eie Schätzer, ämlich S = 1 1 (X i X ), ersetze. Wir habe im vorige Kapitel gezeigt, dass X µ S t 1. Sei t 1,α das α-quatil der t 1 -Verteilug. Somit gilt [ P µ,σ t 1, α X ] µ t 1,1 α = 1 α für alle µ R, σ > 0. S Nach µ umgeformt führt dies zu [ P µ,σ X t 1,1 α S µ X t 1, α S ] = 1 α für alle µ R, σ > 0. Wege der Symmetrie der t-verteilug gilt t 1, α = t 1,1 α. Somit erhalte wir folgedes Kofidezitervall für µ zum Niveau 1 α: [ X t 1,1 α S, X + t 1,1 α ] S. Fall 3: Kofidezitervall für σ bei bekatem µ. Seie u X 1,..., X N(µ, σ ), wobei µ bekat ud σ ubekat seie. Wir kostruiere ei Kofidezitervall für σ. 143

149 Ei atürlicher Schätzer für σ ist Da gilt S σ = S = 1 (X i µ). ( ) Xi µ χ σ. Sei χ,α das α-quatil der χ -Verteilug mit Freiheitsgrade. Da gilt [ ] P σ χ, α S σ χ,1 α = 1 α für alle σ > 0. Nach σ umgeformt führt dies zu folgedem Kofidezitervall für σ zum Niveau 1 α: [ S, S ]. χ,1 α χ, α Es sei bemerkt, dass die χ -Verteilug icht symmetrisch ist. Fall 4: Kofidezitervall für σ bei ubekatem µ. Seie X 1,..., X N(µ, σ ), wobei µ ud σ beide ubekat seie. Wir kostruiere ei Kofidezitervall für σ. Ei atürlicher Schätzer für σ ist Bekat ist, dass Somit gilt P µ,σ [ χ 1, α S = 1 1 (X i X ). ( 1)S σ χ 1. ( ] 1)S χ σ 1,1 α = 1 α für alle µ R, σ > 0. Nach σ umgeformt führt dies zu [ ] ( 1)S P µ,σ σ ( 1)S = 1 α für alle µ R, σ > 0. χ 1,1 χ α 1, α Somit erhält ma folgedes Kofidezitervall für σ zum Niveau 1 α [ ] ( 1)S ( 1)S,. χ 1,1 χ α 1, α Aufgabe 9... Für jedes r N sei Z r eie χ -verteilte Zufallsvariable mit r Freiheitsgrade. Zeige Sie, dass Z r r d N(0, 1). r r 144

150 Aufgabe Für α (0, 1) seie z α ud χ r,α die α-quatile der Stadardormalverteilug N(0, 1) bzw. der χ r-verteilug. Zeige Sie, dass χ r,α r lim = z α. r r Aufgabe Es seie Geräte gleicher Bauart gegebe. Die Lebesdauer des Geräts i werde mit eier Zufallsvariable X i modelliert. Dabei seie X 1,..., X uabhägig ud expoetialverteilt mit Parameter θ > 0. Es soll ei Kofidezitervall für die erwartete Lebesdauer 1 θ bestimmt werde. (1) Zeige Sie, dass θ X eie χ -Verteilug mit Freiheitsgrade hat. () Kostruiere Sie ei Kofidezitervall zum Niveau 1 α für 1 θ Zweistichprobeprobleme Bislag habe wir ur sogeate Eistichprobeprobleme betrachtet. Es gibt aber auch mehrere Probleme, bei dee ma zwei Stichprobe miteiader vergleiche muss. Beispiel Es solle zwei Futterarte für Masttiere vergliche werde. Dazu betrachtet ma zwei Gruppe vo Tiere. Die erste, aus Tiere bestehede Gruppe bekommt Futter 1. Die zweite, aus m Tiere bestehede Gruppe, bekommt Futter. Mit X 1,..., X wird die Gewichtszuahme der Tiere der erste Gruppe otiert. Etspreched bezeiche wir die Gewichtszuahme der Tiere aus der zweite Gruppe mit Y 1,..., Y m. Die Aufgabe besteht u dari, die beide Futterarte zu vergleiche, also ei Kofidezitervall für µ 1 µ zu fide, wobei µ 1 bzw. µ der Erwartugswert der erste bzw. der zweite Stichprobe ist. Beispiel Es wurde zwei Messverfahre zur Bestimmug eier physikalische Größe etwickelt. Es soll u ermittelt werde, welches Verfahre eie größere Geauigkeit (also eie kleiere Streuug der Messergebisse) hat. Dazu wird die physikalische Größe zuerst Mal mit dem erste Verfahre gemesse, ud da m Mal mit dem zweite Verfahre. Es ergebe sich zwei Stichprobe X 1,..., X ud Y 1,..., Y m. Diesmal solle die Streuuge der beide Stichprobe vergliche werde, also ei Kofidezitervall für σ 1/σ kostruiert werde, wobei σ 1 bzw. σ die Variaz der erste bzw. der zweite Stichprobe ist. Für die obige Beispiele erscheit folgedes Modell plausibel. Wir betrachte zwei Stichprobe X 1,..., X ud Y 1,..., Y m. Wir ehme a, dass (1) X 1,..., X, Y 1,..., Y m uabhägige Zufallsvariable sid. () X 1,..., X N(µ 1, σ 1). (3) Y 1,..., Y m N(µ, σ ). Wir werde Kofidezitervalle für µ 1 µ ud σ 1/σ kostruiere. Fall 1: Kofidezitervall für µ 1 µ bei bekate σ1 ud σ. Es seie also σ1 ud σ bekat. Da X 1,..., X N(µ 1, σ1) ud Y 1,..., Y m N(µ, σ), folgt aus der Faltugseigeschaft der Normalverteilug, dass X := X X N ( µ 1, σ 1 ), Ȳ m := X Y m m 145 ( ) N µ, σ. m

151 Ei atürlicher Schätzer für µ 1 µ ist gegebe durch ( ) X Ȳm N µ 1 µ, σ 1 + σ. m Idem der Erwartugswert subtrahiert ud durch die Stadardabweichug geteilt wird, erhält ma eie stadardormalverteilte Zufallsvariable: X Ȳm (µ 1 µ ) σ1 + σ m σ1 + σ m N(0, 1). Es gilt also, dass P µ1,µ z α X Ȳm (µ 1 µ ) z 1 α = 1 α für alle µ 1, µ R. Aufgrud der Symmetrieeigeschaft der Normalverteilug köe wir z = z 1 α defiiere. Umgeformt ach µ 1 µ erhält ma das Kofidezitervall [ X Ȳm z σ 1 + σ m, X Ȳm + z σ 1 + σ m ]. = z α Fall : Kofidezitervall für µ 1 µ bei ubekate aber gleiche σ 1 ud σ. Seie u σ 1 ud σ ubekat. Um das Problem zu vereifache, werde wir aehme, dass σ 1 ud σ gleich sid, d. h. σ := σ 1 = σ. Schritt 1. Geauso wie i Fall 1 gilt X Ȳm (µ 1 µ ) N(0, 1). σ m Leider köe wir das icht zur Kostruktio eies Kofidezitervalls für µ 1 µ direkt verwede, de σ ist ubekat. Wir werde deshalb σ schätze. Schritt. Ei Schätzer für σ, der ur auf der erste Stichprobe basiert, ist gegebe durch SX = 1 (X i 1 X ). Aalog gibt es eie Schätzer für σ, der ur auf der zweite Stichprobe basiert: SY = 1 m (Y j m 1 Ȳm). Für diese Schätzer gilt ( 1)S X σ χ 1, j=1 (m 1)S Y σ χ m 1. Bemerke, dass diese zwei χ -verteilte Zufallsvariable uabhägig sid. Somit folgt ( 1)S X σ + (m 1)S Y σ 146 χ +m.

152 Betrachte u folgede Schätzer für σ, der auf beide Stichprobe basiert: ( ) S 1 = (X i + m X m ) + (Y j Ȳm) = ( 1)S X + (m 1)S Y + m Somit gilt j=1 ( + m )S σ χ +m. Der Erwartugswert eier χ +m -verteilte Zufallsvariable ist + m. Daraus folgt isbesodere, dass S ei erwartugstreuer Schätzer für σ ist, was die Wahl der Normierug 1/( + m ) erklärt. Schritt 3. Aus Schritt 1 ud Schritt folgt, dass X Ȳm (µ 1 µ ) = 1 S + 1 m X Ȳm (µ 1 µ ) σ m 1 +m (+m )S σ t +m. Dabei habe wir beutzt, dass der Zähler ud der Neer des obige Bruchs uabhägig voeiader sid. Das folgt aus der Tatsache, dass SX ud X sowie SY ud Ȳ uabhägig voeiader sid, sowie aus der Tatsache, dass die Vektore (X, SX ) ud (Y, S Y ) uabhägig voeiader sid. Somit gilt P µ1,µ,σ t +m, α X Ȳm (µ 1 µ ) t +m,1 α = 1 α für alle µ 1, µ, σ. S m Wege der Symmetrie der t-verteilug gilt t := t +m,1 α = t +m, α. Umgeformt ach µ 1 µ ergibt sich folgedes Kofidezitervall für µ 1 µ zum Kofideziveau 1 α: [ X Ȳm S m t, X Ȳm + S m t Fall 3: Kofidezitervall für σ1/σ bei ubekate µ 1 ud µ. Seie also µ 1 ud µ ubekat. Wir kostruiere ei Kofidezitervall für σ1/σ. Die atürliche Schätzer für σ1 ud σ sid gegebe durch S X = 1 1 (X i X ), S Y = 1 m 1 Es gilt ( 1)SX χ (m 1)SY σ 1, χ 1 σ m 1 ud diese beide Zufallsvariable sid uabhägig. Es folgt, dass ] m (Y j Ȳm). j=1.. S X /σ 1 S Y /σ = ( 1)S X σ 1 (m 1)S Y σ m 1 F 1,m 1.

153 Wir bezeiche mit F 1,m 1,α das α-quatil der F 1,m 1 -Verteilug. Deshalb gilt, dass [ ] P µ1,µ,σ1 F,σ 1,m 1, α S X /σ 1 F SY 1,m 1,1 α = 1 α für alle µ /σ 1, µ, σ1, σ > 0. Somit ergibt sich folgedes Kofidezitervall für σ1/σ zum Kofideziveau 1 α: [ ] 1 S X 1, S X. SY SY F 1,m 1,1 α F 1,m 1, α Fall 4: Kofidezitervall für σ 1/σ bei bekate µ 1 ud µ. Ählich wie i Fall 3 (Übugsaufgabe). Zum Schluss betrachte wir ei Beispiel, bei dem es sich ur scheibar um ei Zweistichprobeproblem hadelt. Beispiel (Verbudee Stichprobe). Bei eiem Psychologietest fülle Persoe jeweils eie Frageboge aus. Die Frageböge werde ausgewertet ud die Ergebisse der Persoe mit X 1,..., X otiert. Nach der Therapiezeit werde vo de gleiche Persoe die Ergebisse mit Y 1,..., Y festgehalte. I diesem Modell gibt es zwei Stichprobe, allerdigs sid die Aahme des Zweistichprobemodells hier icht plausibel. Es ist ämlich klar, dass X 1 ud Y 1 abhägig sid, de beide Ergebisse gehöre zu derselbe Perso. Allgemeier sid X i ud Y i abhägig. Eie bessere Vorgehesweise bei diesem Problem ist diese. Wir betrachte die Zuwächse Z i = Y i X i. Diese köe wir als uabhägige Zufallsvariable Z 1,..., Z N(µ, σ ) modelliere. Dabei spiegelt µ de mittlere Therapieerfolg wider. Das Kofidezitervall für µ wird wie bei eiem Eistichprobeproblem gebildet Asymptotische Kofidezitervalle für die Erfolgswahrscheilichkeit bei Beroulli-Experimete Seie X 1,..., X uabhägige ud Beroulli-verteilte Zufallsvariable mit Parameter θ (0, 1). Wir wolle ei Kofidezitervall für die Erfolgswahrscheilichkeit θ kostruiere. Ei atürlicher Schätzer für θ ist X. Diese Zufallsvariable hat eie reskalierte Biomialverteilug. Es ist icht eifach, mit de Quatile dieser Verteilug umzugehe. Somit ist es schwierig, ei exaktes Kofidezitervall für θ zu eiem vorgegebee Niveau zu kostruiere. Auf der adere Seite, köe wir ach dem Zetrale Grezwertsatz die Verteilug vo X für großes durch eie Normalverteilug approximiere. Ma ka also versuche, ei Kofidezitervall zu kostruiere, das zumidest bei eiem sehr große Stichprobeumfag das vorgegebee Niveau approximativ erreicht. Dafür beötige wir die folgede allgemeie Defiitio. Defiitio Eie Folge [θ 1, θ 1 ], [θ, θ ],... vo Kofidezitervalle, wobei θ : R R { } ud θ : R R {+ }, heißt asymptotisches Kofidezitervall zum Niveau 1 α, falls lim if P θ[θ (X 1,..., X ) θ θ (X 1,..., X )] 1 α für alle θ Θ. 148

154 Nu kehre wir zu userem Problem mit de Beroulli-Experimete zurück. Nach dem Zetrale Grezwertsatz gilt X X θ θ(1 θ) d N(0, 1), de EX i = θ ud Var X i = θ(1 θ). Durch Umformug ergibt sich X θ θ(1 θ) d N(0, 1). Sei z α das α-quatil der Stadardormalverteilug. Somit gilt [ lim P θ z α X ] θ z 1 α = 1 α für alle θ (0, 1). θ(1 θ) Aufgrud der Symmetrieeigeschaft der Stadardormalverteilug ist z 1 α = z α. Defiiere deshalb z := z 1 α = z α. Somit müsse wir θ bestimme, so dass folgede Ugleichug erfüllt ist: X θ z θ(1 θ). Quadrierug führt zu ( X + θ X θ) z θ(1 θ). Dies lässt sich umschreibe zu ( ) g(θ) := θ 1 + z θ ) ( X + z + X 0. Die Fuktio g(θ) ist quadratisch ud hat (wie wir gleich sehe werde) zwei verschiedee reelle Nullstelle. Somit ist g(θ) 0 geau da, we θ zwische diese beide Nullstelle liegt. Idem wir u die Nullstelle mit der p-q-formel bereche, erhalte wir folgedes Kofidezitervall 1 zum Niveau 1 α für θ: X + z z X (1 X ) + z z, X + z + z X (1 X ) + z z Idem wir alle Terme mit 1/ stehe lasse ud alle Terme mit 1/ igoriere, erhalte wir für großes die folgede Approximatio: [ X z X (1 X ), X + z ] X (1 X ). Später werde wir diese Approximatio mit dem Satz vo Slutsky begrüde. Die Wahrscheilichkeit, dass das jeweilige Itervall de richtige Wert vo θ überdeckt, kovergiert zwar gege 1 α für, ka aber für ei edliches kleier oder größer als 1 α sei. Im erste Fall wird das ageküdigte Kofideziveau icht erreicht. Abbildug 1 zeigt die Überdeckugswahrscheilichkeit als Fuktio vo θ für = 100. Ma sieht, dass das Wilso-Itervall wesetlich besser abscheidet. Verschiedee Kofidezitervalle für die Erfolgswahrscheilichkeit werde i der Arbeit vo L. D. Brow, T. T. Cai ad A. DasGupta 1 Dieses Kofidezitervall wurde 197 vo E.B. Wilso vorgeschlage. Dieses Kofidezitervall wird Stadard-Itervall oder Wald-Itervall geat. 149.

155 Abbildug 1. Wahrscheilichkeit, dass das Kofidezitervall de richtige Wert vo θ u berdeckt, als Fuktio vo θ. Obe: Wilso-Itervall. Ute: StadardItervall. Das Kofideziveau ist 0.95 (rote Liie) ud der Stichprobeumfag = 100. [Iterval Estimatio for a Biomial Proportio, Statistical Sciece, 001, Vol. 16(), pp , Lik] besproche. Beispiel Bei eier Wahlumfrage werde Persoe befragt, ob sie eie Partei A wa hle. Es soll ei Kofidezitervall zum Niveau 0.95 fu r de Stimmeateil θ kostruiert werde ud die La ge dieses Itervalls soll ho chstes 0.0 sei. Wie viele Persoe mu sse dafu r befragt werde? Lo sug. Wir betrachte die Wahlumfrage als ei -faches Beroulli-Experimet. Die La ge des Kofidezitervalls fu r θ soll ho chstes 0.0 sei, also erhalte wir die Ugleichug q z X (1 X ) 0.0. Quadriere ud ach Umforme ergibt die Ugleichug 4z X (1 X ). 0.0 Der Mittelwert X ist zwar ubekat, allerdigs gilt 0 X 1 ud somit X (1 X ) 1/4. Es reicht also auf jede Fall, we z. 0.0 Nu erier wir us dara, dass z das (1 α )-Quatil der Stadardormalverteilug ist. Das Kofideziveau soll 1 α = 0.95 sei, also ist 1 α = Das Quatil der 150

156 Stadardormalverteilug errechet sich (z. B. aus eier Tabelle) als Lösug vo Φ(z) = zu z = Es müsse also = 9604 Persoe befragt werde Satz vo Slutsky Bei der Kostruktio vo Kofidezitervalle fidet der folgede Satz sehr oft Awedug. Satz (Satz vo Slutsky). Seie X, X 1, X,... ud Y 1, Y,... Zufallsvariable, die auf eiem gemeisame Wahrscheilichkeitsraum (Ω, A, P) defiiert sid. Gilt d X X ud Y d c, wobei c eie Kostate ist, so folgt, dass X Y d cx. Bemerkug Es lässt sich auch zeige, dass X + Y jede stetige Fuktio f : R R gilt, dass d c + X. Allgemeier, für d f(x, Y ) f(x, c). Beweis. Schritt 1. Es geügt, die puktweise Kovergez der charakteristische Fuktioe zu zeige. D.h., wir müsse zeige, dass lim EeitXY = Ee itcx für alle t R. Sei ϕ(s) = e its. Diese Fuktio ist gleichmäßig stetig auf R ud betragsmäßig durch 1 beschräkt. Wir zeige, dass lim Eϕ(X Y ) = Eϕ(cX). Schritt. Sei ε > 0 fest. Wege der gleichmäßige Stetigkeit vo ϕ gibt es ei δ > 0 mit der Eigeschaft, dass ϕ(x) ϕ(y) ε für alle x, y R mit x y δ. Schritt 3. Sei A > 0 so groß, dass P[ X > A] ε. Wir köe aehme, dass A ud A Stetigkeitspukte der Verteilugsfuktio vo X sid, asoste ka ma A vergrößer. d Da X X ud A, A keie Atome vo X sid, folgt, dass lim P[ X > A] = P[ X > A] ε. 151

157 Also gilt P[ X > A] ε für große. Schritt 4. Es gilt Eϕ(X Y ) Eϕ(cY ) E ϕ(x Y ) ϕ(cx ) + Eϕ(cX ) Eϕ(cX) E 1 + E + E 3 + E 4 mit [ ] E 1 = E ϕ(x Y ) ϕ(cx ) 1 Y c >, δ A ] E = E [ ϕ(x Y ) ϕ(cx ) 1 Y c δa, X >A, ] E 3 = E [ ϕ(x Y ) ϕ(cx ) 1 Y c δa, X A, E 4 = Eϕ(cX ) Eϕ(cX). Schritt 5. Wir werde u E 1,..., E 4 abschätze. E 1 : Da ϕ(t) 1 ist, folgt, dass E 1 P[ Y c > δ/a]. Dieser Term kovergiert gege 0 für, da Y gege c i Verteilug (ud somit auch i Wahrscheilichkeit) kovergiert. E : Für E gilt die Abschätzug E P[ X > A] 4ε ach Schritt 3, we groß geug ist. E 3 : Es gilt E 3 ε, da X Y cx δ falls Y c δ/a ud X A. Aus Schritt folgt da, dass ϕ(x Y ) ϕ(cx ) ε. E 4 : Der Term E 4 kovergiert für gege 0, de lim Eϕ(cX ) = Eϕ(cX), de ach Voraussetzug kovergiert X i Verteilug gege X. Idem wir u alles zusammefasse, erhalte wir, dass lim sup Eϕ(X Y ) Eϕ(cY ) 5ε. Da ε > 0 beliebig klei gewählt werde ka, folgt, dass lim Eϕ(X Y ) Eϕ(cY ) = 0. Somit ist lim Eϕ(X Y ) = Eϕ(cY ). Beispiel Seie X 1,..., X uabhägig ud Beroulli-verteilt mit Parameter θ (0, 1). Wir kostruiere ei asymptotisches Kofidezitervall für θ. Nach dem Zetrale Grezwertsatz gilt X θ d N(0, 1). θ(1 θ) Leider kommt hier θ sowohl im Zähler als auch im Neer vor. Deshalb hat sich bei userer frühere Kostruktio eie quadratische Gleichug ergebe. Wir werde u θ im Neer elimiiere, idem wir es durch eie Schätzer, ämlich X, ersetze. Nach dem Satz vo Slutsky gilt ämlich, dass X θ X (1 X ) = X θ θ(1 θ) 15 θ(1 θ) X (1 X ) d N(0, 1),

158 de ach dem Gesetz der große Zahle kovergiert i Verteilug) gege 1. Es gilt also [ lim P θ z α X θ X (1 X ) z 1 α ] θ(1 θ) X (1 X ) fast sicher (ud somit auch = 1 α für alle θ (0, 1). Sei z := z α = z 1 α. Daraus ergibt sich folgedes aysmptotisches Kofidezitervall für θ zum Kofideziveau 1 α: [ X z X (1 X ), X + z ] X (1 X ). Dieses Itervall habe wir obe mit eier adere Methode hergeleitet. d Aufgabe Zeige Sie mit dem Satz vo Slutsky, dass t N(0, 1). Dabei ist t die t-verteilug mit Freiheitsgrade Kofidezitervall für de Erwartugswert der Poissoverteilug Seie X 1,..., X uabhägige Zufallsvariable mit X i Poi(θ), wobei θ > 0. Gesucht ist ei Kofidezitervall für θ zum Kofideziveau 1 α. Ei atürlicher Schätzer für θ ist X. Da für die Poisso-Verteilug EX i = Var X i = θ gilt, folgt durch de zetrale Grezwertsatz, dass X θ θ d N(0, 1). Es sei z α das α-quatil der Stadardormalverteilug. Somit gilt [ lim P θ z α X ] θ z 1 α = 1 α für alle θ > 0. θ Aufgrud der Symmetrieeigeschaft der Stadardormaverteilug gilt z := z 1 α Wir erhalte also folgede Ugleichug für θ: X θ θz. = z α. Dies lässt sich durch Quadrierug umschreibe zu ) g(θ) := θ θ ( X + z + X 0. Die Ugleichug g(θ) 0 gilt geau da, we θ zwische de beide Nullstelle der quadratische Gleichug g(θ) = 0 liegt. Diese lasse durch Verwedug der p-q-formel bereche. Es ergibt sich folgedes asymptotisches Kofidezitervall für θ zum Kofideziveau 1 α: [ X + z z X + z, X + z z ] X + z.

159 Idem ma u alle Terme mit 1/ stehe lässt ud alle Terme mit 1/ igoriert, erhält ma die Approximatio [ X z X, X + z ] X. Das Argumet mit der quadratische Gleichug lässt sich mit dem Satz vo Slutsky vermeide. Nach dem Zetrale Grezwertsatz gilt ach wie vor X θ θ d N(0, 1). Leider kommt hier der Parameter θ sowohl im Zähler als auch im Neer vor, was im obige Argumet zu eier quadratische Gleichug führte. Wir köe allerdigs θ durch eie Schätzer für θ, ämlich durch X, ersetze. Nach dem starke Gesetz der große Zahle kovergiert θ/ X fast sicher (ud somit auch i Verteilug) gege 1. Nach dem Satz vo Slutsky gilt da Somit folgt lim P θ X θ X [ = X θ θ z X θ X z ] θ X d N(0, 1). = 1 α für alle θ > 0. Es ergibt sich also wieder eimal das asymptotische Kofidezitervall [ X z X, X + z ] X Asymptotisches Kofidezitervall um de ML-Schätzer Seie X 1, X,... uabhägige ud idetisch verteilte Zufallsvariable mit Dichte/Zähldichte h θ. Es sei ˆθ = ˆθ (X 1,..., X ) eie asymptotisch ormalverteilte Folge vo Schätzer vo θ, d.h. für alle θ Θ gelte d (ˆθ θ) N(0, σ (θ)) uter P θ. Z.B. ist das uter Regularitätsbediguge für de ML-Schätzer erfüllt, wobei σ (θ) = 1/I(θ) ud I(θ) die Fisher-Iformatio ist. Wir köe die obige Bedigug wie folgt schreibe: ˆθ θ σ(θ) d N(0, 1) uter P θ. Wir wolle u die quadratische Abweichug σ(θ) durch dere geschätzte Versio σ(ˆθ ) ersetze. Dazu ehme wir zusätzlich a, dass ˆθ d σ (θ) stetig ist. Aus dem Satz vo der stetige Abbildug folgt, dass σ(ˆθ ) d σ(θ). 154 θ (schwache Kosistez) ud dass

160 Mit dem Satz vo Slutsky ergibt sich u Somit gilt für alle θ Θ ˆθ θ σ(ˆθ ) = ˆθ θ σ(θ) σ(θ) σ(ˆθ ) lim P θ [ ˆθ θ σ(ˆθ ) d N(0, 1) uter P θ. z 1 α ] = 1 α. Es ergibt sich das folgede Kofidezitervall 3 zum Niveau 1 α für θ: [ ] σ(ˆθ ) ˆθ z 1 α, ˆθ σ(ˆθ ) + z 1 α Kofidezbad für die Verteilugsfuktio Es seie X 1,..., X u.i.v. Zufallsvariable mit eier ubekate Verteilugsfuktio F. Wir köe F durch die empirische Verteilugsfuktio ˆF (t) = 1 1 {Xi t}, t R, schätze, aber wie groß ist der Fehler? Im Folgede werde wir zwei Fuktioe F (t) = F (t; X 1,..., X ) ud F + (t) = F + (t; X 1,..., X ) kostruiere derart, dass F mit eier große Wahrscheilichkeit zwische F ud F + liegt. Dabei verlage wir, dass die Ugleichuge F (t) F (t) F + (t) für alle t R gleichzeitig gelte, weshalb wir vo eiem Kofidezbad ud icht eiem Kofidezitervall spreche. : R R [0, 1] heißt Kofidez- Defiitio Ei Paar vo Fuktioe F, F + bad zum Niveau 1 α für F, falls P[ t R: F (t; X 1,..., X ) F (t) F + (t; X 1,..., X )] 1 α für jede Verteilugsfuktio F. Um ei Kofidezbad zu kostruiere, beötige wir die folgede Kozetratiosugleichug. Satz 9.8. (Dvoretzky-Kiefer-Wolfowitz-Massart). Für alle ε > 0 gilt [ ] P sup ˆF (t) F (t) ε t R e ε. Ohe Beweis. 3 Dieses Kofidezitervall wird oft als Wald-Itervall bezeichet. 155

161 Abbildug. Kofidezbad für die Verteilugsfuktio. Rote Kreise: Stichprobe. Schwarze Kurve: Empirische Verteilugsfuktio. Blaue Kurve: Fuktioe F (t) ud F + (t). Das Kofideziveau ist 0.95 ud der Stichprobeumfag = 100. Aufgabe Leite Sie aus der obige Ugleichug de Satz vo Gliveko-Catelli her: sup t R ˆF f.s. (t) F (t) Sei u ei Kofideziveau 1 α vorgegebe. Wir setze e ε = α, woraus sich ergibt, dass 1 ε = log α. Es folgt aus Satz 9.8., dass [ ] P[ t R: ˆF (t) ε F (t) ˆF (t) + ε] = 1 P sup ˆF (t) F (t) > ε t R 1 α. Wir köe also das folgede Kofidezbad für F kostruiere (s. Abbildug ): { } { 1 F (t) = max ˆF (t) log } 1 α, 0, F + (t) = mi ˆF (t) + log α, Kofidezitervalle für Quatile Seie X 1,..., X uabhägig ud idetisch verteilt mit Verteilugsfuktio F. Wir ehme a, dass F stetig ud streg mooto steiged ist, ud defiiere das β-quatil Q β vo F als die Lösug der Gleichug F (Q β ) = β, β (0, 1). Ei atürlicher Schätzer vo Q β ist die Ordugsstatistik X ([β]), wobei X (i) die i-te Ordugsstatistik der Stichprobe X 1,..., X ist. Im Folgede kostruiere wir ei Kofidezitervall zum Niveau 1 α für Q β. Wir werde versuche, Idizes 1 i j zu fide, 156

162 so dass [X (i), X (j) ] ei Kofidezitervall ist. Es soll die Forderug P[X (i) Q β X (j) ] 1 α erfüllt werde. Es gilt [ ] P[X (i) Q β X (j) ] = P 1 {Xk Q β } {i, i + 1,..., j 1} k=i k=1 = P[i S < j] j 1 ( ) = β k (1 β) k, k de die Zufallsvariable S := k=1 1 {X k Q β } ist Bi(, β)-verteilt. Es reicht also, i ud j so zu wähle, dass die Summe auf der rechte Seite 1 α ist. Zum Beispiel köe wir wähle. i := max j := mi { { m : P[S < m] = m : P[S m] = m 1 k=0 k=m ( k ( k ) β k (1 β) k α ) β k (1 β) k α Beispiel Sei eie Stichprobe X 1,..., X 00 vom Umfag = 00 gegebe. Wir kostruiere ei Kofidezitervall zum Niveau 0.95 für de theoretische Media. Für die Zufallsvariable S Bi(00, 1/) rechet ma ach, dass P[S < 86] = P[S 115] 0.000, P[S < 87] = P[S 114] Es gilt also P[86 S < 114] Also wisse wir, dass der theoretische Media mit eier Wahrscheilichkeit vo midestes 0.95 zwische X (86) ud X (114) liegt. } }, 157

163 KAPITEL 10 Tests statistischer Hypothese I der Statistik muss ma oft Hypothese teste, z.b. muss ma ahad eier Stichprobe etscheide, ob ei ubekater Parameter eie vorgegebee Wert aimmt. Zuerst betrachte wir ei Beispiel Ist eie Müze fair? Es sei eie Müze gegebe. Wir wolle teste, ob diese Müze fair ist, d.h. ob die Wahrscheilichkeit vo Kopf, die wir mit θ bezeiche, gleich 1/ ist. Dazu werfe wir die Müze z.b. = 00 Mal. Sei S die Azahl der Würfe, bei dee die Müze Kopf zeigt. Nu betrachte wir zwei Hypothese: Nullhypothese H 0 : Die Müze ist fair, d.h., θ = 1/. Alterativhypothese H 1 : Die Müze ist icht fair, d.h., θ 1/. Wir müsse etscheide, ob wir die Nullhypothese H 0 verwerfe oder beibehalte. Die Etscheidug muss ahad des Wertes vo S getroffe werde. Uter der Nullhypothese gilt, dass E H0 S = 00 1 = 100. Die Idee besteht u dari, die Nullhypothese zu verwerfe, we S stark vo 100 abweicht. Die Größe S 100 bezeichet ma i diesem Fall als Teststatistik. Dabei sid große Werte vo S 100 ei Hiweis darauf, dass die Nullhypothese verworfe werde muss, d.h. große Werte sid sigifikat. Wir wähle also eie Kostate c {0, 1,...} ud verwerfe H 0, falls S 100 > c. Aderfalls behalte wir die Hypothese H 0 bei. Bei diesem Vorgehe köe wir zwei Arte vo Fehler mache: Fehler 1. Art: H 0 wird verworfe, obwohl H 0 richtig ist. Fehler. Art: H 0 wird icht verworfe, obwohl H 0 falsch ist. Wie sollte u die Kostate c (der sogeate kritische Wert) gewählt werde? Ma möchte atürlich die Wahrscheilichkeite der beide Arte vo Fehler klei halte. I diesem Beispiel ist es allerdigs icht möglich, die Wahrscheilichkeit eies Fehlers. Art zu bestimme. Der Grud dafür ist, dass ma für die Berechug dieser Wahrscheilichkeit de Wert vo θ kee muss, bei eiem Fehler. Art ist allerdigs ur bekat, dass θ 1/ ist. Die Wahrscheilichkeit eies Fehlers 1. Art ka aber sehr wohl bestimmt werde ud ist P H0 [ S 100 > c] = P H0 [S > c] = 00 k=100+c+1 ( 00 k ) 1 00, da S Bi(00, 1/) uter H 0. Wir wolle u c so wähle, dass die Wahrscheilichkeit eies Fehlers 1. Art icht größer als ei kleies vorgegebees Niveau α (0, 1) ist. Normalerweise wählt ma α = 0.01 oder Hier wähle wir das Niveau α = Nu rechet ma ach, 158

164 Abbildug 1. Zähldichte der Biomialverteilug mit Parameter = 00 ud θ = 1/. Rot: Ablehugsbereich. Blau: Aahmebereich. dass P H0 [ S 100 > c] = { , für c = 13, , für c = 14. Damit die Wahrscheilichkeit eies Fehlers 1. Art kleier als α = 0.05 ist, müsse wir also c 14 wähle. Dabei ist es sivoll, c möglichst klei zu wähle, de sost vergrößert ma die Wahrscheilichkeit eies Fehlers. Art. Also wähle wir c = 14. Usere Etscheidugsregel lautet u wie folgt: Wir verwerfe H 0, falls S 100 > 14. Sost behalte wir die Hypothese H 0 bei. Das Beibehalte vo H 0 bedeutet icht, dass H 0 bewiese wurde. Es ka ja immer och sei, dass die Müze ufair mit eiem θ = 1/ ist ud ei dermaße kleier Uterschied ka bei 00 Würfe sowieso icht erkat werde. Das Beibehalte vo H 0 bedeutet lediglich, dass i de vorhadee Date keie ausreichede Hiweise gege H 0 gefude wurde. Eie wichtige Größe zur Auswertug vo statistische Tests ist der p-wert. Defiitio Als p-wert bezeichet ma die Wahrscheilichkeit (uter der Nullhypothese), dass die Teststatistik eie midestes so extreme Wert aimmt, wie der i der Stichprobe beobachtete Wert. Hat ma z.b. bei 00 Würfe 150 Mal Kopf beobachtet, so ist der p-wert gegebe durch P H0 [ S ] = P H0 [S 150] = 00 k=150 ( ) 00 1 k Der Wert 150 weicht vom uter der Nullhypothese erwartete Wert 100 um 50 ab. Bei eier richtige Nullhypothese H 0 hat eie Abweichug vo midestes 50 eie Wahrscheilichkeit vo lediglich Deshalb muss i diesem Fall die Nullhypothese ohe große Zweifel verworfe werde. 159

165 Der p-wert liegt immer zwische 0 ud 1. Ei kleier p-wert ist ei Hiweis darauf, dass die Nullhypothese verworfe werde muss. Asymptotischer Test. Im obige Beispiel ka ma für die Berechug der Wahrscheilichkeite die Approximatio durch die Normalverteilug beutze. Es soll ei c mit P H0 [S 100 < c] α bestimmt werde. Um die Güte der Approximatio zu verbesser, beutze wir de 1 -Trick. Da c gaz ist, ist die obige Ugleichug äquivalet zu P H0 [S 100 c 0.5] α. Uter H 0 gilt S Bi(00, 1/) ud somit E H0 S = 100, Var H0 S = 00 1 Ugleichug ist äquivalet zu P H0 [ S c ] α. 1 = 50. Die obige Nu köe wir die Normalverteilugsapproximatio beutze ud die obige Ugleichug durch die folgede ersetze: ( Φ c ) α 50 Somit muss für c die folgede Ugleichug gelte: c z α, 50 wobei z α das α -Quatil der Stadardormalverteilug ist. Wege der Symmetrie der Stadardormalverteilug gilt z α = z 1 α. Für α = 0.05 ist z 1 α = z = 1.96 ud somit ist die obige Ugleichug äquivalet zu c Somit müsse wir c = 14 wähle. Die Etscheidugsregel bleibt geauso wie obe. Aufgabe Alässlich der Show Wette, dass..? wettet Herr Müller, dass er die Farbe zweier Filzstifte durch Ablecke eies mit ihe gemalte Strichs auf eiem Blatt Papier erkee ka. Er weiß, dass vo de 10 bemalte Papiere geau 5 mit dem rote ud 5 mit dem blaue Filzstift bemalt wurde. Teste Sie die Hypothese H 0 : er ka es icht gege die Alterativhypothese H 1 : er ka es. Verwede Sie dazu die Statistik X, die die Azahl der richtig zugeordete rote Striche bei 5 Züge agibt. Bestimme Sie damit eie kritische Wert c, sodass ϕ(x) = 1 {x c} ei Test zum Niveau 0.01 ist, d.h. eie Azahl richtig zugeordeter roter Striche, ab der ma bereit ist zum Niveau 0.01 zu akzeptiere, dass Herr Müller diese Gabe tatsächlich besitzt. Hiweis: Bestimme Sie die Verteilug vo X uter der Hypothese, dass Herr Müller die Farbe i Wirklichkeit icht auseiaderhalte ka ud ur rät Tests für die Parameter der Normalverteilug Seie X 1,..., X N(µ, σ ) uabhägige ud mit Parameter (µ, σ ) ormalverteilte Zufallsvariable. Wir wolle Hypothese über die Parameter µ ud σ teste. Wir werde die folgede vier Fälle betrachte: (1) Tests für µ bei bekatem σ. 160

166 () Tests fu r µ bei ubekatem σ. (3) Tests fu r σ bei bekatem µ. (4) Tests fu r σ bei ubekatem µ. Fall 1: Tests fu r µ bei bekatem σ (Gauß-z-Test). Seie X1,..., X N(µ, σ0 ) uabha gig, wobei die Variaz σ0 bekat sei. Wir wolle verschiedee Hypothese u ber µ teste, z.b. µ = µ0, µ µ0 oder µ µ0, wobei µ0 ei vorgegebeer Wert ist. Wir betrachte die Teststatistik X µ0 T :=. σ0 Uter µ = µ0 gilt T N(0, 1). Wir betrachte drei Fa lle i Abha gigkeit davo, wie die zu testede Hypothese formuliert wird. Fall 1A. H0 : µ = µ0 ; H1 : µ 6= µ0. Die Nullhypothese H0 sollte verworfe werde, we T groß ist. Dabei sollte die Wahrscheilichkeit eies Fehlers 1. Art ho chstes α sei. Dies fu hrt zu der Etscheidugsregel, dass die Nullhypothese H0 verworfe wird, falls T > z1 α, s. Abbildug (liks). Fall 1B. H0 : µ µ0 ; H1 : µ < µ0. Die Nullhypothese H0 sollte verworfe werde, we T klei ist. Also verwerfe wir H0, falls T < zα, s. Abbildug (Mitte). Uter µ = µ0 ist die Wahrscheilichkeit eies Fehlers erster Art gleich α. Ma ka zeige, dass fu r µ > µ0 (was auch zu H0 geho rt), die Wahrscheilichkeit, H0 irrtu mlich zu verwerfe, kleier als α ist. Fall 1C. H0 : µ µ0 ; H1 : µ > µ0. Hier sollte H0 verworfe werde, we T groß ist. I diesem Fall wird H0 verworfe, we T > z1 α,, s. Abbildug (rechts) Abbildug. Vorgehesweise beim Gauß-z-Test. Rot: Ablehugsbereich. Blau: Aahmebereich. Liks: Zweiseitiger Test (Fall 1A). Mitte: Eiseitiger Test (Fall 1B). Rechts: Eiseitiger Test (Fall 1C). Fall : Tests fu r µ bei ubekatem σ (Studet-t-Test). Seie X1,..., X N(µ, σ ), wobei µ ud σ ubekat seie. Wir mo chte Hypothese u ber µ teste, z. B. µ = µ0, µ µ0 oder µ µ0, wobei µ0 vorgegebe ist. Die Teststatistik aus Fall 1 ko e wir dafu r icht verwede, de sie etha lt de ubekate Parameter σ. Deshalb scha tze wir zuerst σ durch 1 X S = (Xi X )

167 Wir betrachte die Teststatistik Da gilt uter µ = µ 0, dass T t 1. T := X µ 0 S. Fall A. H 0 : µ = µ 0 ; H 1 : µ µ 0. Die Nullhypothese H 0 sollte verworfe werde, we T groß ist. Dabei sollte die Wahrscheilichkeit eies Fehlers 1. Art höchstes α sei. Wege der Symmetrie der t-verteilug erhalte wir die folgede Etscheidugsregel: H 0 wird verworfe, falls T > t 1,1 α. Fall B. H 0 : µ µ 0 ; H 1 : µ < µ 0. Die Nullhypothese H 0 wird verworfe, we T < t 1,α. Fall C. H 0 : µ µ 0 ; H 1 : µ > µ 0. Die Nullhypothese H 0 wird verworfe, we T > t 1,1 α. Fall 3: Tests für σ bei bekatem µ (χ -Streuugstest). Seie X 1,..., X N(µ 0, σ ) uabhägig, wobei der Erwartugswert µ 0 bekat sei. Wir wolle verschiedee Hypothese über die quadratische Streuug σ der Stichprobe teste, wie z. B. σ = σ0, σ σ0 oder σ σ0, wobei σ0 vorgegebe ist. Ei atürlicher Schätzer für σ ist S = 1 (X i µ 0 ). Uter σ = σ 0 gilt T := S σ 0 = ( ) Xi µ 0 χ. Fall 3A. H 0 : σ = σ0; H 1 : σ σ0. Die Nullhypothese H 0 sollte abgeleht werde, we T zu groß oder zu klei ist. Die χ -Verteilug ist icht symmetrisch. Dies führt zu folgeder Etscheidugsregel: H 0 wird verworfe, we T < χ, oder T > χ α,1. α Fall 3B. H 0 : σ σ 0; H 1 : σ < σ 0. Die Nullhypothese H 0 sollte verworfe werde, we T zu klei ist. Dies führt zu folgeder Etscheidugsregel: H 0 wird verworfe, we T < χ,α ist. Fall 3C. H 0 : σ σ 0; H 1 : σ > σ 0. Die Nullhypothese H 0 sollte verworfe werde, we T zu groß ist. Dies führt zu folgeder Etscheidugsregel: H 0 wird verworfe, we T > χ,1 α ist. Fall 4: Tests für σ bei ubekatem µ (χ -Streuugstest). Seie X 1,..., X N(µ, σ ), wobei µ ud σ ubekat seie. Wir wolle Hypothese über σ teste, z. B. σ = σ0, σ σ0 oder σ σ0, wobei σ0 vorgegebe ist. Ei atürlicher Schätzer für σ ist i diesem Fall S = 1 (X i X ). 16 σ 0

168 Uter σ = σ 0 gilt T := ( 1)S σ 0 χ 1. Die Etscheidugsregel sid also die gleiche wie i Fall 3, lediglich muss ma die Azahl der Freiheitsgrade der χ -Verteilug durch 1 ersetze Zweistichprobetests für die Parameter der Normalverteilug Nu betrachte wir zwei Stichprobe (X 1,..., X ) ud (Y 1,..., Y m ). Wir wolle verschiedee Hypothese über die Lage ud die Streuug dieser Stichprobe teste. Z. B. ka ma sich für die Hypothese iteressiere, dass die Erwartugswerte (bzw. Streuuge) der beide Stichprobe gleich sid. Wir mache folgede Aahme: (1) X 1,..., X, Y 1,..., Y m sid uabhägige Zufallsvariable. () X 1,..., X N(µ 1, σ 1). (3) Y 1,..., Y m N(µ, σ ). Wir wolle u Hypothese über µ 1 µ ud σ 1/σ teste. Dabei werde wir us auf die Nullhypothese der Form µ 1 = µ bzw. σ 1 = σ beschräke. Nullhypothese der Form µ 1 µ, µ 1 µ, σ 1 σ, σ 1 σ köe aalog betrachtet werde. Fall 1: Test für µ 1 = µ bei bekate σ 1 ud σ (Zweistichprobe-z-Test). Es seie also σ 1 ud σ bekat. Wir köe µ 1 µ durch X Ȳm schätze. Uter der Nullhypothese H 0 : µ 1 = µ gilt, dass T := X Ȳm σ1 + σ m N(0, 1). Die Nullhypothese H 0 wird verworfe, we T groß ist, also we T > z 1 α. Fall : Test für µ 1 = µ bei ubekate aber gleiche σ 1 ud σ (Zweistichprobet-Test). Es seie u σ 1 ud σ ubekat. Um das Problem zu vereifache, werde wir aehme, dass die Variaze gleich sid, d.h. σ := σ 1 = σ. Wir schätze σ durch S = ( 1 (X i + m X ) + Wir betrachte die folgede Teststatistik: ) m (Y j Ȳm). j=1 T := X Ȳm. 1 S + 1 m 163

169 Wir habe bei der Kostruktio der Kofidezitervalle gezeigt, dass T t +m uter µ 1 = µ. Somit wird die Nullhypothese H 0 verworfe, we T > t +m,1 α. Fall 3: Test für σ 1 = σ bei ubekate µ 1 ud µ (F -Test). Seie also µ 1 ud µ ubekat. Wir wolle die Nullhypothese H 0 : σ1 = σ teste. Natürliche Schätzer für σ1 ud σ sid gegebe durch SX = 1 (X i 1 X ), SY = 1 m (Y j m 1 Ȳm). Bei der Kostruktio der Kofidezitervalle habe wir gezeigt, dass für σ 1 = σ T := S X S Y F 1,m 1. Die Hypothese H 0 sollte verworfe werde, we T zu klei oder zu groß ist. Dabei ist die F - Verteilug icht symmetrisch. Die Nullhypothese wird also verworfe, we T < F 1,m 1, α oder T > F 1,m 1,1 α. Fall 4: Test für σ 1 = σ bei bekate µ 1 ud µ (F -Test). Aalog zu Fall 3 (Übug). j= Allgemeie Modellbeschreibug Wir beschreibe u allgemei das statistische Testproblem. Sei (P θ ) θ Θ eie Familie vo Wahrscheilichkeitsmaße auf dem Stichproberaum (X, A). Der Parameterraum Θ sei i zwei disjukte Teilmege Θ 0 ud Θ 1 aufgeteilt, d.h. Θ = Θ 0 Θ 1, Θ 0 Θ 1 =. Sei X eie Stichprobe, die zufällig aus X gemäß P θ gezoge wird, wobei θ Θ ubekat sei. Wir betrachte u zwei Hypothese: (1) Die Nullhypothese H 0 : θ Θ 0. () Die Alterativhypothese H 1 : θ Θ 1. Wir solle ahad der Stichprobe X etscheide, ob wir H 0 verwerfe oder beibehalte. Defiitio Ei Test ist eie messbare Fuktio ϕ : X {0, 1}. Iterpretatio: H 0 wird verworfe, falls ϕ(x) = 1. H 0 wird beibehalte, falls ϕ(x) = 0. Die Mege K := {x X: ϕ(x) = 1} heißt der Ablehugsbereich, de H 0 wird verworfe, falls X H 0. Wir werde auch eie allgemeiere Begriff beötige: 164

170 Defiitio Ei radomisierter Test ist eie messbare Fuktio ϕ : X [0, 1]. Iterpretatio: Um die Etscheidug zu treffe, ob H 0 verworfe werde soll, berechet ma zuerst p := ϕ(x). Daach führt ma ei Beroulli-Experimet mit Erfolgswahrscheilichkeit p durch. Bei Erfolg verwirft ma H 0, bei Misserfolg behält ma H 0 bei. Im folgede betrachte wir immer radomisierte Tests. Defiitio Die Fuktio G : X [0, 1] mit G(θ) = E θ ϕ(x) heißt die Gütefuktio eies Tests. Dabei ist E θ ϕ(x) die Wahrscheilichkeit (uter P θ ), dass der Test ϕ die Hypothese H 0 verwirft. Es gilt also: Für θ Θ 0 ist G(θ) die Wahrscheilichkeit, dass H 0 irrtümlicherweise verworfe wird (Fehler 1. Art). Für θ Θ 1 ist 1 G(θ) die Wahrscheilichkeit, dass H 0 irrtümlicherweise beibehalte wird (Fehler. Art). Defiitio Für θ Θ 1 heißt G(θ) = E θ ϕ(x) die Macht des Tests. Die Macht ist also die Wahrscheilichkeit, dass die falsche Nullhypothese etlarvt wird. Beim Teste köe wir zwei Arte vo Fehler mache: Fehler 1. Art: H 0 wird verworfe, obwohl H 0 richtig ist. Fehler. Art: H 0 wird icht verworfe, obwohl H 0 falsch ist. Normalerweise versucht ma ϕ (bzw. de Ablehugsbereich K) so zu wähle, dass die Wahrscheilichkeit eies Fehlers 1. Art durch ei vorgegebees Niveau α (0, 1) beschräkt ist, typischerweise α = 0.01 oder Defiitio Ei Test ϕ : X [0, 1] hat Sigifikaziveau α (0, 1), falls E θ ϕ(x) α für alle θ Θ 0. Sei Φ α die Mege aller Tests zum Sigifikaziveau α. Uter alle Tests zum Niveau α möchte ma u dejeige fide, der eie möglichst große Macht hat. Defiitio Wir sage, dass ϕ : X [0, 1] gleichmäßig bester Test zum Niveau α ist, we ϕ Φ α ud E θ ϕ(x) = sup ψ Φ α E θ ψ(x) für alle θ Θ

171 Diese Bedigug besagt, dass für alle θ Θ 1 der Test ϕ eie kleiere Wahrscheilichkeit eies Fehlers. Art uter P θ hat als jeder adere Test ψ Φ α. Zum Schluss defiiere wir och de p-wert. Stelle wir us vor, dass wir usere Testetscheidug auf dem Wert eier Statistik T : X R basiere. Es ka z.b. sei, dass große Werte vo T für eie Ablehug vo H 0 spreche. I diesem Fall hat der Test die Form ϕ(x) = 1 T (x) c für eie kritische Wert c. Defiitio Der p-wert eier Beobachtug x X ist gegebe durch p-wert(x) = sup θ Θ 0 P θ [T (X) T (x)]. Ei p-wert, der kleier als α ist, führt zur Ablehug vo H 0. Beispiel Wir bereche die Gütefuktio des Gauß-z-Tests. Seie X 1,..., X N(µ, 1) uabhägig. Wir wolle H 0 : µ = 0 gege H 1 : µ 0 teste, wobei wir hier der Eifachheit halber ageomme habe, dass µ 0 = 0 ud σ 0 = 1. Der zweiseitige Gauß-z- Test ist gegebe durch ϕ(x 1,..., x ) = 1 x >z 1 α. Uter P µ gilt X N(µ, 1/), somit X µ N(0, 1). Die Gütefuktio berechet sich zu G(µ) = E µ ϕ(x 1,..., X ) [ ] = P µ X > z 1 α [ = P µ X µ < z 1 α µ ] [ + P µ X µ > z 1 α µ ] = 1 Φ( µ + z 1 α ) + Φ( µ z 1 α ), s. Abbildug 3 (liks), wobei Φ(z) = 1 π z e t / dt die Stadardormalverteilugsfuktio bezeichet. Die Gütefuktio ist gleich α a der Stelle 0 (Wahrscheilichkeit eies Fehlers 1. Art) ud kovergiert gege 1 für µ ± (somit wird die Alterative bei großem µ mit großer Wahrscheilichkeit richtig etlarvt). Aufgabe Seie X 1,..., X N(µ, 1) uabhägig. Betrachte Sie die eiseitige Hypothese H 0 : µ 0 ud H 1 : µ > 0. (a) Bestimme Sie die Gütefuktio des eiseitige Gauß-z-Tests ϕ(x 1,..., x ) = 1 x >z 1 α. (b) Zeige Sie, dass die Gütefuktio für alle µ 0 uterhalb vo α bleibt, s. Abbildug 3 (rechts). D.h. es hadelt sich tatsächlich um eie Test zum Niveau α Tests eifacher Hypothese: Neyma-Pearso-Theorie I diesem Kapitel betrachte wir de Fall, we beide Hypothese eifach sid, d.h. Θ 0 = {θ 0 }, Θ 1 = {θ 1 }, Θ = {θ 0, θ 1 }. 166

172 Abbildug 3. Gu tefuktio des Gauß-z-Tests fu r µ0 = 0, σ0 = 1 ud = 10. Liks: Zweiseitiger Test (Fall 1A). Rechts: Eiseitiger Test (Fall 1C). Zur Vereifachug der Notatio schreibe wir im Folgede P0 bzw. P1 fu r Pθ0 bzw. Pθ1. Aahme: Die Wahrscheilichkeitsmaße P0 ud P1 besitze Dichte h0 ud h1 bzgl. eies σ-edliche Maßes λ auf (X, A). Wir werde u zeige, wie ma eie gleichma ßig beste Test zum Niveau α kostruiert. Eie gaz atu rliche Vorgehesweise ist diese: ma etscheidet sich fu r H1 bzw. H0 we der sogeate Likelihood-Quotiet h1 (x)/h0 (x) gro ßer bzw. kleier als ei vorgegebeer Wert k ist. Ist der Quotiet gleich k, so ist ma sich icht sicher ud radomisiert mit Erfolgswahrscheilichkeit γ. Defiitio Seie k [0, ] ud γ [0, 1]. Ei Likelihood-Quatiete-Test (oder LQ-Test) ist ei Test der Form h1 (x) 1, falls h0 (x) > k, (x) < k, (10.5.1) ϕ(x) = 0, falls hh01 (x) h1 (x) γ, falls h0 (x) = k. Mo gliche Ubestimmtheite der Form 0/0 werde wir im Folgede igoriere, de die Mege A := {x X : h0 (x) = h1 (x) = 0} ist eie Nullmege bzgl. P0 ud P1. Somit ist die Wahrscheilichkeit, dass die Stichprobe X i A ladet gleich 0 sowohl uter H0 als auch uter H1. Lemma (Neyma-Pearso, Teil 1). Sei ϕ ei LQ-Test mit E0 ϕ(x) = α. Da gilt E1 ϕ(x) = sup E1 ψ(x), ψ : E0 ψ(x) α 167

173 Abbildug 4. Jerzy Neyma ud Ego Pearso (der Soh vo Karl Pearso) d.h. ϕ ist gleichmäßig bester Test zum Niveau α. Beweis. Sei ψ ei Test zum Niveau α, d.h. E 0 ψ(x) α. Es reicht zu zeige, dass Wir behaupte, dass E 1 ϕ(x) E 1 ψ(x). (10.5.) (ϕ(x) ψ(x))(h 1 (x) kh 0 (x)) 0 für alle x X. Um dies zu zeige, betrachte wir drei Fälle: Fall 1: h 1 (x) kh 0 (x) > 0. Da gilt ϕ(x) = 1 ud folglich ϕ(x) ψ(x) 0, woraus sich die Behauptug (10.5.) ergibt. Fall : h 1 (x) kh 0 (x) < 0. Da gilt ϕ(x) = 0. Es folgt ϕ(x) ψ(x) 0, ud (10.5.) ist richtig. Fall 3: h 1 (x) kh 0 (x) = 0. I diesem Fall ist das Produkt auf der like Seite vo (10.5.) gleich 0 ud (10.5.) stimmt. Idem wir (10.5.) bzgl. λ itegriere, erhalte wir (ϕ ψ)h 1 dλ k (ϕ ψ)h 0 dλ. X Nachdem wir Itegrale als Erwartugswerte darstelle, ergibt sich E 1 [ϕ(x) ψ(x)] k E 0 [ϕ(x) ψ(x)]. Es gilt allerdigs E 0 ϕ(x) = α, währed E 0 ψ(x) α. Somit ist der Erwartugswert auf der rechte Seite ichtegativ ud es folgt, dass E 1 [ϕ(x) ψ(x)] 0. Das beweist die Behauptug. X Lemma (Neyma-Pearso, Teil ). Zu jedem α (0, 1) lasse sich k [0, ) ud γ [0, 1] fide, so dass für de durch (10.5.1) defiierte Test ϕ E 0 ϕ(x) = α gilt. Laut Teil 1 des Neyma-Pearso-Lemmas ist ϕ gleichmäßig bester Test zum Niveau α. 168