Stochastik I (Statistik)

Transkript

1 Stochastik I (Statistik) Skript Ju.-Prof. Dr. Zakhar Kabluchko Uiversität Ulm Istitut für Stochastik L A TEX-Versio vo Judith Schmidt

2 Ihaltsverzeichis Vorwort Literatur Kapitel. Stichprobe ud Stichprobefuktio.. Stichprobe.. Stichprobefuktioe, empirischer Mittelwert ud empirische Variaz 3 Kapitel. Ordugsstatistike ud Quatile 6.. Ordugsstatistike ud Quatile 6.. Verteilug der Ordugsstatistike 8 Kapitel 3. Empirische Verteilugsfuktio 3.. Empirische Verteilugsfuktio 3.. Empirische Verteilug Satz vo Gliweko Catelli 4 Kapitel 4. Dichteschätzer Histogramm Kerdichteschätzer 9 Kapitel 5. Methode zur Kostruktio vo Schätzer 5.. Parametrisches Modell 5.. Mometemethode Maximum Likelihood Methode Bayes Methode 3 Kapitel 6. Güteeigeschafte vo Schätzer Erwartugstreue, Kosistez, asymptotische Normalverteiltheit Güteeigeschafte des ML Schätzers Cramér Rao Ugleichug Asymptotische Normalverteiltheit der empirische Quatile 5 Kapitel 7. Suffiziez ud Vollstädigkeit Defiitio der Suffiziez im diskrete Fall Faktorisierugssatz vo Neyma Fisher Defiitio der Suffiziez im absolut stetige Fall Vollstädigkeit Expoetialfamilie Vollstädige ud suffiziete Statistik für Expoetialfamilie Der beste erwartugstreue Schätzer 64 i

3 7.8. Bedigter Erwartugswert Satz vo Lehma Scheffé 7 Kapitel 8. Wichtige statistische Verteiluge Gammafuktio ud Gammaverteilug χ Verteilug Poisso Prozess ud die Erlag Verteilug Empirischer Erwartugswert ud empirische Variaz eier ormalverteilte Stichprobe t Verteilug F Verteilug 8 Kapitel 9. Kofidezitervalle Kofidezitervalle für die Parameter der Normalverteilug Asymptotisches Kofidezitervall für die Erfolgswahrscheilichkeit bei Beroulli Experimete Satz vo Slutsky Kofidezitervall für de Erwartugswert der Poissoverteilug Zweistichprobeprobleme 9 Kapitel 0. Tests statistischer Hypothese Ist eie Müze fair? Allgemeie Modellbeschreibug Tests für die Parameter der Normalverteilug Zweistichprobetests für die Parameter der Normalverteilug Asymptotische Tests für die Erfolgswahrscheilichkeit bei Beroulli Experimete 0 ii

4 Vorwort Dies ist ei Skript zur Vorlesug Stochastik I (Statistik), die a der Uiversität Ulm im Sommersemester 03 gehalte wurde. Die erste L A TEX-Versio des Skripts wurde vo Judith Schmidt erstellt. Daach wurde das Skript vo mir korrigiert ud ergäzt. I Zukuft soll das Skript um ei weiteres Kapitel (Lieare Regressio) ergäzt werde. Bei Frage, Wüsche ud Verbesserugsvorschläge köe Sie gere eie a zakhar DOT kabluchko AT ui-ulm DOT de schreibe. 7. September 03 Zakhar Kabluchko Literatur Es gibt sehr viele Lehrbücher über Statistik, z. B.. J. Leh, H. Wegma. Eiführug i die Statistik.. H. Pruscha. Vorlesuge über Mathematische Statistik. 3. H. Pruscha. Agewadte Methode der Mathematische Statistik. 4. V. Rohatgi. Statistical Iferece. 5. G. Casella, R. L. Berger. Statistical Iferece. 6. K. Bosch. Elemetare Eiführug i die agewadte Statistik: Mit Aufgabe ud Lösuge. Folgede Lehrbücher behadel sowohl Wahrscheilichkeitstheorie als auch Statistik:. H. Dehlig ud B. Haupt. Eiführug i die Wahrscheilichkeitstheorie ud Statistik. Spriger Verlag.. U. Kregel. Eiführug i die Wahrscheilichkeitstheorie ud Statistik. Vieweg Verlag. 3. H. O. Georgii. Stochastik: Eiführug i die Wahrscheilichkeitstheorie ud Statistik. De Gruyter.

5 KAPITEL Stichprobe ud Stichprobefuktio I diesem Kapitel werde wir auf Stichprobe ud Stichprobefuktioe eigehe. Als Eistieg begie wir mit zwei kleie Beispiele... Stichprobe Beispiel... Wir betrachte ei Experimet, bei dem eie physikalische Kostate (z.b. die Lichtgeschwidigkeit) bestimmt werde soll. Da das Ergebis des Experimets fehlerbehaftet ist, wird das Experimet mehrmals durchgeführt. Wir bezeiche die Azahl der Messuge mit. Das Resultat der i-te Messug sei mit x i R bezeichet. Fasse wir u die Resultate aller Messuge zusamme, so erhalte wir eie sogeate Stichprobe (x,..., x ) R. Die Azahl der Messuge (also ) ee wir de Stichprobeumfag. Die Mege aller vorstellbare Stichprobe wird der Stichproberaum geat ud ist i diesem Beispiel R. Beispiel... Wir betrachte eie biometrische Studie, i der ei gewisses biometrisches Merkmal, z.b. die Körpergröße, i eier bestimmte Populatio utersucht werde soll. Da die Populatio sehr groß ist, ist es icht möglich, alle Persoe i der Populatio zu utersuche. Deshalb werde für die Studie Persoe, die wir mit,..., bezeiche, aus der Populatio ausgewählt ud gewoge. Mit x i R wird das Gewicht vo Perso i bezeichet. Das Ergebis der Studie ka ma da i eier Stichprobe (x,..., x ) R zusammefasse. Die Auswahl der Persoe aus der Populatio erfolgt zufällig ud ka somit als ei Zufallsexperimet betrachte werde. Die Grudmege dieses Experimets sei mit Ω bezeichet. Die geaue Gestalt vo Ω wird im Weitere keie Rolle spiele. Das Gewicht vo Perso i ka als eie Zufallsvariable X i : Ω R aufgefasst werde. De Zusammehag zwische (X,..., X ) ud (x,..., x ) ka ma folgedermaße beschreibe. Jede kokrete Auswahl vo Persoe aus der Populatio etspricht eiem Elemet (Ausgag) ω i der Grudmege Ω. Das Gewicht der i-te Perso ist da der Wert der Fuktio X i a der Stelle ω, also X i (ω). Es gilt somit x = X (ω),..., x = X (ω). Ma sagt auch, dass (x,..., x ) eie Realisierug des Zufallsvektors (X,..., X ) ist. Oft et ma (x,..., x ) die kokrete Stichprobe ud (X,..., X ) die Zufallsstichprobe. Es sei och eimal bemerkt, dass x i reelle Zahle, wohigege X i : Ω R Zufallsvariable (also Fuktioe auf eiem Wahrscheilichkeitsraum) sid.

6 Im Folgede werde wir sehr oft aehme, dass X,..., X : Ω R uabhägige ud idetisch verteilte Zufallsvariable sid. Die Verteilugsfuktio vo X i bezeiche wir mit F (t) = P[X i t], t R... Stichprobefuktioe, empirischer Mittelwert ud empirische Variaz Defiitio... Eie beliebige Borel-Fuktio ϕ : R R m heißt Stichprobefuktio. Defiitio... Bezeiche mit X = (X,..., X ) : Ω R eie Zufallsstichprobe. Da heißt die zusammegesetzte Fuktio ϕ X : Ω R m eie Statistik: ϕ X : Ω R R m, ω (X (ω),..., X (ω)) ϕ(x (ω),..., X (ω)). Im Folgede werde wir zwei wichtige Beispiele vo Stichprobefuktioe, de empirische Mittelwert ud die empirische Variaz, betrachte. Es sei (x,..., x ) R eie Stichprobe. Defiitio..3. Der empirische Mittelwert (auch das Stichprobemittel oder das arithmetische Mittel geat) ist defiiert durch x = x i. Aalog beutze wir auch die Notatio X = X i. Dabei ist x eie Stichprobefuktio ud X eie Statistik. Im Weitere werde wir meistes keie Uterschied zwische diese Begriffe mache. Satz..4. Seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit µ = EX i ud σ = Var X i. Da gilt E X = µ ud Var X = σ. Beweis. Idem wir die Liearität des Erwartugswertes beutze, erhalte wir [ ] E X X X = E = E[X X ] = E[X ] = E[X ] = µ. Idem wir die Additivität der Variaz (bei uabhägige Zufallsvariable) beutze, erhalte wir ( ) Var X X X = Var = Var(X X ) = Var(X ) = σ. Bemerkug..5. I der Statistik immt ma a, dass die Stichprobe (x,..., x ) bekat ist ud fragt da, wie ahad dieser Stichprobe verschiedee Kegröße der Zufallsvariable X i (etwa der Erwartugswert, die Variaz, die Verteilugsfuktio) geschätzt werde köe. Zum Beispiel bietet sich der empirische Mittelwert x (oder X ) als ei atürlicher Schätzer für de theoretische Erwartugswert µ = EX i. Der obige Satz zeigt, dass durch 3

7 eie solche Schätzug kei systematischer Fehler etsteht, i dem Sie, dass der Erwartugswert des Schätzers X mit dem zu schätzede Parameter µ übereistimmt: E X = µ. Ma sagt, dass X ei erwartugstreuer Schätzer für µ ist. Defiitio..6. Die empirische Variaz oder die Stichprobevariaz ist defiiert durch s = (x i x ). Aalog beutze wir auch die Notatio S = (X i X ). Die Rolle des Faktors (astelle vo ) wird im folgede Satz klar. Satz..7. Seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit EX i = µ ud Var X i = σ. Da gilt E[S ] = σ. Beweis. Zuerst beweise wir die Formel Das geht folgedermaße: Nu ergibt sich S = S = = = = ( ) Xi X. ( X i X i X + X ) ( Xi ) X i X + X ( ) Xi X X + X ( ) Xi X. [ ( )] E[S] = E Xi X ( ) = E[Xi ] E[ X ] = = σ. ( (σ + µ ) 4 ( σ + µ ))

8 Dabei habe wir verwedet, dass ud (mit Satz..4) E[X i ] = Var X i + (EX i ) = σ + µ E[ X ] = Var X + (E X ) = σ + µ. Bemerkug..8. Die empirische Variaz s (bzw. S ) ist ei atürlicher Schätzer für die theoretische Variaz σ = Var X i. Der obige Satz besagt, dass S ei erwartugstreuer Schätzer für σ ist im Sie, dass der Erwartugswert des Schätzers mit dem zu schätzede Parameter σ übereistimmt: ES = σ. Bemerkug..9. A Stelle vo S ka auch folgede Stichprobefuktio betrachtet werde S := (X i X ). Der Uterschied zwische S ud S ist also ur der Vorfaktor bzw.. Allerdigs ist S kei erwartugstreuer Schätzer für σ, de [ E[ S ] = E S ] = E[S ] = σ < σ. Somit wird die Variaz σ uterschätzt. Schätzt ma σ durch S, so etsteht ei systematischer Fehler vo σ. Bemerkug..0. Die empirische Stadardabweichug ist defiiert durch s = s = (x i x ). Bemerkug... Das Stichprobemittel x ist ei Lageparameter (beschreibt die Lage der Stichprobe). Die Stichprobevariaz s (bzw. die empirische Stadardabweichug s ) ist ei Streuugsparameter (beschreibt die Ausdehug der Stichprobe). Bemerkug... Das Stichprobemittel ist kei robuster Parameter, d.h. es wird stark vo Ausreißer beeiflusst. Dies zeigt folgedes Beispiel: Betrachte zuerst die Stichprobe (,,,,,,, ). Somit ist x =.5. Ädert ma ur de letzte Wert der Stichprobe i 0 um, also (,,,,,,, 0), da gilt x = Wir kote also de Wert des Stichprobemittels stark veräder, idem wir ur ei eiziges Elemet aus der Stichprobe verädert habe. Die Stichprobevariaz ist ebefalls icht robust. Im weitere werde wir robuste Lage- ud Streuugsparameter eiführe, d.h. solche Parameter, die sich bei eier Äderug (ud zwar sogar bei eier sehr starke Äderug) vo ur weige Elemete aus der Stichprobe icht sehr stark veräder. 5

9 KAPITEL Ordugsstatistike ud Quatile Um robuste Lage- ud Streuugsparameter eiführe zu köe, beötige wir Ordugsstatistike ud Quatile... Ordugsstatistike ud Quatile Defiitio... Sei (x,..., x ) R eie Stichprobe. Wir köe die Elemete der Stichprobe aufsteiged aorde: x () x ()... x (). Wir ee x (i) die i-te Ordugsstatistik der Stichprobe. Zum Beispiel ist x () = mi x i das Miimum ud x () = max x i das Maximum der Stichprobe.,...,,..., Defiitio... Der Stichprobemedia ist gegebe durch x + ), falls ugerade, med = med (x,..., x ) = ( ) x ( ) + x ( +), falls gerade. Somit befidet sich die Hälfte der Stichprobe über dem Stichprobemedia ud die adere Hälfte der Stichprobe daruter. Beispiel..3. Der Media ist ei robuster Lageparameter. Als Beispiel dafür betrachte wir zwei Stichprobe mit Stichprobeumfag = 8. Die erste Stichprobe sei (x,..., x 8 ) = (,,,,,,, ). Somit sid die Ordugsstatistike gegebe durch (x (),..., x (8) ) = (,,,,,,, ). Daraus lässt sich der Media bereche ud dieser ist med 8 = + =.5. Als zweite Stichprobe betrachte wir Die Ordugsstatistike sid gegebe durch (y,..., y 8 ) = (,,,,,,, 0). (y (),..., y () ) = (,,,,,,, 0), ud der Media ist ach wie vor med 8 =.5. Dies zeigt, dass der Media robust ist. Bemerkug..4. Im Allgemeie gilt med x. Ei weiterer robuster Lageparameter ist das getrimmte Mittel. 6

10 Defiitio..5. Das getrimmte Mittel eier Stichprobe (x,..., x ) ist defiiert durch k k i=k+ Die Wahl vo k etscheidet, wie viele Date icht berücksichtigt werde. Ma ka zum Beispiel k = [0.05 ] wähle, da werde 0% aller Date icht berücksichtigt. I diesem Fall spricht ma auch vom 5%-getrimmte Mittel. x (i). Astatt des getrimmte Mittels betrachtet ma oft das wisorisierte Mittel: ( k ) x (i) + k x (k+) + k x ( k). i=k+ Nachdem wir u eiige robuste Lageparameter kostruiert habe, wede wir us de robuste Streuugsparameter zu. Dazu beötige wir die empirische Quatile. Defiitio..6. Sei (x,..., x ) R eie Stichprobe ud α (0, ). Das empirische α-quatil ist defiiert durch { x ([α]+), falls α / N, q α = (x ([α]) + x ([α]+) ), falls α N. Hierbei steht [ ] für die Gaußklammer. Der Media ist somit das -Quatil. Defiitio..7. Die empirische Quartile sid die Zahle q 0,5, q 0,5, q 0,75. Die Differez q 0,75 q 0,5 et ma de empirische Iterquartilsabstad. Der empirische Iterquartilsabstad ist ei robuster Streuugsparameter. Die empirische Quatile köe als Schätzer für die theoretische Quatile betrachtet werde, die wir u eiführe werde. Defiitio..8. Sei X eie Zufallsvariable mit Verteilugsfuktio F (t) ud sei α (0, ). Das theoretische α-quatil Q(α) vo X ist defiiert als die Lösug der Gleichug F (Q(α)) = α. Leider ka es passiere, dass diese Gleichug keie Lösuge hat (we die Fuktio F de Wert α übersprigt) oder dass es mehrere Lösuge gibt (we die Fuktio F auf eiem Itervall kostat ud gleich α ist). Deshalb beutzt ma die folgede Defiitio, die auch i diese Ausahmefälle Si ergibt: Q(α) = if {t R : F (t) α}. Beispiel..9. Weitere Lageparameter, die i der Statistik vorkomme: () Das Bereichsmittel x ()+x () (icht robust). () Das Quartilsmittel q 0,5+q 0,75 (robust). Beispiel..0. Weitere Streuugsparameter: 7

11 () Die Spaweite x () x (). () Die mittlere absolute Abweichug vom Mittelwert x i x. (3) Die mittlere absolute Abweichug vom Media x i med. Alle drei Parameter sid icht robust... Verteilug der Ordugsstatistike Satz... Seie X, X,..., X uabhägige ud idetisch verteilte Zufallsvariable, die absolut stetig sid mit Dichte f ud Verteilugsfuktio F. Es seie X () X ()... X () die Ordugsstatistike. Da ist die Dichte der Zufallsvariable X (i) gegebe durch f X(i) (t) =! (i )!( i)! f(t)f (t)i ( F (t)) i. Erster Beweis. Damit X (i) = t ist, muss Folgedes passiere:. Eie der Zufallsvariable, z.b. X k, muss de Wert t aehme. Es gibt Möglichkeite, das k auszuwähle. Die Dichte des Ereigisses X k = t ist f(t).. Uter de restliche Zufallsvariable müsse geau i Zufallsvariable Werte uter t aehme. Wir habe ( i ) Möglichkeite, die i Zufallsvariable auszuwähle. Die Wahrscheilichkeit, dass die ausgewählte Zufallsvariable allesamt kleier als t sid, ist F (t) i. 3. Die verbliebee i Zufallsvariable müsse allesamt größer als t sei. Die Wahrscheilichkeit davo ist ( F (t)) i. Idem wir u alles ausmultipliziere, erhalte wir das Ergebis: ( ) f X(i) (t) = f(t) F (t) i ( F (t)) i. i Das ist geau die erwüschte Formel, de ( ) i = ( )! =!. (i )!( i)! (i )!( i)! Zweiter Beweis. Schritt. Die Azahl der Elemete der Stichprobe, die uterhalb vo t liege, bezeiche wir mit N = # {i {,..., } : X i t} = Xi t. Dabei steht # für die Azahl der Elemete i eier Mege. Die Zufallsvariable X,..., X sid uabhägig ud idetisch verteilt mit P[X i t] = F (t). Somit ist die Zufallsvariable N biomialverteilt: N Bi(, F (t)). 8

12 Schritt. Es gilt { X (i) t } = {N i}. Daraus folgt für die Verteilugsfuktio vo X (i), dass ( ) F X(i) (t) = P[X (i) t] = P[N i] = F (t) k ( F (t)) k. k Schritt 3. Die Dichte ist die Ableitug der Verteilugsfuktio. Somit erhalte wir f X(i) (t) = F X (i) (t) ( ) {kf = (t) k f(t)( F (t)) k ( k)f (t) k ( F (t)) k f(t) } k k=i ( ) ( ) = kf (t) k f(t)( F (t)) k ( k)f (t) k ( F (t)) k f(t). k k k=i Wir schreibe u de Term mit k = i i der erste Summe getret, ud für alle adere Terme i der erste Summe führe wir de eue Summatiosidex l = k ei. Die zweite Summe lasse wir uverädert, ersetze aber de Summatiosidex k durch l: f X(i) (t) = ( i l=i k=i k=i ) if (t) i f(t)( F (t)) i ( ) + (l + )F (t) l f(t)( F (t)) l l + l=i ( ) ( l)f (t) l f(t)( F (t)) l. l Der Term mit l = i der zweite Summe ist wege des Faktors l gleich 0, somit köe wir i der zweite Summe bis summiere. Nu sehe wir, dass die beide Summe gleich sid, de ( ) (l + ) = l +! l!( l ) = ( ) ( l). l Die Summe kürze sich ud somit folgt ( ) f X(i) (t) = if (t) i f(t)( F (t)) i. i Aufgabe... Seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Dichte f ud Verteilugsfuktio F. Ma zeige, dass für alle i < j die gemeisame Dichte der Ordugsstatistike X (i) ud X (j) durch die folgede Formel gegebe ist: ( )( f X(i),X (j) (t, s) = f(t)f(s) i, j i, j ) F (t) i (F (s) F (t)) j i ( F (s)) j. Im ächste Satz bestimme wir die gemeisame Dichte aller Ordugsstatistike. 9

13 Satz..3. Seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Dichte f. Seie X ()... X () die Ordugsstatistike. Da ist die gemeisame Dichte des Zufallsvektors (X (),..., X () ) gegebe durch {! f(t )... f(t ), falls t... t, f X(),...,X () (t,..., t ) = 0, sost. Beweis. Da die Ordugsstatistike per Defiitio aufsteiged sid, ist die Dichte gleich 0, we die Bedigug t... t icht erfüllt ist. Sei u die Bedigug t... t erfüllt. Damit X () = t,..., X () = t ist, muss eie der Zufallsvariable (für dere Wahl es Möglichkeite gibt) gleich t sei, eie adere (für dere Wahl es Möglichkeite gibt) gleich t, usw. Wir habe also! Möglichkeite für die Wahl der Reihefolge der Variable. Zum Beispiel tritt für = das Ereigis {X () = t, X () = t } geau da ei, we etweder {X = t, X = t } oder {X = t, X = t } eitritt, was Möglichkeite ergibt. Da alle Möglichkeite sich ur durch Permutatioe uterscheide ud somit die gleiche Dichte besitze, betrachte wir ur eie Möglichkeit ud multipliziere da das Ergebis mit!. Die eifachste Möglichkeit ist, dass {X = t,..., X = t } eitritt. Diesem Ereigis etspricht die Dichte f(t )... f(t ), da die Zufallsvariable X,..., X uabhägig sid. Multipliziere wir u diese Dichte mit!, so erhalte wir das gewüschte Ergebis. Beispiel..4. Seie X,..., X uabhägig ud gleichverteilt auf dem Itervall [0, ]. Die Dichte vo X i ist f(t) = [0,] (t). Somit gilt für die Dichte der i-te Ordugsstatistik {( f X(i) (t) = i) i t i ( t) i, falls t [0, ], 0, sost. Diese Verteilug ist ei Spezialfall der Betaverteilug, die wir u eiführe. Defiitio..5. Eie Zufallsvariable Z heißt betaverteilt mit Parameter α, β > 0, falls { B(α,β) f Z (t) = tα ( t) β, falls t [0, ], 0, sost. Bezeichug: Z Beta(α, β). Hierbei ist B(α, β) die Eulersche Betafuktio, gegebe durch B(α, β) = 0 t α ( t) β dt. Idem wir u die Dichte vo X (i) im gleichverteilte Fall mit der Dichte der Betaverteilug vergleiche, erhalte wir, dass X (i) Beta(i, i + ). Dabei muss ma gar icht achreche, dass B(i, i+) = ( i) i ist, de i beide Fälle hadelt es sich um eie Dichte. Wäre die beide Kostate uterschiedlich, so wäre das Itegral eier der Dichte ugleich, was icht möglich ist. Aufgabe..6. Seie X,..., X uabhägig ud gleichverteilt auf dem Itervall [0, ]. Ma zeige, dass E[X (i) ] = i +. 0

14 KAPITEL 3 Empirische Verteilugsfuktio 3.. Empirische Verteilugsfuktio Seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit theoretischer Verteilugsfuktio F (t) = P[X i t]. Es sei (x,..., x ) eie Realisierug dieser Zufallsvariable. Wie köe wir die theoretische Verteilugsfuktio F ahad der Stichprobe (x,..., x ) schätze? Dafür beötige wir die empirische Verteilugsfuktio. Defiitio 3... Die empirische Verteilugsfuktio eier Stichprobe (x,..., x ) R ist defiiert durch F (t) := xi t = # {i {,..., } : x i t}, t R. Bemerkug 3... Die obe defiierte empirische Verteilugsfuktio ka wie folgt durch die Ordugsstatistike x (),..., x () ausgedrückt werde 0, falls t < x (),, falls x () t < x (), F (t) =, falls x () t < x (3),......, falls x ( ) t < x (),, falls x () t. Bemerkug Die empirische Verteilugsfuktio F hat alle Eigeschafte eier Verteilugsfuktio, de es gilt () lim t F (t) = 0 ud lim t + F (t) =. () F ist mooto ichtfalled. (3) F ist rechtsstetig. Parallel werde wir auch die folgede Defiitio beutze. Defiitio Seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable. Da ist die empirische Verteilugsfuktio gegebe durch F (t) = Xi t, t R.

15 Es sei bemerkt, dass F (t) für jedes t R eie Zufallsvariable ist. Somit ist F eie zufällige Fuktio. Auf die Eigeschafte vo F (t) gehe wir im folgede Satz ei. Satz Seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Verteilugsfuktio F. Da gilt () Die Zufallsvariable F (t) ist biomialverteilt: Das heißt: [ P F (t) = k ] = F (t) Bi(, F (t)). ( ) F (t) k ( F (t)) k, k = 0,,...,. k () Für de Erwartugswert ud die Variaz vo F (t) gilt: E[ F (t)] = F (t), Var[ F (t)] = Somit ist F (t) ei erwartugstreuer Schätzer für F (t). (3) Für alle t R gilt F (t) f.s. F (t). F (t)( F (t)). I diesem Zusammehag sagt ma, dass F (t) ei stark kosisteter Schätzer für F (t) ist. (4) Für alle t R mit F (t) 0, gilt: F (t) F (t) F (t)( F (t)) d N(0, ). I diesem Zusammehag sagt ma, dass F (t) ei asymptotisch ormalverteilter Schätzer für F (t) ist. Bemerkug Die Aussage vo Teil 4 ka ma folgedermaße verstehe: Die Verteilug des Schätzfehlers F (t) F (t) ist für große Werte vo approximativ ( ) F (t)( F (t)) N 0,. Beweis vo (). Wir betrachte Experimete. Beim i-te Experimet überprüfe wir, ob X i t. Falls X i t, sage wir, dass das i-te Experimet ei Erfolg ist. Die Experimete sid uabhägig voeiader, de die Zufallsvariable X,..., X sid uabhägig. Die Erfolgswahrscheilichkeit i jedem Experimet ist P[X i t] = F (t). Die Azahl der Erfolge i de Experimete, also die Zufallsvariable F (t) = Xi t

16 muss somit biomialverteilt mit Parameter (Azahl der Experimete) ud F (t) (Erfolgswahrscheilichkeit) sei. Beweis vo (). Wir habe i () gezeigt, dass F (t) Bi(, F (t)). Der Erwartugswert eier biomialverteilte Zufallsvariable ist die Azahl der Experimete multipliziert mit der Erfolgswahrscheilichkeit. Also gilt E[ F (t)] = F (t). Teile wir beide Seite durch, so erhalte wir E[ F (t)] = F (t). Die Variaz eier Bi(, p)-verteilte Zufallsvariable ist p( p), also Var[ F (t)] = F (t)( F (t)). Wir köe u das aus der Variaz herausziehe, allerdigs wird daraus (ach de Eigeschafte der Variaz). Idem wir u beide Seite durch teile, erhalte wir Var[ F (t)] = F (t)( F (t)). Beweis vo (3). Wir führe die Zufallsvariable Y i = Xi t ei. Diese sid uabhägig ud idetisch verteilt (da X, X,..., uabhägig ud idetisch verteilt sid) mit P[Y i = ] = P[X i t] = F (t), P[Y i = 0] = P[X i t] = F (t). Es gilt also EY i = F (t). Wir köe u das starke Gesetz der große Zahle auf die Folge Y, Y,... awede: F (t) = Xi t = f.s. Y i EY = F (t). Beweis vo (4). Mit der Notatio vo Teil (3) gilt EY i = F (t) Var Y i = F (t)( F (t)). Wir wede de zetrale Grezwertsatz auf die Folge Y, Y,... a: F (t) F (t) = Y i EY Y i EY d = N(0, ). F (t)( F (t)) Var Y Var Y 3.. Empirische Verteilug Mit Hilfe der empirische Verteilugsfuktio köe wir also die theoretische Verteilugsfuktio schätze. Nu führe wir auch die empirische Verteilug ei, mit der wir die theoretische Verteilug schätze köe. Zuerst defiiere wir, was die theoretische Verteilug ist. Defiitio 3... Sei X eie Zufallsvariable. Die theoretische Verteilug vo X ist ei Wahrscheilichkeitsmaß µ auf (R, B) mit µ(a) = P[X A] für jede Borel-Mege A R. 3

17 Der Zusammehag zwische der theoretische Verteilug µ ud der theoretische Verteilugsfuktio F eier Zufallsvariable ist dieses: F (t) = µ((, t]), t R. Wie köe wir die theoretische Verteilug ahad eier Stichprobe (x,..., x ) schätze? Defiitio 3... Die empirische Verteilug eier Stichprobe (x,..., x ) R ist ei Wahrscheilichkeitsmaß µ auf (R, B) mit µ (A) = xi A = # {i {,..., } : x i A}. Die theoretische Verteilug µ ordet jeder Mege A die Wahrscheilichkeit, dass X eie Wert i A aimmt, zu. Die empirische Verteilug ordet jeder Mege A de Ateil der Stichprobe, der i A liegt, zu. Die empirische Verteilug µ ka ma sich folgedermaße vorstelle: Sie ordet jedem der Pukte x i aus der Stichprobe das gleiche Gewicht / zu. Falls ei Wert mehrmals i der Stichprobe vorkommt, wird sei Gewicht etspreched erhöht. Dem Rest der reelle Gerade, also der Mege R\{x,..., x }, ordet µ Gewicht 0 zu. Am Beste ka ma das mit dem Begriff des Dirac-δ-Maßes beschreibe. Defiitio Sei x R eie Zahl. Das Dirac-δ-Maß δ x ist ei Wahrscheilichkeitsmaß auf (R, B) mit {, falls x A, δ x (A) = für alle Borel-Mege A R. 0, falls x / A Das Dirac-δ-Maß δ x ordet dem Pukt x das Gewicht zu. Der Mege R\{x} ordet es das Gewicht 0 zu. Die empirische Verteilug µ lässt sich u wie folgt darstelle: µ = δ xi. Zwische der empirische Verteilug µ ud der empirische Verteilugsfuktio F besteht der folgede Zusammehag: F (t) = µ ((, t]) Satz vo Gliweko Catelli Wir habe i Teil 3 vo Satz 3..5 gezeigt, dass für jedes t R die Zufallsvariable F (t) gege die Kostate F (t) fast sicher kovergiert. Ma ka auch sage, dass die empirische Verteilugsfuktio F puktweise fast sicher gege die theoretische Verteilugsfuktio F (t) kovergiert. Im ächste Satz beweise wir eie viel stärkere Aussage. Wir zeige ämlich, dass die Kovergez mit Wahrscheilichkeit sogar gleichmäßig ist. Defiitio Der Kolmogorov-Abstad zwische der empirische Verteilugsfuktio F ud der theoretische Verteilugsfuktio F wird folgedermaße defiiert: D := sup F (t) F (t). t R 4

18 Abbildug. Die schwarz dargestellte Fuktio ist die empirische Verteilugsfuktio eier Stichprobe vom Umfag = 50 aus der Stadardormalverteilug. Die blaue Kurve ist die Verteilugsfuktio der Normalverteilug. Der Satz vo Gliweko Catelli besagt, dass bei steigedem Stichprobeumfag die schwarze Kurve mit Wahrscheilichkeit gege die blaue Kurve gleichmäßig kovergiert. Satz 3.3. (vo Gliweko Catelli). Für de Kolmogorov-Abstad D gilt Mit adere Worte, es gilt D f.s. 0. [ ] P lim D = 0 =. Beispiel Da aus der fast sichere Kovergez die Kovergez i Wahrscheilichkeit folgt, gilt auch Somit gilt für alle ε > 0: D P 0. [ ] lim P sup F (t) F (t) > ε t R Also geht die Wahrscheilichkeit, dass bei der Schätzug vo F durch F ei Fehler vo mehr als ε etsteht, für gege 0. Bemerkug Für jedes t R gilt offebar 0 F (t) F (t) D. Aus dem Satz vo Gliweko Catelli ud dem Sadwich Lemma folgt u, dass für alle t R F f.s. (t) F (t) 0, was exakt der Aussage vo Satz 3..5, Teil 3 etspricht. Somit ist der Satz vo Gliweko Catelli stärker als Satz 3..5, Teil 3. 5 = 0.

19 Beweis vo Satz Wir werde de Beweis ur uter der vereifachede Aahme führe, dass die Verteilugsfuktio F stetig ist. Sei also F stetig. Sei m N beliebig. Schritt. Da F stetig ist ud vo 0 bis mooto asteigt, köe wir Zahle mit der Eigeschaft z < z <... < z m F (z ) = m,..., F (z k) = k m,..., F (z m ) = m m fide. Um die Notatio zu vereiheitliche, defiier wir och z 0 = ud z m = +, so dass F (z 0 ) = 0 ud F (z m ) =. Schritt. Wir werde u die Differez zwische F (z) ud F (z) a eier beliebige Stelle z durch die Differeze a de Stelle z k abschätze. Für jedes z R köe wir ei k mit z [z k, z k+ ) fide. Da gilt wege der Mootoie vo F ud F : F (z) F (z) F (z k+ ) F (z k ) = F (z k+ ) F (z k+ ) + m. Auf der adere Seite gilt auch F (z) F (z) F (z k ) F (z k+ ) = F (z k ) F (z k ) m. Schritt 3. Defiiere für m N ud k = 0,,..., m das Ereigis { } A m,k := ω Ω : lim F (z k ; ω) = F (z k ). Dabei sei bemerkt, dass F (z k ) eie Zufallsvariable ist, weshalb sie auch als Fuktio des Ausgags ω Ω betrachtet werde ka. Aus Satz 3..5, Teil 3 folgt, dass P[A m,k ] = für alle m N, k = 0,..., m. Schritt 4. Defiiere das Ereigis A m := m k=0 A m,k. Da ei Schitt vo edlich viele fast sichere Ereigis wiederum fast sicher ist, folgt, dass P[A m ] = für alle m N. Da u auch ei Schitt vo abzählbar viele fast sichere Ereigisse wiederum fast sicher ist, gilt auch für das Ereigis A := m=a m, dass P[A] =. Schritt 5. Betrachte u eie beliebige Ausgag ω A m. Da gibt es wege der Defiitio vo A m,k ei (ω, m) N mit der Eigeschaft F (z k ; ω) F (z k ) < m für alle > (ω, m) ud k = 0,..., m. Aus Schritt folgt, dass D (ω) = sup F (z; ω) F (z) z R m für alle ω A m ud > (ω, m). Betrachte u eie beliebige Ausgag ω A. Somit liegt ω im Ereigis A m, ud das für alle m N. Wir köe u das, was obe gezeigt wurde, auch so schreibe: Für alle m N 6

20 existiert ei (ω, m) N so dass für alle > (ω, m) die Ugleichug 0 D (ω) < gilt. m Das bedeutet aber, dass lim D (ω) = 0 für alle ω A. Da u die Wahrscheilichkeit des Ereigisses A laut Schritt 4 gleich ist, erhalte wir [{ }] P ω Ω : lim D (ω) = 0 P[A] =. Somit gilt D f.s. 0. 7

21 KAPITEL 4 Dichteschätzer Es seie X,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Dichte f ud Verteilugsfuktio F. Es sei (x,..., x ) eie Realisierug vo (X,..., X ). I diesem Kapitel beschäftige wir us mit dem folgede Problem: Ma schätze die Dichte f ahad der Stichprobe (x,..., x ). Zuächst eimal ka ma die folgede Idee ausprobiere. Wir köe die Verteilugsfuktio F durch die empirische Verteilugsfuktio F schätze. Die Dichte f ist die Ableitug der Verteilugsfuktio F. Somit köe wir versuche, die Dichte f durch die Ableitug vo F zu schätze. Diese Idee fuktioiert allerdigs icht, da die Fuktio F icht differezierbar (ud sogar icht stetig) ist. Ma muss also adere Methode beutze. 4.. Histogramm Wir wolle u das Histogramm eiführe, das als ei sehr primitiver Schätzer für die Dichte aufgefasst werde ka. Sei (x,..., x ) R eie Stichprobe. Sei c 0,..., c k eie aufsteigede Folge reeller Zahle mit der Eigeschaft, dass die komplette Stichprobe x,..., x im Itervall (c 0, c k ) liegt. Typischerweise wählt ma die Zahle c i so, dass die Abstäde zwische de aufeiaderfolgede Zahle gleich sid. I diesem Fall et ma h := c i c i die Badbreite. Abbildug. Das Histogramm eier stadardormalverteilte Stichprobe vom Umfag = Die glatte blaue Kurve ist die Dichte der Stadardormalverteilug. 8

22 Abbildug. Das Histogramm eier stadardormalverteilte Stichprobe vom Umfag 0000 mit eier schlecht gewählte Badbreite h = c i c i. Liks: Die Badbreite ist zu groß. Rechts: Die Badbreite ist zu klei. I beide Fälle zeigt die glatte blaue Kurve die Dichte der Stadardormalverteilug. Die Azahl der Stichprobevariable x j im Itervall (c i, c i ] wird mit i bezeichet, somit gilt i = xj (c i,c i ], i =,..., k. j= Teilt ma i durch de Stichprobeumfag, so führt dies zur relative Häufigkeit f i = i. Als Histogramm wird die graphische Darstellug dieser relative Häufigkeite bezeichet, siehe Abbildug. Ma kostruiert ämlich über jedem Itervall (c i, c i ] ei Rechteck mit dem Flächeihalt f i. Das Histogramm ist da die Vereiigug dieser Rechtecke. Es ist offesichtlich, dass die Summe der relative Häufigkeite ergibt, d.h. k f i =. Das bedeutet, dass der Flächeihalt uter dem Histogramm gleich ist. Außerdem gilt f i 0. Das Histogramm hat de Nachteil, dass die Wahl der c i s bzw. die Wahl der Badbreite h willkürlich ist. Ist die Badbreite zu klei oder zu groß gewählt, so kommt es zu Histogramme, die die Dichte ur schlecht approximiere, siehe Abbildug. Außerdem ist das Histogramm eie lokal kostate, icht stetige Fuktio, obwohl die Dichte f meistes weder lokal kostat och stetig ist. Im ächste Abschitt betrachte wir eie Dichteschätzer, der zumidest vo diesem zweite Nachteil frei ist. 4.. Kerdichteschätzer Wir werde u eie bessere Methode zur Schätzug der Dichte betrachte, de Kerdichteschätzer. Defiitio 4... Ei Ker ist eie messbare Fuktio K : R [0, ), so dass 9

23 () K(x) 0 für alle x R ud () K(x)dx =. R Abbildug 3. Kerdichteschätzer. Die Bediguge i der Defiitio eies Kers sid somit die gleiche, wie i der Defiitio eier Dichte. Defiitio 4... Sei (x,..., x ) R eie Stichprobe. Sei K ei Ker ud h > 0 ei Parameter, der die Badbreite heißt. Der Kerdichteschätzer ist defiiert durch ˆf (x) = ( ) x xi K, x R. h h Bemerkug Jedem Pukt x i i der Stichprobe wird i dieser Formel ei Beitrag der Form ( ) x h K xi h zugeordet. Der Kerdichteschätzer ˆf ist die Summe der eizele Beiträge. Das Itegral jedes eizele Beitrags ist gleich /, de ( ) x h K xi dx = K(y)dy = h. R Um das Itegral zu bereche, habe wir dabei die Variable y := x x i h mit dy = dx h eigeführt. Somit ist das Itegral vo ˆf gleich : R R ˆf (x)dx =. Es ist außerdem klar, dass f (x) 0 für alle x R. Somit ist ˆf tatsächlich eie Dichte. Bemerkug Die Idee hiter dem Kerdichteschätzer zeigt Abbildug 3. Auf dieser Abbildug ist der Kerdichteschätzer der Stichprobe ( 4, 3,.5, 4.5, 5.0, 5.5, 5.75, 6.5) zu sehe. Die Zahle aus der Stichprobe werde durch rote Kreise auf der x-achse dargestellt. Die gestrichelte Kurve zeige die Beiträge der eizele Pukte. I diesem Fall beutze 0

24 wir de Gauß Ker, der ute eigeführt wird. Die Summe der eizele Beiträge ist der Kerdichteschätzer ˆf, der durch die blaue Kurve dargestellt wird. I der Defiitio des Kerdichteschätzers komme zwei och zu wählede Parameter vor: Der Ker K ud die Badbreite h. Für die Wahl des Kers gibt es z.b. die folgede Möglichkeite. Beispiel Der Rechtecksker ist defiiert durch K(x) = x [,]. Der mit dem Rechtecksker assoziierte Kerdichteschätzer ist somit gegebe durch ˆf (x) = xi [x h,x+h] h ud wird auch als gleitedes Histogramm bezeichet. Ei Nachteil des Rechteckskers ist, dass er icht stetig ist. Beispiel Der Gauß-Ker ist ichts Aderes, als die Dichte der Stadardormalverteilug: K(x) = π e x /, x R. Es gilt da h K ( ) x xi h = πh exp ( (x x i) was der Dichte der Normalverteilug N(x i, h ) etspricht. Der Kerdichteschätzer ˆf ist dass das arithmetische Mittel solcher Dichte. Beispiel Der Epaechikov-Ker ist defiiert durch { 3 K(x) = ( 4 x ), falls x (, ), 0, sost. Dieser Ker verschwidet außerhalb des Itervalls (, ), hat also eie kompakte Träger. Beispiel Der Bisquare-Ker ist gegebe durch { 5 K(x) = ( 6 x ), falls x (, ), 0, sost. Dieser Ker besitzt ebefalls eie kompakte Träger ud ist glatter als der Epaechikov- Ker. Die optimale Wahl der Badbreite h ist ei ichttriviales Problem, mit dem wir us i dieser Vorlesug icht beschäftige werde. h ),

25 KAPITEL 5 Methode zur Kostruktio vo Schätzer 5.. Parametrisches Modell Sei (x,..., x ) eie Stichprobe. I der parametrische Statistik immt ma a, dass die Stichprobe (x,..., x ) eie Realisierug vo uabhägige ud idetisch verteilte Zufallsvariable (X,..., X ) mit Verteilugsfuktio F θ (x) ist. Dabei hägt die Verteilugsfuktio F θ vo eiem ubekate Wert (Parameter) θ ab. I de meiste Fälle immt ma außerdem a, dass etweder die Zufallsvariable X i für alle Werte des Parameters θ absolut stetig sid ud eie Dichte h θ besitze, oder dass sie für alle Werte vo θ diskret sid ud eie Zähldichte besitze, die ebefalls mit h θ bezeichet wird. Die Aufgabe der parametrische Statistik besteht dari, de ubekate Parameter θ ahad der bekate Stichprobe (x,..., x ) zu schätze. Die Mege aller mögliche Werte des Parameters θ wird der Parameterraum geat ud mit Θ bezeichet. I de meiste Fälle ist θ = (θ,..., θ p ) ei Vektor mit Kompoete θ,..., θ p. I diesem Fall muss der Parameterraum Θ eie Teilmege vo R p sei. Um de Parameter θ ahad der Stichprobe (x,..., x ) zu schätze, kostruiert ma eie Schätzer. Defiitio 5... Ei Schätzer ist eie Abbildug ˆθ : R Θ, (x,..., x ) ˆθ(x,..., x ). Ma muss versuche, de Schätzer so zu kostruiere, dass ˆθ(x,..., x ) de wahre Wert des Parameters θ möglichst gut approximiert. Wie das geht, werde wir im Weitere sehe. Beispiel 5... Wir betrachte ei physikalisches Experimet, bei dem eie physikalische Kostate (z.b. die Lichtgeschwidigkeit) bestimmt werde soll. Bei uabhägige Messuge der Kostate ergabe sich die Werte (x,..., x ). Normalerweise immt ma a, dass diese Stichprobe eie Realisierug vo uabhägige ud idetisch verteilte Zufallsvariable (X,..., X ) mit eier Normalverteilug ist: X,..., X N(µ, σ ). Dabei ist µ der wahre Wert der zu bestimmede Kostate ud σ die quadratische Streuug des Experimets. Beide Parameter sid ubekat. Somit besteht das Problem, de Parameter θ = (µ, σ ) aus de gegebee Date (x,..., x ) zu schätze. I diesem Beispiel ist der Parameterraum gegebe durch Θ = {(µ, σ ) : µ R, σ > 0} = R (0, ).

26 Die Dichte vo X i ist gegebe durch (siehe auch Abbildug ) h µ,σ (t) = πσ e (t µ) σ. Abbildug. Das Bild zeigt die Dichte der Normalverteiluge, die zu verschiedee Werte der Parameter µ ud σ gehöre. Die Aufgabe der parametrische Statistik ist es, zu etscheide, zu welche Parameterwerte eie gegebee Stichprobe gehört. Als Schätzer für µ ud σ köe wir z.b. de empirische Mittelwert ud die empirische Variaz verwede: ˆµ(x,..., x ) = x x = x, ˆσ (x,..., x ) = (x i x ) = s. I de ächste drei Abschitte werde wir die drei wichtigste Methode zur Kostruktio vo Schätzer betrachte: die Mometemethode, die Maximum Likelihood Methode ud die Bayes Methode. A dieser Stelle müsse wir och eie Notatio eiführe. Um im parametrische Modell die Verteilug der Zufallsvariable X,..., X eideutig festzugelege, muss ma de Wert des Parameters θ agebe. Bevor ma vo der Wahrscheilichkeit eies mit X,..., X verbudee Ereigisses spricht, muss ma also sage, welche Wert der Parameter θ aehme soll. Wir werde deshalb sehr oft die folgede Notatio verwede. Mit P θ [A] bezeiche wir die Wahrscheilichkeit eies Ereigisses A uter der Aahme, dass die Zufallsvariable X i uabhägig ud idetisch verteilt mit Verteilugsfuktio F θ (bzw. mit Dichte/ Zähldichte h θ ) sid. Dabei köe sich P θ [A] ud P θ [A] durchaus uterscheide. Aalog bezeiche wir mit E θ Z ud Var θ Z de Erwartugswert bzw. die Variaz eier Zufallsvariable Z uter der Aahme, dass die Zufallsvariable X i uabhägig ud idetisch verteilt mit Verteilugsfuktio F θ (bzw. mit Dichte/ Zähldichte h θ ) sid. Die Zufallsvariable X,..., X ka ma sich als messbare Fuktioe auf eiem Messraum (Ω, A) deke. I der Wahrscheilichkeitstheorie musste ma außerdem ei Wahrscheilichkeitsmaß P auf diesem Raum agebe. Im parametrische Modell brauche wir icht ei 3

27 Wahrscheilichkeitsmaß, soder eie durch θ parametrisierte Familie vo Wahrscheilichkeitsmaße {P θ : θ Θ} auf (Ω, A). Je achdem welche Wert der Parameter θ aimmt, köe wir eies dieser Wahrscheilichkeitsmaße verwede. 5.. Mometemethode Wie i der parametrische Statistik üblich, ehme wir a, dass die Stichprobe (x,..., x ) eie Realisierug der uabhägige ud idetisch verteilte Zufallsvariable (X,..., X ) mit Verteilugsfuktio F θ ist. Dabei ist θ = (θ,..., θ p ) R p der ubekate Parameter. Für die Mometemethode brauche wir die folgede Begriffe. Defiitio 5... Das k-te theoretische Momet (mit k N) der Zufallsvariable X i ist defiiert durch m k (θ) = E θ [X k i ]. Zum Beispiel ist m (θ) der Erwartugswert vo X i. Die theoretische Momete sid Fuktioe des Parameters θ. Defiitio 5... Das k-te empirische Momet (mit k N) der Stichprobe (x,..., x ) ist defiiert durch ˆm k = xk x k. Zum Beispiel ist ˆm der empirische Mittelwert x der Stichprobe. Die Idee der Mometemethode besteht dari, die empirische Momete de theoretische gleichzusetze. Dabei sid die empirische Momete bekat, de sie häge ur vo der Stichprobe (x,..., x ) ab. Die theoretische Momete sid higege Fuktioe des ubekate Parameters θ, bzw. Fuktioe seier Kompoete θ,..., θ p. Um p ubekate Parameter zu fide, brauche wir ormalerweise p Gleichuge. Wir betrachte also ei System aus p Gleichuge mit p Ubekate: m (θ,..., θ p ) = ˆm,..., m p (θ,..., θ p ) = ˆm p. Die Lösug dieses Gleichugssystems (falls sie existiert ud eideutig ist) et ma de Mometeschätzer ud bezeichet ih mit ˆθ ME. Dabei steht ME für Momet Estimator. Beispiel Mometemethode für de Parameter der Beroulli Verteilug Ber(θ). I diesem Beispiel betrachte wir eie ufaire Müze. Die Wahrscheilichkeit θ, dass die Müze bei eiem Wurf Kopf zeigt, sei ubekat. Um diese Parameter zu schätze, werfe wir die Müze = 00 Mal. Nehme wir a, dass die Müze dabei s = 60 Mal Kopf gezeigt hat. Das Problem besteht u dari, θ zu schätze. Wir betrachte für dieses Problem das folgede mathematische Modell. Zeigt die Müze bei Wurf i Kopf, so setze wir x i =, asoste sei x i = 0. Auf diese Weise erhalte wir eie Stichprobe (x,..., x ) {0, } mit x x = s = 60. Wir ehme a, dass (x,..., x ) eie Realisierug vo uabhägige Zufallsvariable X,..., X mit eier Beroulli Verteilug mit Parameter θ [0, ] ist, d.h. P θ [X i = ] = θ, P θ [X i = 0] = θ. 4

28 Da wir ur eie ubekate Parameter habe, brauche wir ur das erste Momet zu betrachte. Das erste theoretische Momet vo X i ist gegebe durch m (θ) = E θ X i = P θ [X i = ] + 0 P θ [X i = 0] = θ. Das erste empirische Momet ist gegebe durch ˆm = x x = s = = 0.6. Setze wir beide Momete gleich, so erhalte wir de Mometeschätzer ˆθ ME = s = 0.6. Das Ergebis ist atürlich icht überrasched. Beispiel Mometemethode für die Parameter der Normalverteilug N(µ, σ ). Sei (x,..., x ) eie Realisierug vo uabhägige ud idetisch verteilte Zufallsvariable X,..., X, die eie Normalverteilug mit ubekate Parameter (µ, σ ) habe. Als Motivatio ka etwa Beispiel 5.. diee. Wir schätze µ ud σ mit der Mometemethode. Da wir zwei Parameter habe, brauche wir zwei Gleichuge (also Momete der Orduge ud ), um diese zu fide. Zuerst bereche wir die theoretische Momete. Der Erwartugswert ud die Variaz eier N(µ, σ ) Verteilug sid gegebe durch E µ,σ X i = µ, Var µ,σ X i = σ. Daraus ergebe sich die erste zwei theoretische Momete: m (µ, σ ) = E µ,σ [X i ] = µ, m (µ, σ ) = E µ,σ [X i ] = Var µ,σ X i + (E µ,σ [X i ]) = σ + µ. Setzt ma die theoretische ud die empirische Momete gleich, so erhält ma das Gleichugssystem x x = µ, x x = σ + µ. Dieses Gleichugssystem lässt sich wie folgt ach µ ud σ auflöse: µ = x, σ = x i ( ) ( ) x i = x i x = (x i x ) = s. Dabei habe wir die Idetität x i x = (x i x ) beutzt (Übug). Somit sid die Mometeschätzer gegebe durch ˆµ ME = x, ˆσ ME = s. 5

29 Beispiel Mometemethode für de Parameter der Poisso Verteilug Poi(θ). I diesem Beispiel betrachte wir ei Portfolio aus Versicherugsverträge. Es sei x i {0,,...} die Azahl der Schäde, die der Vertrag i i eiem bestimmte Zeitraum erzeugt hat: Vertrag 3... Schäde x x x 3... x I der Versicherugsmathematik immt ma oft a, dass die kokrete Stichprobe (x,..., x ) eie Realisierug vo uabhägige ud idetisch verteilte Zufallsvariable (X,..., X ) ist, die eie Poissoverteilug mit eiem ubekate Parameter θ 0 habe. Abbildug. Zähldichte der Poissoverteiluge, die zu verschiedee Werte des Parameters θ gehöre. Wir schätze θ mit der Mometemethode. Da der Erwartugswert eier Poi(θ) Verteilug gleich θ ist, gilt m (θ) = E θ X i = θ. Das erste empirische Momet ist gegebe durch ˆm (θ) = x x = x. Nu setze wir die beide Momete gleich ud erhalte de Mometeschätzer ˆθ ME = x Maximum Likelihood Methode Die Maximum Likelihood Methode wurde vo Carl Friedrich Gauß etdeckt ud vo Roald Fisher weiteretwickelt. Die Maximum Likelihood Methode ist (wie auch die Mometemethode) ei Verfahre, um Schätzer für die ubekate Kompoete des Parametervektors θ = (θ,..., θ p ) zu gewie. Sei (x,..., x ) eie Stichprobe. Wir werde aehme, dass etweder alle Verteiluge aus der parametrische Familie {F θ : θ Θ} diskret oder alle Verteiluge absolut stetig sid. Der diskrete Fall. Seie zuerst die Zufallsvariable X i für alle Werte des Parameters θ diskret. Wir bezeiche die Zähldichte vo X i mit h θ. Da ist die Likelihood Fuktio 6

30 gegebe durch L(θ) = L(x,..., x ; θ) = P θ [X = x,..., X = x ]. Die Likelihood Fuktio hägt sowohl vo der Stichprobe, als auch vom Parameterwert θ ab, wir werde sie aber hauptsächlich als Fuktio vo θ auffasse. Wege der Uabhägigkeit vo X,..., X gilt L(x,..., x ; θ) = P θ [X = x ]... P θ [X = x ] = h θ (x )... h θ (x ). Die Likelihood Fuktio ist somit die Wahrscheilichkeit, die gegebee Stichprobe (x,..., x ) zu beobachte, wobei diese Wahrscheilichkeit als Fuktio des Parameters θ aufgefasst wird. Der absolut stetige Fall. Seie u die Zufallsvariable X i für alle Werte des Parameters θ absolut stetig. Wir bezeiche die Dichte vo X i mit h θ. I diesem Fall defiiere wir die Likelihood Fuktio wie folgt: L(θ) = L(x,..., x ; θ) = h θ (x )... h θ (x ). I beide Fälle besteht die Idee der Maximum Likelihood Methode dari, eie Wert vo θ zu fide, der die Likelihood Fuktio maximiert: L(θ) max. Der Maximum Likelihood Schätzer (oder der ML Schätzer) ist defiiert durch ˆθ ML = argmax θ Θ L(θ). Es ka passiere, dass dieses Maximierugsproblem mehrere Lösuge hat. I diesem Fall muss ma eie dieser Lösuge als Schätzer auswähle. Beispiel Maximum Likelihood Schätzer für de Parameter der Beroulli Verteilug Ber(θ). Wir betrachte wieder eie ufaire Müze, wobei die mit θ bezeichete Wahrscheilichkeit vo Kopf wiederum ubekat sei. Nach = 00 Würfe habe die Müze s = 60 Mal Kopf gezeigt. Wir werde u θ mit der Maximum Likelihood Methode schätze. Das ka ma mit zwei verschiedee Asätze mache, die aber (wie wir sehe werde) zum gleiche Ergebis führe. Erstes Modell. Das Ergebis des Experimets, bei dem die Müze Mal geworfe wird, köe wir i eier Stichprobe (x,..., x ) {0, } darstelle, wobei x i = ist, we die Müze bei Wurf i Kopf gezeigt hat, ud x i = 0 ist, we die Müze bei Wurf i Zahl gezeigt hat. Wir modelliere die Stichprobe (x,..., x ) als eie Realisierug vo uabhägige ud idetisch verteilte Zufallsvariable X,..., X, die Beroulli verteilt sid mit Parameter θ. Es hadelt sich um diskrete Zufallsvariable ud die Zähldichte ist gegebe durch θ, falls x =, h θ (x) = P θ [X i = x] = θ, falls x = 0, 0, sost. Somit gilt für die Likelihood Fuktio, dass: L(x,..., x ; θ) = P θ [X = x,..., X = x ] = h θ (x )... h θ (x ) = θ s ( θ) s, wobei s = x x = 60 ist. Wir maximiere u L(θ); siehe Abbildug 3. 7

31 Abbildug 3. Die Likelihood Fuktio L(θ) = θ 60 ( θ) 40, θ [0, ], aus Beispiel 5.3., erstes Modell. Das Maximum wird a der Stelle θ = 0.6 erreicht. Wir beötige eie Falluterscheidug. Fall. Sei s = 0. Da ist L(θ) = ( θ) ud somit gilt argmax L(θ) = 0. Fall. Sei s =. Da ist L(θ) = θ ud somit gilt argmax L(θ) =. Fall 3. Sei u s / {0, }. Wir leite die Likelihood Fuktio ach θ ab: ( d s dθ L(θ) = sθs ( θ) s ( s)θ s ( θ) s = θ s ) θ s ( θ) s. θ Die Ableitug ist gleich 0 a der Stelle θ = s. (Das würde für s = 0 ud s = icht stimme). Außerdem ist L ichtegativ ud es gilt lim L(θ) = lim L(θ) = 0. θ 0 θ Daraus folgt, dass die Stelle θ = s das globale Maximum der Fuktio L(θ) ist. Die Ergebisse der drei Fälle köe wir u wie folgt zusammefasse: Der Maximum Likelihood Schätzer ist gegebe durch ˆθ ML = s für s = 0,,...,. Somit ist i userem Beispiel ˆθ ML = 60 = Zweites Modell. I diesem Modell betrachte wir s = 60 als eie Realisierug eier biomialverteilte Zufallsvariable S mit Parameter = 00 (bekat) ud θ [0, ] (ubekat). Somit ist die Likelihood Fuktio ( ) L(s; θ) = P[S = s] = θ s ( θ) s. s Maximierug dieser Fuktio führt geauso wie im erste Modell zu dem Maximum Likelihood Schätzer ˆθ ML = s. 8

32 Beispiel Maximum Likelihood Schätzer für de Parameter der Poisso Verteilug Poi(θ). Sei (x,..., x ) N 0 eie Realisierug der uabhägige ud mit Parameter θ Poisso verteilte Zufallsvariable X,..., X. Wir schätze θ mit der Maximum Likelihood Methode. Die Zähldichte der Poissoverteilug Poi(θ) ist gegebe durch h θ (x) = e θ θx Dies führt zu folgeder Likelihood Fuktio, x = 0,,.... x! L(x,..., x ; θ) = e θ θx θx... e θ x! x! = θx+...+x e θ x!... x!. A Stelle der Likelihood Fuktio ist es i diesem Falle eifacher, die sogeate log Likelihood Fuktio zu betrachte: log L(θ) = θ + (x x ) log θ log(x!... x!). Nu wolle wir eie Wert vo θ fide, der diese Fuktio maximiert. Für x =... = x = 0 ist dieser Wert offebar θ = 0. Seie u icht alle x i gleich 0. Die Ableitug vo log L(θ) ist gegebe durch d dθ log L(θ) = + x x. θ Die Ableitug ist gleich 0 a der Stelle θ = x. (Das ist im Falle, we alle x i gleich 0 sid, falsch, de da wäre die Ableitug a der Stelle 0 gleich ). Um zu sehe, dass θ = x tatsächlich das globale Maximum der Fuktio log L(θ) ist, ka ma wie folgt vorgehe. Es gilt offebar d log L(θ) > 0 für 0 θ < x dθ ud d log L(θ) < 0 für θ > x dθ. Somit ist die Fuktio log L(θ) strikt steiged auf [0, x ) ud strikt falled auf ( x, ). Die Stelle x ist also tatsächlich das globale Maximum. Der Maximum Likelihood Schätzer ist somit ˆθ ML = x = x x. Nu betrachte wir eiige Beispiele zur Maximum Likelihood Methode im Falle der absolut stetige Verteiluge. Beispiel Maximum Likelihood Schätzer für de Edpukt der Gleichverteilug U[0, θ]. Stelle wir us vor, dass jemad i eiem Itervall [0, θ] zufällig, gleichverteilt ud uabhägig voeiader Pukte x,..., x ausgewählt ud markiert hat. Us werde u die Positioe der Pukte gezeigt, icht aber die Positio des Edpuktes θ; siehe Abbildug 4. Wir solle θ ahad der Stichprobe (x,..., x ) rekostruiere. Abbildug 4. Rote Kreise zeige eie Stichprobe vom Umfag = 7, die gleichverteilt auf eiem Itervall [0, θ] ist. Schwarze Kreise zeige die Edpukte des Itervalls. Die Positio des rechte Edpuktes soll ahad der Stichprobe geschätzt werde. 9

33 Der Parameterraum ist hier Θ = {θ > 0} = (0, ). Wir modelliere (x,..., x ) als Realisieruge vo uabhägige ud idetisch verteilte Zufallsvariable X,..., X, die gleichverteilt auf eiem Itervall [0, θ] sid. Die Zufallsvariable X i sid somit absolut stetig ud ihre Dichte ist gegebe durch h θ (x) = {, θ falls x [0, θ], 0, falls x / [0, θ]. Das führt zu folgeder Likelihood Fuktio L(x,..., x ; θ) = h θ (x )... h θ (x ) = θ x [0,θ]... x [0,θ] = θ x () θ. Dabei ist x () = max{x,..., x } die maximale Beobachtug dieser Stichprobe. Der Graph der Likelihood Fuktio ist auf Abbildug 5 zu sehe. Abbildug 5. Maximum Likelihood Schätzug des Edpuktes der Gleichverteilug. Die rote Pukte zeige die Stichprobe. Die blaue Kurve ist die Likelihood Fuktio L(θ). Die Fuktio L(θ) ist 0 solage θ < x (), ud mooto falled für θ > x (). Somit erhalte wir de Maximum Likelihood Schätzer ˆθ ML = argmax L(θ) = x (). θ>0 Der Maximum Likelihood Schätzer i diesem Beispiel ist also das Maximum der Stichprobe. Es sei bemerkt, dass dieser Schätzer de wahre Wert θ immer uterschätzt, de die maximale Beobachtug x () ist immer kleier als der wahre Wert des Parameters θ. Aufgabe Bestimme Sie de Mometeschätzer im obige Beispiel ud zeige Sie, dass er icht mit dem Maximum Likelihood Schätzer übereistimmt. Beispiel Maximum Likelihood Schätzer für die Parameter der Normalverteilug N(µ, σ ). Es sei (x,..., x ) eie Realisierug vo uabhägige ud mit Parameter µ, σ ormalverteilte Zufallsvariable X,..., X. Wir schätze µ ud σ mit der Maximum Likelihood Methode. Die Dichte vo X i ist gegebe durch h µ,σ (t) = πσ exp ( 30 ) (t µ), t R. σ

34 Dies führt zu folgeder Likelihood Fuktio: ( ) ( L(µ, σ ) = L(x,..., x ; µ, σ ) = exp πσ Die log Likelihood Fuktio sieht folgedermaße aus: log L(µ, σ ) = log(πσ ) σ ) (x i µ). σ (x i µ). Wir bestimme das Maximum dieser Fuktio. Sei zuächst σ fest. Wir betrachte die Fuktio log L(µ, σ ) als Fuktio vo µ ud bestimme das Maximum dieser Fuktio. Wir leite ach µ ab: log L(µ, σ ) = (x µ σ i µ). Die Ableitug ist gleich 0 a der Stelle µ = x. Für µ < x ist die Ableitug positiv (ud somit die Fuktio steiged), für µ > x ist die Ableitug egativ (ud somit die Fuktio falled). Also wird bei festem σ a der Stelle µ = x das globale Maximum erreicht. Nu mache wir auch s := σ variabel. Wir betrachte die Fuktio log L( x, s) = log(πs) (x i x ). s Falls alle x i gleich sid, wird das Maximum a der Stelle s = 0 erreicht. Es seie u icht alle x i gleich. Wir leite ach s ab: log L( x, s) = s s + (x s i x ). Die Ableitug ist gleich 0 a der Stelle s = (x i x ) = s =: s. (Würde alle x i gleich sei, so würde das icht stimme, de a der Stelle 0 existiert die Ableitug icht). Für s < s ist die Ableitug positiv (ud die Fuktio somit steiged), für s > s ist die Ableitug egativ (ud die Fuktio somit falled). Somit wird a der Stelle s = s das globale Maximum der Fuktio erreicht. Wir erhalte somit die folgede Maximum Likelihood Schätzer: ˆµ ML = x, ˆσ ML = (x i x ). Im ächste Beispiel betrachte wir die sogeate Rückfagmethode (Eglisch: capturerecapture method) zur Bestimmug der Größe eier Populatio. Beispiel I eiem Teich befide sich Fische, wobei (die Populatiosgröße) ubekat sei. Um die Populatiosgröße zu schätze, ka ma wie folgt vorgehe. Im erste Schritt ( capture ) werde aus dem Teich (eie bekate Zahl) Fische gefage ud markiert. Daach werde die Fische wieder i de Teich zurückgeworfe. Im zweite Schritt 3