Erläuterung Beispiel III

Transkript

1 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Maximum-Likelihood-Methode ML-Methode Weitere geläufige Schätzmethode: Maximum-Likelihood-Methode Vor Erläuterug der Methode: eileitedes Beispiel Beispiel: ML-Methode durch Ituitio? Ei fairer Würfel sei auf eier ubekate Azahl r 0,, 2, 3, 4, 5, } vo Seite rot lackiert, auf de übrige Seite adersfarbig. Der Würfel wird 00-mal geworfe ud es wird festgestellt, wie oft eie rote Seite obe zu sehe war. Ageomme, es war 34-mal eie rote Seite zu sehe; wie würde Sie die Azahl der rot lackierte Seite auf dem Würfel schätze? Ageomme, es war 99-mal eie rote Seite zu sehe; wie würde Sie u die Azahl der rot lackierte Seite auf dem Würfel schätze? Welche Überleguge habe Sie isbesodere zu dem zweite Schätzwert geführt? 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Erläuterug Beispiel I Bei der Bearbeitug des obige Beispiels wedet ma zumidest im 2. Fall vermutlich ituitiv die Maximum-Likelihood-Methode a Prizipielle Idee der Maximum-Likelihood-Methode: Wähle dejeige der mögliche Parameter als Schätzug aus, bei dem die beobachtete Stichproberealisatio am plausibelste ist Im Beispiel iteressiert die ubekate Azahl der rote Seite. Ketis der Azahl der rote Seite ist Würfel ist fair gleichbedeuted mit der Ketis der Wahrscheilichkeit, dass eie rote Seite obe liegt; offesichtlich ist diese Wahrscheilichkeit ämlich r, we r 0,..., } die Azahl der rote Seite bezeichet. Iteressiereder Umweltausschitt ka also durch die Zufallsvariable Y beschriebe werde, die de Wert aimmt, falls bei eiem Würfelwurf eie rote Seite obe liegt, 0 sost. Y ist da offesichtlich B, p-verteilt mit ubekatem Parameter p 0,, 2, 3, 4, 5, }, die 2. Grudaahme ist also erfüllt mit W B, p p 0,, 2, 3, 4, 5 }},. Schließede Statistik WS 205/ Folie 33 Schließede Statistik WS 205/ Folie 34 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Erläuterug Beispiel II 00-maliges Werfe des Würfels ud jeweiliges Notiere eier, falls eie rote Seite obe liegt, eier 0 sost, führt offesichtlich zu eier Realisatio x,..., x eier eifache Stichprobe X,..., X vom Umfag 00 zu Y, de X,..., X sid als Resultat wiederholter Würfelwürfe offesichtlich uabhägig idetisch verteilt wie Y. Wiederum vgl. Taschegeldbeispiel ist es aber ützlich, sich scho vorher Gedake über die Verteilug der Azahl der isgesamt geworfee Würfe mit obeliegeder rote Seite zu mache Aus Verastaltug Deskriptive Statistik ud Wahrscheilichkeitsrechug bekat: Für die Zufallsvariable Z, die die Azahl der rote Seite bei 00-maligem Werfe beschreibt, also für 00 Z X i X X 00, gilt Z B00, p, falls Y B, p. Ziel: Aus Stichprobe X,..., X 00 bzw. der Realisatio x,..., x 00 über die Stichprobefuktio Z bzw. dere Realisatio z x x 00 auf ubekate Parameter p ud damit die Azahl der rote Seite r schließe. Schließede Statistik WS 205/ Folie 35 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Erläuterug Beispiel III Im Beispiel: Umsetzug der ML-Methode besoders eifach, da Mege W der mögliche Verteiluge aus Verteilugsaahme edlich. Plausibilität eier Stichproberealisatio ka hier direkt ahad der Eitrittswahrscheilichkeit der Realisatio gemesse ud für alle mögliche Parameter p bestimmt werde. Wahrscheilichkeit abhägig vo p, dass Z Wert z aimmt: 00 PZ z p} p z p 00 z z Für die erste Realisatio z 34 vo Z: r p 0 PZ 34 p} Für die zweite Realisatio z 99 vo Z: r p 0 PZ 99 p} Schließede Statistik WS 205/ Folie 3

2 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Bemerkuge zum Beispiel Die agegebee Wahrscheilichkeite für Z fasse jeweils mehrere mögliche Stichproberealisatioe zusamme da für de Wert vo Z irrelevat ist, welche der Stichprobezufallsvariable X i de Wert 0 bzw. ageomme habe, für die ML-Schätzug ist aber eigetlich die Wahrscheilichkeit eier eizele Stichproberealisatio maßgeblich. Die Wahrscheilichkeit eier eizele Stichproberealisatio erhält ma, idem der Faktor 00 z etfert wird; dieser ist jedoch i jeder der beide Tabelle kostat ud beeiflusst daher die Bestimmug des Maximums icht. Eher utypisch am Beispiel aber umso geeigeter zur Erklärug der Methode ist die Tatsache, dass W eie edliche Mege vo Verteiluge ist. I der Praxis wird ma i der Regel uedlich viele Möglichkeite für die Wahl des Parameters habe, z.b. bei Alterativverteiluge p [0, ]. Dies ädert zwar ichts am Prizip der Schätzug, wohl aber a de zur Bestimmug der maximale Plausibilität ötige mathematische Techike. Dass die Plausibilität hier geauer eier Wahrscheilichkeit etspricht, hägt a der diskrete Verteilug vo Y. Ist Y eie stetige Zufallsvariable, überehme Dichtefuktioswerte die Messug der Plausibilität. Schließede Statistik WS 205/ Folie 37 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Maximum-Likelihood-Methode im Detail Schritte zur ML-Schätzug Die Durchführug eier ML-Schätzug besteht aus folgede Schritte: Aufstellug der sog. Likelihood-Fuktio Lθ, die i Abhägigkeit des ubekate Parametervektors θ die Plausibilität der beobachtete Stichproberealisatio misst. 2 Suche des eies Parameters bzw. Parametervektors θ, der de zu der beobachtete Stichproberealisatio maximal mögliche Wert der Likelihoodfuktio liefert. Es ist also jeder Parametervektor θ ei ML-Schätzer, für de gilt: L θ max θ Θ Lθ Je ach Awedugssituatio uterscheidet sich die Vorgehesweise i beide Schritte erheblich. Wir setze bei der Durchführug vo ML-Schätzuge stets voraus, dass eie eifache Zufalls-Stichprobe vorliegt Schließede Statistik WS 205/ Folie 38 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2. Schritt: Aufstelle der Likelihoodfuktio Plausibilität oder Likelihood der Stichproberealisatio wird gemesse mit Hilfe der Wahrscheilichkeit, die Stichproberealisatio x,..., x zu erhalte, d.h. dem Wahrscheilichkeitsfuktioswert Lθ : p X,...,X x,..., x θ, falls Y diskrete Zufallsvariable ist, mit Hilfe der gemeisame Dichtefuktio ausgewertet a der Stichproberealisatio x,..., x, Lθ : f X,...,X x,..., x θ, falls Y stetige Zufallsvariable ist. Bei Vorliege eier eifache Stichprobe lässt sich die Likelihoodfuktio für diskrete Zufallsvariable Y immer darstelle als Lθ p X,...,X x,..., x θ X i uabhägig p Xi θ X i verteilt wie Y p Y θ. Schließede Statistik WS 205/ Folie 39 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Aalog erhält ma bei Vorliege eier eifache Stichprobe für stetige Zufallsvariable Y immer die Darstellug Lθ f X,...,X x,..., x θ X i uabhägig f Xi θ X i für die Likelihoodfuktio. verteilt wie Y f Y θ. Ist der Parameterraum Θ edlich, ka im Prizip Lθ für alle θ Θ berechet werde ud eies der θ als ML-Schätzwert θ gewählt werde, für das Lθ maximal war. Für diese eifache Situatio wird Schritt 2 icht weiter kokretisiert. Ist der Parameterraum Θ ei Kotiuum z.b. ei Itervall i R K, müsse für de 2. Schritt i.d.r. Maximierugsverfahre aus der Aalysis agewedet werde. Schließede Statistik WS 205/ Folie 40

3 3 Parameterpuktschätzer Maximum-Likelihood-Methode Schritt: Maximiere der Likelihoodfuktio falls Θ ei Itervall i R K ist Wichtige Eigeschaft des Maximierugsproblems aus Schritt 2: Wichtig ist icht der Wert des Maximums L θ der Likelihoodfuktio, soder die Stelle θ, a der dieser Wert ageomme wird Aus Grüde zum Teil gaz erheblich vereifachter Berechug: Bilde der logarithmierte Likelihoodfuktio Log-Likelihoodfuktio l Lθ. Maximiere der Log-Likelihoodfuktio l Lθ statt Maximierug der Likelihoodfuktio. Diese Äderug des Verfahres ädert ichts a de Ergebisse, de l : R++ R ist eie streg mooto wachsede Abbildug, es geügt, die Likelihoodfuktio i de Bereiche zu utersuche, i dee sie positive Werte aimmt, da ur dort das Maximum ageomme werde ka. Dort ist auch die log-likelihoodfuktio defiiert. Schließede Statistik WS 205/ Folie 4 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Maximierug vo l Lθ ka oft aber icht immer auf die aus der Mathematik bekate Art ud Weise erfolge: Bilde der erste Ableitug l L der log-likelihoodfuktio. θ Bei mehrdimesioale Parametervektore: Bilde der partielle Ableituge l L,..., l L θ θ K der log-likelihoodfuktio. 2 Nullsetze der erste Ableitug, um Kadidate für Maximumsstelle vo l Lθ zu fide: l L 0 θ θ Bei mehrdimesioale Parametervektore: Löse des Gleichugssystems l L θ 0,..., l L θ K 0 um Kadidate θ für Maximumsstelle vo l Lθ zu fide. 3 Überprüfug ahad des Vorzeiches der 2. Ableitug 2 l L bzw. der θ 2 Defiitheit der Hessematrix, ob tatsächlich eie Maximumsstelle vorliegt: 2 l L θ 2 θ? < 0 Schließede Statistik WS 205/ Folie 42 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Auf die Überprüfug der 2. Ableitug bzw. der Hessematrix verzichte wir häufig, um icht durch mathematische Schwierigkeite vo de statistische abzuleke. Durch de Übergag vo der Likelihoodfuktio zur log-likelihoodfuktio erhält ma gegeüber de Darstelluge aus Folie 39 ud 40 im diskrete Fall u l Lθ l p Y θ l p Y θ ud im stetige Fall l Lθ l f Y θ l f Y θ. Die wesetliche Vereifachug beim Übergag zur log-likelihoodfuktio ergibt sich meist dadurch, dass die Summe i de obige Darstelluge deutlich leichter abzuleite sid als die Produkte i de Darstelluge der Likelihoodfuktio auf Folie 39 ud Folie 40. Falls Stadardverfahre keie Maximumsstelle liefert Gehir eischalte Schließede Statistik WS 205/ Folie 43 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Beispiel: ML-Schätzug für Expoetialverteilug Erierug: f Y y λ λe λy für y > 0, λ > 0 Aufstelle der Likelihoodfuktio im Fall > 0 für alle i: Lλ f Y λ λe λ 2 Aufstelle der log-likelihoodfuktio im Fall > 0 für alle i: l Lλ l λe λx i l λ + λ l λ λ 3 Ableite ud Nullsetze der log-likelihoodfuktio: liefert l L λ λ λ 0 x als ML-Schätzer 2. Ableitug 2 l L λ 2 x λ 2 < 0. Schließede Statistik WS 205/ Folie 44

4 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Bemerkuge Häufiger wird die Abhägigkeit der Likelihoodfuktio vo der Stichproberealisatio auch durch Schreibweise der Art Lθ; x,..., x oder Lx,..., x θ ausgedrückt. Vorsicht gebote, falls Bereich positiver Dichte bzw. der Träger der Verteilug vo Y vo Parameter abhägt Im Beispiel: Bereich positiver Dichte R ++ uabhägig vom Verteilugsparameter λ, Maximierugsproblem uter Verachlässigug des Falls midestes ei kleier oder gleich 0 betrachtet, da dieser Fall für keie der mögliche Parameter mit positiver Wahrscheilichkeit eitritt. Dieses Verachlässige ist icht immer uschädlich Bei diskrete Zufallsvariable mit weig verschiedee Auspräguge oft Agabe der absolute Häufigkeite für die eizele Auspräguge i der Stichprobe statt Agabe der Stichproberealisatio x,..., x selbst. Beispiel: Bei Stichprobe vom Umfag 25 zu alterativverteilter Zufallsvariable Y häufiger Agabe vo 8 Erfolge i der Stichprobe der Läge 25 als Agabe der Stichproberealisatio 0,,,,,,,, 0,,,,,, 0,, 0,, 0,, 0,, 0,,. Schließede Statistik WS 205/ Folie 45 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Beispiel: ML-Schätzug für Alterativverteiluge I Verteilugsaahme: Y B, p für p Θ [0, ] mit } p falls y p Y y p p y p y für y 0, }. p falls y 0 Aufstelle der Likelihoodfuktio: Lp p Y p p p p p bzw. we : die Azahl der Eise Erfolge i der Stichprobe agibt Lp p p 2 Aufstelle der log-likelihoodfuktio: l Lp lp + l p Schließede Statistik WS 205/ Folie 4 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Beispiel: ML-Schätzug für Alterativverteiluge II 3 Ableite ud Nullsetze der log-likelihoodfuktio: l L p p p p p p p 0 Die 2. Ableitug 2 l L p 2 p 2 p ist egativ für 0 < p <, der Ateil 2 der Erfolge i der Stichprobe p / ist also der ML-Schätzer. Bemerkug: Die Bestimmug des ML-Schätzers p ist so ur zulässig, we 0 < p < gilt sost Multiplikatio eier Gleichug mit 0. Allerdigs gilt für p 0 offesichtlich stets 0, damit ist p 0 für p 0 ebefalls der ML-Schätzer, de für 0 ist Lp p maximal für p 0; für p offesichtlich stets, damit ist p für p ebefalls der ML-Schätzer, de für ist Lp p maximal für p. p ist ML-Schätzer für Verteilugsaahme Y B, p, p [0, ]. Schließede Statistik WS 205/ Folie 47 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Beispiel: ML-Schätzug für Poissoverteiluge I Verteilugsaahme: Y Poisλ für λ Θ R ++ mit für k N 0. Aufstelle der Likelihoodfuktio: falls alle N 0 Lλ p Y k λ λk k e λ p Y λ λ e λ 2 Aufstelle der log-likelihoodfuktio: l Lλ lλ l λ lλ l λ Schließede Statistik WS 205/ Folie 48

5 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Beispiel: ML-Schätzug für Poissoverteiluge II 3 Ableite ud Nullsetze der log-likelihoodfuktio: l L 0 λ λ mit 2 l L λ 2 λ. λ 2 λ x < 0 für alle λ > 0, λ st also der ML-Schätzer für Aus Wahrscheilichkeitsrechug bekat: Y Poisλ EY λ, also ergibt sich hier auch für de Schätzer ach der Mometemethode offesichtlich λ X. Wird ählich zur Azahl der Erfolge i eier Stichprobe zu eier alterativverteilte Grudgesamtheit statt der explizite Stichproberealisatio x,..., x eie Häufigkeitsverteilug der i der Stichprobe aufgetretee Werte agegebe, ka x mit der aus der deskriptive Statistik bekate Formel ausgerechet werde. Schließede Statistik WS 205/ Folie 49 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Beispiel: ML-Schätzug bei diskreter Gleichverteilug Verteilugsaahme: für ei ubekates M N immt Y die Werte,..., M} mit der gleiche Wahrscheilichkeit vo jeweils /M a, d.h.: p Y k M M falls k,..., M} 0 falls k /,..., M} Aufstelle der Likelihoodfuktio: M falls x LM p Y M i,..., M} für alle i 0 falls /,..., M} für midestes ei i M falls maxx,..., x } M 0 falls maxx,..., x } > M gegebe N für alle i 2 Maximiere der Likelihoodfuktio: Offesichtlich ist LM für maxx,..., x } M streg mooto falled i M, M muss also uter Eihaltug der Bedigug maxx,..., x } M möglichst klei gewählt werde. Damit erhält ma de ML-Schätzer als M maxx,..., x }. Schließede Statistik WS 205/ Folie 50 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Beurteilug vo Schätzfuktioe Bisher: Zwei Methode zur Kostruktio vo Schätzfuktioe bekat. Problem: Lösug: Wie ka Güte/Qualität dieser Methode bzw. der resultierede Schätzfuktioe beurteilt werde? Zu gegebeer Schätzfuktio θ für θ: Utersuchug des zufällige Schätzfehlers θ θ bzw. desse Verteilug Naheliegede Forderug für gute Schätzfuktioe: Verteilug des Schätzfehler sollte möglichst dicht um 0 kozetriert sei d.h. Verteilug vo θ sollte möglichst dicht um θ kozetriert sei Aber: Was bedeutet das? Wie vergleicht ma zwei Schätzfuktioe θ ud θ? Wa ist Schätzfuktio θ besser als θ ud was bedeutet besser? Was ist zu beachte, we Verteilug des Schätzfehlers och vom zu schätzede Parameter abhägt? Schließede Statistik WS 205/ Folie 5 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Bias, Erwartugstreue Eie offesichtlich gute Eigeschaft vo Schätzfuktioe ist, we der zu schätzede wahre Parameter zumidest im Mittel getroffe wird, d.h. der erwartete Schätzfehler gleich Null ist: Defiitio 3.4 Bias, Erwartugstreue Seie W eie parametrische Verteilugsaahme mit Parameterraum Θ, θ eie Schätzfuktio für θ. Da heißt der erwartete Schätzfehler die Verzerrug oder der Bias vo θ, Bias θ : E θ θ E θ θ 2 die Schätzfuktio θ erwartugstreu für θ oder auch uverzerrt für θ, falls Bias θ 0 bzw. E θ θ für alle θ Θ gilt. 3 Ist allgemeier g : Θ R eie messbare Abbildug, so betrachtet ma auch Schätzfuktioe ĝθ für gθ ud et diese erwartugstreu für gθ, we Eĝθ gθ 0 für alle θ Θ gilt. Schließede Statistik WS 205/ Folie 52

6 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Bemerkuge Obwohl Defiitio 3.4 auch für mehrdimesioale Parameterräume Θ geeiget ist 0 etspricht da ggf. dem Nullvektor, betrachte wir zur Vereifachug im Folgede meist ur och eidimesioale Parameterräume Θ R. Ist beispielsweise W als Verteilugsaahme für Y die Mege aller Alterativverteiluge B, p mit Parameter p Θ [0, ], so ist der ML-Schätzer p X X i bei Vorliege eier Zufallsstichprobe X,..., X zu Y erwartugstreu für p, de es gilt: E p E X i E liear F Xi F Y EX i EY p p für alle p [0, ] 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Allgemeier gilt, dass X bei Vorliege eier Zufallsstichprobe stets erwartugstreu für EY ist, de es gilt aalog zu obe: E liear EX E X i EX i F Xi F Y EY EY EY Geauso ist klar, dass ma für beliebiges k mit dem k-te empirische Momet X k bei Vorliege eier Zufallsstichprobe stets erwartugstreue Schätzer für das k-te theoretische Momet EY k erhält, de es gilt: EX k E X k i EX k i EY k EY k Schließede Statistik WS 205/ Folie 53 Schließede Statistik WS 205/ Folie 54 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Der ach der Methode der Momete erhaltee Schätzer σ 2 X 2 X 2 Verschiebugssatz X i X 2 für de Parameter σ 2 eier ormalverteilte Zufallsvariable ist icht erwartugstreu für σ 2. Bezeichet σ 2 : VarY ämlich die ubekate Variaz der Zufallsvariable Y, so ka gezeigt werde, dass für σ 2 geerell E σ 2 σ2 gilt. Eie erwartugstreue Schätzer für σ 2 erhält ma folglich mit der sogeate Stichprobevariaz S 2 X i X 2 σ 2, de es gilt offesichtlich ES 2 E σ 2 σ2 E σ 2 σ 2. Schließede Statistik WS 205/ Folie 55 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Vergleich vo Schätzfuktioe Beim Vergleich vo Schätzfuktioe: oft Beschräkug auf erwartugstreue Schätzfuktioe I der Regel: viele erwartugstreue Schätzfuktioe dekbar. Für die Schätzug vo µ : EY beispielsweise alle gewichtete Mittel µ w,...,w : w i X i mit der Eigeschaft w i erwartugstreu für µ, de es gilt da offesichtlich E µ w,...,w E w i X i w i EX i EY w i EY µ. Problem: Welche Schätzfuktio ist die beste? Übliche Auswahl bei Beschräkug auf erwartugstreue Schätzfuktioe: Schätzfuktioe mit gerigerer Streuug Variaz bevorzuge. Schließede Statistik WS 205/ Folie 5