Maximum-Likelihood-Methode (ML-Methode)

Transkript

1 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Maximum-Likelihood-Methode (ML-Methode Weitere geläufige Schätzmethode: Maximum-Likelihood-Methode Vor Erläuterug der Methode: eileitedes Beispiel Beispiel: ML-Methode durch Ituitio (? Ei fairer Würfel sei auf eier ubekate Azahl r {0,, 2, 3, 4, 5, } vo Seite rot lackiert, auf de übrige Seite adersfarbig. Der Würfel wird 00-mal geworfe ud es wird festgestellt, wie oft eie rote Seite (obe zu sehe war. Ageomme, es war 34-mal eie rote Seite zu sehe; wie würde Sie die Azahl der rot lackierte Seite auf dem Würfel schätze? Ageomme, es war 99-mal eie rote Seite zu sehe; wie würde Sie u die Azahl der rot lackierte Seite auf dem Würfel schätze? Welche Überleguge habe Sie isbesodere zu dem zweite Schätzwert geführt? Schließede Statistik (WS 205/ Folie 33 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Erläuterug Beispiel I Bei der Bearbeitug des obige Beispiels wedet ma (zumidest im 2. Fall vermutlich ituitiv die Maximum-Likelihood-Methode a! Prizipielle Idee der Maximum-Likelihood-Methode: Wähle dejeige der mögliche Parameter als Schätzug aus, bei dem die beobachtete Stichproberealisatio am plausibelste ist! Im Beispiel iteressiert die (ubekate Azahl der rote Seite. Ketis der Azahl der rote Seite ist (Würfel ist fair! gleichbedeuted mit der Ketis der Wahrscheilichkeit, dass eie rote Seite obe liegt; offesichtlich ist diese Wahrscheilichkeit ämlich r, we r {0,..., } die Azahl der rote Seite bezeichet. Iteressiereder Umweltausschitt ka also durch die Zufallsvariable Y beschriebe werde, die de Wert aimmt, falls bei eiem Würfelwurf eie rote Seite obe liegt, 0 sost. Y ist da offesichtlich B(, p-verteilt mit ubekatem Parameter p {0,, 2, 3, 4, 5, }, die 2. Grudaahme ist also erfüllt mit { W B(, p p {0,, 2, 3, 4, 5 }},. Schließede Statistik (WS 205/ Folie 34

2 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Erläuterug Beispiel II 00-maliges Werfe des Würfels ud jeweiliges Notiere eier, falls eie rote Seite obe liegt, eier 0 sost, führt offesichtlich zu eier Realisatio x,..., x eier eifache Stichprobe X,..., X vom Umfag 00 zu Y, de X,..., X sid als Resultat wiederholter Würfelwürfe offesichtlich uabhägig idetisch verteilt wie Y. Wiederum (vgl. Taschegeldbeispiel ist es aber ützlich, sich scho vorher Gedake über die Verteilug der Azahl der (isgesamt geworfee Würfe mit obeliegeder rote Seite zu mache! Aus Verastaltug Deskriptive Statistik ud Wahrscheilichkeitsrechug bekat: Für die Zufallsvariable Z, die die Azahl der rote Seite bei 00-maligem Werfe beschreibt, also für 00 Z X i X X 00, gilt Z B(00, p, falls Y B(, p. Ziel: Aus Stichprobe X,..., X 00 bzw. der Realisatio x,..., x 00 (über die Stichprobefuktio Z bzw. dere Realisatio z x x 00 auf ubekate Parameter p ud damit die Azahl der rote Seite r schließe. Schließede Statistik (WS 205/ Folie 35 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Erläuterug Beispiel III Im Beispiel: Umsetzug der ML-Methode besoders eifach, da Mege W der mögliche Verteiluge (aus Verteilugsaahme edlich. Plausibilität eier Stichproberealisatio ka hier direkt ahad der Eitrittswahrscheilichkeit der Realisatio gemesse ud für alle mögliche Parameter p bestimmt werde. Wahrscheilichkeit (abhägig vo p, dass Z Wert z aimmt: ( 00 P{Z z p} p z ( p 00 z z Für die erste Realisatio z 34 vo Z: r p 0 P{Z 34 p} Für die zweite Realisatio z 99 vo Z: r p 0 P{Z 99 p} Schließede Statistik (WS 205/ Folie 3

3 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Bemerkuge zum Beispiel Die agegebee Wahrscheilichkeite für Z fasse jeweils mehrere mögliche Stichproberealisatioe zusamme (da für de Wert vo Z irrelevat ist, welche der Stichprobezufallsvariable X i de Wert 0 bzw. ageomme habe, für die ML-Schätzug ist aber eigetlich die Wahrscheilichkeit eier eizele Stichproberealisatio maßgeblich. Die Wahrscheilichkeit eier eizele Stichproberealisatio erhält ma, idem der Faktor ( 00 z etfert wird; dieser ist jedoch i jeder der beide Tabelle kostat ud beeiflusst daher die Bestimmug des Maximums icht. Eher utypisch am Beispiel (aber umso geeigeter zur Erklärug der Methode! ist die Tatsache, dass W eie edliche Mege vo Verteiluge ist. I der Praxis wird ma i der Regel uedlich viele Möglichkeite für die Wahl des Parameters habe, z.b. bei Alterativverteiluge p [0, ]. Dies ädert zwar ichts am Prizip der Schätzug, wohl aber a de zur Bestimmug der maximale Plausibilität ötige (mathematische Techike. Dass die Plausibilität hier geauer eier Wahrscheilichkeit etspricht, hägt a der diskrete Verteilug vo Y. Ist Y eie stetige Zufallsvariable, überehme Dichtefuktioswerte die Messug der Plausibilität. Schließede Statistik (WS 205/ Folie 37 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Maximum-Likelihood-Methode (im Detail Schritte zur ML-Schätzug Die Durchführug eier ML-Schätzug besteht aus folgede Schritte: Aufstellug der sog. Likelihood-Fuktio L(θ, die i Abhägigkeit des (ubekate Parametervektors θ die Plausibilität der beobachtete Stichproberealisatio misst. 2 Suche des (eies Parameters bzw. Parametervektors θ, der de (zu der beobachtete Stichproberealisatio maximal mögliche Wert der Likelihoodfuktio liefert. Es ist also jeder Parameter(vektor θ ei ML-Schätzer, für de gilt: L( θ max θ Θ L(θ Je ach Awedugssituatio uterscheidet sich die Vorgehesweise i beide Schritte erheblich. Wir setze bei der Durchführug vo ML-Schätzuge stets voraus, dass eie eifache (Zufalls-Stichprobe vorliegt! Schließede Statistik (WS 205/ Folie 38

4 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2. Schritt: Aufstelle der Likelihoodfuktio Plausibilität oder Likelihood der Stichproberealisatio wird gemesse mit Hilfe der Wahrscheilichkeit, die Stichproberealisatio (x,..., x zu erhalte, d.h. dem Wahrscheilichkeitsfuktioswert L(θ : p X,...,X (x,..., x θ, falls Y diskrete Zufallsvariable ist, mit Hilfe der gemeisame Dichtefuktio ausgewertet a der Stichproberealisatio (x,..., x, L(θ : f X,...,X (x,..., x θ, falls Y stetige Zufallsvariable ist. Bei Vorliege eier eifache Stichprobe lässt sich die Likelihoodfuktio für diskrete Zufallsvariable Y immer darstelle als L(θ p X,...,X (x,..., x θ X i uabhägig p Xi (x i θ X i verteilt wie Y p Y (x i θ. Schließede Statistik (WS 205/ Folie 39 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Aalog erhält ma bei Vorliege eier eifache Stichprobe für stetige Zufallsvariable Y immer die Darstellug L(θ f X,...,X (x,..., x θ X i uabhägig f Xi (x i θ X i für die Likelihoodfuktio. verteilt wie Y f Y (x i θ. Ist der Parameterraum Θ edlich, ka im Prizip L(θ für alle θ Θ berechet werde ud eies der θ als ML-Schätzwert θ gewählt werde, für das L(θ maximal war. Für diese (eifache Situatio wird Schritt 2 icht weiter kokretisiert. Ist der Parameterraum Θ ei Kotiuum (z.b. ei Itervall i R K, müsse für de 2. Schritt i.d.r. Maximierugsverfahre aus der Aalysis agewedet werde. Schließede Statistik (WS 205/ Folie 40

5 3 Parameterpuktschätzer Maximum-Likelihood-Methode Schritt: Maximiere der Likelihoodfuktio (falls Θ ei Itervall i R K ist Wichtige Eigeschaft des Maximierugsproblems aus Schritt 2: Wichtig ist icht der Wert des Maximums L( θ der Likelihoodfuktio, soder die Stelle θ, a der dieser Wert ageomme wird! Aus Grüde (zum Teil gaz erheblich vereifachter Berechug: Bilde der logarithmierte Likelihoodfuktio (Log-Likelihoodfuktio l L(θ. Maximiere der Log-Likelihoodfuktio l L(θ statt Maximierug der Likelihoodfuktio. Diese Äderug des Verfahres ädert ichts a de Ergebisse, de l : R++ R ist eie streg mooto wachsede Abbildug, es geügt, die Likelihoodfuktio i de Bereiche zu utersuche, i dee sie positive Werte aimmt, da ur dort das Maximum ageomme werde ka. Dort ist auch die log-likelihoodfuktio defiiert. Schließede Statistik (WS 205/ Folie 4 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Maximierug vo l L(θ ka oft (aber icht immer! auf die aus der Mathematik bekate Art ud Weise erfolge: Bilde der erste Ableitug l L der log-likelihoodfuktio. θ (Bei mehrdimesioale Parametervektore: Bilde der partielle Ableituge der log-likelihoodfuktio. l L,..., l L θ θ K 2 Nullsetze der erste Ableitug, um Kadidate für Maximumsstelle vo l L(θ zu fide: l L! 0 θ θ (Bei mehrdimesioale Parametervektore: Löse des Gleichugssystems l L θ! 0,..., l L θ K! 0 um Kadidate θ für Maximumsstelle vo l L(θ zu fide. 3 Überprüfug ahad des Vorzeiches der 2. Ableitug 2 l L (bzw. der ( θ 2 Defiitheit der Hessematrix, ob tatsächlich eie Maximumsstelle vorliegt: 2 l L ( θ 2 ( θ? < 0 Schließede Statistik (WS 205/ Folie 42

6 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Auf die Überprüfug der 2. Ableitug bzw. der Hessematrix verzichte wir häufig, um icht durch mathematische Schwierigkeite vo de statistische abzuleke. Durch de Übergag vo der Likelihoodfuktio zur log-likelihoodfuktio erhält ma gegeüber de Darstelluge aus Folie 39 ud 40 im diskrete Fall u ( l L(θ l p Y (x i θ l (p Y (x i θ ud im stetige Fall ( l L(θ l f Y (x i θ l (f Y (x i θ. Die wesetliche Vereifachug beim Übergag zur log-likelihoodfuktio ergibt sich meist dadurch, dass die Summe i de obige Darstelluge deutlich leichter abzuleite sid als die Produkte i de Darstelluge der Likelihoodfuktio auf Folie 39 ud Folie 40. Falls Stadardverfahre keie Maximumsstelle liefert Gehir eischalte Schließede Statistik (WS 205/ Folie 43 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Beispiel: ML-Schätzug für Expoetialverteilug Erierug: f Y (y λ λe λy für y > 0, λ > 0 Aufstelle der Likelihoodfuktio (im Fall x i > 0 für alle i: L(λ f Y (x i λ ( λe λx i 2 Aufstelle der log-likelihoodfuktio (im Fall x i > 0 für alle i: l L(λ l ( λe λx i (l λ + ( λx i l λ λ 3 Ableite ud Nullsetze der log-likelihoodfuktio: liefert l L λ λ λ x i x i! 0 x x i als ML-Schätzer (2. Ableitug 2 l L ( λ 2 ( x λ 2 < 0. Schließede Statistik (WS 205/ Folie 44

7 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Bemerkuge Häufiger wird die Abhägigkeit der Likelihoodfuktio vo der Stichproberealisatio auch durch Schreibweise der Art L(θ; x,..., x oder L(x,..., x θ ausgedrückt. Vorsicht gebote, falls Bereich positiver Dichte bzw. der Träger der Verteilug vo Y vo Parameter abhägt! Im Beispiel: Bereich positiver Dichte R ++ uabhägig vom Verteilugsparameter λ, Maximierugsproblem uter Verachlässigug des Falls midestes ei x i kleier oder gleich 0 betrachtet, da dieser Fall für keie der mögliche Parameter mit positiver Wahrscheilichkeit eitritt. Dieses Verachlässige ist icht immer uschädlich! Bei diskrete Zufallsvariable mit weig verschiedee Auspräguge oft Agabe der absolute Häufigkeite für die eizele Auspräguge i der Stichprobe statt Agabe der Stichproberealisatio x,..., x selbst. Beispiel: Bei Stichprobe vom Umfag 25 zu alterativverteilter Zufallsvariable Y häufiger Agabe vo 8 Erfolge i der Stichprobe der Läge 25 als Agabe der Stichproberealisatio 0,,,,,,,, 0,,,,,, 0,, 0,, 0,, 0,, 0,,. Schließede Statistik (WS 205/ Folie 45 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Beispiel: ML-Schätzug für Alterativverteiluge I Verteilugsaahme: Y B(, p für p Θ [0, ] mit { } p falls y p Y (y p p y ( p y für y {0, }. p falls y 0 Aufstelle der Likelihoodfuktio: L(p p Y (x i p ( p x i ( p x i p x i ( p x i bzw. we : x i die Azahl der Eise (Erfolge i der Stichprobe agibt L(p p ( p 2 Aufstelle der log-likelihoodfuktio: l L(p l(p + ( l( p Schließede Statistik (WS 205/ Folie 4

8 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Beispiel: ML-Schätzug für Alterativverteiluge II 3 Ableite ud Nullsetze der log-likelihoodfuktio: l L p p p p p p p! 0 Die 2. Ableitug 2 l L ( p 2 p 2 ( p ist egativ für 0 < p <, der Ateil 2 der Erfolge i der Stichprobe p / ist also der ML-Schätzer. Bemerkug: Die Bestimmug des ML-Schätzers p ist so ur zulässig, we 0 < p < gilt (sost Multiplikatio eier Gleichug mit 0. Allerdigs gilt für p 0 offesichtlich stets 0, damit ist p 0 für p 0 ebefalls der ML-Schätzer, de für 0 ist L(p ( p maximal für p 0; für p offesichtlich stets, damit ist p für p ebefalls der ML-Schätzer, de für ist L(p p maximal für p. p ist ML-Schätzer für Verteilugsaahme Y B(, p, p [0, ]. Schließede Statistik (WS 205/ Folie 47 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Beispiel: ML-Schätzug für Poissoverteiluge I Verteilugsaahme: Y Pois(λ für λ Θ R ++ mit für k N 0. p Y (k λ λk k! e λ Aufstelle der Likelihoodfuktio: L(λ p Y (x i λ ( λ x i x i! e λ (falls alle x i N 0 2 Aufstelle der log-likelihoodfuktio: l L(λ (x i l(λ l(x i! λ ( ( x i l(λ l(x i! λ Schließede Statistik (WS 205/ Folie 48

9 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Beispiel: ML-Schätzug für Poissoverteiluge II 3 Ableite ud Nullsetze der log-likelihoodfuktio: l L λ x i λ λ x i! 0 x mit 2 l L ( λ 2 λ. x i λ 2 < 0 für alle λ > 0, λ x ist also der ML-Schätzer für Aus Wahrscheilichkeitsrechug bekat: Y Pois(λ E(Y λ, also ergibt sich (hier auch für de Schätzer ach der Mometemethode offesichtlich λ X. Wird (ählich zur Azahl der Erfolge i eier Stichprobe zu eier alterativverteilte Grudgesamtheit statt der (explizite Stichproberealisatio x,..., x eie Häufigkeitsverteilug der i der Stichprobe aufgetretee Werte agegebe, ka x mit der aus der deskriptive Statistik bekate Formel ausgerechet werde. Schließede Statistik (WS 205/ Folie 49 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.2 Beispiel: ML-Schätzug bei diskreter Gleichverteilug Verteilugsaahme: für ei (ubekates M N immt Y die Werte {,..., M} mit der gleiche Wahrscheilichkeit vo jeweils /M a, d.h.: p Y (k M { M falls k {,..., M} 0 falls k / {,..., M} Aufstelle der Likelihoodfuktio: { M falls x L(M p Y (x i M i {,..., M} für alle i 0 falls x i / {,..., M} für midestes ei i { M falls max{x,..., x } M 0 falls max{x,..., x } > M (gegebe x i N für alle i 2 Maximiere der Likelihoodfuktio: Offesichtlich ist L(M für max{x,..., x } M streg mooto falled i M, M muss also uter Eihaltug der Bedigug max{x,..., x } M möglichst klei gewählt werde. Damit erhält ma de ML-Schätzer als M max{x,..., x }. Schließede Statistik (WS 205/ Folie 50

10 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Beurteilug vo Schätzfuktioe Bisher: Zwei Methode zur Kostruktio vo Schätzfuktioe bekat. Problem: Lösug: Wie ka Güte/Qualität dieser Methode bzw. der resultierede Schätzfuktioe beurteilt werde? Zu gegebeer Schätzfuktio θ für θ: Utersuchug des zufällige Schätzfehlers θ θ (bzw. desse Verteilug Naheliegede Forderug für gute Schätzfuktioe: Verteilug des Schätzfehler sollte möglichst dicht um 0 kozetriert sei (d.h. Verteilug vo θ sollte möglichst dicht um θ kozetriert sei Aber: Was bedeutet das? Wie vergleicht ma zwei Schätzfuktioe θ ud θ? Wa ist Schätzfuktio θ besser als θ (ud was bedeutet besser? Was ist zu beachte, we Verteilug des Schätzfehlers och vom zu schätzede Parameter abhägt? Schließede Statistik (WS 205/ Folie 5 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Bias, Erwartugstreue Eie offesichtlich gute Eigeschaft vo Schätzfuktioe ist, we der zu schätzede (wahre Parameter zumidest im Mittel getroffe wird, d.h. der erwartete Schätzfehler gleich Null ist: Defiitio 3.4 (Bias, Erwartugstreue Seie W eie parametrische Verteilugsaahme mit Parameterraum Θ, θ eie Schätzfuktio für θ. Da heißt der erwartete Schätzfehler die Verzerrug oder der Bias vo θ, Bias( θ : E( θ θ E( θ θ 2 die Schätzfuktio θ erwartugstreu für θ oder auch uverzerrt für θ, falls Bias( θ 0 bzw. E( θ θ für alle θ Θ gilt. 3 Ist allgemeier g : Θ R eie (messbare Abbildug, so betrachtet ma auch Schätzfuktioe ĝ(θ für g(θ ud et diese erwartugstreu für g(θ, we E(ĝ(θ g(θ 0 für alle θ Θ gilt. Schließede Statistik (WS 205/ Folie 52

11 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Bemerkuge Obwohl Defiitio 3.4 auch für mehrdimesioale Parameterräume Θ geeiget ist ( 0 etspricht da ggf. dem Nullvektor, betrachte wir zur Vereifachug im Folgede meist ur och eidimesioale Parameterräume Θ R. Ist beispielsweise W als Verteilugsaahme für Y die Mege aller Alterativverteiluge B(, p mit Parameter p Θ [0, ], so ist der ML-Schätzer p X X i bei Vorliege eier Zufallsstichprobe X,..., X zu Y erwartugstreu für p, de es gilt: E( p E ( X i E liear F Xi F Y E(X i E(Y p p für alle p [0, ] Schließede Statistik (WS 205/ Folie 53 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Allgemeier gilt, dass X bei Vorliege eier Zufallsstichprobe stets erwartugstreu für E(Y ist, de es gilt aalog zu obe: ( E liear E(X E X i E(X i F Xi F Y E(Y E(Y E(Y Geauso ist klar, dass ma für beliebiges k mit dem k-te empirische Momet X k bei Vorliege eier Zufallsstichprobe stets erwartugstreue Schätzer für das k-te theoretische Momet E(Y k erhält, de es gilt: E(X k E ( X k i E(X k i E(Y k E(Y k Schließede Statistik (WS 205/ Folie 54

12 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Der ach der Methode der Momete erhaltee Schätzer σ 2 X 2 X 2 Verschiebugssatz (X i X 2 für de Parameter σ 2 eier ormalverteilte Zufallsvariable ist icht erwartugstreu für σ 2. Bezeichet σ 2 : Var(Y ämlich die (ubekate Variaz der Zufallsvariable Y, so ka gezeigt werde, dass für σ 2 geerell E( σ 2 σ2 gilt. Eie erwartugstreue Schätzer für σ 2 erhält ma folglich mit der sogeate Stichprobevariaz S 2 (X i X 2 σ 2, de es gilt offesichtlich ( E(S 2 E σ 2 ( σ2 E σ 2 σ 2. Schließede Statistik (WS 205/ Folie 55 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Vergleich vo Schätzfuktioe Beim Vergleich vo Schätzfuktioe: oft Beschräkug auf erwartugstreue Schätzfuktioe I der Regel: viele erwartugstreue Schätzfuktioe dekbar. Für die Schätzug vo µ : E(Y beispielsweise alle gewichtete Mittel µ w,...,w : w i X i mit der Eigeschaft w i erwartugstreu für µ, de es gilt da offesichtlich ( E ( µ w,...,w E w i X i w i E(X i E(Y w i E(Y µ. Problem: Welche Schätzfuktio ist die beste? Übliche Auswahl (bei Beschräkug auf erwartugstreue Schätzfuktioe!: Schätzfuktioe mit gerigerer Streuug (Variaz bevorzuge. Schließede Statistik (WS 205/ Folie 5