Eiführug i die Statistik Dr. C.J. Luchsiger 7 Crash-Course i Statistics II: Schätztheorie ud Kofidezitervalle Literatur Kapitel 7 * Statistik i Cartoos: Kapitel 6 ud 7 * Kregel: 4 ud 13 * Storrer: 43 7.1 Schätzer Ziele vo 7.1: Die StudetIe wisse, welche Aforderuge a Schätzer sivollerweise gestellt werde. Sie kee die ML-Schätzmethode. Was wir i 7.1 erarbeite werde, ist viele StudetIe vielleicht scho eimal durch de Kopf gegage - es geht jetzt vor allem darum, diese Gedake zu orde. 7.1.1 Motivieredes Beispiel Gegebe sei eie Stichprobe vom Umfag 11; wir wisse, sie stammt aus eier Normalverteilug mit Variaz 1. Der Mittelwert ist leider ubekat. Wir wolle diese Mittelwert schätze. Die Stichprobe sieht folgedermasse aus (bereits der Reihe ach geordet ud auf 2 Stelle ach dem Komma gerudet): 0.21, 0.11, 0.39, 0.64, 1.24, 1.46, 1.48, 1.51, 1.95, 2.89, 3.53 Wie köte wir µ schätze? 136
Wa wolle wir eie Schätzer für µ als gut bezeiche? Bezeiche wir eie Schätzer für µ mit ˆµ, we wir eie Stichprobe vom Umfag habe. Des weitere bezeiche wir mit x (i) die i t kleiste Zahl aus der Stichprobe, we wir die Stichprobe der Grösse ach orde. Ituitiv dekt ma vielleicht a folgede Vorschläge, wie ma µ schätze köte. * ˆµ (1) 11 = x := (1/11) 11 j=1 x j [hier 1.36] (R Befehl: mea(x)) * ˆµ (2) 11 := media(x 1,..., x 11 ) [hier 1.46] (R Befehl: media(x)) * ˆµ (3) 11 := (1/9) 10 j=2 x (j) [hier 1.30] (R Befehl: mea(x, trim=1/11)) * ˆµ (4) 11 := (x (1) + x (11) )/2 [hier 1.66] * ˆµ (5) 11 := 1.47 [hier 1.47] ˆµ (1) ist derjeige Schätzer, welcher irgedwie kaoisch erscheit ud eiem meist zuerst i de Si kommt. I der Tat ist dieser Schätzer i eiem och zu spezifizierede Si optimal (mehr dazu i der Vorlesug Statistische Methode ). ˆµ (3) (ud Abwadluge davo) wird häufig verwedet mit dem (i dieser Kürze zweifelhafte) Argumet, ma wolle Ausreisser ausschliesse. ˆµ (5) erscheit wie ei Druckfehler i dieser Auflistug. We ma sukzessive de Umfag der Stichprobe (das ) erhöht, so wird ˆµ (1) immer wieder schwake (we auch immer weiger stark), ebeso alle adere Schätzer ausser ˆµ (5). ˆµ (5) hat also de gewaltige Vorteil, dass er exakt eie Zahl ist mit Variaz 0. Trotzdem ist us vielleicht uwohl, ˆµ (5) als Schätzer für µ zu bezeiche. Aber i der Tat: ˆµ (5) ist ei Schätzer für µ. Damit komme wir a die Stelle, wo wir defiiere müsse, was wir uter eiem Schätzer verstehe wolle. (µ war übriges obe 2). 137
7.1.2 Defiitio Schätzer Defiitio 7.1 [Schätzer, egl. Estimator] Ei Schätzer ˆµ := ˆµ (x 1,..., x ) für eie ubekate Parameter µ ist eie beliebige Fuktio der Date. Isbesodere ka die Schätzfuktio die Date vollstädig igoriere (ˆµ (5) ). Bemerkug zu Defiitio 7.1: ˆµ := ˆµ (x 1,..., x ) ist eie Zahl ud keie Zufallsgrösse, da die (x 1,..., x ) ja auch feste Zahle sid (Bsp: (1/) j=1 x j). Aber: ˆµ (X 1,..., X ) ist eie Zufallsgrösse (Bsp: (1/) j=1 X j). Wir werde hier beide mit ˆµ bezeiche - es gibt keie Verwechsluge. 7.1.3 Aforderuge a Schätzer Obige Vorschläge zeige, dass es uedlich viele Möglichkeite gibt, µ zu schätze. Wir wolle us jetzt darum bemühe, eie gute Schätzer zu fide. Wir müsse zuerst defiiere, was wir uter gut verstehe wolle. Wir müsse sivolle Aforderuge oder Kriterie fide. Dies ist aber icht so klar, wie ma a priori deke köte. Zum Teil ist es icht möglich, dass ei Schätzer alle achfolgede Kriterie eihält; adererseits folge aus eiige Kriterie adere. Ma beachte ochmals, dass ei Schätzer als Fuktio der Zufallsgrösse auch eie Zufallsgrösse ist ud damit Erwartugswerte, Kovergezverhalte ud die Variaz eies Schätzers betrachtet werde köe. P µ bezeiche dabei die Wahrscheilichkeit, we der Parameter µ der richtige ist, also we X 1,..., X Zufallsgrösse mit eier Verteilug sid, welche vom Parameter µ abhägt (z.b. N (µ, 1)); aalog E µ. Die folgede Aforderuge a eie Schätzer sid dekbar; wir werde i der Vorlesug mit dem Erwartugswert eier Normalverteilug die Problematik illustriere (i de Übuge sid da auch adere Verteiluge zu utersuche): 138
Defiitio 7.2 [erwartugstreu (uverfälscht), egl. Schätzer ˆµ für µ heisst erwartugstreu oder uverfälscht, we ubiased; Bias] Ei E µ [ˆµ ] = µ für alle µ im Parameterraum. Asoste spricht ma davo, dass der Schätzer eie Bias b hat; wir defiiere b := E µ [ˆµ µ]. Utersuche Sie de Schätzer ˆµ (1) 11 eier N (µ, 1)-Verteilug stammt mit ubekatem µ. aus 7.1.1 auf Erwartugstreue, we die Stichprobe aus Welche der 5 Schätzer aus 7.1.1 sid erwartugstreu? Welche icht? Warum? Defiitio 7.3 [Kosistez] Ei Schätzer ˆµ für µ ist kosistet, we für alle µ im Parameterraum, ɛ > 0 gilt: lim P [ µ ˆµ µ > ɛ ] = 0. 139
Utersuche Sie de Schätzer ˆµ (1) aus 7.1.1 auf Kosistez, we die Stichprobe aus eier N (µ, 1)-Verteilug stammt mit ubekatem µ. Gebe Sie die otwedige Argumete exakt a. Defiitio 7.4 [kleiste Variaz] Ei Schätzer ˆµ für µ hat kleiste Variaz für fix, we die Variaz vo ˆµ uter P µ miimal ist für alle µ im Parameterraum. Bemerkuge zu Defiitio 7.4: Diese Aforderug bedeutet, dass die Realisatioe des Schätzers alle möglichst beieiader liege; sie müsse aber icht ahe beim zu schätzede Wert liege (siehe ˆµ (5) i 7.1.1). Ma ka zeige (Vlsg SM): We wir eie Stichprobe aus eier Normalverteilug habe, da hat uter de erwartugstreue Schätzer ˆµ (1) die kleistmögliche Variaz. Um de Schätzer ˆµ (5) hier auszuschalte, köte ma forder, dass der Schätzer gleichzeitig erwartugstreu ud vo kleister Variaz ist. Der achfolgede MSE zielt i diese Richtug (siehe auch Lemma 7.6); der MSE ist uter mathematische StatistikerIe am etablierteste: Defiitio 7.5 [miimaler Mea-Square-Error (MSE)] Ei Schätzer ˆµ für µ miimiert de Mea-Square-Error (MSE) für fix, we MSE(ˆµ, µ) := E µ [(ˆµ µ) 2 ] miimal ist für alle µ im Parameterraum. 140
Auf die Schelle köte ma meie, MSE sei die Variaz des Schätzers. Dies stimmt jedoch ur, we der Schätzer erwartugstreu ist (Bias b = 0), wie wir auch aus folgedem Lemma schliesse köe: Lemma 7.6 [MSE = V + b 2 ] Mit obige Bezeichuge gilt: MSE(ˆµ, µ) = V µ [ˆµ ] + b 2. Beweis vo Lemma 7.6 Aufgabeblatt 12. Ma ka zeige: Der MSE-miimale Schätzer i Situatio 7.1.1 ist ˆµ (1). Daebe gibt es och die schwieriger zu defiierede Eigeschaft der Robustheit. Es geht dabei um die Aforderug, dass falsche Messuge die Schätzuge für µ icht stark beeiflusse dürfe. Wir sid da aber eigetlich gar icht mehr z.b. im Modell N (µ, σ 2 ). ˆµ (2) ist ei sehr robuster Schätzer. Betrachte wir dazu eie Vergleich vo ˆµ (1) ud ˆµ (2). We ma i (x 1,..., x ) selbst bei grossem auch ur eie Wert total verfälscht ( ach 10 9 ud mehr schickt ), da wird ˆµ (1) beliebig falsch. Higege ädert sich ˆµ (2) I der Tat ka ma bei ˆµ (2) kaum. bis zu < 50% aller Date total verfälsche; die Schätzug hat immer och etwas mit dem richtige Wert zu tu. Dieses etwas mit dem richtige Wert zu tu habe lässt sich mathematisch sauber ausformuliere (Bruchpukt), wir verzichte hier aus Zeitgrüde darauf. Das Forschugsgebiet heisst robuste Statistik, ist sehr wichtig, komplex, kompliziert, aktuell ud beötigt sehr gute Vorketisse i reier Mathematik. Abschliessed ka ma sage, dass bei N (µ, 1) ˆµ (1) bei 100%-Datequalität (keie fehlerhafte Date) der beste Schätzer ist (uverfälscht, kosistet, kleiste Variaz uter de uverfälschte Schätzer, miimaler MSE). Ma ka zeige: σ muss dabei icht 1 sei - σ muss icht mal bekat sei. 141
7.1.4 MLE: Maximum Likelihood Estimator Wir behadel hier lediglich de MLE, i der Vorlesug Statistische Methode werde wir weitere allgemeie Schätzverfahre keelere. I Kapitel 6 habe wir bei der Behadlug des Lemmas vo Neyma-Pearso (NP) bereits kurz de Begriff der Likelihood erwäht (de Test ach NP et ma auch Likelihood- Ratio-Test). Dort habe wir de Quotiete der Dichte (oder der Wahrscheilichkeitsfuktioe) ageschaut. Die Date ware dabei fest, der Parameter war variabel, eimal z.b. µ 0, da µ 1. Dies ist geau die Likelihood: Defiitio 7.7 [Likelihood] We wir eie Dichtefuktio f µ (x 1,..., x ) oder Wahrscheilichkeitsfuktio p θ (x 1,..., x ) als Fuktio des Parameters µ resp. θ auffasse bei kostate Date, da spricht ma vo der Likelihood. Ma ka auch sage, dass der Begriff der Likelihood aus der Not etstade ist: wir habe ja ur die Date (die köe wir icht mehr variiere) ud gehe mal davo aus, dass die Date zum Beispiel aus eier Normalverteilug stamme. Da köe wir ur och die Parameter variiere ud schaue, was passiert. Wir habe och icht die Methode: ˆµ MLE := argmax µ R f µ (x 1,..., x ), aalog im Fall vo Wahrscheilichkeitsfuktioe. Wie ist im Fall N (µ, 1) der MLE? Vo 6.2.2 habe wir mit σ = 1 ( ) [ 1 f µ (x 1,..., x ) = exp 1 ( x 2 i 2µx + µ 2)]. 2π 2 Da wir ur das argmax suche, köe wir ebeso gut de Ausdruck i=1 i=1 [ exp 1 ( x 2 i 2µx + µ 2)] 2 142
maximiere. Da der Logarithmus die Ordug icht verädert (ud wir ur argmax suche), köe wir ebeso gut de Ausdruck 1 ( x 2 i 2µx + µ 2) 2 i=1 maximiere. Dieser Schritt (Logarithmiere) ist zetral wichtig i viele Rechuge der Statistik, um das Lebe eifacher zu mache. Wir müsse letztedlich de Ausdruck 2µx + µ 2 miimiere, Date fest, µ variabel. Dieses Resultat gilt übriges für alle σ. Auf Blatt 12 müsse Sie de MLE bei der Expoetialverteilug fide. Die ML-Methode ka ma aalog auch auf diskrete Verteiluge awede. Ma immt da astelle der Dichte die Wahrscheilichkeitsfuktio. Auch dazu ist auf Blatt 12 eie Aufgabe zu löse. Wie gut die ML-Methode für Schätzprobleme ist (Vor- ud Nachteile), wird i der Vorlesug Statistische Methode geauer utersucht. Kurz: die Methode hat sich bewährt. 143
7.1.5 Die Schätzug vo σ 2 ud σ im Modell N (µ, σ 2 ) Im Modell N (µ, σ 2 ) habe wir also mit ˆµ (1) eie ausgezeichete Schätzer für de ubekate Parameter µ. Falls wir us aber für de ubekate Parameter σ 2 iteressiere (also die Variaz), so sieht die Sache aders aus. Bekat sid für dieses Problem etwa folgede Schätzer: µ ubekat * ˆσ 2(1) * ˆσ 2(2) * ˆσ 2(3) := (1/) j=1 (x j x) 2 := [1/( 1)] j=1 (x j x) 2 (R Befehl: var(x)) := [1/( + 1)] j=1 (x j x) 2 * ˆσ 2(4) = (1.4826 MAD) 2 := (1.4826 media( x i media(x 1,..., x ) i = 1,..., )) 2 MAD steht für Media of Absolut Deviatios (R Befehl: mad(x)). Hier gestaltet sich die Sache vo de Kriterie her beiahe chaotisch (meiste Aussage ohe Beweis): ˆσ 2(2) ist ei erwartugstreuer Schätzer (Aufgabeblatt 12). Der aiv sich aufdrägede Schätzer ˆσ 2(1) ist also isbesodere icht erwartugstreu. ˆσ 2(4) ist (fast) erwartugstreu. Der Faktor 1.4826 wird gerade deshalb eigesetzt, damit der Schätzer ˆσ 2(4) auch (fast) erwartugstreu ist (gilt ur im Fall der Normalverteilug). Das Wort fast kommt daher, dass dieser vorgeschaltete Faktor (1.4826) uedlich viele Stelle ach dem Komma hat. Alle obige Schätzer sid zumidest asymptotisch erwartugstreu ud kosistet. ˆσ 2(3) ist derjeige Schätzer, welcher de MSE miimiert. ˆσ 2(4) ˆσ 2(1) ist ei sehr robuster Schätzer. ist der Maximum-Likelihood-Schätzer. Es gibt i dieser Situatio also isbesodere keie herausragede Schätzer, welcher fast alle Kriterie als eiziger erfüllt, wie wir das mit x im Fall der Schätzug vo µ hatte. 144
µ bekat Will ma higege σ 2 schätze ud µ ist bekat, so ist es sivoll, i der Summe der Quadrate x durch µ zu ersetze, also die Summe (x j µ) 2 j=1 zu betrachte. We ma diese Summe durch teilt, so ist dieser Schätzer erwartugstreu ud hat miimale Variaz uter de erwartugstreue Schätzer - es ist übriges der MLE. De MSE-miimale Schätzer erhält ma, idem ma diese Summe durch +2 teilt. Selbst we µ bekat ist, habe wir keie herausragede Schätzer; immerhi gibt es hier (bezüglich obiger Kriterie) ur 2 Kadidate: etweder 1 (x j µ) 2 oder j=1 1 + 2 (x j µ) 2. j=1 Ma ka zeige, dass 1 1 (x j x) 2 beziehugsweise j=1 1 (x j µ) 2 j=1 keie erwartugstreue Schätzer für σ selber sid. Sie werde aber eigesetzt (vgl. Kapitel 6, z.b. t-test). 7.1.6 Abschliessede Bemerkuge zum Schätzproblem Es stellt sich immer die Frage, welche Schätzer ma eisetze soll. Wichtig ist sicher die Forderug ach Kosistez. Früher wurde immer die Uverfälschtheit gefordert, dieses Kriterium ist icht mehr so e vogue. Sivoll ist sicher die Miimierug des MSE. Heutzutage wird auch mehr auf Robustheit geachtet. Bei der Frage, welche Schätzer ma eisetze soll, muss ma sich folgede Frage stelle: Wozu wird der Schätzer gebraucht? 145
Was soll mit dem Schätzer gemesse werde? Welches Kriterium auch immer gewählt wird: wichtig ist, dass ma agibt, ach welcher Methode ei Parameter geschätzt wird (ud welche Aahme bei der Modellbildug gemacht werde). Dies ist sowieso bei alle statistische Methode zetral. Hat ma keie Normalverteilug oder Abhägigkeitsstrukture i de Date (Zeitreihe), so müsse obige Schätzvorschläge für Lage- ud Variazparameter oft durch adere Schätzer ersetzt werde. Adere Vorschläge für Schätzer müsse immer zuerst auf obige Kriterie hi utersucht werde. 146
7.2 Kofidezitervalle (Itervall-Schätzer)... gebe us eie Vorstellug vo der Präzisio eies Schätzers. Ziele vo 7.2: Die StudetIe wisse, was ei Kofidezitervall (KI) ist - ud was es icht ist. Sie kee das Kostruktiosrezept für KI ud erkee Formel für KI i 2 wichtige Fälle wieder ud köe diese awede. 7.2.1 Was ist ei Kofidezitervall (KI) - was ist es icht Was ist es icht: I de Nachrichte ud wisseschaftliche Publikatioe liest ma oft Sätze der Art (Zahle frei erfude): Aufgrud eier Befragug mit eier Stichprobe vo 10 000 Persoe kam ma zum Schluss, dass der Ateil der Ahäger vo Frau Merkel mit 95 % Wahrscheilichkeit i eiem Kofidezitervall vo [46%, 48%] liegt. Was ist hier falsch? Defiitio 7.8 [Kofidezitervalle] Ei Kofidezitervall KI für θ mit Kofidezkoeffiziet (1 α) ist eie zufällige Teilmege des Parameterraums mit der Eigeschaft, dass P θ [θ KI] = 1 α für alle θ des Parameterraums (z.b. θ R). [siehe auch Cartoo Guide p. 120] Bemerkuge zu Defiitio 7.8: Im Teil was ist es icht habe wir bereits betot, dass θ icht zufällig ist. Das Kofidezitervall KI ist zufällig (vor der Realisatio). We daach die Realisatio mit kokrete Zahle vorliegt, sollte ma Formulieruge brauche wie: [46%, 48%] ist eie Realisatio eies 95 % Kofidezitervalles. Aber auch vor der Realisatio sollte ma icht sage: θ liegt mit Wahrscheilichkeit (1 α) i KI, soder KI deckt mit Wahrscheilichkeit (1 α) de Parameter θ ab - um zu betoe, dass der Zufall (die Bewegug) i KI liegt ud icht i θ. 147
7.2.2 Kostruktiosrezept für KI Wie i 6.4 Heuristische Methode (Testtheorie) gibt es auch hier optimale Kostruktioe vo KI ud heuristische Asätze. Es würde zu weit führe, jetzt zu defiiere, was bei KI optimal bedeutet. Wir werde i der Vorlesug Statistische Methode die optimale Methode vertieft studiere. Das achfolgede Kochrezept liefert jedoch i beide Fälle (7.2.3 ud 7.2.4) trotz heuristischem Asatz optimale KI. Kochrezept für ei KI für θ 1. Mit welcher Statistik würde ma θ schätze? 2. Umforme (zum Beispiel zetriere / ormiere), bis ma (meist stabile) bekate Verteilug hat 3. kritische Werte (utere/obere 2.5 %) vo bekater Verteilug 4. Umforme, bis ma es als KI verkaufe ka 148
7.2.3 N (µ, σ 2 ): KI für µ we σ 2 bekat (optimal) Date x 1,..., x, bereche arithmetisches Mittel x. Wechsel zu Zufallsgrösse: betrachte X. Verteilug vo X ist: Erwartugswert= Variaz= Verteilugsart: Zusamme: Also ist X µ σ 2 wege der Z-Trasform eie N (0, 1)-Zufallsgrösse. Aber das ist ja fatastisch: wir kee die kritische Werte bei eier N (0, 1)-Verteilug: [ P 1.96 X µ ] 1.96 = 95%. (7.1) σ 2 Ziel ist offesichtlich ei (1 α) = 95%-KI! Aber: wir köe offesichtlich (7.1) (och) icht als KI verkaufe. Mache wir ei paar algebraische Umformuge (Resultat ist da (7.6)): [ σ 2 σ P 1.96 X µ 1.96 2 ] = 95%. (7.2) Wechsel zu de absolute Werte: [ ] P X µ σ 1.96 2 = 95%, (7.3) schreibe es ei bissche elegater als [ P X µ 1.96σ ] = 95% (7.4) ud bekomme schlussedlich [ [ P µ X 1.96σ, X + 1.96σ ]] = 95%. (7.5) Wir vergleiche voller Stolz ud Befriedigug (7.5) mit Defiitio 7.8. 149
Also gilt: ei 95 % KI für µ bei bekatem σ 2 ud Date x 1,..., x i Modell N (µ, σ 2 ) ist: Kleie Übug: [x 1.96σ, x + 1.96σ ]. (7.6) 99 % KI i dieser Situatio ist: Was geschieht we wächst? Was geschieht we σ 2 wächst? Offebar sid beide der obige Eigeschafte eileuchted! Kleie Aufgabe zu KI I: Es wird ageomme, dass die Durchmesser der auf eier bestimmte Alage hergestellte Stahlkugel durch die Realisatioe eier ormalverteilte Zufallsgrösse mit σ = 1.04 mm beschriebe werde köe. Aus eier Stichprobe vom Umfag = 30 ergab sich x = 12.14 mm. Bestimme Sie für die Vertraueswahrscheilichkeit vo 0.95 ud 0.99 die Greze des KI für de mittlere Durchmesser dieser Kugel. 150
7.2.4 N (µ, σ 2 ): KI für µ we σ 2 ubekat (optimal) Gegebe Date x 1,..., x, bereche das arithmetische Mittel x. Wechsel auf die Ebee der Zufallsgrösse: betrachte X. Verteilug vo X ist: Erwartugswert= Variaz= Art der Verteilug: Isgesamt: Also hat wege der Z-Trasform der Ausdruck X µ σ 2 eie N (0, 1)-Verteilug. Ooooops? σ 2 ist ubekat! Keie Paik: Wir werde es eifach schätze: ˆσ 2 := 1 1 (X i X) 2. i=1 Das Tier X µ ˆσ 2 = 1 1 X µ i=1 (X i X) 2 (7.7) hat eie t 1 -Verteilug (vgl. mit 4.3.8 - braucht bissche algebraische Umformug, bis ma das erket)! 151
Mit de gleiche Schritte wie i 7.2.3 folgt da aalog zu (7.6): [x CV ˆσ CV ˆσ, x + ], (7.8) wo ˆσ := 1 1 (x i x) 2. (7.9) i=1 Der kritische Wert (Critical Value CV) ist jetzt icht mehr ur vo (1 α) abhägig (wie i 7.2.3), soder auch vo (vgl. z.b. Tabelle I i Kregel). Zum Beispiel mit = 20 sid die kritische Werte für ei 95%-KI: zu vergleiche mit de 1.96 vo 7.2.3. Kleie Aufgabe zu KI II: gleiche Ausgagslage wie bei Aufgabe I, aber wir kee σ icht ud habe es mit (7.9) geau auf 1.12 mm geschätzt. Bereche Sie das 0.95-KI ochmals i dieser Situatio. Was passiert we grösser wird (2 Sache)? Was we σ 2 grösser wird? 152