6. Schätzprobleme 6.1. Beispiele a) I eiem Teich befidet sich eie ubekate Azahl vo Fische. Ma schätze z. B. durch Agel, markiere, wieder aussetze ud ochmal agel; vgl. Übug) b) Weiteres Beispiel: Wie groß ist die Zahl der Taxis i eier Stadt? Aahme: die Taxis sid vo 1,..., durchummeriert. Ma beobachtet m Nummer, z. B. 24, 71, 5, 16, 13 m = 5). Was ist eie verüftige Schätzug für? c) Mediziische) Versuche: Wie groß ist die ubekate) Wahrscheilichkeit p, dass ei bestimmtes Medikamet wirkt? Ma testet es a Persoe ud beobachtet, dass es bei m wirkt. Was ist eie gute Schätzug für p? Aalog: p = ubekater Ateil der CDU-Wähler i der Bevölkerug). 6.2 Defiitio: Ei statistisches Modell ist ei Tripel X, A, P ϑ ) ϑ Θ ), wobei X, A) ei Messraum ist, Θ eie ichtleere) Idexmege ud P ϑ,ϑ Θ Wahrscheilichkeitsmaße auf X, A) sid. X heißt dabei Beobachtugsraum oder Stichproberaum. Iterpretatio: Der Beobachtugsraum X beschreibt die Mege der mögliche Beobachtuge, P ϑ,ϑ Θ sid die im Modell als möglich ageommee Verteiluge. Ziel ist es, de wahre Parameter ϑ Θ oder eie Fuktio τϑ) aufgrud der Beobachtug x X zu schätze. Oft ist X = R oder jedefalls X R. 6.3 Defiitio: Sei X, A, P ϑ ) ϑ Θ ) ei statistisches Modell ud Σ, S) ei Messraum. a) Eie messbare Abbildug vo X, A) ach Σ, S) heißt Statistik. b) Ist τ : Θ Σ eie Abbildug, so heißt die Statistik T : X Σ ei Schätzer für τ. Im Beispiel 6.1.c) ist es ahelieged, X = {0, 1} zu wähle, Θ = [0, 1] ud P ϑ {0100101 }{{ 11011} }) = ϑ Eise 1 ϑ) Nulle, Ziffer {0,1} wobei x = 0100101 111011 bedeutet, dass das Medikamet bei der erste, dritte, vierte, sechste Perso icht wirkte, bei de adere dagege scho. Also ist P ϑ = Q ϑ, wobei Q ϑ {1}) = ϑ,q ϑ {0}) = 1 ϑ ist. Bei diesem statistische Modell wird also vo vorherei postuliert, dass alle Versuche uabhägig sid. Wir wähle Σ, S) = Θ, B [0,1] ) ud τ : Θ Σ als die idetische Abbildug. 1
Ei verüftiger Schätzer T : X Θ für das ubekate ϑ = τϑ) ist i diesem Fall Tx 1,,x ) = Eise uter de x 1, x. We ma a der Uabhägigkeit der Versuchsergebisse zweifelt, köte ma auch die Mege aller Wahrscheilichkeitsmaße P ϑ ) ϑ Θ auf X = {0, 1} asetze. Aber: wie soll ma i diesem Fall das wahre ϑ oder P ϑ ) aus de Beobachtuge schätze? Geerelles Problem: Θ zu groß: eie verüftige Schätzug vo ϑ ist wg. i Relatio zur Größe vo Θ zu geriger Datemege problematisch. Θ zu klei: Gefahr, dass das wahre ϑ icht i Θ liegt. Bemerkug: I 6.3. wird ichts über die Güte eies Schätzers ausgesagt. Er ka auch völlig usiig sei. User Ziel ist es, Gütekriterie für Schätzer zu fide ud gute Schätzer zu kostruiere. Grob gesproche wird ma eie Schätzer T für τ da als gut bezeiche, we für alle ϑ Θ Tx) mit großer Wahrscheilichkeit bzgl. P ϑ ) eie Wert ahe bei τϑ) aimmt. Ei Gütekriterium ist: 6.4. Defiitio: Sei Σ R k. Ei Schätzer T heißt erwartugstreu oder uverzerrt eglisch ubiased) für τϑ), we E ϑ TX)) = τϑ) für alle ϑ Θ. Dabei sei E ϑ der Erwartugswert bezüglich des Wahrscheilichkeitsmaßes P ϑ im Fall k > 1 ist die Gleichheit kompoeteweise zu verstehe). X : X X steht dabei für die idetische Abbildug = Beobachtug). Allgemei heißt bϑ,t) := E ϑ TX)) τϑ) Verzerrug egl.: bias) des Schätzers T für τ. Beispiel 6.1.c), Fortsetzug: Wir zeige, dass der betrachtete Schätzer Tx 1,,x ) = Eise uter de x 1,,x erwartugstreu für τϑ) := ϑ ist: ) 1 E ϑ TX 1,,X ) = E ϑ X i = 1 E ϑ X i = 1 ϑ = ϑ. 2
6.5. Beispiel: Bei eier Warelieferug vo 1000 Eiheite seie M defekt M ubekat ud zu schätze). Es werde 15 Eiheite getestet. Sivolles statistisches Modell: X = {0,, 15}, x = defekte Teile i Stichprobe Θ = {0,, 1000}. τϑ) = ϑ= M). Sivoll erscheit Tx) = x 15 1000. Ist T erwartugstreu? Offebar ist im Fall vo ϑ = M defekte Teile die Azahl der defekte Teile i der Stichprobe hypergeometrisch mit Parameter 15, 100, M) verteilt, also E ϑ TX) = E ϑ X 15 1000 ) = 1000 15 E ϑx) = 1000 15 15 ϑ 1000 = ϑ. Es gibt Fälle, bei dee zwar erwartugstreue Schätzer existiere, diese aber usiig sid obwohl es verüftige icht erwartugstreue Schätzer gibt). 6.6. Beispiel: Sei X = N 0, Θ = 0, 1), P ϑ = Poissoverteilug mit Parameter λ = 1 l ϑ. 2 Behauptug: Tx) = 1) x ist der eizige erwartugstreue Schätzer für ϑ, aber usiig. Beweis: i) T ist erwartugstreu: E ) ϑ 1) X = 1) k 1 2 l ϑ ) k e 1 2 l ϑ k! }{{} = ϑ k=0 ϑ k=0 1 2 l ϑ ) k k! = ϑ ϑ = ϑ. ii) T ist der eizige erwartugstreue Schätzer: Sei S auch erwartugstreu, d. h. ϑ 0, 1) gilt e 2λ = ϑ = E ϑ SX) = k=0 Sk) λk k! e λ d.h. λ 0, ) gilt e λ = Nach dem Idetitätssatz für Potezreihe folgt Sk) = 1) k k N 0. iii) T ist usiig: T immt ur die Werte 1 ud -1 a, die gar icht i Θ liege! k=0 Sk) λk k! Bemerkug: Es gibt auch Fälle, i dee überhaupt kei erwartugstreuer Schätzer existiert. 3
We ma zwei erwartugstreue Schätzer T 1 ud T 2 für dasselbe τ hat, da ist es ahelieged, T 1 dem Schätzer T 2 da vorzuziehe, we er für alle ϑ eie kleiere Variaz als T 2 aufweist da liegt ämlich T 1 im Mittel äher bei τϑ) als T 2 ud zwar uabhägig vo ϑ). 6.7. Defiitio: Im statistische Modell X, A, P ϑ ) ϑ Θ ) seie T 1 ud T 2 erwartugstreue Schätzer für τ : Θ R k = 1!). Gilt V ϑ T 1 ) V ϑ T 2 ) ϑ Θ, da heißt T 1 gleichmäßig besser als T 2. Gilt V ϑ T 1 ) V ϑ T) ϑ Θ für alle erwartugstreue Schätzer T für τ, so heißt T 1 gleichmäßig bester erwartugstreuer Schätzer oder UMVU für uiformly miimum variace ubiased) für τ. V ϑ : Variaz bzgl. P ϑ ). Bemerkug: I viele Situatioe gibt es gar keie UMVU-Schätzer auch i viele solche, i dee erwartugstreue Schätzer existiere). Der Schätzer T i Beispiel 6.6. ist atürlich als eiziger erwartugstreuer Schätzer für θ UMVU. 6.8. Beispiel: Sei X = R mit mit Borel σ Algebra), Θ = Mege aller Wahrscheilichkeitsmaße auf R mit existieredem 2. Momet. Sei τϑ) := µ ϑ der Erwartugswert ud σ 2 ϑ) die Variaz vo ϑ also µ ϑ := xdϑx), ). Weiter sei P ϑ = ϑ d. h. die Verteilug vo uabhägige gemäß ϑ verteilte reellwertige) Zufallsgröße. Behauptug: T 1 x 1,,x ) := 1 x i ist UMVU für τϑ) = µ ϑ. i) T 1 ist erwartugstreu: E ϑ T 1 X 1,,X ) = 1 E ϑ X i ) = 1 µ ϑ = µ ϑ. ii) V ϑ T 1 X 1,,X )) = V ϑ 1 X i ) = 1 σ2 ϑ). iii) Zu zeige: Für jede Fuktio T : R R mit E ϑ TX 1, X )) = µ ϑ gilt V ϑ TX 1,,X )) 1 σ2 ϑ). 4
Wir zeige dies der Eifachheit halber ur für = 1 ud = 2. α) = 1 : { 1 y A Sei y R ud δ y das Puktmaß auf y d. h. δ y A) = 0 y A. We T : R R erwartugstreu ist, da muß isbesodere für jedes y R E δy TX)) = y gelte, d. h. Ty) = y, d. h. es gibt für = 1 ur eie erwartugstreue Schätzer, ämlich T = T 1. Dieser ist da er ei edliches 2. Momet hat) UMVU. β) = 2: Sei x < y fest ud für p [0, 1] das Wahrscheilichkeitsmaß ϑ p defiiert als ϑ p {x}) = p, ϑ p {y}) = q = 1 p. We T : R 2 R erwartugstreu ist, da folgt E ϑp TX 1,X 2 ) = p 2 Tx,x) + p1 p)tx,y) + 1 p)pty,x) + 1 p) 2 Ty,y)! = px + 1 p)y wg.erw.treue Da die letzte Idetität für alle p [0, 1] gilt, erhält ma durch Koeffizietevergleich Tx,x) = x, Ty,y) = y ud Tx,y) + Ty,x) = x + y. Hier gibt es übriges zahlreiche erwartugstreue Schätzer, ebe T 1 z. B. och T 2 x,y) = 1 x + 2 y aber auch gewisse ichtlieare T. 3 3 Es folgt für beliebiges ϑ Θ V ϑ TX 1,X 2 )) = E ϑ TX1,X 2 ) µ ϑ ) 2) = 1 2 [ Eϑ TX1,X 2 ) µ ϑ ) 2) + E ϑ TX2,X 1 ) µ ϑ ) 2)] = 1 2 E ϑ TX1,X 2 ) 2 + TX 2,X 1 ) 2) µ 2 ϑ 1 4 E ϑ TX 1,X 2 ) + TX 2,X 1 )) 2 µ 2 ϑ = 1 4 E ϑ X1 + X 2 ) 2) µ 2 ϑ = 1 4 2E ϑx 2 ) + 2µ 2 ϑ) µ 2 ϑ = 1 2 σ2 ϑ). Warug: Verkleiert ma i Beispiel 6.8 die Mege Θ, da ka T 1 die Eigeschaft UMVU zu sei, verliere. Als Beispiel betrachte ma Θ = {P,Q} mit P{0}) = P{1}) = 1/2 ud Q{2}) = Q{3}) = 1/2. Sei = 1. Da ist offesichtlich T def. als Tx) = 0, 5 we x {0, 1} 2, 5 we x {2, 3} egal sost 5
UMVU, da V ϑ T) = 0 für alle d. h. beide) ϑ Θ, währed T 1 icht UMVU ist! 6.9. Nachteile des Gütekriteriums Erwartugstreue : a) u. U. existiert kei erwartugstreuer Schätzer b) selbst we, ka sogar der beste erwartugstreue Schätzer usiig sei Beispiel 6.6) c) Keie Ivariaz uter Trasformatioe, d. h. ist T erwartugstreu für τϑ) ud f : R k R l, da ist i. allg. ft) icht erwartugstreu für fτϑ))! Ei Beispiel zu c): = k = l = 1, fx) = x 2, X, A, P ϑ ) ϑ Θ ) wie i Beispiel 6.8. T 1 x) = x ist erwartugstreu aber E ϑ T1 X)) 2) = E ϑ X 2 ) > E ϑ X) 2 = µ 2 ϑ = f E ϑx)) ϑ Θ mit σ 2 ϑ) > 0! Mögliche Gütekriterie für Schätzer: 6.10 Defiitio: Rϑ,T) := E ϑ TX) τϑ) 2 ) heißt Risiko des Schätzers T a der Stelle ϑ. Wüscheswert ist ei solches T, für das Rϑ,T) möglichst für alle ϑ Θ klei ist. Im Fall k = 1 sahe wir, dass ei UMVU Schätzer T 1 ei solcher erwartugstreuer Schätzer ist, dass Rϑ,T 1 ) Rϑ,T) für alle ϑ Θ ud alle erwartugstreue Schätzer T gilt. Mögliche Defiitioe vo Optimalität köte sei: a) optimal ist T 1 für τϑ) da, we sup Rϑ,T 1 ) sup Rϑ,T) ϑ ϑ für alle Schätzer T gilt. Ei solches T 1 heißt Miimax Schätzer, da er das maximale Risiko miimiert. b) optimal ist T 1 für τϑ) da, we es de Ausdruck rt) := Rϑ,T)dµϑ) Θ miimiert, wobei µ ei vorgegebees Maß auf Θ mit eier geeigete σ Algebra) ist. Solche Schätzer heiße Bayes Schätzer. Sie häge atürlich i. allg. vo der Wahl vo µ ab. µ wird oft als à priori Verteilug bezeichet. Bayes Schätzer miimiere also das bezüglich µ) mittlere Risiko. 6
6.11. Kosistez: Wir betrachte die folgede spezielle Situatio: Θ sei irgedeie ichtleere) Mege vo Wahrscheilichkeitsmaße auf R ud X 1,X 2,X 3, sei eie Folge vo u.i.v. reelle Zufallsgröße mit ubekater Verteilug ϑ Θ. Sei τ : Θ R gegebe. Für jedes N sei ei Schätzer T : R R für τ gesucht. Vo eier verüftige Schätzfolge T, N erwartet ma, dass T X 1, X ) für d. h. Stichprobeumfag ) bei beliebigem zugrudeliegede wahre ϑ Θ gege das wahre τϑ) kovergiert. Da T X 1,,X ), N eie Folge vo Zufallsvariable ist, gibt es uterschiedliche Kovergezbegriffe: Defiitio: a) Die Schätzfolge T, N heißt stark kosistet, we für alle ϑ Θ gilt P ϑ T X 1,X 2,,X ) τϑ)) = 1 wobei P ϑ die Verteilug vo X 1,X 2, ist, we X 1,X 2, u.i.v. mit Verteilug ϑ). b) Die Schätzfolge T, N heißt schwach kosistet oft auch eifach kosistet), we für alle ϑ Θ ud alle ε > 0 gilt: lim P ϑ T X 1,X 2,,X ) τϑ) ε) = 0. Bemerkug: Ma beachte, dass die Begriffe stark ud schwach hier dieselbe Bedeutug wie bei de Gesetze der große Zahle habe. 6.12. Beispiel: Ählich wie im Beispiel 6.8. sei Θ die Mege aller Wahrscheilichkeitsmaße auf R mit existieredem Erwartugswert. Sei τϑ) := µ ϑ der Erwartugswert vo ϑ. X 1,X 2,X 3, seie u.i.v. mit Verteilug ϑ Θ. Die Schätzfolge T x 1,,x ) := 1 x i ist stark kosistet, de ach dem starke Gesetz der große Zahle gilt für jedes ϑ Θ P ϑ T X 1,,X ) τϑ) für ) = 1. 6.13. Maximum Likelihood Schätzug: Defiitio: Sei Θ R k ud Σ = Θ. Ei Schätzer T : X Θ heißt Maximum Likelihood Schätzer ML), falls etweder 7
a) X diskret d. h. höchstes abzählbar) ud Tx) so gewählt ist, dass P Tx) {x}) = supp ϑ {x}), x X oder ϑ Θ b) X = R ud alle P ϑ,ϑ Θ habe eie Dichte f ϑ ud f Tx) x) = sup f ϑ x),x X. ϑ Θ Iterpretatio: Wähle im Fall der Beobachtug x X uter alle zur Kokurrez zugelassee Verteiluge diejeige aus, für die die Beobachtug x maximale Wahrscheilichkeit bzw. Dichte) hat d. h. die plausibelste Erklärug für die Beobachtug. Bemerkug: ϑ P ϑ x) bzw. ϑ f ϑ x) heiße Likelihoodfuktio bei gegebeer Beobachtug x X). 6.14. Beispiel: Θ = R, X = R,P ϑ = Verteilug vo X 1,,X ) mit X 1,,X u.i. Nϑ,σ 2 ) verteilt, wobei σ 2 > 0 bekat gegebe) sei der Ausdruck Nϑ,σ 2 ) wird i der Vorlesug erklärt). Wie sieht der ML Schätzer T ML für ϑ aus? Für jede Beobachtug x = x 1,,x ) R ist dasjeige ϑ gesucht, welches die Dichte vo X 1,,X ) a der Stelle x maximiert, also das Maximum vo f ϑ x) = 1 exp x i ϑ) 2 ). 2πσ 2 2σ 2 Äquivalet: ma fide das ϑ, welches log f ϑ x) maximiert. ϑ log f ϑx)) = x i ϑ) 2 ) = ϑ 2σ 2 x i ϑ σ 2! = 0. Das gesuchte ϑ ist also ˆϑ ML x) = T ML x) = 1 x i. 6.15. Beispiel: Ählich wie 6.14. ur seie µ = EX ud σ 2 beide ubekat. Es ist Θ = R 0, ), X = R,P ϑ = Verteilug vo X 1,,X ) mit X 1,,X u.i. Nµ,σ 2 ) verteilt ; ϑ := µ,σ 2 ). Es gilt 1 f µ,σ 2x) = exp x i µ) 2 ). 2πσ 2 2σ 2 Gesucht ist das Paar ϑ = µ,σ 2 ), welches bei gegebeer Beobachtug x = x 1,,x ) f µ,σ 2x) oder äquivalet log f µ,σ 2x) ) maximiert. 8
µ log f µ,σ 2x)) = [ σ 2log f µ,σ 2x)) = = x i µ σ 2 = 0 d.h. ˆµ ML = 1 x i. 1 2 σ 2 log2πσ2 ) 1 2σ 2 + x i µ) 2 2σ 4! = 0 ˆσ 2 ML = 1 x i µ) 2 σ 2 2σ 2 x i ˆµ ML ) 2, ] also T ML x) = ˆµ ) ML, ˆσ ML 2 1 = x i, 1 2 x i 1 x j j=1 Bemerkug: ˆσ ML 2 ist i der Situatio vo 6.15.) icht erwartugstreu. Ma prüft aber leicht ach, dass ) 2 Tx) := 1 x 1 i 1 x j im Fall 2 die Variaz σ 2 erwartugstreu schätzt. j=1 Bemerkuge ohe Beweis): a) ML Schätzer sid ivariat uter fuktioale Trasformatioe vgl. 6.9.) d.h. ist T ML für ϑ, da ist gt) ML für gϑ) falls g ijektiv ist. b) Ma ka zeige, dass uter icht allzu starke Bediguge M L Schätzer für gewisse Optimalitätseigeschafte besitze. 6.16. Kofidezbereiche: We ma eie Schätzer für τ gefude hat, da ist ma meist a Fehlerabschätzuge iteressiert. Ma will dazu eie Bereich um de Schätzwert agebe, vo dem ma mit großer Sicherheit sage ka, dass er das wahre τϑ) ethält. Defiitio: Sei X, A, P ϑ ) ϑ Θ ) ei statistisches Modell, τ : Θ R k ud α [0, 1]. Eie Abbildug C : X B k = Borelmege vo R k ) heißt Kofidezbereich für τ zum Niveau α falls P ϑ {x : Cx) τϑ)}) α ϑ Θ gilt. Ist im Spezialfall k = 1 Cx) für jedes x ei Itervall, da heißt C auch Kofidezitervall für τ zum Niveau α. Bemerkug: Typische Werte für α sid α = 0, 90, α = 0, 95 oder α = 0, 99. Warug: Hat ma ei kokretes x 0 X beobachtet, so sollte ma die Sprechweise τϑ) liegt mit 9
der Midestwahrscheilichkeit α i Cx 0 ) vermeide, de τϑ) ist ja gar icht zufällig! Bemerkug: Bei gegebeem α ist ma a möglichst kleie Mege Cx) iteressiert. Cx) R k geht immer, ist aber uiteressat. Beispiel vgl. 6.14): Zu vorgegebeem α 0, 1) fide ma i der Situatio vo Beispiel 6.14. ei Kofidezitervall für τϑ) = ϑ = µ zum Niveau α! Für jedes ϑ = µ ist Y := 1 σ X i µ) N0, 1) verteilt. Ma ka q 1,q 2 R fide, so dass Φq 2 ) Φq 1 ) = α gilt z.b. so dass q 1 = q 2 ), wobei Φ die Verteilugsfuktio der Stadard-Normalverteilug ist. Nu gilt X i q 2 σ X i q 1 σ q 1 Y q 2 µ, also hat auch das rechte Ereigis für jedes P ϑ ) Wahrscheilichkeit α, d.h. [ 1 Cx) := x i q 2 σ ), 1 x i q 1 σ ] ) ist ei Kofidezitervall für τϑ) = ϑ = µ zum Niveau α. 10