6. Schätzverfahren für Parameter

Transkript

1 6. Schätzverfahren für Parameter Ausgangssituation: Ein interessierender Zufallsvorgang werde durch die ZV X repräsentiert X habe eine unbekannte Verteilungsfunktion F X (x) Wir interessieren uns für einen (oder mehrere) Parameter der Verteilung von X 313

2 Wichtige Parameter sind: Der Erwartungswert von X Die Varianz von X Werte der VF F X (x) Quantile der VF F X (x) (vgl. Definition 3.3, Folie 122) 314

3 Ansatz zur Informationsbeschaffung: Betrachte eine einfache Zufallsstichprobe X 1,..., X n aus X Schätze den unbekannten Parameter von X anhand einer geeigneten Statistik T = g(x 1,..., X n ) der Zufallsstichprobe (vgl. Definition 5.2, Folie 300) 315

4 6.1 Punktschätzung Bezeichnungen: Der unbekannte Parameter von X sei θ (z.b. θ = E(X)) Die Statistik der einfachen Zufallsstichprobe X 1,..., X n aus X zur Schätzung des unbekannten Parameters θ wird häufig mit ˆθ(X 1,..., X n ) bezeichnet (memotechnisch sinnvoll) 316

5 Definition 6.1: (Schätzer, Schätzwert) Die Statistik ˆθ(X 1,..., X n ) heißt Schätzer (auch Schätzfunktion) für den Parameter θ. Hat sich die Zufallsstichprobe X 1,..., X n in den Werten x 1,..., x n realisiert, so bezeichnet man die damit verbundene Realisierung des Schätzers ˆθ(x 1,..., x n ) als Schätzwert. Bemerkungen: Der Schätzer ˆθ(X 1,..., X n ) ist eine Zufallsvariable Schätzer hat Vtlg., E-Wert und Varianz Der Schätzwert ˆθ(x 1,..., x n ) ist dagegen eine Zahl (vgl. Abbildungen auf den Folien ) 317

6 Frage: Wozu braucht man das scheinbar komplizierte theoretische Konzept des Schätzers als Zufallsvariable? Antwort: Um alternative Schätzer für ein und denselben Parameter θ im Hinblick auf ihre jeweilige Genauigkeit miteinander vergleichen zu können 318

7 Beispiel: Es sei θ = V (X) die Varianz von X Zwei alternative Schätzer für θ sind ˆθ 1 (X 1,..., X n ) = S 2 = 1 n n i=1 ˆθ 2 (X 1,..., X n ) = S 2 = 1 n 1 ( Xi X ) 2 n i=1 ( Xi X ) 2 Frage: Welcher Schätzer ist besser und warum? Eigenschaften von Punktschätzern 319

8 6.2 Eigenschaften von Punktschätzern Ziel: Formulierung von Qualitätskriterien zur Beurteilung der Eigenschaften eines Schätzers ˆθ(X 1,..., X n ) für θ Hier 3 Kriterien: Erwartungstreue Mittlerer quadratischer Fehler (schwache) Konsistenz 320

9 Definition 6.2: (Erwartungstreue) Der Schätzer ˆθ(X 1,..., X n ) für den unbekannten Parameter θ heißt erwartungstreu, falls sein Erwartungswert mit dem zu schätzenden Parameter θ übereinstimmt, d.h. falls E [ˆθ(X 1,..., X n ) ] = θ. Bemerkung: Anschaulich bedeutet Erwartungstreue, dass der Schätzer ˆθ(X 1,..., X n ) nicht systematisch daneben schätzt, wenn man den Schätzer nicht nur für eine, sondern für viele Stichproben auswertet (Gedankenexperiment: Wiederholte Stichprobe) 321

10 Beispiel 1: [I] Es sei θ = E(X) Betrachte den Schätzer ˆθ(X 1,..., X n ) = X = 1 n (arithmetisches Stichprobenmittel) n X i i=1 322

11 Beispiel 1: [II] Es gilt: E [ˆθ(X 1,..., X n ) ] = E 1 n n X i i=1 = 1 n n i=1 E(X i ) = 1 n n i=1 E(X) = 1 n n i=1 θ = 1 n n θ = θ ˆθ(X 1,..., X n ) = X ist erwartungstreu für θ = E(X) (vgl. Satz 4.13, Folie 281) 323

12 Beispiel 2: [I] Es sei θ = V (X) die Varianz von X Betrachte den Schätzer (Stichprobenvarianz) ˆθ 1 (X 1,..., X n ) = S 2 = 1 n n i=1 ( Xi X ) 2 Hier gilt E [ˆθ 1 (X 1,..., X n ) ] = E(S 2 ) = n 1 n S 2 ist nicht erwartungstreu für θ = V (X) θ 324

13 Beispiel 2: [II] Betrachte korrigierte Stichprobenvarianz ˆθ 2 (X 1,..., X n ) = S 2 = 1 n 1 n i=1 ( Xi X ) 2 = n n 1 S2 Hier gilt: E [ˆθ 2 (X 1,..., X n ) ] = E(S 2 ) = E ( n n 1 S2 = n n 1 E(S2 ) = = θ = V (X) S 2 ist erwartungstreu für θ = V (X) ) n n 1 n 1 n θ 325

14 Satz 6.3: (E-treue Schätzer für E(X) und V (X)) Es sei X 1,..., X n eine Stichprobe aus X und X sei beliebig verteilt mit unbekanntem Erwartungswert µ = E(X) sowie unbekannter Varianz σ 2 = V (X). Dann sind die beiden Schätzer bzw. ˆµ(X 1,..., X n ) = X = 1 n ˆσ 2 (X 1,..., X n ) = S 2 = 1 n 1 n X i i=1 n i=1 ( Xi X ) 2 stets erwartungstreu für die Parameter µ = E(X) und σ 2 = V (X). 326

15 Vorsicht: Erwartungstreue pflanzt sich bei Parametertransformationen nicht beliebig fort Beispiel: Zwar ist S 2 erwartungstreu für σ 2 = V (X) Jedoch ist S nicht erwartungstreu für σ = V (X) Bemerkung: Im übrigen ist auch S nicht E-treu für σ = V (X) 327

16 Übersicht: Weitere Parameter von X und zugehörige potenzielle Schätzer, wie sie aus der deskriptiven Statistik (Statistik I) bekannt sind Parameter Wahrscheinlichkeit Verteilungsfunktion Quantil Standardabweichung Gemeinsame Wskt. Kovarianz Korrelationskoeffizient Vorsicht: Potenzieller Schätzer relative Häufigkeit emp. Verteilungsfunktion Quantil emp. Standardabweichung gem. relative Häufigkeit emp. Kovarianz emp. Korrelationskoeffizient Die potenziellen Schätzer sind oft, aber nicht immer erwartungstreu für die zu schätzenden Parameter 328

17 Jetzt: Strengeres Qualitätskriterium für Schätzer Dichtefunktionen zweier erwartungstreuer Schätzer für den Parameter θ 1 n Dichte von θ ( X1, K, X ) 2 n Dichte von θ ( X1, K, X ) θ 329

18 Intuition: Ist ein Schätzer erwartungstreu, so ist es günstig, wenn er eine kleine Varianz aufweist Optimal: Erwartungstreuer Schätzer mit minimaler Varianz Problem: Solche Schätzer sind oft schwer oder gar nicht auffindbar Ausweg: Kennzahlen zum Vergleich zweier alternativer Schätzer Bekannteste Kennzahl: Mittlerer quadratischer Fehler 330

19 Definition 6.4: (Mittlerer quadratischer Fehler) Es sei ˆθ(X 1,..., X n ) einer Schätzer für den unbekannten Parameter θ. Dann heißt die Kennzahl MSE(ˆθ) = E[(ˆθ θ) 2 ] der mittlere quadratische Fehler (englisch: mean squared error) des Schätzers ˆθ. Bemerkung: Der mittlere quadratische Fehler lässt sich auch schreiben als MSE(ˆθ) = V (ˆθ) + [ E(ˆθ) θ ] 2 }{{} Verzerrung Bei erwartungstreuen Schätzern ist der MSE gleich der Varianz des Schätzers 331

20 Weiteres Gütekriterium für einen Schätzer: Konsistenz eines Schätzers Intuition: Ein Schätzer ˆθ(X 1,..., X n ) für den unbekannten Parameter θ heißt konsistent, falls die Schätzung bei zunehmenden Stichprobenumfang immer genauer wird (Konzept wird hier nicht genauer behandelt) 332

21 Weitere zentrale Fragestellung: Wie findet man geeignete Schätzer Es gibt allgemeine Konstruktionsprinzipien, z.b. die: Methode der Kleinsten-Quadrate Momenten-Methode Maximum-Likelihood-Methode (Gegenstand der Ökonometrie-VL im Hauptstudium) 333

22 6.3 Intervallschätzung Bisher: Schätzung des Parameters θ auf der Basis einer Stichprobe durch Punktschätzung ˆθ(X 1,..., X n ) Problem: Punktschätzung trifft in der Regel den exakten Wert des unbekannten Parameters θ nicht Bei Stichproben aus stetigen Verteilungen gilt sogar P (ˆθ(X 1,..., X n ) = θ ) = 0 bzw. P (ˆθ(X 1,..., X n ) θ ) = 1 334

23 Alternativer Ansatz: Konstruktion eines zufälligen Intervalls anhand einer Stichprobe X 1,..., X n, das den Parameter θ mit einer vorgebenen Wskt. überdeckt Vorteil: Genauigkeit der Schätzung wird quantifiziert Ansatz: Wähle 2 Statistiken ˆθu(X 1,..., X n ) und ˆθo(X 1,..., X n ), derart dass das zufällige Intervall I = [ˆθu(X 1,..., X n ), ˆθo(X 1,..., X n ) ] θ mit einer vorgegebenen Wahrscheinlichkeit überdeckt 335

24 Definition 6.5: (Konfidenzintervall) Es sei X 1,..., X n eine Zufallsstichprobe aus X, θ ein unbekannter Parameter und α [0, 1] eine reelle Zahl. Dann bezeichnet man das zufällige Intervall [ˆθu(X 1,..., X n ), ˆθo(X 1,..., X n ) ] mit der Eigenschaft P (ˆθu(X 1,..., X n ) θ ˆθo(X 1,..., X n ) ) = 1 α als Konfidenzintervall für θ zum Konfidenzniveau 1 α. Die Zahl α [0, 1] heißt Irrtumswahrscheinlichkeit. 336

25 Bemerkungen: Die Grenzen des Intervalls sind ZV en Nach Realisation der Stichprobe heißt das Intervall [ˆθu(x 1,..., x n ), ˆθo(x 1,..., x n ) ] konkretes Konfidenzintervall 337

26 Konfidenzintervall 1: [I] Der interessierende Zufallsvorgang repräsentiert durch die ZV X sei normalverteilt, d.h. X N(µ, σ 2 ), wobei µ unbekannt und σ 2 bekannt sein sollen Gesucht wird (1 α)-konfidenzintervall für µ Betrachte Stichprobe X 1,..., X n aus X Wissen aufgrund von Satz 5.5(b), Folie 310: n X µ σ N(0, 1) 338

27 N(0, 1)-Dichtefunktion der Statistik n X µ σ X µ Dichte von n ~ N(0,1) σ α / 2 α / 2 c 0 c Konfidenzintervall 1: [II] c ist das (1 α/2)-quantil der N(0, 1)-Verteilung 339

28 Konfidenzintervall 1: [III] Das p-quantil der Standardnormalverteilung wird im Lehrbuch Mosler/Schmid mit u p bezeichnet, d.h. c = u 1 α/2 Es gilt also: P P ( X u 1 α/2 P ( c n X µ σ ) c ( u 1 α/2 n X µ σ u 1 α/2 ) σ n µ X + u 1 α/2 ) σ n = 1 α = 1 α = 1 α 340

29 Konfidenzintervall 1: [IV] Ein Konfidenzintervall für µ zum Niveau 1 α ist also [ ] σ σ X u 1 α/2, X + u n 1 α/2 n Z.B. gilt für 1 α = 0.95: 1 α = 0.95 = α = 0.05 = u 1 α/2 = u = 1.96 (vgl.formelsammlung Bomsdorf/Gröhn/Mosler/Schmid) 341

30 Konkretes Beispiel: [I] Es sei X das tatsächliche Gewicht (in Gramm) einer 200g- Tafel Schokolade Angenommen, X N(µ, 4) mit unbek. Erwartungswert µ Eine einfache Stichprobe vom Umfang n = 8 liefert x 1 x 2 x 3 x 4 x 5 x 6 x 7 x

31 Konkretes Beispiel: [II] Ein Punktschätzwert für µ ist x = Ein konkretes 0.95-Konfidenzintervall für µ ist [ ] 2 2 x 1.96, x = [ , ] 343

32 Konfidenzintervall 2: [I] Der interessierende Zufallsvorgang repräsentiert durch die ZV X sei normalverteilt, d.h. X N(µ, σ 2 ), wobei sowohl µ als auch σ 2 unbekannt sein sollen Gesucht wird (1 α)-konfidenzintervall für µ Betrachte Stichprobe X 1,..., X n aus X Wissen aufgrund von Satz 5.5(c), Folie 311: n 1 X µ S t(n 1) 344

33 Dichtefunktion der t(n)-verteilung 0.4 n = Dichtefunktion n = x Konfidenzintervall 2: [II] c ist das (1 α/2)-quantil der t(n)-verteilung 345

34 Konfidenzintervall 2: [III] Das p-quantil der t(ν)-verteilung wird in Mosler/Schmid mit t ν,p bezeichnet, d.h. c = t n 1,1 α/2 Es gilt also: P ( X c P ( c n 1 X µ S S n 1 µ X + c ) c ) S n 1 = 1 α = 1 α 346

35 Konfidenzintervall 2: [IV] Ein Konfidenzintervall für µ zum Niveau 1 α ist somit [ ] S S X t n 1,1 α/2, X + t n 1,1 α/2 n 1 n 1 Z.B. gilt für 1 α = 0.95: 1 α = 0.95 = α = 0.05 = t n 1,1 α/2 = t 7,0.975 = (vgl. Formelsammlung Bomsdorf/Gröhn/Mosler/Schmid) 347

36 Konkretes Beispiel: [I] Es sei X das tatsächliche Gewicht (in Gramm) einer 200g- Tafel Schokolade Angenommen, X N(µ, σ 2 ) mit unbekanntem Erwartungswert µ und unbekannter Varianz σ 2 Eine einfache Stichprobe vom Umfang n = 8 war x 1 x 2 x 3 x 4 x 5 x 6 x 7 x

37 Konkretes Beispiel: [II] Ein Punktschätzwert für µ ist x = Ein Punktschätzwert für σ ist s = Ein konkretes 0.95-Konfidenzintervall für µ ist [ x , x ] 7 7 = [ , ] KI ist breiter als das KI auf Folie 343, weil Schätzung der unbekannten Varianz σ 2 durch S 2 zusätzliche Unsicherheit birgt 349