Übungsblatt 9 zur Vorlesung. Statistische Methoden

Transkript

1 Dr. Christof Luchsiger Übugsblatt 9 zur Vorlesug Statistische Methode Schätztheorie ud Kofidezitervalle Herausgabe des Übugsblattes: Woche 8, Abgabe der Lösuge: Woche 9 (bis Freitag, 65 Uhr), Besprechug: Woche 20 Must Aufgabe 37 Eigeschafte vo Schätzer] Sei x,..., x eie Stichprobe aus eier N (µ, σ 2 )-Verteilug. Gebe Sie eifache Beispiele für: a) eie Schätzer für µ, der zwar erwartugstreu, aber icht kosistet ist. b) eie Schätzer für µ, der zwar kosistet, aber icht erwartugstreu ist. Aufgabe 38 MSE = V + b 2, Lemma 5.6] Zeige Sie: Mit de Bezeichuge aus 5..3 gilt: MSE(ˆµ, µ) = V ˆµ ] + b 2. Aufgabe 39 Eideutigkeit vo KI s] Kofidezitervalle sid icht eideutig (zb gibt es immer das vollradomisierte KI). Gebe Sie eie (eifache, bekate) Situatio a, i der Sie da 2 ichttriviale KI s agebe. Aufgabe 40 Kofidezitervalle] Der Durchmesser der vo eier bestimmte Maschie gefertigte Stahlkugel für Kugellager seie ugefähr ormalverteilt. Bei eier Stichprobe vom Umfag = 30 erhält ma eie mittlere Durchmesser x = 0.2 mm ud eie Streuug 30 (x i x) 2 = 0.62 mm. Bestimme Sie hieraus Kofidezitervalle für de Erwartugswert µ ud die Variaz σ 2 zum Niveau α = Aufgabe 4 Kofidezitervalle] Es wird ageomme, dass die Durchmesser der auf eier bestimmte Alage hergestellte Stahlkugel durch die ealisatioe eier ormalverteilte Zufallsgrösse mit σ =.04 mm beschriebe werde köe. Aus eier Stichprobe vom Umfag = 300 ergab sich x = 2.4 mm. Bestimme Sie für die Vertraueswahrscheilichkeit vo 0.99 die Greze des KI für de mittlere Durchmesser dieser Kugel. Frühjahrsemester 20 Olivier Wari Seite vo 8

2 Dr. Christof Luchsiger Stadard Aufgabe 42 MLE bei der Poissoverteilug] 2 Pukte] Bereche Sie de MLE, we die Date x,..., x aus eier Poissoverteilug mit Parameter λ > 0 stamme. Macht das esultat Si? Tipp: Beutze Sie ubedigt de Logarithmus a geeigeter Stelle. Aufgabe 43 MLE bei der Expoetialverteilug] 2 Pukte] Bereche Sie de MLE, we die Date x,..., x aus eier Expoetialverteilug mit Parameter λ > 0 stamme. Macht das esultat Si? Tipp: Beutze Sie ubedigt de Logarithmus a geeigeter Stelle. Aufgabe 44 Erwartugstreuer Schätzer der Variaz] 3 Pukte] Sei (X i ) eie Folge vo iid-zufallsgrösse mit EX2 ] <. Zeige Sie: (X j X) 2 j= ist ei erwartugstreuer Schätzer der Variaz. Tipp : eifach drauflosreche. Dieses esultat gilt übriges für beliebige Verteiluge! Aufgabe 45 Mometemethode] 2 Pukte] Sei x,..., x k eie Stichprobe aus eier Gamma(, λ)-verteilug, N, λ > 0. Schätze Sie mit Hilfe der Mometemethode ud λ. Aufgabe 46 Cramer-ao-Schrake im diskrete Fall] 2+2 Pukte] Formuliere Sie die Cramer-ao-Schrake für diskrete Zufallsgrösse ud bereche Sie die Schrake im Fall der Poisso-Verteilug. Hoours Aufgabe 47 Uiformverteilug ud MLE] ++ Pukte] a) Sei x,..., x eie Stichprobe aus eier U0, θ]-zufallsgrösse. Gebe Sie de MLE für diese Verteilugsfamilie a. Schreibe Sie dazu die gemeisame Dichtefuktio exakt auf ud maximiere Sie diese ohe abzuleite. b) Suche Sie eie reelle Zahl a, damit der MLE-Schätzer aus a) mit a multipliziert erwartugstreu ist (mit Beweis). c) Sei x,..., x eie Stichprobe aus eier Uθ, θ + ]-Verteilug. Gebe Sie eie sivolle Schätzer für θ a, welcher X () ud X () beutzt/kombiiert. Überprüfe Sie diese Schätzer auf Erwartugstreue. Aufgabe 48 Vervollstädigug des Beweises der Cramer-ao-Schrake] 6 Pukte] Vervollstädige Sie de Beweis der Cramer-ao-Schrake (Ableituge uter dem Itegral) mit Hilfe des Satzes der majorisierte Kovergez vo Lebesgue im stetige Fall. Frühjahrsemester 20 Olivier Wari Seite 2 vo 8

3 Übugsblatt 9 zur Vorlesug Statistische Methode Seite 3 vo 8 Übugsblatt 9 zur Vorlesug Statistische Methode Olivier Wari 5. Mai 20 Aufgabe 37 Eigeschafte vo Schätzer] Sei x,..., x eie Stichprobe aus eier N (µ, σ 2 )-Verteilug. a) Defiiere µ (x,..., x ) := x. Behauptug: Der Schätzer µ vo µ ist erwartugstreu aber icht kosistet. Beweis: Es gilt: E µ µ ] = E µ X ] = µ, also ist µ (ach Defiitio 5.2) erwartugstreu. Weiter gilt für ε > 0: lim P µ µ µ > ε] = P µ X µ > ε] = P N (0, σ 2 ) > ε] 0, also ist µ (ach Defiitio 5.3) kei kosisteter Schätzer für µ. b) Defiiere µ (x,..., x ) := x + /. Behauptug: Der Schätzer µ vo µ ist kosistet aber icht erwartugstreu. Beweis: Sei ε mit ε > 0. Sei weiter N mit > 2 /ε, also / < ε /2. Nu gilt: P µ µ µ > ε] = P µ X µ + / > ε] P µ X µ + / > ε] P µ X µ > ε /] P µ X µ > ε /2] LLN 0, wobei wir hier am Schluss das Gesetz der grosse Zahle beutzt habe. Wir schliesse: lim P µ µ µ > ε] = 0, also ist µ (ach Defiitio 5.3) ei kosisteter Schätzer für µ. Weiter gilt: E µ µ ] = E µ X + /] Lem = E µ X] + / = µ + / µ, 3.4b) also ist µ (ach Defiitio 5.2) kei erwartugstreuer Schätzer für µ. Bemerkug: Ma sagt, dass der Schätzer µ asymptotisch erwartugstreu ist, da lim E µ µ ] = µ. Aufgabe 38 MSE = V + b 2, Lemma 5.6] Es sei µ ei Schätzer für µ mit Bias b. Behauptug: Da gilt: MSE( µ, µ) = V µ µ ] + b 2. Frühjahrsemester 20 Olivier Wari Seite 3 vo 8

4 Übugsblatt 9 zur Vorlesug Statistische Methode Seite 4 vo 8 Beweis: Es gilt: V µ µ ] Lem = 3.7a) V µ µ µ] Lem = 3.7b) E µ ( µ µ) 2 ] (E µ µ µ]) 2 = MSE( µ, µ) b 2, wobei wir beim letzte Gleichheitszeiche die Defiitioe 5.2 ud 5.5 eigesetzt habe. Somit folgt die Behauptug sofort. Aufgabe 39 Eideutigkeit vo KI s] Gegebe sei eie Stichprobe x,, x aus eier N (µ, )-Verteilug. Nu werde wir zwei verschiedee 95%-KI s für µ agebe: Zuächst habe wir das aus bekate KI: KI = X K, X + K ], wobei K so gewählt ist, dass P N (0, ) K] = Also K =. qorm(0.975) = KI ist klar ei 95%-KI für µ. Wir defiiere weiter KI 2 = ) X K,, wobei K so gewählt ist, dass P N (0, ) K ] = Also K. = qorm(0.95) = KI 2 ist ebefalls ei 95%-KI für µ, de es gilt ] P µ µ KI 2 ] = P µ X K µ = P N (0, ) K ] = Damit habe wir zwei verschiedee icht-tiviale 95%-KI s für µ gefude. Aufgabe 40 Kofidezitervalle] Der Durchmesser der vo eier bestimmte Maschie gefertigte Stahlkugel für Kugellager seie ugefähr ormalverteilt. Bei eier Stichprobe vom Umfag = 30 erhält ma eie mittlere Durchmesser x = 0.2 mm ud eie Streuug σ = 30 (x i x) 2 = 0.62 mm. Nach ist u eie ealisatio eies ( α) = 95%-KIs für de Erwartugswert µ gegebe durch x t σ, x + t σ ], wobei t der etsprechede kritische Wert ist. Geauer gilt hier: P t t t ] = α, also t = qt(-0.05/2,30-) = Wir erhalte also die folgede ealisatio eies ( α)-kis für de Erwartugswert µ: x t σ, x + t σ ] = , 0.435]. Aufgabe 4 Kofidezitervalle] Es wird ageomme, dass die Durchmesser der auf eier bestimmte Alage hergestellte Stahlkugel durch die ealisatioe eier ormalverteilte Zufallsgrösse mit Stadardabweichug σ =.04 mm ud (ubekatem) Erwartugswert µ beschriebe werde köe. Aus eier Stichprobe x,..., x vom Umfag = 300 ergab sich x = 2.4 mm. Seie α := 0.0 ud K >0, so dass gilt: P K N (0, ) K] = α. Es gilt also K = qorm(-0.0/2) = Frühjahrsemester 20 Olivier Wari Seite 4 vo 8

5 Übugsblatt 9 zur Vorlesug Statistische Methode Seite 5 vo 8 Aalog wie wir i gesehe habe, ist x Kσ, x + Kσ ] =.98534, ] eie ealisatio eies α = 99%-KI für µ. Aufgabe 42 MLE bei der Poissoverteilug] Sei x,..., x N 0 eie Stichprobe eier Poisso-Verteilug mit Parameter λ > 0. Sei p λ : die etsprechede gemeisame Wahrscheilichkeitsfuktio. Hier gilt also p λ (x,..., x ) = λxi λ e x i! = e λ λ x x i! Wir wolle u de Maximum Likelihood Estimator (MLE) λ MLE für λ bestimme. Nach 7..4 gilt = argmax p λ (x,..., x ). Da log : >0 streg mooto wachsed ist, folgt damit: ( = argmax log(p λ (x,..., x )) = argmax = argmax λ + log(λ)x (( λ + log(λ)x)) = argmax ( λ + log(λ)x) ) log(x i!) Wir suche also die Maximumsstelle der Fuktio g : >0, g(λ) = λ + log(λ)x. Dazu leite wir g zweimal ab: dg dλ (λ) = + x λ, d 2 g dθ 2 (θ) = x λ 2 < 0. ist also eifach die Nullstelle vo dg dθ. Somit folgt: = x. Dieses esultat macht Si, da z.b. dieser Schätzer erwartugstreu ud kosistet für EX ] = λ ist. Aufgabe 43 MLE bei der Expoetialverteilug] Sei x,..., x > 0 eie Stichprobe eier Exp(λ)-verteilte Zufallsgrösse. Sei f λ : die etsprechede gemeisame Dichtefuktio. Es gilt hier f λ (x,..., x ) = λe λxi = λ e λx. Wir wolle u de Maximum Likelihood Estimator (MLE) λ MLE für λ bestimme. Nach 5..4 gilt = argmax λ >0 f λ (x,..., x ) ud da log : >0 streg mooto wachsed ist, folgt: = argmax λ >0 log(f λ (x,..., x )) = argmax λ >0 ( log(λ) λx) = argmax(log(λ) λx). λ >0 Wir suche also die Maximumsstelle der Fuktio g : >0, g(λ) := log(λ) λx. Dazu leite wir g zweimal ab: dg dλ (λ) = λ x, d 2 g dλ 2 (λ) = λ 2 < 0. ist also eifach die Nullstelle vo dg dλ. Somit folgt: x = 0 λ MLE = x. Dieses esultat macht Si, da x bekatlich ei erwartugstreuer ud kosisteter Schätzer für EX ] ist ud es gilt hier EX ] = /λ. Frühjahrsemester 20 Olivier Wari Seite 5 vo 8

6 Übugsblatt 9 zur Vorlesug Statistische Methode Seite 6 vo 8 Aufgabe 44 Erwartugstreuer Schätzer der Variaz] Sei (X i ) eie Folge vo iid-zufallsgrösse mit EX2 ] <. Behauptug: Der Ausdruck (X j X) 2 j= ist ei erwartugstreuer Schätzer der Variaz V X ]. Beweis: Es gilt ] E (X i X) 2 iid = E(X X) 2 ] = V X X] = V Dies beweist die Behauptug. ( = ) 2 V X ] + 2 = ( )V X ]. i=2 V X i ] = iid ( ( ( ) X ] X i i=2 ) ) 2 + V X ] Aufgabe 45 Mometemethode] Es sei x,..., x k > 0 eie Stichprobe aus eier Γ(, λ)-verteilug, N, λ > 0. Nu wolle wir λ ud mit Hilfe der Mometemethode schätze. Es gilt EX ] = λ ud EX2 ] = V X ] + (EX ]) = + 2 λ 2. Die Mometemethode liefert damit für die Schätzer ˆλ k ud ˆ k die folgede zwei Gleichuge: k k x i = ˆ k ˆλ k ud k k x 2 i = ˆ k + ˆ 2 k. ˆλ 2 k Mit de Abkürzuge x = k k x i ud x = k k x2 i fide wir damit ˆλ k = x x x 2 ud ˆ k = x2 x x 2. Bemerkug: Natürlich weiss ma bereits im Voraus, dass eie atürliche Zahl ist. Also ka ma beim Schätzer ˆ k am Ede och rude, um eie atürliche Zahl zu erhalte. Aufgabe 46 Cramer-ao-Schrake im diskrete Fall] Hier eie mögliche Formulierug der Cramer-ao-Schrake im diskrete Fall: Satz (Cramer-ao-Schrake, diskret) Sei ˆθ ei erwartugstreuer Schätzer für de Parameter θ vo eier diskrete Zufallsgrösse X. Da gilt V θ ˆθ] I θ, (C-Ugl) wobei I θ = x ( ) 2 log(p(x, θ)) p(x, θ). θ p(x, θ) bezeichet dabei die etsprechede gemeisame Wahrscheilichkeitsfuktio. Wir forder dazu (egularity) a) Der Wertebereich der Zufallsgrösse X darf icht vo θ abhäge. Frühjahrsemester 20 Olivier Wari Seite 6 vo 8

7 Übugsblatt 9 zur Vorlesug Statistische Methode Seite 7 vo 8 b) Die gemeisame Wahrscheilichkeitsfuktio p(x, θ) muss ach θ differezierbar sei. c) Für ei gegebees θ gibt es eie kleie Nachbarschaft N θ vo θ, so dass sup p(x, ψ) ψ < ud sup ˆθ(x) p(x, ψ) ψ <. x ψ N θ Kokret gilt bei eier Po(θ)-Verteilug: ] siehe I θ = V θ Bew. θ log(p(x, θ)) Aufg. = 42 ] = V θ + X θ x ψ N θ ( V θ θ + log(θ)x θ = 2 θ 2 V θx] = 2 θ 2 θ = θ. Also lautet die Schrake θ, welche mit dem Schätzer ˆθ = x auch erreicht wird. )] log(x i!) Aufgabe 47 Uiformverteilug ud MLE] a) Sei x,..., x eie Stichprobe aus eier U0, θ]-zufallsgrösse. Wir wolle u de MLE-Schätzer ˆθ MLE für θ bestimme. Die etsprechede gemeisame Dichtefuktio f θ lautet wie folgt: { θ, falls x,..., x 0, θ] f θ (x,..., x ) = 0, sost. Wir schliesse ˆθ MLE = argmax θ >0 f θ (x,..., x ) = mi{θ >0 x,..., x θ} = max{x,..., x } = x (). b) Nu suche wir ei a, so dass der Schätzer aˆθ MLE ei erwartugstreuer Schätzer für θ ist. Um dies zu tu bereche wir erst die Verteilugsfuktio G θ ud da durch Ableite die Dichtefuktio g θ vo ˆθ MLE G θ (x) = P θ ˆθ MLE g θ (x) = x θ. Da aˆθ MLE. Für x 0, θ] gilt: x] = P θ X () x] = P θ X x,..., X x] = iid P θ X x] = x θ erwartugstreu sei soll erhalte wir damit die folgede Gleichug: θ = E θ aˆθ MLE woraus wir sofort folger: ] = ae θ ˆθ MLE ] = a θ 0 a = +. θ x xg θ (x)dx = a 0 θ dx = a + θ, c) Sei x,..., x eie Stichprobe aus eier Uθ, θ + ]-Verteilug. Nu suche wir eie sivolle Schätzer ˆθ für θ, der X () ud X () beutzt/kombiiert. Kokret ehme wir ˆθ = 2 (x () + x () ) 2, de 2 (X () + X () ) sollte etwa bei θ + 2 liege. Nu wolle wir diese Schätzer och auf Erwartugsteue utersuche. Ählich wie i a) bestimme wir EX () ] = θ + + ud EX ()] = θ + +. Frühjahrsemester 20 Olivier Wari Seite 7 vo 8

8 Übugsblatt 9 zur Vorlesug Statistische Methode Seite 8 vo 8 Wir schliesse Eˆθ ] = 2 (EX ()] + EX () ]) 2 = θ + 2 Also ist user Schätzer ˆθ erwartugstreu. ( + + ) + = θ. Aufgabe 48 Vervollstädigug des Beweises der Cramer-ao-Schrake] Wir beutze die gleiche Notatioe ud die gleiche Voraussetzuge wie i Satz 5.9 im Skript. Behauptug: Es gilt f(x, θ)dx = θ θ f(x, θ)dx ud ˆθ(x) f(x, θ)dx = θ Beweis: Es sei (h ) N eie beliebige reelle Nullfolge. Weiter defiiere für N f (x) = f(x, θ + h ) f(x, θ) h. Nach Voraussetzug muss ja f(x, θ) ach θ differezierbar sei, somit gilt f(x, θ + h) f(x, θ) f(x, θ) = lim θ h 0 h θ f(x, θ + h ) f(x, θ) = lim. h ˆθ(x)f(x, θ)dx. Für geüged gross liege θ ud θ + h klar i der kleie Nachbarschaft N θ vo θ. Damit folgt sofort mit dem Mittelwertsatz: f (x) sup f(x, ψ) θψ =: g(x). ψ N θ Laut (egularity) ist g itegrierbar, also köe wir g als Majorate im Satz vo der majorisierte Kovergez vo Lebesque eisetze. Somit folgt lim f (x)dx = lim f (x)dx = f(x, θ)dx. θ ( ) Der Satz vo der majorisierte Kovergez sagt us isbesodere, dass der Grezwert auf der like Seite existiert. Aufrud vo ( ) ist dieser Grezwert sogar uabhägig vo der Nullfolge (h ) N. Wir schliesse f(x, θ + h ) f(x, θ) f(x, θ + h) f(x, θ) lim f (x)dx = lim dx = lim h h 0 f(x, θ + h)dx f(x, θ) = lim = f(x, θ)dx. h 0 h θ Die Kombiatio vo dieser Gleichug mit ( ) liefert die erste Gleichug. Für die zweite Gleichug gehe wir aalog vor: Sei wieder (h ) N eie beliebige reelle Nullfolge. Weiter defiiere e (x) = ˆθ(x) f(x, θ + h ) f(x, θ) h. Aalog wie beim Beweis der erste Gleichug gilt hier lim e (x) = ˆθ(x) θ f(x, θ). Wie obe liege θ ud θ + für geüged gross klar i der Nachbarschaft N θ. Somit folgt mit dem Mittelwertsatz h (x) sup ˆθ(x) f(x, ψ) ψ =: l(x). ψ N θ Laut (egularity) ist l itegrierbar. Also köe wir l als Majorate im Satz vo der majorisierte Kovergez vo Lebesque eisetze. Wir schliesse lim e (x)dx = lim e (x)dx = ˆθ(x) f(x, θ)dx. θ Geau wie zuvor folgt u och ud damit die zweite Gleichug. lim e (x)dx = θ ˆθ(x)f(x, θ)dx h dx Frühjahrsemester 20 Olivier Wari Seite 8 vo 8