Probeklausur zur Einführung in die Wahrscheinlichkeitstheorie und Statistik Lösungsskizzen

Transkript

1 Eiführug i die Wahrscheilichkeitstheorie ud Statistik Prof. Dr. Ja Johaes Sadra Schluttehofer Witersemester 8/9 Proeklausur zur Eiführug i die Wahrscheilichkeitstheorie ud Statistik Lösugsskizze Nachame: Vorame: Matrikelummer: Studiegag: Aufgae erreichte Pukte P Note mögliche Pukte Bitte üerprüfe Sie die Klausur auf Vollstädigkeit (7 Aufgae). Beschrifte Sie jedes zusätzliche Blatt mit Ihrem Name ud Ihrer Matrikelummer. Datum: 3..9 Dauer der Klausur: Miute Viel Erfolg!

2 Aufgae (Maximum-Likelihood-Schätzer, 7 = Pukte). Seie X,...,X iid Bi (m,p) uahägige ud idetisch Biomial-verteilte ufallsvariale mit Parameter m ud p (, ). DieähldichtederBiomial-VerteilugmitParameter (m, p) ist gegee durch m (k) = p k ( k p) m k für k {,...,m}. Außerdem gilt E(Bi (m,p) )=m p ud Var(Bi (m,p) )=m p ( p). (a) eige Sie, dass der Maximum-Likelihood-Schätzer ˆp vo p asiered auf X,...,X für ekates m durch ˆp = m P i= X i gegee ist. () eige Sie, dass ˆp ei erwartugstreuer ud stark kosisteter Schätzer für p ist. (c) Weise Sie ach, dass zudem p (ˆp p) D! N (,p( p)/m) für! gilt. (d) Sei (, ). GeeSie,asieredaufdemResultataus(c), eiasymptotisches( Kofidezitervall für p für die richtige Parameter R p =[p, ) a. )- Lösug. (a) Da die X i uahägig ud idetisch verteilt sid, faktorisiert die gemeisame ähldichte ud die Likelihood-Fuktio ist gegee durch [L (p)](x,...,x )= Y i= (x i )= Y m p x i ( p) m x i. i= x i Wir etrachte hier die log-likelihood [l (p)](x,...,x ) := log([l (p)])(x,...,x )= i= x i log p +(m x i )log( p)+log m x i ud leite diese ach [l (p)](x,...,x )= {x i /p (m x i )/( p)} = i= i= (x i mp) p( p). Nullsetze der Aleitug mit de Werte X,...,X liefert de Extrempukt l ist stetig ud [l (p)](x,...,x ) ˆp = () ˆp = m lim l (p) = ud lim l (p) = p! p! d.h. ei ˆp hadelt es sich tatsächlich um ei Maximum. X i. i= () Da EX = mp ud VarX = mp( p) folgt mit der Liearität des Erwartugswertes: Eˆp = m i= E(X i )= mp = p, m

3 d.h. der Schätzer ist erwartugstreu. Da die (X i ) uahägig ud idetisch verteilt sid, sid es auch die ufallsvariale (Y i )=(X i /m), fürdiee Y i = EY i = m EX = p<, alsoy i L gilt. Damit folgt mit dem Starke Gesetz der große ahle: lim ˆp = lim!! m i= X i = lim! d.h. ˆp ist ei stark kosisteter Schätzer für p. Y i = E(Y )=p P f.s. (c) (Y i )=(X i /m) ist eie Folge uahägiger ud idetisch verteiler ufallsvariale mit E(Y i )=pud Var(Y i )= Var(X m i )=p( p)/m. Dafolgtmitdemetrale Grezwertsatz: i= p P i= Y i p p p( p)/m D! N (,) Mit dem Satz vo der stetige Aildug (durch Multipliziere mit p p( p)/m) folgt p (ˆp p)= p! Y i p D! p p( p)/mn (,) = D N (,p( p)/m). i= (d) Es gilt ach (c) p (ˆp p) p D! N (,).Wirezeichemitq das -Quatil der Sta- p( p)/m dardormalverteilug. pˆp ( ˆp )/m ist ach () ud dem Satz der stetige Aildug ei kosisteter Schätzer für de Störparameter p p( p)/m. Daist [ˆp ˆp ( ˆp ) p m q, ) ei asymptotisches Lemma 3.3). -Kofidezitervall für die richtige Parameter R p =[p, ) (vgl. 3

4 Aufgae (Bedigte Wahrscheilichkeite, 4 = + Pukte). (a) Sei X Exp eie Expoetial-verteilte ufallsvariale mit Parameter > mit Wahrscheilichkeitsdichte (x) = exp( x) R +(x) 8x R. Beweise Sie die sogeate Gedächtislosigkeit der Expoetialverteilug: P(X s + t X s) =P(X t) 8s, t R + () Sei (, A, P) ei Wahrscheilichkeitsraum. Es sei (B j ) j{,...,} Aeie disjukte erlegug vo mit P(B i ) > für alle B i {,...,}. eigesiedieformel vo der totale Wahrscheilichkeit: FürA Agilt P(A) = P(B i )P(A B i ). i= Lösug. (a) uächst estimme wir die Verteilugsfuktio vo X: Es gilt für x P(X apple x) =F X (x) = x (y) dy = x exp( y) dy =[exp( y)] x = exp( x) also auch Nach der Defiitio der edigte Wahrscheilichkeit gilt P(X x) =exp( x) ( ) P(X s + t X s) = P(X s + t, X s). P(X s) Da s, t R + folgt aus X s + t ereits X s, wir erhalte also P(X s + t X s) = P(X s + t) P(X s) ( ) = exp( (s + t)) exp( s) =exp( t) ( ) = P(X t). S () Nach Voraussetzug gilt = i= B i ud damit für A A: P(A \ ) = P A [ \ B i i= [ = P (A \ B i) i= = = P(A \ B i ) i= P(A B i )P(B i ) i= woei wir die Additivität des Maßes ud die Defiitio der edigte Wahrscheilichkeit verwedet hae. 5

5 Aufgae 3 (Kovergez vo ufallsvariale, 3 = + + Pukte). Sei (X ) N eie Folge vo ufallsvariale mit für alle N. Für welche R gilt (i) X P!, (ii) X L!, (iii) X D!? P(X = )= Lösug 3. (i) Es gilt für ">: ud P(X =)= P( X >")=P( X >",X =) +P( X >",X = ) {z } = = P( >",X = ) apple P(X = )= d.h. X P! für alle R. (ii) Wir üerprüfe, o L -Kovergez vorliegt: E((X ) )=E(X )= + ( )= Also X L! geau da we <. (iii) Aus X P! für alle folgt ereits X D! für alle. 7

6 Aufgae 4 (Charakteristische Fuktioe, 4 = + Pukte). Sei (, A, P) ei Wahrscheilichkeitsraum. (a) Es seie ( i ) in uahägige ud idetische verteilte ufallsvariale mit P( =)=P( = ) =. Sei X = P i= i i für N. eige Sie, dass die charakteristische Fuktio vo X durch gegee ist. ' X (u) = si(u) (für u 6= ), ' si u X () = () Sei X U [,] eie auf [, ] gleichverteilte ufallsvariale, d.h. mit Wahrscheilichkeitsdichte X (x) = [,](x). eige Sie, dass für X aus (a) gilt: X D! X. Hiweis: Es gilt si(u) = (exp(iu) exp( iu)) i cos(u) = (exp(iu)+exp( si(u) =si(u)cos(u) iu)) für u R. Lösug 4. (a) Für Summe uahägiger ufallsvariale faktorisiert die charakteristische Fuktio, d.h. es gilt ' X (u) = Y i= ' i i (u). Für lieare Trasformatioe eier ufallsvariale Y gilt außerdem ' ay (u) =' Y (au) für a 6=, d.h. wir erhalte ' X (u) = Y ' i (u/ i ). i= Wir estimme u also die charakteristische Fuktio der i: ' i (u) =E(exp(iu i )) = (exp(iu)+exp( iu)) = cos(u) 9

7 für u 6 {k, k }, d.h.si(u) 6= köe wir cos(u) = si(u) si(u) für u/{ i k, i {,...,},k } schreie ud erhalte ' X (u) = Y ' i (u/ i )= i= = si(u) si(u/ ) Y cos(u/ i )= i= Y i= si(u/ i ) si(u/ i ) woei wir im letzte Schritt ausgeutzt hae, dass es sich um ei Teleskopprodukt hadelt. Für u =erhalte wir trivialerweise ' X (u) =. () Für eie U [,] -verteilte ufallsvariale X gilt für u 6= ' X (u) =E(exp(iuX)) = exp(iux) dx = iu (exp(iu) exp( iu)) = u si(u) ud ' X () =. Es gilt lim x! x si(u/x) l Hospital = lim x! u cos(u/x) =u, d.h.füru 6= ' X (u) = Y i= si(u/ i ) si(u/ i )! si(u) u = ' X (u) ud ' X () = ' X (). DamitfolgtausdemStetigkeitssatzvoLévy:X D! X.

8 Aufgae 5 (Stetige Wahrscheilichkeitsverteiluge, 6 = Pukte). Die ufallsvariale X ud Y seie gemeisam stetig verteilt mit der Wahrscheilichkeitsdichte ( X,Y c exp( y) apple x apple y, (x, y) = sost. für ei >. (a) Bestimme Sie die Kostate c so, dass X,Y eie Wahrscheilichkeitsdichte ist. () Bereche Sie die Raddichte X ud Y vo X ud Y.SidX ud Y uahägig? wischeergeis: Es gilt X Exp,d.h. X (x) = exp( x) {x }. (c) Sei (, ). BerecheSiedas -Quatil q der Verteilug vo X. (d) Sei u U [,],also (z) = [,] (z), uahägigvo, sowie V := mi(x, ). Bestimme Sie die Verteilug vo V. Lösug 5. (a) Damit X,Y X,Y eie Wahrscheilichkeitsdichte ist, muss ud R X,Y (x, y) d(x, y) R gelte. Die erste Bedigug ist erfüllt soald c gilt, für die zweite Bedigug emerke wir: X,Y (x, y) =c exp( y) [,y] (x) [,) (y) =c exp( y) [x,) (y) [,) (x) Es gilt (wir führe zuerst die Itegratio üer y aus) X (x) = = c h exp( Damit erhalte wir =! X,Y (x, y) d(x, y) = R R X,Y (x, y) dy = R y) i x x c exp( [,) (x) = c exp( X,Y (x, y) dy dx = R y) dy [,) (x) x) [,)(x) X (x) dx = c exp( x) dx = c Somit muss also c = gelte. Alterativ hätte wir auch zuerst die Itegratio üer x ausführe köe (dies ist jedoch wesetlich komplizierter!): Y (y) = Damit erhalte wir =! X,Y (x, y) d(x, y) = R = c apple exp( y)y = c exp( X,Y (x, y) dx = = c y exp( y) [,) (y) y) dy = c R R y c exp( y) dx [,) (y) X,Y (x, y) dx dx = Y (y) dy = c y exp( R exp( y) dy y) dy woei wir i der zweite eile partielle Itegratio agewadt hae. Auch hier erhalte wir c =.

9 () Die Raddichte wurde ereits i (a) estimmt: X (x) = = c h exp( X,Y (x, y) dy = y) i x x c exp( [,) (x) = c exp( y) dy [,) (x) x) [,)(x) Y (y) = X,Y (x, y) dx = = c y exp( y) [,) (y) y c exp( y) dx [,) (y) Da X Y 6= X,Y gilt (ud das icht ur auf eier Nullmege, kokreter: X,Y (x, y) = 6= X (x) Y (y) für alle x y.), sid X ud Y icht uahägig. (c) Wir estimme zuächst die Verteilugsfuktio vo X: Fürx apple ist F X (x) =,für x gilt F X (x) = x X (y) dy = x exp( y) dy =[ exp( y)] x = exp( x). Für das -Quatil q muss gelte F X (q )= () exp( q )= () q = log( ) (d) uächst emerke wir, dass [, ] ud X [, ), d.h.v =mi(x, ) [, ]. Wir estimme also die Verteilugsfuktio vo V für v [, ], fürv apple gilt F V (v) =ud für v> gilt F V (v) =. F V (v) =P(V apple v) = P(V v) = P(mi(X, ) v) = P(X v, v) X, uah. = P(X v)p( v) = ( F X (v))( F (v)) = exp( v)( v). 3

10 Aufgae 6 (Statistische Tests, 7 = Pukte). Wir utersuche die Läge ausgewachseer Karpfe. Aufgrud lagjähriger Utersuchuge ehme wir i userem Modell a, dass die Läge X eies ausgewachsee Karpfes stetig Laplace(µ,)-verteilt ist mit festem ud ekatem Mittelwert µ =5cm ud uekatem Skaleparameter, d.h.x Laplace(µ,)=:P.DieDichteeierLaplace(µ,)-Verteilug lautet µ,(x) = exp x µ, x R. Ei Forscher stellt die Hypothese auf, dass = =7cm gilt. Wir deke, dass der Skaleparameter größer als 7 cm ist ud fage zur Utermauerug userer Aussage uahägig voeiader =ausgewachsee Karpfe. Wir erhalte folgede Läge (i cm): (a) Sei zuächst > fest gewählt. Formuliere Sie de Neyma-Pearso-Test ' : R! {, } für die P -Verteilug zu de Hypothese H : = gege H : = zum Niveau (, ). eigesie,dassdertestvoderform (, T := P i= '(X,...,X )= X i µ >c,, T apple c, mit geeiget gewähltem c ist. () Begrüde Sie, warum ' aus (a) auch ei gleichmäßig ester Test zum Niveau für die Hypothese H : = gege H : > ist. (c) Es ist ekat, dass für X Laplace(µ,) gilt: X µ (Chi-Quadrat-Verteilug mit Freiheitsgrade). Bereche Sie damit de Wert c des Tests aus (a) ud gee Sie das Testresultat zum Niveau =.5 für usere Beoachtuge a. Hiweis: Hier sid eiige Quatile, der -Verteilug:,.5 =.,,.95 =5.99,,.5 =.85,,.95 =3.4. (d) Begrüde Sie, warum ' auch ei gleichmäßig ester Test zum Niveau für die Hypothese H : apple gege H : > ist. Bemerkug: Für das c aus (c) gilt c = q für ei geeigetes Quatil q. (e) Gee Sie eie gleichmäßig este Kofidezereich zum Niveau Parameter F =(,) a. für die falsche 5

11 Lösug Q 6. (a) Wir utersuche Verteiluge P = Laplace(µ,) mit Dichte (x,...,x )= i= µ,(x i ). Hierei faktorisiert die gemeisame Dichte, weil wir die Karpfe uahägig voeiader gefage hae. Nach dem Neyma-Pearso-Lemma lautet der Neyma-Pearso-Test zum Niveau (, ) für die Hypothese H : = gege H : = :(schreiex =(x,...,x )): ( ' : R!{, }, '(x) = { (x) k (x)} =, L(x) k,, L(x) <k, woei L(x,...,x ):= (x,...,x ) der Likelihood-Quotiet ist ud (x,...,x P ) (' =)= gelte muss. Hier hae wir für x =(x,...,x ) R : L(x) = (x,...,x )! (x,...,x ) = exp X i µ i= Da > ud damit >, istderlikelihood-quotietmootowachsedi T (X,...,X ):= P i= X i µ. Daher köe wir de Test ' äquivalet umforme zu (, T(X,...,X ) >c, '(X,...,X )=, T(X,...,X ) apple c,, ( ) woei c estimmt wird aus = P (' =)=P (T (X) >c ). () Wie ma a ( ) ud der Bestimmugsgleichug für c sieht, hägt der gesamte Test ' icht vo der kokrete Wahl vo > a. Für jedes > ud Hypothese H : = gege H : = erhalte wir also desele Test ' mit der Optimalitätsaussage: ' miimiert de Fehler. Art P ( =)uter alle Tests mit Fehler. Art P (' =). Damit ist ' gleichmäßig ester Test (zum Niveau ) fürdiehypothese (c) Sid X,...,X iid Laplace(µ, ),sosid H : = gege H : >. X i µ iid für i {,...,} uahägige ud idetisch -verteilte ufallsvariale. Etspreched gilt T (X) = i= X i µ. Damit ka c estimmt werde: = P (T (X) >c )=P T (X) > c ( c =,, d.h. c =,. 6

12 Kokret hae wir die Realisieruge T (X) = X i µ =86, i= ud c = 7,.95 = = 9.94 (der kokrete Wert muss hier icht estimmt werde, es geügt c > 86 azuschätze). Wir folger T (X) <c,d.h.'(x) =, d.h. wir werde de Wert des Forschers icht eastade. (d) Es gilt für alle apple : P (' =)=P! X i µ >c i= P i= = P X i µ = P B P i= X i apple P P i= X i µ > c > {z} >,, C A = der Test hält also auch für alle apple das Niveau ei. D.h. ' ist sogar ei gleichmäßig ester Test für die Hypothese H : apple gege H : > (e) I Aufgaeteil (d) hae wir eie gleichmäßig este Test der Form ' = A zum Niveau für das Testprolem H : H =(, ] gege H : H =(, ) gefude, ach Satz.33 ist die assoziierte Bereichsschätzfuktio B ei gleichmäßig ester ( )-Kofidezereich, woei B gegee ist durch (schreie x =(x,...,x )) B(x) = R + x/ A = R + T (x) / (c, ) = R + T (x) apple = R + apple = T (x),., T (x),, 7

13 Aufgae 7 (Schätze der Wahrscheilichkeitsdichte, 3 = + + Pukte). Seie X,...,X uahägig ud idetisch P verteilt mit stetiger Wahrscheilichkeitsdichte ud Verteilugsfuktio F.Sei ˆF (x) := i= {X i applex} die empirische Verteilugsfuktio. Sei ( ) N eie Folge reeller ahle, ud ˆ(x) := ˆF (x + ) ˆF (x), ei Schätzer der Dichte a der Stelle x R. DieFolge( ) N erfüllt die Eigeschafte! ud!. (a) eige Sie, dass E[ˆ(x)]! (x) gilt. () eige Sie, dass Var(ˆ(x))! gilt. (c) Folger Sie, dass ˆ(x) L! (x) ud ˆ(x) P! (x) gilt. Lösug 7. (a) Es ist E(ˆ(x)] = i= = F (x + ) F (x) E {Xi applex+ } {Xi applex} =! (x), i= F (x + ) F (x) da F als Stammfuktio eier stetige Fuktio üerall differezierar ist ud!. () Weiter gilt Var(ˆ(x)) = Var ( ) {Xi applex+ } {Xi applex} = Var {x<x applex+ } i= = E( {x<xapplex+}) E( {x<x applex+}) = F (x + ) F (x) F (x + ) F (x)! f(x) f(x) =. (c) Wir köe eie Bias-Variaz-erlegug durchführe ud erhalte E(( ˆf (x) f(x)) )=Var( ˆf (x)) + E( ˆf (x) f(x))!, d.h. ˆf (x) L! f(x), alsoauch ˆf (x) P! f(x).