Probability & Statistics

Transkript

1 Probability & Statistics ETH Zurich Jai Schuettler Marcel Graetz FS8

2 Ihaltsverzeichis Ihaltsverzeichis i 0 Formel Der Wahrscheilicheitsbegriff 2 Disrete Wahrscheilicheitsräume 2. Grudbegriffe Laplace-Modelle Irrfahrte Defiitio Refletiosprizip Das Arussius-Gesetz für de letzte Besuch i Null Spielsysteme Bedigte Wahrscheilicheite Uabhägigeit Stetige Modelle 2 3. Allgemeie Wahrscheilicheitsräume Die Axiome vo Kolmogorov Folgeruge Suzessive uabhägige 0--Experimete Trasformatio vo Wahrscheilicheitsräume Zufallsvariable ud ihre Verteilug Verteilugsfutio Type vo Verteiluge Trasformatio vo Zufallsvariable Erwartugswert Mehrere Zufallsvariable Grezwertsätze 4 4. Schwaches Gesetz der grosse Zahle Stares Gesetz der grosse Zahle (LLN Zetraler Grezwertsatz (CLT Charateristische Futioe 5 6 Eiführug i die Statisti 5 6. Klassische Statisti Maximum-Lielihood-Methode (ML Bayesiaische Statisti Vertrauesitervalle Statistische Tests Das Neyma-Pearso-Lemma Testtheorie Biomialtest Stichprobe-t-Test Stichprobe-z-Test Vorzeichetest Stichprobe-t-Test Stichprobe-Wilcoxo-Test (Ma-Whitey U-Test Chi-Quadrat-Apassugstest A Verteiluge & Kombiatori 8 i

3 0 Formel P(A c = P(A P( i= A i = i= P(A i, falls A i A j = für i = j P( i= A i = i= ( + i i <...<i P(A i... A i P( i= A i = i= P(A i, falls (A i i J uabhägig P( i= A i = i= P(A i i j= A j = P(A P(A 2 A... P(A B = P(A + P(B P(A B P(A B = P(A BP(B P(A = i:p(bi >0 P(A B ip(b i = i:p(bi >0 P(A B i P(B A = P(A BP(B P(A P(B i A = P(A B ip(b i j P(A B j P(B j = P(A B P(A Der Wahrscheilicheitsbegriff Defiitio. (Wahrscheilicheitsraum ist das Triplet (Ω, A, P, wobei Ω der Grudraum aller mögliche Ergebisse oder Fälle ω, A die Klasse der beobachtbare Ereigisse ud P : A [0, ] das Wahrscheilicheitsmass bezeichet. 2 Disrete Wahrscheilicheitsräume 2. Grudbegriffe Wahrscheilicheit für Elemete ω Ω ud Ereigisse A A p(ω := P({ω}, sodass ω Ω p(ω = (Normierug. Axiome der Wahrscheilicheitsrechug P(A = p(ω, A A, ω A Axiom : Für jedes Ereigis A ist P(A 0, Axiom 2: P(Ω =, Axiom 3: P( i A i = i P(A i für paarweise disjute A, A 2,... Recheregel als Folge der Axiome P(A c = P(A P(A B = P(A + P(B P(A B P( i= A i = i= ( + i i <...<i P(A i... P(A i A B = P(A P(B Zufallsvariable ist eie Abbildug X : Ω R. X ist eie disrete Zufallsvariable, falls das Bild X(Ω abzählbar ist. Verteilugsfutio ist die Abbildug ν : x X(Ω P(X = x P({ω Ω X(ω = x} Erwartugswert diret ud über die Verteilugsfutio E(X = X(ωp(ω = ω Ω x X(Ω ω:x(ω=x X(ωp(ω = xp(x = x = xp(x ({x}. x X(Ω x X(Ω Defiitio 2.2 (Irrfahrt Sei (Ω, P ei Wahrscheilicheitsraum mit Ω wie obe ud P die Gleichverteilug auf Ω. Die Folge der Zufallsvariable S ( = 0,..., N auf (Ω, P heisst Irrfahrt (mit Start i 0. Folgeruge P(X = + = 2N 2 N = 2 P(X = x,..., X l = x l = 2N l = 2 l 2 N E(X = (+P(X = + + ( P(X = = 0 E(S = = E(X = 0 Theorem 2.3 Für festes immt die Zufallsvariable S Werte x {, + 2,..., 2, } a mit Wahrscheilicheite ( P(S = 2 = 2, = 0,,...,. Für ei aderes x ist P(S = x = 0. Korollar 2.4 ( 2 P(S 2 = 0 = P(S 2 = = 2 2 π ( ( ( + = + 2 Also ist für gerade P(S 2 = x maximal für x = 0, für ugerade ist P(S = x maximal für x = ± Refletiosprizip Defiitio 2.5 Wir defiiere die Zufallsvariable T a (ω = mi{ > 0 S (ω = a}, d.h. erstes Erreiche des Niveaus a = 0 bzw. für a = 0 erste Rücehr ach 0. Hierfür setze wir mi = N +. Lemma 2.6 (Refletiosprizip Für a > 0 ud b a ist Theorem 2.7 Für a = 0 gilt P(T a, S = b = P(S = 2a b. P(T a = 2P(S < a + P(S = a = P(S / ( a, a]. Korollar 2.8 Für jedes a = 0 gilt Theorem 2.9 E(T a = P(T a > N N 0, N+ P(T a = N. = P(T 0 > 2 = P(S 2 = Das Arussius-Gesetz für de letzte Besuch i Null Theorem 2.0 (Arussius-Gesetz Die Verteilug vo Liearität E(aX + by = ae(x + be(y, a, b R Lemma 2. We X ur die Werte 0,, 2,... aimmt, so ist 2.2 Laplace-Modelle E(X = P(X >. =0 Laplace-Modell besagt p(ω = Ω = cost. 2.3 Irrfahrte 2.3. Defiitio Modell Ω die Mege aller biäre Folge der Läge N, Ω = {ω = (x,..., x N x i {, }}. X (ω = -te Kompoete vo ω = (x,..., x N Ω ud S (ω = = X (ω, wobei S 0 (ω = 0. L(ω = max{0 2N S (ω = 0} ist die sogeate disrete Arussius-Verteilug. P(L = 2 = P(S 2 = 0P(S 2N 2 = 0 = 2 2N ( Spielsysteme ( 2N 2 N Defiitio 2. (Beobachtbareit Ei Ereigis A Ω heisst beobachtbar bis zum Zeitput, we es vo der Form {ω (X (ω,..., X (ω C} ist für ei C {, }. Die Mege aller bis zum Zeitput beobachtete Ereigisse bezeiche wir mit A. Für = 0 defiiere wir A 0 = {, Ω}.

4 Defiitio 2.2 (Stoppzeit ist eie Abbildug T : Ω {0,..., N}, sodass gilt {T = } = {ω T(ω = } A ( = 0,..., N. Theorem 2.3 Für jede Stoppzeit T ist E(S T = 0, wobei S T (ω S T(ω (ω de bei Beutzug der Stoppzeit T erzielte Betrag bezeichet. Defiitio 2.4 (Spielsystem ist eie Folge V = (V =,...,N vo Zufallsvariable V : Ω R derart, dass V = cost ud für = 2, 3,..., N existierte Futioe ϕ : {, } R mit V (ω = φ (X (ω,..., X (ω. Theorem 2.5 Für Spielsystem V = (V =,...,N ist der erwartete Ertrag E((V S N = 0. Korollar 2.6 (Waldsche Idetität Für jede Stoppzeit T ist E(S T = 0 ud V(S T = E(S 2 T = E(T. 2.4 Bedigte Wahrscheilicheite Defiitio 2.7 (Bedigte Wahrscheilicheit vo A gegebe B mit P(B > 0 ist P(A B = P(A B. P(B Theorem 2.8 (Totale Wahrscheilicheit Sei (B i i I eie disjute Zerlegug vo Ω (d.h. Ω = i I B i, B i B j = für i = j. Da gilt für beliebiges A P(A = P(A B i P(B i = P(A B i. i:p(b i >0 i:p(b i >0 Theorem 2.9 Für beliebige Ereigisse A,..., A gilt P(A... A = P(A P(A 2 A P(A 3 A A 2... P(A A... A Bayes-Regel P(B A = P(A BP(B P(A = P(A B P(A Theorem 2.20 (Bayes Ist (B i i I eie Zerlegug vo Ω i disjute Ereigisse, P(B i > 0 ud P(A = 0, so ist 2.5 Uabhägigeit P(B i A = P(A B ip(b i j P(A B j P(B j. Defiitio 2.2 (Uabhägigeit Sei (Ω, A, P ei disreter Wahrscheilicheitsraum. Eie Kolletio vo Ereigisse (A i i I heisst (stochastisch Theorem 3.6 Es gibt geau eie Wahrscheilicheitsverteilug P auf (Ω, A derart, dass gilt uabhägig, we gilt J I edlich = P i J A i = P(A i. i J Defiitio 2.22 (Uabhägigeit vo Zufallsvariable Eie Kolletio vo disrete Zufallsvariable (X i i I heisst uabhägig, falls die Ereigisse ({X i = x i } i I uabhägig sid für jede Wahl vo x i aus dem Wertebereich vo X i. Lemma 2.23 We die disrete Zufallsvariable X,..., X uabhägig sid, da gilt ( E g i (X i = E(g i (X i i= i= für beliebige Futioe g i : R R, sofer die Erwartugswerte existiere. Theorem 2.24 (de Moivre-Laplace Es gilt p ( = exp ( 2πp( p ( p2 2p( p ( + r (, sup{ r ( : p A } 0 für, A > Stetige Modelle 3. Allgemeie Wahrscheilicheitsräume 3.. Die Axiome vo Kolmogorov Defiitio 3. Das Tripel (Ω, A, P heisst Wahrscheilicheitsraum, we A eie σ-algebra, Ω A, A A = A c A, A, A 2,... A = i P eie Wahrscheilicheitsverteilug ist, P(Ω =, A i A, A, A 2,... A, A i A j =, i = j = P( i 3..2 Folgeruge A i = P(A i. i Theorem 3.2 (Erzeugte σ-algebra Die vo A 0 erzeugte σ-algebra A = σ(a 0 = B A 0 B, wobei B σ-algebre sid, ist die leiste A 0 ethaltede σ-algebra. Theorem 3.3 Ist P : A [0, ] additiv, so sid die folgede Aussage äquivalet (i P ist σ-additiv, (ii A A 2... A = P ( A = lim P(A, (iii A A 2... A = P ( A = lim P(A, Korollar 3.4 Für beliebige A, A 2,... A gilt ( P A P(A Lemma 3.5 (Borell-Catelli Sei A, A 2,... A eie Folge vo Ereigisse ud sei ( A = A = uedlich viele der A trete ei. (i Aus P(A < folgt P(A = 0 (ii Sid die Ereigisse A, A 2,... uabhägig, so folgt aus P(A =, dass P(A = Suzessive uabhägige 0--Experimete P(X i = = p, i =, 2,... Die Ereigisse {X i = }, i =, 2,... sid uabhägig bezüglich P. Theorem 3.7 Sei [x,..., x N ] ei biärer Text mit x i {0, }. Da ist die Wahrscheilicheit, dass irgedwa dieser Text erscheit (icht ur eimal, soder uedlich oft gleich eis Trasformatio vo Wahrscheilicheitsräume Defiitio 3.8 (Messbare Abbildug Eie Abbildug φ : Ω heisst messbar (bezüglich A ud A, ˆ we A ˆ A = φ (A = {ω φ(ω A} A. Theorem 3.9 Ist φ : Ω Ω messbar, so ist durch P(A P(φ (A (A A eie Wahrscheilicheitsverteilug P auf ( Ω, A defiiert. P heisst das Bild vo P uter φ bzw. die Verteilug vo P uter φ. ˆΩ

5 3.2 Zufallsvariable ud ihre Verteilug Theorem 3.0 (Verteilug Ist φ : Ω ˆΩ messbar, so ist durch ˆP(A P(φ (A, A ˆ A eie Wahrscheilicheitsverteilug ˆp auf ( ˆΩ, ˆ A defiiert. ˆp heisst das Bild vo P uter φ bzw. die Verteilug vo φ uter P. Defiitio 3. (Zufallsvariable, Verteilug Sei (Ω, A, P ei Wahrscheilicheitsraum. Eie Zufallsvariable ist eie messbare Abbildug X : (Ω, A (R, B. Die Verteilug µ vo X ist das Bild vo P uter X, d.h. für jedes A B µ(a = P(X (A = P({ω X(ω A} = P(X A Verteilugsfutio Defiitio 3.2 (Verteilugsfutio ist die Futio vo X bzw. µ F(b = P(X b = µ((, b], b R. 3.3 Erwartugswert Defiitio 3.20 (Erwartugswert Für X 0 ist der Erwartugswert defiiert als E(X = X(ω dp(ω = xµ(dx [0, ], Ω R sofer dieser existiert. Theorem 3.2 (Eigeschafte des Erwartugswertes E(α X + α 2 X 2 = α E(X + α 2 E(X 2 X Y = E(X E(Y 0 X X 2... = E(lim X = lim E(X (Liearität (Mootoie (Mootoe Stetigeit Theorem 3.22 (Kovergezsatz vo Lebesgue Sei X, X 2,... eie f.s. overgete Folge vo Zufallsvariable. We X (ω X(ω für alle ud E(X <, da E(lim X = lim E(X. Defiitio 3.3 (t-quatil/ Verallgemeierte Umehrabbildug ist defiiert als F (t = if{x F(x t}. Theorem 3.4 (Eigeschafte eier Verteilugsfutio (i Mootoie: a b = F(a F(b, (ii Rechtsstetigeit: F(a = lim h 0 F(a + h, (iii Normiertheit: lim a F(a = 0 ud lim a + F(a =. Lemma 3.5 (Eigeschafte vo F We F i - iii vo 3.4 erfüllt ud F wie i 3.3 defiiert ist, da ist F mooto wachsed, lisstetig ud es gilt (i F (F(x x, < x <, (ii t F(F (t, 0 < t < Type vo Verteiluge Defiitio 3.6 (Disrete Zufallsvariable Eie Zufallsvariable X heisst disret, we es eie abzählbare Mege A R gibt, sodass P(X A =. Theorem 3.8 (Trasformatio vo Zufallsvariable Sei X eie Zufallsvariable auf (Ω, A, P ud g : (R, B (R, B messbar. Da ist Y(ω = g(x(ω eie Zufallsvariable mit der Verteilugsfutio F Y (b = P(g(X b = P(X g ((, b]. Theorem 3.9 (Trasformatio vo Dichte Sei X eie Zufallsvariable auf (Ω, A, P ud Y(ω = g(x(ω mit g : (R, B (R, B messbar, differezierbar, mooto wachsed ud g (x > 0 für alle x. Da ist F Y (b = F X (g (b. Falls die Dichte f X existiert, da existiert auch f Y ud ist gegebe durch f Y (x = g (g (x f X(g (x. Erwartugswert uter Trasformatio Sei g : (R, B (R, B messbar ud Y(ω = g(x(ω. Da ist E(Y = g(xµ X (dx. Defiitio 3.23 (Momet p-tes Momet: E(X p, p N, p-tes absolutes Momet: E( X p, p > 0, p-tes zetriertes Momet: E((X E(X p, p N. Defiitio 3.24 (Variaz, Stadardabweichug Das zweite zetrierte Momet heisst Variaz vo X V(X = E((X E(X 2 = E(X 2 E(X 2. Die Stadardabweichug ist defiiert als σ(x = V(X. Theorem 3.25 (Eigeschafte vo Variaz ud Stadardabw. Defiitio 3.7 (Absolute Stetigeit, Dichte Eie Zufallsvariable heisst V(aX + b = a 2 V(X, absolut stetig, falls eie messbare Futio f : (R, B (R, B existiert mit f (x 0 ud σ(ax + b = a σ(x. R f (x dx =, sodass Theorem 3.26 (Ugleichug vo Jese Für eie Zufallsvariable X mit b F(b = f (x dx. edlichem, existetem Erwartugswert ud g : R R ovex gilt E(g(X g(e(x. Die Futio f heisst die Dichte vo X. Theorem 3.27 (Chebychev-Ugleichug Sei g eie ichtegative, mooto wachsede Futio auf R. Da gilt für jedes c mit g(c > Trasformatio vo Zufallsvariable 0 3 P(X c E(g(X. g(c 3.4 Mehrere Zufallsvariable Defiitio 3.28 (Zufallsvetor Seie X, X 2,..., X Zufallsvariable auf eiem gemeisame Wahrscheilicheitsraum (Ω, A, P. Ei Zufallsvetor ist defiiert als X = (X, X 2,..., X. Defiitio 3.29 (Uabhägigeit X,..., X heisse (stochastisch uabhägig, falls für alle A,..., A B gilt bzw. P(X A,..., X A = P(X A... P(X A µ(a... A = µ (A... µ (A.

6 Theorem 3.30 Seie X,..., X uabhägig. Da ist µ absolut stetig geau da, we jedes µ i absolut stetig ist. Ferer gilt f (x = i= f i(x i. Theorem 3.3 (Trasformatio vo Zufallsvariable Sei X ei -dimesioaler Zufallsvetor ud g : (R, B (R m, B m messbar. Da ist Defiitio 4. (Kovergeze Seie Z, Z, Z 2,... Zufallsvariable auf eiem Wahrscheilicheitsraum (Ω, A, P. Wir defiiere stochastische Kovergez oder Kovergez i Wahrscheilicheit vo Z gege Z als Y(ω = g(x(ω ei m-dimesioaler Zufallsvetor. Ferer gilt µ Y (A = µ X (g (A. Theorem 3.32 Sei g : R R liear ud umehrbar, d.h. g(x = m + Bx mit det(b = 0. We µ X absolut stetig ist, da ist auch µ Y absolut stetig ud es gilt f Y (x = det(b f X(B (x m. Verteilug vo X + X 2 Sei X = (X, X 2 eie absolut stetige Zufallsvariable. Da ist Y = X + X 2 absolut stetig mit Dichte f Y (y = R f X(x, y x dx We X, X 2 uabhägig sid, gilt f Y (y = f (x f 2 (y x dx = ( f f 2 (y. R Defiitio 3.33 (Kovariaz vo X ud X 2 ist defiiert als Cov(X, X 2 = E((X E(X (X 2 E(X 2. Theorem 3.34 (Eigeschafte der Kovariaz (i Cov(X, X = V(X (ii Cov(X, X 2 = Cov(X 2, X (iii Cov(X, X 2 = E(X X 2 E(X E(X 2 (iv Cov(X, ax 2 + b = acov(x, X 2 (v Cov(X, X 2 + X 3 = Cov(X, X 2 + Cov(X, X 3 (vi V(X + X 2 = V(X + V(X 2 + 2Cov(X, X 2 (vii cov(x, X 2 σ(x σ(x 2 (Cauchy-Schwarz Theorem 3.35 (Kovariaz ud Uabhägigeit We X, X 2 uabhägig sid, ist Cov(X, X 2 = 0 ud V(X + X 2 = V(X + V(X 2. Defiitio 3.36 (Korrelatio vo X ud X 2 ist defiiert als ρ(x, X 2 = Cov(X, X 2 σ(x σ(x 2. We ρ(x, X 2 = 0 ( Cov(X, X 2 = 0, da heisse X ud X 2 uorreliert. Theorem 3.37 (Eigeschafte der Korrelatio (i ρ(ax + b, cx 2 + d = ρ(x, X 2 für a > 0, c > 0, (ii ρ(x, X Grezwertsätze Seie X i beliebige Zufallsvariable, wobei jedoch E(X i = m für alle i. Sei zudem S = i= X i. 4. Schwaches Gesetz der grosse Zahle ( S P m > ε 0 für (Schwaches LLN 4.2 Stares Gesetz der grosse Zahle (LLN ( { S lim P m } ε = (Stares LLN ( { S ε > 0 : P m } ε = ( { S P ε>0 m } ( ε S = P lim = m = ε > 0 lim P( Z Z > ε = 0, fast-sichere Kovergez vo Z gege Z als P({ω lim Z (ω = Z(ω} =. Theorem 4.2 (Beziehug der Kovergeze Fast-sichere Kovergez impliziert stochastische Kovergez. We für alle ε > 0 gilt P( Z Z > ε <, da overgiert Z N fast sicher gege Z. Korollar 4.3 We (Z stochastisch gege Z overgiert, da existiert eie Teilfolge (Z j, welche fast sicher gege Z overgiert. Theorem 4.4 Sei (X i i.i.d. mit E(Xi 2 <. Da overgiert S fast sicher gege m = E(X i. Theorem 4.5 (Gesetz vom iterierte Logarithmus Sei (X i eie i.i.d. Folge vo Zufallsvariable, E(X i = m, V(X i = σ 2 <. Da gilt mit Wahrscheilicheit P P ( ( lim sup lim if S m 2σ 2 log(log( = = S m 2σ 2 log(log( = = 4.3 Zetraler Grezwertsatz (CLT Defiitio 4.6 (Schwache Kovergez Seie µ ud µ Wahrscheilicheitsverteiluge auf (R, B. Wir sage, dass µ schwach gege µ overgiert, falls für alle stetige ud beschräte f. f dµ f dµ Lemma 4.7 Seie µ ud µ Wahrscheilicheitsverteiluge auf (R, B mit Verteilugsfutioe F ud F. Da sid folgede Aussage äquivalet. (i µ µ schwach, (ii F (x F(x für jede Stetigeitsstelle x vo F, (iii f dµ f dµ für alle f Cb 3(R, wobei C3 b (R die Mege alle dreimal stetig differezierbare Futioe auf R bezeichet, für die f, f, f, f alle beschrät sid. Lemma 4.8 We X, X 2 uabhägig sid ud X N (m i, σ 2 i (i =, 2, da ist X + X 2 N (m + m 2, σ 2 + σ2 2. Theorem 4.9 (Zetraler Grezwertsatz Sei (X i i.i.d. mit E(X i = m ud V(X i = σ 2 <. Da overgiert die Verteilug vo S schwach gege N (0,, d.h. ( lim P S m σ x = Φ(x x R. Theorem 4.0 (Zetraler Grezwertsatz ach Lideberg Seie X,i ( i, N Zufallsvariable mit (i X,,..., X, sid uabhägig für alle, (ii E(X,i = 0, E(X 2,i = σ2,i, i= σ2,i = (iii lim i= E(X2,i [ X,i >ε] ε > 0. (Lideberg-Bedigug Da overgiert die Verteilug vo S = X, +... X, schwach gege N (0,. 4

7 Korollar 4. (Mote-Carlo-Itegratio Sei (X i eie i.i.d. Folge vo d-dimesioale Zufallsvariable mit Verteilug µ ud sei f L 2 (R d, µ. Da gilt lim f (X i = f (xµ(dx = E( f (X i = m P f.s., i= R d ( lim P i= f (X i m σ f / x = Φ(x x R, wobei σ 2 f = V( f (X i = R d ( f (x m 2 µ(dx. Das heisst der Fehler f (X i m i= ist approximativ ormalverteilt mit Mittel 0 ud Stadardabweichug σ f /. 5 Charateristische Futioe Defiitio 5. (Charateristische Futio φ X : R C eies Zufallvertors X : Ω R ist durch φ X (u = E(e i u,x = e i u,x µ(dx, R defiiert, wobei µ die Verteilug vo X bezeichet. u R Lemma 5.2 (Eigeschafte der charateristische Futio Es sei X : Ω R eie Zufallsvariable. (i Die charateristische Futio φ X : R C ist stetig mit φ X (0 = ud φ X (u für alle u R. (ii Es seie A R ud b R m. Da gilt für die charateristische Futio der eue R m -wertige Zufallsvariable AX + b φ AX+b (u = φ X (A T u e i u,b, u R m. (iii Zwei Zufallsvariable X, Y sid geau da uabhägig, we φ X+Y (u = φ X (uφ Y (u, u R. (iv Die charateristische Futio φ X ist geau da reellwertig, we die Verteilug vo X symmetrisch ist. Theorem 5.3 (Momete aus der charateristische Futio Es sei X : Ω R eie Zufallsvariable mit E( X m < für ei m N. Da ist φ X : R C eie C m -Futio ud für alle m,..., m N 0 mit m m = m gilt m x m... x m φ X (u = i m E(X m... X m e i u,x, u R. Theorem 5.4 (Eideutigeitssatz Für zwei Zufallsvariable X, X 2 mit Verteiluge µ, µ 2 auf R ud φ X = φ X2 gilt µ = µ 2. Korollar 5.5 Es sei X = (X,..., X eie R -wertige Zufallsvariable. Da sid die reellwertige Zufallsvariable X,..., X geau da uabhägig, we für alle u = (u,..., u R gilt φ X (u,..., u = φ Xj (u j. j= Theorem 5.6 (Bocher Eie Futio φ : R C ist die charateristische Futio eier Zufallsvariable X geau da, we φ(0 = gilt, die Futio i u = 0 stetig ist ud ichtegativ defiit ist, d.h. für alle m N ud alle u,..., u m R ud z,..., z m C gilt m m φ(u j u z j z 0. j= = Korollar 5.7 (Verteilug uter Summatio Seie X,..., X uabhägig. Da gilt: X i Beroulli-verteilt mit Parameter p i= X i biomialverteilt mit Parameter (, p 5 X i Poisso-verteilt mit Parameter λ i > 0 i= X i Poissoverteilt mit Parameter i= λ i X i biomialverteilt mit Parameter ( i, p i= X i biomialverteilt mit Parameter ( i i, p X i ormalverteilt mit Parameter (µ i, τ i i= X i ormalverteilt mit Parameter ( i µ i, i τ i X i Gamma-verteilt mit Parameter (α i, λ i= X i Gamma-verteilt mit Parameter ( i α i, λ X, Y Cauchy-verteilt X+Y 2 Cauchy-verteilt Theorem 5.8 (Levys Stetigeitssatz Sei (µ eie Folge vo Verteiluge reellwertiger Zufallsvariable (X ud (φ X bezeiche dere charateristische Futioe. Da gilt (i Falls µ schwach gege eie Verteilug µ eier Zufallsvariable X overgiert, da overgiere die charateristische Futioe putweise, d.h. φ X (u φ X (u putweise für alle u R. (ii Falls φ X (u putweise gege eie Futio g(u overgiert ud diese zusätzlich stetig i u = 0 ist, da ist g die charateristische Futio eier Zufallsvariable X : g(u = φ X (u ud µ overgiert schwach gege die Verteilug µ vo X. 6 Eiführug i die Statisti Idee der Statisti Auswähle eies Modells oder Schätze der Parameter eies Modells (Ω, F, P mit ZV X : Ω R, sodass Beobachtuge x R optimal erlärt werde. 6. Klassische Statisti Problemstelluge Putschätzug eies ubeate Parameters statistische Tests, um zu prüfe, ob gegebee Parameter zu de Date passe Agabe vo Kofidezitervalle, um die Lage eies Parameters auf de wahrscheilichste Bereich eizugreze Defiitio 6. (Schätzer Eie Futio T : R Θ, die Beobachtuge auf Parameter abbildet, heisst Schätzer. Der Parameter vo Iteresse wird mit η = g(θ bezeichet, wobei g : Θ R meist eie Projetio ist. Der Parameterschätzer ist defiiert als U = g(t = g(t(x. Defiitio 6.2 (Fehler Der Mittlere Quadratische Fehler ist defiiert als E θ ( U g(θ 2, der systematische Schätzfehler/ Bias als der Stadardfehler als b U (θ = E θ (U g(θ, σ U (θ = Theorem 6.3 (MSE-Zerlegug V θ (U. E θ ( U g(θ 2 = σ 2 U (θ + b2 U (θ. Defiitio 6.4 (Erwartugstreue U heisst erwartugstreu für g(θ, falls der Bias verschwidet, also E θ (U = g(θ, θ Θ. Defiitio 6.5 (Kosistez (U heisst osistet für g(θ, falls P θ ( U g(θ > ε 0 ε > 0, θ. Defiitio 6.6 (Asymptotische Normalverteiltheit (U heisst asymptotisch ormalverteilt mit asymptotischer Variaz τ 2 (θ ud wir schreibe U N (g(θ, τ2 (θ, falls für alle θ P θ ( (U g(θ x Φ Defiitio 6.7 (Bruchput ist defiiert als ε (x,..., x = max{ N 0 ( x τ(θ x. sup{ U(y,..., y ; #{y i = x i } = } < }.

8 6.. Maximum-Lielihood-Methode (ML Defiitio 6.8 (Lielihood-Futio { µ L : Θ R : θ L θ (x,..., x = θ (x,..., x disret f θ (x,..., x absolut stetig für feste Beobachtuge (x,..., x ud disrete Verteilug µ θ bzw. Dichte f θ. Defiitio 6.9 (Maximum-Lielihood-Futio ist gegebe durch die messbare Abbildug T T : R Θ : (x,..., x argmax L θ (x,..., x. θ 6..2 Bayesiaische Statisti Defiitio 6.0 (Bayes-Schätzer gegebe Date (x,..., x, eies Priors π 0, Lielihood f (x,..., x θ mit θ Θ ist defiiert als π (dθ x = 6.2 Vertrauesitervalle f (x,..., x θπ 0 (dθ Θ f (x,..., x θπ 0 (dθ. Defiitio 6. (Vertrauesitervalle Seie T, T : R R messbare Futioe mit T < T. Da heisst (T(X, T(X ei Vertrauesitervall für g(θ zum Niveau α, falls θ Θ : P θ (T(X < g(θ < T(X > α. Theorem 6.2 (Dualitätssatz Sei C eie messbare Teilmege vo R R mit de messbare Schitte A(γ = {x R (x, γ C} ud B(x = {γ R (x, γ C}. Da sid die beide folgede Aussage äquivalet (i Für jedes γ ist ϕ(x = A(γ c (x ei Test der Nullhypothese g(θ = γ zum Niveau α mit Verwerfugsbereich A(γ c. (ii B(X bildet eie Verwerfugsbereich für g(θ zum Niveau α. 6.3 Statistische Tests 6.3. Das Neyma-Pearso-Lemma Defiitio 6.3 (Radomisierter Test Ei radomisierter Test ist die messbare Futio ϕ : (R, B [0, ]. Theorem 6.4 (Neyma-Pearso-Lemma Seie µ 0 ud µ Wahrscheilicheite mit Dichte p 0 ud p bezüglich µ 0 + µ gegebe durch die Rado-Niodym-Ableitug µ i (x µ µ µ i (A = p i (x(µ 0 (dx + µ (dx = 0 (x+µ (x i disret, A f i (x µ f 0 (x+ f (x i absolut stetig. Sei α [0, ] gegebe. Da (i existiert ei radomisierter Test ϕ ud ei c [0, ] derart, dass wobei 0 als 0 defiiert ist, E 0 (ϕ = α, (6. { p φ(x = (x > cp 0 (x 0 p (x < cp 0 (x, (6.2 (ii ist jeder Test, der 6. ud 6.2 erfüllt, ei mächtigster Test zum Niveau α, (iii erfüllt jeder mächtigste Test zum Niveau α Bedigug 6. (µ 0 + µ - überall. Er erfüllt auch 6.2, ausser we es eie Test φ gibt mit E (φ = ud E 0 (φ < α. Remar 6.5 (Lielihoodquotiet ist p (x/p 0 (x. Der Test aus. heisst Lielihoodquotietetest. Kurz gesagt ist der Lielihoodquotietetest optimal Testtheorie Settig Beobachtuge X = (X,..., X, mögliche Verteiluge (u θ θ Θ, Nullhypothese Θ 0 Θ, Alterative Θ0 c. Fehler. Art: Nullhypothese wird abgeleht (verworfe, obwohl sie richtig ist. Die Wahrscheilicheit eies Fehlers. Art ist sup θ Θ0 P θ (ϕ =. Fehler 2. Art: Nullhypothese wird azeptiert (beibehalte, obwohl sie falsch ist. Die Wahrscheilicheit eies Fehlers 2. Art ist sup θ Θ c 0 P θ (ϕ = 0. Defiitio 6.6 (Statistischer Test Ei statistischer Test ist die messbare Abbildug ϕ : (R, B {0, } : x K (x, wobei φ = 0 bedeutet, dass die Nulllhypothese ageomme wird, ud φ = bedeutet, dass die Nullhypothese abgeleht wird. K R bezeichet de Verwerfugsbereich oder ritische Bereich des Tests. Ziel eies Tests ist leier Fehler. Art: P θ (ϕ = = E θ (φ lei für θ Θ 0. leier Fehler 2. Art: P θ (ϕ = 0 lei, E θ (φ gross für θ Θ c 0. Defiitio 6.7 (Niveau, Macht Ei Test ϕ heisst zum Niveau α, we sup θ Θ0 E θ (ϕ α, d.h. die Wahrscheilicheit eies Fehlers. Art α. Für θ / Θ 0 heisst E θ (φ auch die Macht des Tests a der Stelle θ / Θ 0. Die Macht ist also Eis mius die Wahrscheilicheit eies Fehlers 2. Art. Defiitio 6.8 (Kompatible Tests sid Tests, für die gilt α < α = ϕ α ϕ α. Defiitio 6.9 (P-Wert eies ompatible Tests ϕ zum Wert x ist die Zufallsvariable defiiert als π(x = if{α ϕ α (x = }. Lemma 6.20 (Uiforme Verteilug des P-Werts We θ Θ 0, da gilt P θ (π(x u u. We P θ (ϕ α (X = = α für alle α, da gilt P θ (π(x u = u, d.h. der P-Wert ist uiform verteilt. Vorgehe bei lassische Tests Klassische Tests habe eie Teststatisti T als Futio der betrachtete Zufallsvariable. Vo dieser et ma die Verteilug. Ma verwirft die Nullhypothese, we T < c bzw. T > c (eiseitiger Test oder T > c (zweiseitiger Test, wobei c meist als das α- (eiseitig lis, ( α- (eiseitig rechts oder ( α/2-quatil (zweiseitig der Verteilug vo T gewählt wird. (i Aahme: Liste Modellaahme, zu testede Grösse ud das Niveau α auf. (ii Test: Wähle eie geeigete Test. (iii Hypothese: Stelle Nullhypothese H 0 ud Alterativhypothese H auf. Der Test macht ur da eie Aussage, we die Nullhypothese abgeleht wird. Wähle deswege die Nullhypothese als Negatio der i dem Test gestellte Frage. (iv Verteilug: Idetifiziere die Verteilug der Teststatisti uter der Aahme vo H 0 mit de jeweilige Parameter bzw. geeigete Näheruge für diese Verteilug. (v Verwerfugsbereich K aus de Quatile der Verteilug bereche. Meist a ma die Quatile aus Tabelle etehme. Alterativ a ma die geeiget geäherte Verteilug zum Bereche der Quatile verwede, isbesodere für grosse Stichprobezahl (beispielsweise Näher durch die Normalverteilug. (vi Teststatisti aus de gegebee Date bereche. (vii Testetscheid: Aahme oder Ablehug der Nullhypothese durch durch Vergleich vo Teststatisti mit Verwerfugsbereich meist i der Form φ(x = T K. Alterativ bestimme de p-wert, für p < α wird H 0 abgeleht. (viii Iterpretatio: Wird die Nullhypothese abgeleht, a ma aussage, dass etweder die Nullhypothese falsch ist, oder ei seltees Ereigis, desse Wahrscheilicheit höchstes α ist, eigetrete ist. Wird die Nullhypothese ageomme, öe wir eie Aussage treffe.

9 6.3.3 Biomialtest Date Raum Θ = [0, ] Wahrscheilicheit p X,..., X i.i.d. Ber(p Nullhypothese Θ 0 = {p} = {p 0 } (zweiseitig Θ 0 = [p 0, ] (eiseitig lis Θ 0 = [0, p 0 ] (eiseitig rechts Teststatisti T = i= {} (X i Verteilug F Bi(, p (F ( α 2, F ( α 2 zweis. Test φ(x = T (F ( α, ] e. li. [0, F (α e. re. Ab ca. 30 a als Näherug die Stadard-Normalverteilug N (0, verwedet werde Stichprobe-z-Test Für beate Stadardabweichug σ der X i, ersetze im t-test S durch σ ud verwede die Stadard-Normalverteilug N (0,. Mittelwert Date X,..., X i.i.d. N (µ, σ 2 Raum Θ = R Teststatisti (X µ0 T = σ, wobei X = X i Verteilug F N (0, { F Test φ(x = T > ( α 2 F ( α zweiseitig eiseitig Vorzeichetest Alterative zum t-test. Ubeate Verteilug, dafür Testug auf Media statt Mittelwert. Media Date Wahrscheilicheit p X,..., X i.i.d. Ber(p Date X,..., X i.i.d. F(x µ Raum Θ = R {F F(0 = /2} Raum Θ = [0, ] Nullhypothese Θ 0 = µ 0 {F F(0 = /2} Teststatisti ˆp p 0 T = p0 ( p 0 mit ˆp = i= X i Teststatisti T = i= [X i >µ 0 ] Verteilug F N (0, { F Test φ(x = T > ( α 2 F ( α zweiseitig eiseitig Verteilug F Biomial(, p = /2 Test φ(x = T /2 > c = F ( α Stichprobe-t-Test Stichprobe-t-Test Mittelwert Mittelwert Date X,..., X i.i.d. N (µ, σ 2 Raum Θ = R R + Nullhypothese Θ 0 = {µ 0 } R + (zweiseitig Θ 0 = [µ 0, R + (eiseitig lis Θ 0 = (, µ 0 ] R + (eiseitig rechts (X µ0 Teststatisti T = S, wobei S 2 = (X i X 2 ud X = X i Verteilug F t-verteilug mit Freiheitsgrade Näheruge Für grosse a die t-verteilug mit der Stadard-Normalverteilug N (0, geähert werde. { F Test φ(x = T > ( α 2 zweiseitig F ( α eiseitig Date X,..., X i.i.d. N (µ, σ 2 Y,..., Y m i.i.d. N (µ 2, σ 2 Raum θ = (µ, µ 2, σ 2 Θ = R R R + Nullhypothese Θ 0 = {(µ, µ, σ 2 µ = µ 2 } R + (zweiseitig Θ 0 = {(µ, µ 2, σ 2 µ µ 2 } R + (eis. lis Θ 0 = {(µ, µ 2, σ 2 µ µ 2 } R + (eis. rechts Teststatisti X Y T = +m 2 /+/m (X i X 2 + (Y i Y 2 mit X = X i, Y = Y i Verteilug F t-verteilug mit + m 2 Freiheitsgrade { F Test φ(x = T > ( α 2 zweiseitig F ( α eiseitig Vertrauesit. [X S N F ( α 2, X + S N F ( α 2 ] (zweis. [X S N F ( α, ] (eiseitig lis Theorem 6.22 Für alle θ Θ 0 hat T die t-verteilug mit +m-2 Freiheitsgrade. Theorem 6.2 (t-verteilug mit Freiheitsgrade Die Verteilug vo T hat für µ = µ 0, 2 ud alle σ > 0 die Dichte f (t = /2 Γ(/2 ( ( π Γ( 2 + t2. 7

10 Stichprobe-Wilcoxo-Test (Ma-Whitey U-Test A Verteiluge & Kombiatori Date Raum Mittelwerte ud Mediae X,..., X i.i.d. F Y,..., Y i.i.d. G Nullhypothese Θ 0 = {F = G} (F, G Θ = F F, wobei F die Mege aller stetige Verteilugsfutioe bezeichet Teststatisti W = i= j= [X i <Y i ] Verteilug Näheruge F Wilcoxo-Verteilug mit Parameter, Für grosse a die t-verteilug mit der Stadard-Normalverteilug N (0, geähert werde (siehe Lemma Test φ(x = T 2 /2 > c = F ( α 2 Lemma 6.23 Uter der Nullhypothese Θ 0 = {(F, F} gilt: E(W = 2 2, V(W = 2 (2 + ( 2 W E(W P x Φ(x (x R; V(W Disussio Wilcoxo-Test ist besser als t-test Chi-Quadrat-Apassugstest Betrachte Wiederholuge eies Experimets mit mögliche Ausgäge ud bezeiche θ i die Wahrscheilicheit für de i-te Ausgag. Wir arbeite mit der Zufallsvariable N i = Azahl Wiederholuge mit Ausgag i für i =,...,. Da folgt (N,..., N der Multiomialverteilug P(N =,..., N = =!!...! θ... θ (Multiomialvert. mit E(N i = θ i, V(N i = θ i ( θ i, Cov(N i, N j = θ i θ j für i = j. Date Verteilug N,..., N Raum Θ = {(θ,..., θ θ i 0, i θ i = } Nullhypothese Θ 0 = {θ 0 } = {(θ 0,..., θ 0 } Verteilug Teststatisti χ 2 = i= Näherug F χ 2 -Verteilug mit Freiheitsgrade (N i θ i0 2 θ i0 χ 2 -Verteilug ist brauchbare Näherug, sobald ca. 80% der θ i0 4 ud der Rest. Sost Klasse zusammefasse. Test φ(x = χ 2 > c = F ( α Name Parameter Träger Zähldichte f ( Verteilug F(x = P(X x E V φx(u ( i= 2 i ( i= i 2 Uiform N, i R { i i =,..., } {i i } i= i Beroulli p [0, ] {0, } p {} ( + ( p {0} ( ( p [0,] (x + [, (x p p( p pe iu + p Biomial N+, p [0, ] {, 2,..., } ( p ( p x i=0 ( i pi ( p i p p( p (pe iu + p Geometrisch p (0, N0 p( p ( p x+ p p 2 p M ( M i (N M i M M M N ( N M N M N ( M N N N ( M (N M i=max(0, N {max(0, + M N,..., mi(m} Hypergeom. N, M, N+ mit, M N ( N x λ! e λ x i=0 λi i! e λ λ λ e λ(eiu Poisso λ R+ N0 Name Parameter Träger Dichte f (x Verteilug F(x E V (b a 2 2 Uiform a, b R mit a < b [a, b] b a x a [a,b](x b a a+b [a,b](x + (b, (x 2 dt µ σ 2 e iuµ u2 σ 2 /2 (t µ2 2σ 2 ( exp 2πσ 2 (x µ2 x 2σ 2 ( Normal µ R, σ R+ R exp 2πσ 2 + α 2 α α iu Expoetial α R+ R + 0 αe αx ( e αx (0, (x α arcta(x µ e u Cauchy µ R R π +(x µ π pq (p+q+(p+q 2 p p+q t p B(p,q ( tq dt + (, (x Beta p, q R + [0, ] B(p,q xp ( x q [0,] (x x 0 Theorem 6.24 (χ 2 -Verteilug Asymptotisch hat χ 2 die gleiche Verteilug wie i= Y2 i, wobei Y,..., Y i.i.d. N (0, -verteilt sid. Diese Verteilug heisst Chiquadrat-Verteilug mit Freiheitsgrade mit Dichte ( f (x = 2 2 Γ e x/2 x ( 3/2. 2 Kombiatori ohe Wiederholug mit Wiederholug Permutatio (a, b!!!... s! Variatio (a, b!( Kombiatio {a, b} ( (+ 8