Formelsammlung Stochastik

Transkript

1 Formelsammlug Stochasti Adrea Katharia Fuchs 31. Jauar Wahrscheilicheit Ω... Ereigisraum, Grudraum ω... Elemetarereigis A, B, C... Ereigis, Teilmege vo Ω Schittmege: A B heisst A ud B Vereiigug: A B heisst A oder B Komplemet: A c = A = AΩ heisst icht A Laplace Modell: P [A] = AzahlA AzahlΩ uiforme Verteilug: P [ω] = 1/Ω für alle ω De Morga: (A B c = A c B c (A B c = A c B c 1.1 Recheregel P [A c ] = 1 P [A] (P [A c ] + P [A] = 1 P [A B] = P [A] + P [B] P [A B] 1 P [A] 0, P [Ω] = 1 P [A B] c = P [A c ] P [B c ] P ( m i=1 A i = P [A 1... A m ] P [A 1 ] P [A m ] 1. Uabghägigeit we A, B uabhägig: P [A B] = P [A] P [B] uabhägig = disjut: falls A B = (leere Mege P [A B C] = P [A] P [B] P [C] etc. 1.3 Kombiatori : # i Grudmege : # i Elemete Reihefolge wesetlich, Wiederholug gestattet: v(, = Reihefolge wesetlich, Wiederholug icht gestattet: v(, =! (! Reihefolge ( uwesetlich, Wiederh. icht gestattet:! v(, = =!(! Zufallsvariable ud Wahrscheilicheitsverteilug X... Zufallsvariable X : Ω R, ω X(ω X disret, falls W = X(Ω disret X stetig, falls a, b : W = X(Ω ]a, b[.1 Verteilugsfutio Def: F x (b = P [X b] 1. F x ist mooto steiged: F x (x 1 F x (x x > x 1. F x ist rechtsstetig: lim h 0 F x (x + h = F x (x 3. lim x F x (x = 1 ud lim x 0 F x (x = 0. Wahrscheilicheitsfutio p(x i = P [X = x i ] p(x i 0 ud p(x i = 1.3 Erwartugswert ud Variaz Erwartugswert: (mea E(X= µ x = g(x i p(x i = x i p(x i Variaz: V ar(x= σ x = E[(X E(X ] = (x i µ i p(x i = E[X ] E[X] Stadardabweichug: σ x = V ar(x.4 Disrete Verteilug p i = 1 Falls die Mege W der mögliche Werte vo X edlich oder abzählbar ist Biomialverteilug X BI(, p Poissoverteilug X P OI(λ geometrische Verteilug X GEO(p Reihefolge ( uwesetlich, Wiederholug gestattet: + 1 v(, = 1

2 3 Stetige W eitsverteilug P [X b] = F x (b = b f x(udu F x... Verteilugsfutio vo X f x... Dichtefutio vo X f(b = F (b = lim h 0 P [x b x+h] h E[X] = µ x = x f(xdx V ar(x = σ x = (x µ x f(xdx f(x ist Dichtefutio, we: 1. f(x 0. f(xdx = Quatile q(α P [X q(α] = α q(α = F 1 (α 4 Mehrere Zufallsvariable ud Futioe davo 4.1 Die i.i.d. Aahme idepedet ad idetically distributed A 1,..., A sid uabhägig, Uabh.eit der Ereigissse P [A 1 ] =... = P [A ] = P [A] gleiche Wahrsch.eite X 1,..., X sid uabhägig alle X i habe dieselbe Verteilug Somit gilt: P [A B] = P [A] P [B] F x1 = F x P (x 1 t = P (x t E[X 1 X ] = E[X 1 ] E[X ] 4. Futioe vo Zufallsvariable Y = g(x 1,...X ud X 1,...X stets i.i.d. Media we α = 1/: q(1/ 3. Wichtige stetige Verteiluge uiforme Verteilug X UNI(a, b Expoetialverteilug X EXP (α We die Zeite zwische de Ausfälle eies Systems Expoetial(λ-verteilt sid, da ist die Azahl Ausfälle i eiem Itervall der Läge t Poisso(λ t-verteilt. Normalerteilug (Gauss X N(µ, σ 3..1 Trasformatio Y = g(x g liear: g(x = a + b X = Y E[Y ] = E[a + bx] = a + b E[X] V ar(y = V ar(a + bx = b V ar(x ud σ y = b σ x F y (x = F x ( x a b ud f y(x = 1 b f x( x a b Allgemei: E[Y ] = E[g(x] = g(x f(xdx V ar(y = E[Y ] E[Y ] F y (b = F x (g 1 1 (b g (g 1 (b Logormalverteilt: Y LOG(µ, σ log(y N(µ, σ Y = e x aus X N(µ, σ Es gilt: E[Y ] = exp( µ+σ E[l(X] = µ P [a < X < b] = P [l a < l X < l b] = Ψ Ψ ( l a µ σ Paretoverteilt: Y = e x aus X EXP (α P [X x] = x α f y (x = α x (α+1 F y (x = 1 x α ( l b µ σ Summe: S = X X arithmetisches Mittel: X = S Ausahme vo S mit eifacher Bestimmug: 1. We X i {0, 1}, da ist S BI(, p mit p = P [X i = 1]. We X i P OI(λ, da ist S P OI( λ 3. We X i N(µ, σ, da ist S N ( µ, σ E[S ] = E[X i ] V ar(s = V ar(x i σ S = σ Xi E[X ] = E[X i ] V ar(x = V ar(x i / σ X = σ Xi / lim V ar(barx = Das Gesetz der Grosse Zahle X 1,..., X i.i.d. mit Erwartugswert µ, da: X µ ( Spezialfall davo: f [A] P [A] ( 4.4 Der Zetrale Grezwertsatz X 1,..., X i.i.d. mit Erwartugswert µ ud Variaz σ, da: S N ( µ, σ für grosse X N (µ, σ / für grosse 4.5 Chebychev Ugleichug P [ X µ > c] σ c Mit dieser ist ma stets auf der sichere Seite, dafür aber meistes ziemlich grob.

3 5 Gemeisame ud bedigte Wahrscheilicheit 5.1 Bedigte Wahrscheilicheit Die Bedigte Wahrscheilicheit vo A gegebe B: P [A B] = P [A B] P [B] aalog: P [A B c ] = P [A Bc ] P [B c ] Falls A ud B uabhägig: P [A B] = P [A B c ] = P [A] 5. Satz der totale Wahrscheilicheit Gegebe: P [B], P [A B], P [A B c ] Satz I: P [A] = P [A B]+P [A B c ] = P [A B] P [B]+P [A B c ] P [B c ] Satz II: P [A] = i=1 P [A B i] P [B i ] 5.3 Satz vo Bayes P [B i A] = P [A B i] P [B i] P [A B 1] P [B 1]+...+P [A B ] P [B ] 5.4 Gemeisame ud bedigte disrete Verteiluge Radverteilug: P [X = x i ] ud P [Y = y j ] Gemeisame Verteilug: P [X = x i, Y = y j ] BedigteVerteilug: P [Y = y j X = x i ] 6 Gemeisame ud bedigte stetige Verteiluge 6.1 Gemeisame Dichte Gemeisame Dichte f X,Y (.,. vo zwei stetige Zufallsvariable X ud Y: P [x X x + dx, y Y y + dy] = f X,Y (x, ydxdy Daraus abgeleitete allgemeie Wahrscheilicheit: P [(X, Y A] = A f X,Y (x, ydxdy mit A R Raddichte ud bedigte Dichte Raddichte vo X, bzw. vo Y: f X (x = f X,Y (x, ydy f Y (y = f X,Y (x, ydx Bedigte Dichte, we X = x gegebe: f Y (y X = x = f X,Y (x,y f X (x Bei Uabghägigeit vo X ud Y: f X,Y (x, y = f X (x f Y (y 6. Erwartugswert bei mehrere Zufallsvariable E[g(X, Y ] = g(x, y f X,Y (x, ydxdy Im disrete Fall: E[g(X, Y ] = i j g(x i, y j P [X = x i, Y = y j ] Erwartugswert der eie Zufallsvariable Y gegebe X = x: E[Y X = x] = yf Y (y X = xdy 6.3 Kovariaz ud Korrelatio Kovariaz: Cov(X, Y = E[(X µ X (Y µ Y ] Korrelatio: Corr(X, Y = ρ XY = Cov(X,Y σ X σ Y Recheregel: E[X + Y ] = E[X] + E[Y ] für beliegige, auch abhägige Zufallsvariable Cov(X, Y = E[XY ] E[Y ] E[Y ] Cov(X, Y = 0 falls X ud Y uabhägig Cov(a + bx, c + dy = b d Cov(X, Y Cov(a + bx, c + dy = sig(b sig(d Cov(X, Y V ar(x + Y = V ar(x + V ar(y + Cov(X, Y Die Korrelatio misst Stäre ud Richtug der lieare Abhägigeit zwische X ud Y. Corr(X, Y = +1 geau da we Y = a + bx für ei a R ud ei b > 0 Corr(X, Y = 1 geau da we Y = a+bx für ei a R ud ei b < 0 We X,Y uabhägig: Corr(X, Y = 0 3

4 6.4 Lieare Progose Lieare Progose vo Y gestützt auf X, Asatz: Ŷ = a + bx: Ŷ = µ Y + Cov(X,Y V ar(x (X µ X E[(Y Ŷ ] = (1 ρ XY V ar(y 6.5 Zwei-dimesioale Normalverteilug Kovariaz-Matrix: ( V ar(x Cov(X, Y Cov(X, Y V ar(y Normalverteilug: ( X Y Dichte: f X,Y (x, y = 1 π detσ e (( µx N, Σ µ Y 1 (x µ X,y µ Y Σ Mehr als Zufallsvariable 7 Desriptive Statisti 7.1 Kezahle Arithmetisches Mittel: x = 1 (x x Empirische Variaz: s = 1 1 i=1 (x i x x µ X y µ Y Empirisches α-quatil: x ( mit die leiste gaze Zahl > α bei geordetee Werte x (1 x (... x ( Quartilsdifferez: Uterschied zwische 5%- ud 75%-Quatil 7. Histogramm, Boxplot ud Q-Q Plot 1 A 8 Schliessede Statisti 8.1 Das Testproblem Nullhypothese: H 0 : p = p 0 Alterative: p p 0 (zweiseitig p > p 0 (eiseitig ach obe p < p 0 (eiseitig ach ute We wir a der Abweichug ach obe iteressiert sid, da lehe wir die Nullhypthese ab, falls x c. Wir ehme eimal a, dass die Nullhypthese stimmt, da ist die Wahrscheilicheit, die Nullhypthese fälschlicherweise abzulehe (Fehler 1. Art: P p0 [X c] = =c ( p 0(1 p 0 Fehler. Art: ei Verwerfe der Nullhypthese, obwohl sie falsch ist: P p0 [X c] α Zweiseitig: ( verwerfe Nullhypothese, falls c 1 x ud c x c1 =0 p 0(1 p 0 α ( =c p 0(1 p 0 α Ablauf eies Testes 1. Lege Nullhypothese fest. Verüftige Alterative, zweiseitig oder eiseitig, obe oder ute 3. Sigifiaziveau, α = 0.05(üblich oder Kostruiere Verwerfugsbereich für H 0, so dass: P [F ehler1.art] α 5. Erst jetzt: betrachte ob Beobachtug x i de Verwerfugsbereich fällt. Falls ja, verwerfe Nullhypothese 8. P-Wert Es gibt ei Niveau, wo H 0 gerade och verworfe wird. Der P- Wert ist das leiste Sigifiaziveau wo H 0 verworfe wird. 8.3 Vertrauesitervalle Vertrauesitervall für p, falls X Biom(, p: x ± Φ 1 (1 α x (1 x 1 Vertrauesitervall für λ, falls X P oisso(λ: x ± Φ 1 (1 α x Histogramm: Berechug der Häufigeit eizeler Werte im Itervall, proportiaale Bale Boxplot: Rechtec begrezt durch das 5%- ud 75%-Quatil, Liie vo gršsstem bis leistem ormale Wert (1.5 mal die Quartilsdifferez, Ausreisser: Stere Q-Q-Plot: Quatil-Quatil-Plot, bei Normalverteulug: Gerade, jedoch icht durch Null ud icht im 45 Grad Wiel Vertrauesitervall für ˆλ: ˆλ ± Φ 1 (1 α ˆλ Vertrauesitervall für ˆp: ˆp ± Φ 1 (1 α ˆp 4

5 9 Statisti bei ormalverteilte Date 9.1 Schätzuge Putschätzuge: µ = X = 1 i=1 X i σ = S = 1 1 i=1 (X i µ Erwartugswert der Schätzer: E( µ = µ E( σ = σ 9. Teste z-test σ beat, Date sid Normalverteilt H 0 verwerfe, falls: X µ 0 > σ Φ 1 (1 α Betrag bei zweiseitigem Test, ohe bei eiseitigem, > bei ach obe, < bei ach ute Z = X µ 0 σ/ N (0, 1 Vertrauesitervall [ zweiseitig: X σ Φ 1 (1 α, X ] + σ Φ 1 (1 α Verwerfugsbereich eiseitig: [ Φ 1 (1 α, ] obe [, Φ 1 (α ] ute alle mögliche Tests ist, falls die Beobachtuge ormalverteilt sid. Bei icht-ormalverteilte Beobachtuge öe adere Tests sehr viel besser sei. 10 Putschätzuge: allgemeie Methode Die Verteilug vo X i sei beat bis auf eie ubeate Parameter θ, dabei a θ auch mehrere Kompoete habe ud ist da ei Parametervetor Mometemethode Ubeater Parameter mit Hilfe der Momete µ = E[X ] ausdrücbar: θ j = g j (µ 1,...µ p Mometeschätzer ersetzt wahre µ durch empirische Aaloga: ˆθ j = g j (ˆµ 1,..., ˆµ p ˆµ = 1 i=1 X i 10. Maximum-lielihood Schätzer Wählt als Schätzer Parameterwert, der die log-lielihood- Futio maximiert für disrete X i : l(θ = für stetige X i : l(θ = i=1 log(p θ(x i i=1 log(f θ(x i t-test σ ubeat, Date sid Normalverteilt H 0 verwerfe, falls: zweiseitig: T = x µ0 S x > t 1,1 α eiseitig: T = x µ0 S x > t 1,1 α Vertrauesitervall [ zweiseitig: X S x t 1,1 α, X + Sx Verwerfugsbereich eiseitig: [t 1,1 α, ] obe [, t 1,α ] ute 9..1 Macht eies Tests t 1,1 α Macht: 1 β(µ = P [Test verwirft richtigerweise H 0 für ei µ H A ] mit Wahrscheilicheit eies Fehler. Art: β(µ = P [Test azeptiert H 0 obscho ei µ H A stimmt] Die Macht beschreibt die Kapazität wie gut ei Test eie Parameter im Bereich der Alterative richtigerweise etdece a. Deshalb a die Macht als Güteriterium gebraucht werde, um optimale Tests zu charaterisiere. Ma a zeige, dass der t-test der optimale Test uter ] 5

6 11 Vergleich zweier Stichprobe 11.1 Gepaarte ud ugepaarte Stichprobe Radomisierug: Zufällig gewählte Reihefolge der Versuche, verschiedee Versuchseiheite uter zwei verschiedee Versuchbediguge ergebe eie ugepaarte Stichprobe. Eizele Tests müsse icht gleiche Stichprobegrösse habe. X Ȳm > t +m,1 α bei Alterative H S pool 1/+1/m A : µ X µ Y X Ȳm > t +m,1 α bei Alterative H A : µ X > µ Y S pool 1/+1/m mit: Spool = ( 1 +m i=1 (X i X + i=1 (Y i Ȳm V ar( X Ȳm = σ ( m Gepaarte Stichprobe: beide Versuchsbediguge a derselbe Versuchseiheit getestet. Notwedigerweise müsse die beide Stichprobegrösse gleich sei. 11. Gepaarte Vergleiche Differez ierhalb der Paare: u i = x i y i Besteht ei Uterschied zwische de Versuchsreihe: E[U i ] = 0 Nullhypthese ud Alterative aufstelle Verschiedee mögliche Tests: 1. t-test. Vorzeiche-Test 3. Wilcoxo-Test Vorzeiche-Test Aahme: NUR i.i.d, eie ormalverteilte Date Date: X 1,..., X ud Z i = X i µ Vorzeiche: sig(z 1,...sig(Z wobei: sig(z i > 0 = 1 ud sig(z i 0 = 1 Teststatisti: V=Azahl pos. Beobachtuge Verteilug vo V: BIN(, p = P [Z i > 0] 11.. Wilcoxo-Test Kompromiss: setzt weiger vorraus als t-test, ützt Date aber besser aus als Vorzeiche-Test. 1. Räge bilde: Rag( U i = z.b. = 1 für leiste Differez U. We eizele U i zusammefalle, teilt ma die Räge auf. V i ist Idiator, ob U i positiv ist: V (U > 0 = 1 ud V (U < 0 = 0 3. Verwerfug der Nullhypothese falls W = i=1 Rag( U i V i zu gross, zu lei oder beides ist. Eigeschafte: U hält das Niveau α exat, falls F symm. (um 0 ud x i i.i.d Fehler.Art vo t-test ist oft viel grösser als Fehler.Art vo U. Wilcoxo-Test ist i der Praxis dem t- oder Vorzeiche-Test vorzuziehe, ausser z.b. die Date sid gut mit eier Normalverteilugbeschriebe (da t-test Zwei-Stichprobe Tests Ugepaarte Stichprobe, uabhägige Zufallsvariable X i N(µ X, σ Y i N(µ Y, σ Nullhypothese H 0 : µ X = µ Y verwerfe, falls: 6