Institut für Statistik der LMU. FORMELSAMMLUNG 2003 zur STOCHASTIK FÜR BIOINFORMATIKER

Transkript

1 Institut für Statistik der LMU FORMELSAMMLUNG 2003 zur STOCHASTIK FÜR BIOINFORMATIKER

2 Inhaltsverzeichnis 1 Elementare Wahrscheinlichkeitsrechnung Die Axiome von Kolmogorov Rechenregeln für Wahrscheinlichkeiten Laplace sche Wahrscheinlichkeit Bedingte Wahrscheinlichkeiten Satz von der totalen Wahrscheinlichkeit Formel von Bayes Stochastische Unabhängigkeit zweier Ereignisse Zufallsvariablen Eindimensionale Zufallsvariablen und ihre Verteilungen Die Verteilungsfunktion und ihre Eigenschaften Diskrete Zufallsvariablen und Dichten Stetige Zufallsvariablen und Dichten Zusammenhänge zwischen Dichten und Verteilungsfunktionen Erwartungswert, Varianz und Standardabweichung von Zufallsvariablen Rechenregeln und Eigenschaften von Erwartungswerten und Varianzen Transformationssatz für stetige Dichten Spezielle diskrete Verteilungen mit ihren Dichten, Erwartungswerten und Varianzen i

3 2.1.9 Spezielle stetige Verteilungen mit ihren Dichten, Erwartungswerten und Varianzen Mehrdimensionale Zufallsvariablen Die gemeinsame Verteilungsfunktion und die Randverteilung von zwei Zufallsvariablen Erwartungswert, Varianz, Kovarianz und Korrelationskoeffizient von zweidimensionalen Zufallsvariablen Multinomialverteilung Unabhängigkeit von Zufallsvariablen Bedingte Verteilungen und Dichten Das Gesetz der großen Zahlen und der ZGS Das Gesetz der großen Zahlen Der zentrale Grenzwertsatz Inferenz Likelihood-Inferenz Bayes-Inferenz Güteeigenschaften von Punktschätzern Anpassungstests Simulation Inversionsverfahren Rejection sampling Kongruenzgenerator ii

4 1 Elementare Wahrscheinlichkeitsrechnung 1.1 Die Axiome von Kolmogorov (1) Axiom: P (A) 0 für jedes Ereignis A (2) Axiom: P (Ω) = 1 (3) Axiom: P (A 1 A 2 ) = P (A 1 ) + P (A 2 ) für A 1 und A 2 so, dass A 1 A 2 = 1.2 Rechenregeln für Wahrscheinlichkeiten P (A) 1 P ( ) = 0 A Ω Aus A B folgt P (A) P (B) P (Ā) = 1 P (A) (Allgemeiner Additionssatz): P (A 1 A 2 ) = P (A 1 ) + P (A 2 ) P (A 1 A 2 ) 1.3 Laplace sche Wahrscheinlichkeit Prinzip von Laplace: Wenn nichts dagegen spricht, gehen wir davon aus, daß alle Elementarereignisse gleichwahrscheinlich sind. P (A) = A Ω = Anzahl der für A günstigen Fälle Anzahl aller möglichen Fälle 1.4 Bedingte Wahrscheinlichkeiten P (A B) = P (A B), falls P (B) > 0 P (B) 1

5 Außerdem gilt: P (A B) = P (A B)P (B), sofern P (B) > 0 P (A B) = P (B A)P (A), sofern P (A) > Satz von der totalen Wahrscheinlichkeit P (B) = n P (B A i )P (A i ) für jedes Ereignis B, sofern P (A i ) > 0 gilt und die A i, i=1 i = 1,..., n, eine disjunkte Zerlegung von Ω bilden. 1.6 Formel von Bayes Falls zusätzlich zu den obigen Bedingungen des Satzes von der totalen Wahrscheinlichkeit noch gilt, daß P (B) > 0 ist, so lautet die Formel von Bayes: P (A j B) = P (B A j)p (A j ) P (B) = P (B A j)p (A j ) P (B A i )P (A i ) i für jedes j. 1.7 Stochastische Unabhängigkeit zweier Ereignisse Stochastische Unabhängigkeit zweier Ereignisse A und B: P (A B) = P (A)P (B) P (A B) = P (A), falls P (B) > 0 P (B A) = P (B), falls P (A) > 0 2

6 2 Zufallsvariablen 2.1 Eindimensionale Zufallsvariablen und ihre Verteilungen Die Verteilungsfunktion und ihre Eigenschaften Verteilungsfunktion einer Zufallsvariablen (ZV) X: F (x) = P (X x), x R Eigenschaften: (1) 0 = F ( ) F (x) F (+ ) = 1 für alle x R (2) F (x) steigt für wachsendes x monoton an, d.h. F (x 1 ) F (x 2 ), falls x 1 < x 2 + (3) F (x) ist in jedem Punkt x von rechts stetig, d.h. der rechtsseitige Grenzwert stimmt stets mit dem Funktionswert F (x) überein. (4) P (X = x) = F (x) P (X < x) speziell: P (X < x) = lim h 0 F (x h), für h > 0. (5) P (a < X b) = F (b) F (a), falls a < b P (a X b) = F (b) F (a) + P (X = a) speziell: P (a X b) = F (b) F (a) für stetige Verteilungen P (a < X < b) = F (b) F (a) P (X = b) P (a X < b) = F (b) F (a) + P (X = a) P (X = b) (6) P (X > x) = 1 F (x) P (X < x) = F (x) P (X = x) Diskrete Zufallsvariablen und Dichten Eine ZV X heißt diskret, falls der Wertebereich (Träger) von X nur endlich oder abzählbar unendlich viele Werte annehmen kann. Besitzt ihr Wertebereich also die Gestalt 3

7 (x 1, x 2, x 3,...), so heißt sie und auch ihre Verteilung diskret. Wahrscheinlichkeitsfunktion (Dichte) einer diskreten ZV: P (X = x i ) für x = x i (x 1, x 2, x 3,...) f(x) = 0 sonst Stetige Zufallsvariablen und Dichten Eine Zufallsvariable X heißt stetig, wenn es eine Funktion f(x) 0 gibt, so daß die Verteilungsfunktion von X die Gestalt F (x) = x f(t)dt für jedes x R hat. Die Funktion f(x) heißt Dichte. Es gilt: (1) P (X = x) = 0 für alle x R, falls X eine stetige ZV ist. (2) f(x) = F (x) = + (3) f(x)dx = 1. df (x), falls F (x) an der Stelle x differenzierbar ist. dx Zusammenhänge zwischen Dichten und Verteilungsfunktionen F (x) = x i x f(x i ) = x i x P (X = x i ) im diskreten Fall F (x) = x f(t)dt im stetigen Fall P (a X b) = P (a X b) = f(x i ) = P (X = x i ) a x i b b f(t)dt a x i b im diskreten Fall im stetigen Fall a 4

8 2.1.5 Erwartungswert, Varianz und Standardabweichung von Zufallsvariablen Falls die entsprechenden Summen bzw. Integrale definiert sind, gelten folgende Definitionen: Erwartungswert: xf(x), x falls X diskret µ = E(X) = + xf(x)dx, falls X stetig Varianz: (x E(X)) 2 f(x), falls X diskret σ 2 x = Var(X) = + (x E(X)) 2 f(x)dx, falls X stetig Standardabweichung: σ = + σ 2 = + Var(X) Rechenregeln und Eigenschaften von Erwartungswerten und Varianzen Für die stetige Transformation Y = g(x) einer Zufallsvariable gilt: g(x)f(x), x E(Y ) = + g(x)f(x)dx, Für eine lineare Transformation ax + b gilt: falls X diskret falls X stetig E(aX + b) = ae(x) + b für alle a, b R E(X + Y ) = E(X) + E(Y ) Var(aX + b) = a 2 Var(X) Für die Varianz einer stetigen bzw. diskreten Zufallsvariablen gilt der Verschiebungssatz: Var(X) = E(X 2 ) [E(X)] 2 5

9 Standardisierung von Zufallsvariablen: Die Zufallsvariable X sei verteilt mit E(X) = µ und Var(X) = σ 2. Für die zugehörige standardisierte Zufallsvariable Z = X µ σ gilt: E(Z) = 0, Var(Z) = Transformationssatz für stetige Dichten Sei X eine stetige Zufallsvariable mit Dichte f X (x). Sei g(x) eine streng monotone und differenzierbare Funktion. Dann gilt für die Dichte f Y (y) der transformierten Zufallsvariable Y = g(x): f Y (y) = f X (g 1 (y)) d g 1 (y) d y 6

10 2.1.8 Spezielle diskrete Verteilungen mit ihren Dichten, Erwartungswerten und Varianzen Schreibweise: Binomialverteilung X B(n, π) Hypergeometrische Verteilung X H(n, N, M) Poissonverteilung Geometrische Verteilung X P o(λ) X G(π) Negative Binomialverteilung X N B(r, π) Diskrete Gleichverteilung X U{a,..., b} Verteilung Wahrscheinlichkeitsfunktion E(X) Var(X) X B(n, π) P (X = x) = ) π x (1 π) n x für x = 0, 1,..., n ( n x 0, sonst n π n π(1 π) X H(n, N, M) P (X = x) = ( M x )( N M n x ) ( N n) für 0 sonst x = max{0; n (N M)},..., min{n; M} n M N n M N ( ) 1 M N n N N 1 X P o(λ) P (X = x) = (λ > 0) λ x x! e λ für x = 0, 1, 2,... 0, sonst X G(π) P (X = x) = (1 π) x 1 π für x = 1, 2,... λ 1 π λ 1 π π 2 X NB(r, π) P (X = x + r) = ( ) x+r 1 x π r (1 π) x für r mit x = 0, 1, 2,... r π r(1 π) π 2 b a b a 1 X U{a,..., b} P (X = x) = 1/(b a + 1) für a x b a+b 2 ( 1 3 (b a) (b a) ) 7

11 2.1.9 Spezielle stetige Verteilungen mit ihren Dichten, Erwartungswerten und Varianzen Verteilung Dichte E(X) Var(X) Modus X U[a, b] Gleichverteilung a < b X Ex(λ) Exponentialverteilung λ > 0 f(x) = 1, für a x b b a 0, sonst λe λx für x 0 f(x) = 0 sonst a+b 2 1 λ (b a) 2 12 NA 1 0 λ 2 X N(µ, σ 2 ) Normalverteilung µ R, σ 2 > 0 X Cauchy Cauchy- Verteilung f(x) = 1 2πσ exp( (x µ)2 2σ 2 ) für x R µ σ 2 µ f(x) = 1 π(1+x 2 ) NA NA 0 X Ga(α, β) Gamma- Verteilung f(x) = β α Γ(α) xα 1 e βx für x 0 α β α β 2 α 1 β für α > 1 α, β R + 0 sonst X Beta(α, β) Beta-Verteilung α, β R + f(x) = 1 B(α,β) xα 1 (1 x) β 1 für 0 x 1 0 sonst α α+β αβ (α+β) 2 (α+β+1) α 1 α+β 2 für α, β > 1 Gamma-Funktion: Γ(α) = 0 e x x α 1 d x Beta-Funktion: B(α, β) = 1 0 xα 1 (1 x) β 1 d x 8

12 Chi-Quadrat-(χ 2 -)Verteilung: Z = n Xi 2 χ 2 (d) (d.h. χ 2 -verteilt mit d Freiheitsgraden) i=1 falls X 1,..., X d unabhängige, standardnormalverteilte Zufallsvariablen sind Die χ 2 -Verteilung ist ein Spezialfall der Gamma-Verteilung, eine Ga( d 2, 1 2 )-Verteilung. 2.2 Mehrdimensionale Zufallsvariablen Die gemeinsame Verteilungsfunktion und die Randverteilung von zwei Zufallsvariablen - beide diskret Diskrete gemeinsame Wahrscheinlichkeitsfunktion: f(x, y) = P (X = x, Y = y) Diskrete Verteilungsfunktion: F (x, y) = P (X x, Y y) = f(x i, y j ) x i x y j y ((x i, y j ) sind die Ausprägungskombinationen von (X, Y )) Diskrete Randdichte: f X (x) = P (X = x) = j f(x, y j ) (analog für Y ) - beide stetig Stetige gemeinsame Dichtefunktion: f(x, y) 9

13 Stetige Verteilungsfunktion: F (x, y) = P (X x, Y y) = x y f(u, v)dvdu 2 F (x, y) x y = f(x, y), falls F differenzierbar im Punkt (x, y) Stetige Randdichte: (analog für Y ) f X (x) = + f(x, y) dy Erwartungswert, Varianz, Kovarianz und Korrelationskoeffizient von zweidimensionalen Zufallsvariablen Diskrete Zufallsvariablen: Stetige Zufallsvariablen: E(XY ) = i x i y j f(x i, y j ) j E(XY ) = + + x y f(x, y)dydx Kovarianz: Cov(X, Y ) = E((X E(X))(Y E(Y ))) = E(XY ) E(X)E(Y ) Korrelationskoeffizient: wobei σ X die Standardabweichung von X ist. Es gilt: 1 ρ(x, Y ) +1. ρ XY = ρ(x, Y ) = Cov(X, Y ) σ X σ Y, 10

14 2.2.3 Multinomialverteilung Verteilung Wahrscheinlichkeitsfunktion X = (X 1, X 2,..., X p ) M p (n; π) p π = (π 1,..., π p ), π i = 1 i=1 P (X 1 = x 1, X 2 = x 2,..., X p = x p ) = n! x 1! x πx 1 n! x p! 1 π x 2 2 πp xp für x i = 0, 1,..., n (i = 1,..., p); p x i = n Momente: E(X i ) = nπ i, Var(X i ) = nπ i (1 π i ), Cov(X i, X j ) = nπ i π j (i j) Spezialfall p = 2 Binomialverteilung i= Unabhängigkeit von Zufallsvariablen Zwei ZV X, Y heißen unabhängig, wenn F X,Y (x, y) = F X (x)f Y (y) d.h. die gemeinsame Verteilungsfunktion = Produkt der Randverteilungen bzw. f X,Y (x, y) = f X (x)f Y (y), d.h. die gemeinsame Dichte = Produkt der Randdichten. Falls X, Y unabhängig sind, gilt Cov(X, Y ) = 0 und E(XY ) = E(X)E(Y ) Bedingte Verteilungen und Dichten Die bedingte Verteilungsfunktion von X gegeben Y = y mit P (Y = y) > 0 ist definiert als F X Y (x y) = P (X x, Y = y), x R. P (Y = y) Die bedingte Wahrscheinlichkeitsfunktion (-dichte) von X lautet sowohl bei diskreten als auch bei stetigen X für jedes feste y mit f Y (y) 0 (Analog für Y ) f X Y (x y) = f(x, y) f Y (y), x R. 11

15 2.3 Das Gesetz der großen Zahlen und der zentrale Grenzwertsatz Das Gesetz der großen Zahlen Seien X 1,..., X n unabhängige identisch verteilte Zufallsvariablen mit µ =E(X i ) <, so gilt für X n = 1 n n i=1 X i: X n µ für n Der zentrale Grenzwertsatz Seien X 1,..., X n unabhängige identisch verteilte Zufallsvariablen mit µ =E(X i ) < und endlicher Varianz σ 2 = Var(X i ) > 0. Dann gilt für die Summe Y n = X X n Y n nµ σ n = 1 n n i=1 X i µ σ a N(0, 1); oder auch Y n a N(n µ, n σ 2 ) 12

16 3 Inferenz Ziel: Unter bestimmten Modellannahmen Aussagen über unbekannte Parameter θ Θ zu machen, nachdem Daten X beobachtet wurden. 3.1 Likelihood-Inferenz Likelihood-Prinzip: Schlüsse werden nur aus der Likelihood gezogen. Likelihood: Dichte f(x) in Abhängigkeit vom Parameter θ: L(θ) = f(x; θ) Loglikelihood: Maximum-Likelihood-Schätzer: l(θ) = ln(l(θ)) Derjenige Wert ˆθ ML, der die Likelihood maximiert: L(ˆθ ML ) = max θ Θ L(θ) Normierte Likelihood: L(θ) = L(θ)/L(ˆθML ) Normierte Loglikelihood: l(θ) = l(θ) l(ˆθml ) Standardfehler des ML-Schätzers: SE(ˆθ ML ) = [ l (ˆθ ML ) Likelihoodbasierte Vertrauensintervalle: 1. Exaktes Vertrauensintervall {θ : l(ˆθ) c} zum Niveau α mit c aus folgender Tabelle: ] 1 α c

17 2. Approximatives Vertrauensintervall ˆθ ± d SE(ˆθ ML ) mit d aus folgender Tabelle: α d Bayes-Inferenz Vorwissen über den unbekannten Paramter θ wird durch eine Priori-Dichte f(θ) ausgedrückt. Bayes-Prinzip: Alle Schlüsse werden nur aus der Posteriori gezogen. Für die Posteriori-Dichte ergibt sich f(θ x) f(x θ) f(θ) Punktschätzer: 1. Posteriori-Modus 2. Posteriori-Erwartungswert Intervallschätzer: 1. Highest-Posterior-Density-Intervall 2. Über die Quantile der Posteriori-Verteilung 3.3 Güteeigenschaften von Punktschätzern Erwartungstreue: E(ˆθ) = θ. Varianz Var(ˆθ) eines erwartungstreuen Schätzers ist Maß für die Güte. 3.4 Anpassungstests Häufig ist es von Interesse, die Anpassung eines bestimmten Modells an vorliegende Daten zu studieren. Dies ist insbesondere bei kategorialen Daten der Fall. Vorgehensweise Vergleich des Null-Modells mit dem saturierten Modell unter Annahme einer Multinomialverteilung mit p Kategorien. 14

18 1. ML-Schätzung der unbekannten Parameter θ im Null-Modell. 2. Berechnung der erwarteten Anzahl E i an Fällen unter Annahme des Null-Models. 3. Berechnung der Residuen r i = X i E i Ei. 4. Berechnung des χ 2 -Werts χ 2 = p ri 2 = i=i p (X i E i ) 2 E i=1 i Alternative ist die Devianz D = 2 p X i log i=1 ( Xi E i ) Unter der Annahme des Null-Modells sind χ 2 und D asymptotisch χ 2 -verteilt mit k = p 1 q Freiheitsgraden, wobei q die Anzahl der geschätzten Parameter im Null- Modell ist. 15

19 4 Simulation 4.1 Inversionsverfahren Aus einer beliebigen stetigen Verteilung mit Verteilungsfunktion F (x) lässt sich eine Zufallszahl X wie folgt erzeugen: X = F 1 (U) wobei U U[0, 1] 4.2 Rejection sampling Aus einer beliebigen Verteilung mit Dichte f X (x) lässt sich wie folgt eine Zufallszahl ziehen: Sei f Y (y) die Dichte einer weiteren Verteilung, aus der leicht Zufallszahlen erzeugt werden können. Es existiere eine Konstante c 1 mit f X (x) c f Y (x) für alle x R. Dann wird wie folgt gezogen: REPEAT Erzeuge Zufallzahl X aus f y. Erzeuge eine von X unabhängige Zufallszahl U aus U[0, 1]. Berechne Akzeptanzwahrscheinlichkeit p(x) = f X(X) c f Y (X). UNTIL (U p(x)) RETURN X 16

20 4.3 Kongruenzgenerator Ziel: Erzeugung von stetig gleichverteilten Zufallsvariablen auf [0, 1]. Wähle einen Startwert X 0 (seed). Erzeuge eine Folge von Zufallszahlen U i, i = 1, 2,... wie folgt: X i = (a X i 1 + c) mod M U i = X i /M Bei geeigneter Wahl der Parameter a, c und M erhält man eine Folge von zufällig erscheinenden Pseudo-Zufallszahlen. 17