Diskrete Wahrscheinlichkeitstheorie TUM Sommersemester 2012 Dozent: Javier Esparza. Janosch Maier 25. Juli 2012

Transkript

1 Diskrete Wahrscheinlichkeitstheorie TUM Sommersemester 2012 Dozent: Javier Esparza Janosch Maier 25. Juli

2 Inhaltsverzeichnis I Diskrete Wahrscheinlichkeitsräume 6 1 Grundlagen Markov-Diagram Additionssatz Siebformel Bool sche Ungleichung Wahl der Wahrscheinlichkeiten Bedingte Wahrscheinlichkeiten Multiplikationssatz Geburtstagsproblem Satz von der totalen Wahrscheinlichkeit Unabhängigkeit 7 4 Satz von Bayes 8 5 Zufallsvariablen Grundlagen Erwartungswert & Varianz Monotonie des Erwartungswertes Erwartungswert bei Funktionen Linearität des Erwartungswertes Mehrere Zufallsvariablen Dichte Varianz Mehrere Zufallsvariablen Hypergeometrische Verteilung Gemeinsame Dichte Randdichte Gemeinsame Verteilung Randverteilung Unabhängigkeit von Zufallsvariablen Zusammengesetzte Zufallsvariablen Linearität des Erwartungswertes Multiplikativität des Erwartungswertes Addizivität der Varianz Indikatorvariable Formelsammlung 10 7 Wichtige diskrete Verteilungen Bernoulli-Verteilung Binomialverteilung Mehrere unabhängige Binomialverteilungen Geometrische Verteilung Negative Binomialverteilung

3 7.4 Poisson Verteilung Grenzwert für Binomialverteilung Summe von Poisson-verteilten Zufallsvariablen Abschätzen von Wahrscheinlichkeiten Ungleichungen von Markov und Chebyshev Markov-Ungleichung Chebishev-Ungleichung Gesetz der großen Zahlen Gesetz der großen Zahlen Wahrscheinlichkeit und relative Häufigkeit Chernoff-Schranken Chrenoff-Schranken für Summen von 0-1-Zufallsvariablen Weitere Abschätzungen Erzeugende Funktion Rechenregeln Beobachtung Eindeutigkeit Wichtige Erzeugende Funktionen Bernoulli-Verteilung Gleichverteilung auf {0,, n} Binomialverteilung Geometrische Verteilung Poisson-Verteilung Erzeugende Funktion und Momente II Kontinuierliche Wahrscheinlichkeitsräume Einführung Kolmogorov-Axiome und σ-algebren σ-algebren Borel sche Mengen Kolmogorov-Axiome Lebesgue-Integral Rechenregeln in (Ω, A, Pr) Additionssatz Kontinuierliche Zufallsvariablen Dichtefunktion Verteilungsfunktion Gleichverteilung Rechnen mit kontinuierlichen Zufallsvariablen Exponentialverteilung Lineare Zufallsvariablen Simulation von Zufallsvariablen Kontinuierliche Zufallsvariablen als Grenzwerte diskreter Zufallsvariablen Erwartungswert Varianz

4 Laplace-Prinzip Bertrand sches Paradoxon Mehrere kontinuierliche Zufallsvariablen Mehrdimensionale Dichten Randverteilung Randdichte Unabhängigkeit Summe von unabhängigen Zufallsvariablen Normalverteilung Erwartungswert und Varianz X N (0, 1) Allgemeiner Fall Normalverteilung als Grenzwert der Binomialverteilung Grenzwertsatz von de Moivre Konvergenz der Binomialverteilung Summe von Normalverteilungen Additivität der Normalverteilung Zentraler Grenzwertsatz Momentenerzeugende Funktion Gleichverteilung auf [a, b] Standardnormalverteilung Normalverteilung Y N (µ, σ 2 ) Zentraler Grenzwertsatz Elementarer Beweis des Grenzwertsatzes von de Moivre für p = Exponentialverteilung Erwartungswert und Varianz Exponentialverteilung als Grenzwert der geometrischen Verteilung Gedächtnislosigkeit Skalierung exponentialverteilter Variablen Gedächtnislosigkeit Minimum von Exponentialverteilungen Warten auf mehrere Ereignisse Poisson-Prozess Approximationen der Binomialverteilung Approximation durch Poisson-Verteilung Approximation durch Chrenoff-Schranken Approximation durch Normalverteilung III Induktive Statistik Einführung 26 4

5 16 Schätzvariablen Schätzer Erwartungstreue Bias Mittlere Quadratische Abweichung Konsistenz im quadratischen Mittel Schwache Konsistenz Schätzer für die Varianz Stichprobenmittel & Stichprobenvarianz Maximum-Likelihood-Prinzip Bernoulli-Verteilung Konfidenzintervalle Konfidenzintevall für Standardnormalverteilung γ-quantil Testen von Hypothesen Einführung Test Fehler Konstruktion eines einfachen Tests Praktische Anwendung statistischer Tests Vorgehen bei statistischen Tests Ausgewählte statistische Tests Das richtige Testverfahren Ein-Stichproben-Tests für Lageparameter Zwei-Stichproben-Tests für Lageparameter Nicht an Legeparametern orientierte Tests IV Stochastische Prozesse Einführung Prozesse mit diskreter Zeit Markov-Ketten Wahrscheinlichkeitsraum einer Markov-Kette Berechnung von Übergangswahrscheinlichkeiten Exponentiation von Matrizen Ankunftswahrscheinlichkeiten und Übergangszeiten Erwartete Übergangs-/ Rückkehrzeiten Erwartete Ankunfsts- / Rückkehrwahrscheinlichkeiten Gamblers Ruin Problem Stationäre Verteilung Absorbierende Zustände Transiente Zustände Rekurrente Zustände Irreduzible Markov-Ketten Aperiodizität Ergodische Markov-Ketten

6 Teil I Diskrete Wahrscheinlichkeitsräume 1 Grundlagen Diskreter Wahrscheinlichkeitsraum: Ω = {ω 1, ω 2, } von Elementarereignissen Elementarwahrscheinlichkeit: Pr[ω 1 ]. ω Ω Pr[ω] = 1 Ereignis: E Ω besteht aus Elementarereignissen Pr[E] = ω E Pr[ω] Mehrstufiges Experiment Reihe von Teilereignissen Wahrscheinlichkeit des Elementarereignisses ist Produkt der Wahrscheinlichkeiten der Teilereignisse 1.1 Markov-Diagram Graph mit Übergangswahrscheinlichkeit 1.2 Additionssatz Für paarweise disjunkte Ereignisse A i, i [n] gilt: [ n ] n Pr A i = Pr[A i ] (1) i=1 Für zwei disjunkte Ereignisse gilt somit: Pr[A B] = Pr[A] + Pr[B] i=1 1.3 Siebformel [ n ] n Pr A i = Pr[A i ] Pr[A i1 A i2 ] + +( 1) l 1 1 i 1 i l n i=1 i=1 i i 1 i 2 n Pr[A i1 A il ] + + ( 1) n 1 Pr[A 1 A n ] Für zwei Ereignisse gilt somit: Pr[A B] = Pr[A] + Pr[B] Pr[A B] (2) 1.4 Bool sche Ungleichung [ n ] n Pr A i Pr[A i ] (3) i=1 i=1 6

7 1.5 Wahl der Wahrscheinlichkeiten Laplace Experiment: Pr[E] = E Ω 2 Bedingte Wahrscheinlichkeiten Pr[A B] = Pr[A B] Pr[B] (4) 2.1 Multiplikationssatz Für Pr[A 1 A n ] > 0 gilt: Pr[A 1 A n ] = Pr[A 1 ] Pr[A 2 A 1 ] Pr[A 3 A 1 A 2 ] Pr[A n A 1 A n 1 ] (5) Für zwei Ereignisse gilt somit: Pr[A B] = Pr[A] Pr[B A] = Pr[B] Pr[A B] 2.2 Geburtstagsproblem m Bälle in n Körbe, W keit, dass schon ein Ball in Korb liegt? A i : Ball i in leerem Korb A: Alle Bälle alleine in Korb [ m ] Pr[A] = Pr A i i=1 Multiplikationssatz = m j=1 2.3 Satz von der totalen Wahrscheinlichkeit A i, i [n] paarweise disjunkt, B n i=1 A i P r[b] = 3 Unabhängigkeit ( 1 j 1 ) 1 x e x e m(m 1) 2n (6) n n Pr[B A i ] Pr[A i ] (7) i=1 Pr[A B] = Pr[A] Pr[B] A und B unabhängig (8) Für Pr[B] 0 gilt Pr[A B] = Pr[A]. Zwei unabhängige Ereignisse mit Pr > 0 sind nicht disjunkt. Mehrere Ereignisse sind unabhängig, wenn für alle Teilmengen aus der Ereignissmenge gilt: Pr[A i A j ] = Pr[A i ] Pr[A j ], 1 i j n (9) Wenn A, B unabhängig A, B; A, B; A, B sind unabhängig Wenn A, B, C unabhängig A B, C; A B, C sind unabhängig 7

8 4 Satz von Bayes Ereignisse A i, i [n] paarweise disjunkt, mit Pr[A i ] > 0. B i [n] A i Pr[A i B] = Pr[A i B] Pr[B] = Pr[B A i ] Pr[A i ] n j=1 Pr[B A j] Pr[A j ] (10) Für zwei Ereignisse gilt also: Pr[A B] = 5 Zufallsvariablen 5.1 Grundlagen Pr[B A] Pr[A] Pr[B] Zufallsvariable: X : Ω R (Diskret, wenn Ω endlich / abzählbar) Wertebereich einer ZV: W X = X(Ω) = {x R; ω Ω; X(ω) = x} Dichtefunktion: x Pr[X = x] Verteilungsfunktion: x Pr[X x] = x x Pr[X = x ] 5.2 Erwartungswert & Varianz Erwartungswert bei absoluter Konvergenz: E[X] = Monotonie des Erwartungswertes a X(ω) b a E[X] b Erwartungswert bei Funktionen Y = f(x) = f X ist ZV. x W X x Pr[X = x] (11) X(ω) Y (ω) E[X] E[Y ] (12) E[Y ] = E[f(X) = ω Ω f(x(ω)) Pr[ω] (13) Linearität des Erwartungswertes E[aX + b] = ae[x] + b (14) Mehrere Zufallsvariablen W X N 0 E[X] = Pr[X i] (15) i=1 8

9 5.2.5 Dichte f X A (x) = Pr[X = x A] = E[X A] = Pr[X = x A] Pr[A] (16) x W X xf X A (x) (17) Für paarweise disjunkte Ereignisse, die den ganzen Ereignissraum abdecken gilt: E[X] = n i=1 E[X A i] Pr[A i ] Neustart eines Experiments X als Experiment X mit selbem Aufbau. Erwartungswert des Experiments ist der Erwartungswert des neuen Experiments + 1: E[X K 1 ] = 1 + E[X ] = 1 + E[X] (18) Varianz Mit µ = E[X] gilt: E[X] = E[X K 1 ] Pr[K 1 ] + E[X K 1 ] Pr[K 1 ] (19) Var[X] = E[(X µ) 2 ] = σ = Var[X] heißt Standardabweichung von X x W X (x µ) 2 Pr[X = x] (20) Var[X] = E[X 2 ] E[X] 2 (21) Var[aX + b] = a 2 Var[X] (22) Für ZV X heißt: E[X k ] k-tes Moment E ist erstes Moment, E[(X E[X]) k ] k-tes zentrales Moment Var ist zweites zentrales Moment. 5.3 Mehrere Zufallsvariablen Hypergeometrische Verteilung Ziehe r Elemente ohne zurücklegen aus a + b Elementen, von denen b besonders gekennzeichnet sind. ( b a ) Pr[X = x] = x)( r x ) (23) Für zwei ZV: Pr[X = x, Y = y] = Gemeinsame Dichte ( b x)( a ( a+b r )( b x r 1 x y )( a (r1 x) r 2 y ( a+b r 1 )( (a+b) r1 r 2 ) (24) f X,Y (x, y) = Pr[X = x, Y = y] (25) ) Randdichte Analog für f Y (y) f X (x) = y W Y f X,Y (x, y) (26) 9

10 5.3.4 Gemeinsame Verteilung F X,Y (x, y) = Pr[X x, Y y] = f X,Y (x, y ) (27) x x y y Randverteilung F X (x) = f X (x ) = f X,Y (x, y) (28) x x x x y W Y Analog für F Y (y) Unabhängigkeit von Zufallsvariablen X i, i [n] heißen unabhängig, wenn gilt: Pr[X 1 = x 1,, X n = x n ] = Pr[X 1 = x 1 ] Pr[X n = x n ] f X1,,X n (x 1,, x n ) = f X1 (x 1 ) f Xn (x n ) (29) Zusammengesetzte Zufallsvariablen Z = X + Y, X, Y unabhängig. f Z (z) = f X (x)f Y (z x) (30) x W X Linearität des Erwartungswertes X = a 1 X a n X n E[X] = a 1 E[X 1 ] + + a n E[X n ] (31) Multiplikativität des Erwartungswertes Für unabhängige ZV gilt: E[X 1 X n ] = E[X 1 ] E[X n ] (32) Addizivität der Varianz Für X = i [n] X i, mit X i unabhängig gilt: Var[X] = Var[X 1 ] + + Var[X n ] (33) Indikatorvariable I A ist 1, wenn A, sonst 0 E[I A ] = Pr[A] (34) E[I A1 I An ] = Pr[A 1 A n ] (35) 6 Formelsammlung Siehe Foliensatz Seite 154 ff. 10

11 7 Wichtige diskrete Verteilungen 7.1 Bernoulli-Verteilung 1 Münzwurf. Erfolg (1) auf einer Seite, Misserfolg (0) bei anderer Seite ZV X mit: W X = {0, 1} { p, x = 1 f X (X) = 1 p, x = 0 (36) ist Bernoulli verteilt, mit Erfolgswahrscheinlichkeit p. q := 1 p 7.2 Binomialverteilung E[X] = p (37) Var[X] = p p 2 = pq (38) Reihe von Münzwürfen. Summe der Erfolge? X ist Summe von unabhängigen, gleichverteilten Bernoulli Experimenten X X n. X Bin(n, p) (39) Es gilt: X X = {0,, n} f X (x) = b(x; n, p) = ( ) n p x q n x (40) x E[X] = np (41) Var[X] = npq (42) Mehrere unabhängige Binomialverteilungen X Bin(n x, p), Y Bin(n y, p) unabhängig dann gilt für Z = X + Y Z Bin(n x + n y, p) 7.3 Geometrische Verteilung Reihe von Münzwürfen. Wann der erste Erfolg? f X (i) = pq i 1, i N (43) E[X] = 1 p (44) Var[X] = q p 2 (45) Pr[X > x] = (1 p) x (46) Pr[X > y + x X > x] = Pr[X > y] (47) 11

12 7.3.1 Negative Binomialverteilung n unabhängige Geometrische Verteilungen. Warten auf den n-ten Erfolg. z ist Anzahl der Versuche. Z ist negativ binomialverteilt mit Ordnung n ( ) z 1 f Z (z) = p n (1 p) z n (48) n Poisson Verteilung Parameter λ, Wertebereich W X = N 0, i N 0. X Po(λ) f X (i) = e λ λ i Grenzwert für Binomialverteilung i! (49) E[X] = λ (50) Var[X] = λ (51) lim X Bin(n, λ ) = Po(λ) (52) n n Summe von Poisson-verteilten Zufallsvariablen X, Y unabhängig. X Po(λ), Y Po(µ) Z = X + Y Po(λ + µ) (53) 8 Abschätzen von Wahrscheinlichkeiten 8.1 Ungleichungen von Markov und Chebyshev Markov-Ungleichung Für ZV X mit nur positiven Werten, t R + gilt: Pr[X t] E[X] t Pr[X te[x]] 1 t (54) (55) Chebishev-Ungleichung Für ZV X, t R + gilt: Pr[ X E[X] t] Var[X] t 2 (56) Pr[ X E[X] t Var X] 1 t 2 (57) 12

13 8.2 Gesetz der großen Zahlen Gesetz der großen Zahlen Für ZV X mit, ϵ, δ > 0 gilt für alle n Var[X] ϵδ, Wenn X 2 i, i [n] gleichverteilt, wie X mit Z := X1+ +Xn n, so gilt: Pr[ Z E[X] δ] ϵ (58) Wahrscheinlichkeit und relative Häufigkeit Z = 1 n (X X n ) (59) nähert sich für genügend große n beliebig an Pr[X] an. 8.3 Chernoff-Schranken Chrenoff-Schranken für Summen von 0-1-Zufallsvariablen Seien X i, i [n] unabhängige Bernoulli-ZVs, mit Pr[X i = 1] = p i und Pr[X i = 0] = 1 p 1. Dann gilt für X := n i=1 X i, µ := E[X] = n i=1 p i δ > 0 0 < δ < 1 0 δ < 1 ( e δ ) µ Pr[X (1 + δ)µ] (1 + δ) 1+δ (60) ( e δ ) µ Pr[X (1 δ)µ] (1 δ) 1 δ (61) (1 δ) 1 δ e δ+ δ2 2 (62) Weitere Abschätzungen Pr[X (1 + δ)µ] e µδ2 3, für 0 < δ 1 Pr[X (1 δ)µ] e µδ2 2, für 0 < δ 1 Pr[ X µ δµ] 2e µδ2 3, für 0 < δ 1 Pr[X (1 + δ)µ] ( e 1+δ )(1+δ)µ Pr[X t] 2 t, für t 2eµ (1 + δ) 1+δ e δ+ δ2 3 (63) 13

14 9 Erzeugende Funktion Für ZV X mit W X N 0 gilt: G X (s) = Pr[X = k]s k = E[s X ] (64) k=0 9.1 Rechenregeln Für Y = X + t, t N 0 gilt: G X (s) = E[s Y ] = E[s ( X + t)] = E[s t s X ] = s t G X (s) (65) Für ZVs X, Y gilt: G X+Y (s) = G X (s)g Y (s) (66) Beobachtung G X (s) = k=1 k Pr[X = k]sk 1 G X (0) = Pr[X = 1] G (i) X (0) = Pr[X = i]i! G(i) X (0) i! = Pr[X = i] 9.2 Eindeutigkeit Dichte und Verteilung einer ZV X sind durch wahrscheinlichkeitserzeugende Funktion eindeutig bestimmt. 9.3 Wichtige Erzeugende Funktionen Bernoulli-Verteilung G X (s) = (1 p)s 0 + ps 1 = 1 p + ps (67) Gleichverteilung auf {0,, n} Pr[X = k] = 1 n+1 G X (s) = n k=0 1 s n+1 1 n + 1 sk = (n + 1)(s 1) (68) Binomialverteilung n G X (s) = k=0 ( n k ) p k (1 p) n k s k = (1 p + ps) n (69) Geometrische Verteilung G X (s) = p(1 p) k 1 s k = ps ((1 p)s) k 1 ps = 1 (1 p)s k=1 k=1 (70) 14

15 9.3.5 Poisson-Verteilung λ λk G X (s) = e k! sk = e λ+λs = e λ(s 1) (71) k=0 9.4 Erzeugende Funktion und Momente G X(1) = k Pr[X = k] = E[X] (72) k=1 15

16 Teil II Kontinuierliche Wahrscheinlichkeitsräume 10 Einführung Elementarereignisse haben Wahrscheinlichkeit 0 Ereignissmenge muss σ-algebra sein Wahrscheinlichkeitsfunktion muss Kolmogorov-Axiome erfüllen 10.1 Kolmogorov-Axiome und σ-algebren σ-algebren A P(Ω) heißt σ-algebra über Ω, wenn gilt Ω A A A A A A n A n=1 A n A P(Ω) ist σ-algebra Borel sche Mengen B(Ω) mit Ω ist Intervall, bildet σ-algebra Jedes geschlossene Subintervall von Ω B(Ω) A B(Ω) A B(Ω) A n B(Ω) n=1 A n B(Ω) Kolmogorov-Axiome Wahrscheinlichkeitsmaß Pr[Ω] = 1 Pr[.] : A [0, 1] (73) A 1, A 2, paarweise disjunkt Pr[ i=1 A i] = i=1 Pr[A i] Wahrscheinlichkeitsraum (Ω, A, Pr) Beispiele Für f : Ω R erfüllt Pr[A] = ω A f(ω) die Kolomogorov-Axiome für alle ω Ω f(ω) = 1 Für Ω = [0, 1, ] gibt es nur eine Funktion B([0, 1]) R, mit F ([a, b]) = b a, die die Kolmogorov-Axiome erfüllt. 16

17 Lebesgue-Integral Ω ist Intervall. f : Ω R ist messbar, wenn Urbild einer Borel schen Menge auch Borel sche Menge. Jeder messbaren Funktion kann ein Lebesgue-Integral zuxgeordnet werden. fdλ (74) Stetige Funktion sind messbar. Summen, Produkte von Messbaren Funktionen sind messbar. Ist f : Ω R[+] 0 messbar, erfüllt Pr die Kolmogorov-Axiome für Pr : A fi A dλ (75) Für A = [a, b]; a, b R; f : A R beschränkt. fi A dλ = Rechenregeln in (Ω, A, Pr) Pr[ ] = 0 Pr[Ω] = 1 0 Pr[A] 1 Pr[A] = 1 Pr[A] A B Pr[A] Pr[B] Additionssatz A i, i [n] paarweise disjunkt [ n ] Pr A i = i=1 b a f(x)dx (76) n Pr[A 1 ] (77) Für zwei disjunkte Ereignisse gilt somit Pr[A B] = Pr[A] + Pr[B] i= Kontinuierliche Zufallsvariablen Ω = R, A = B(R) Dichtefunktion Dichtefunktion f X : R R + 0 mit der Eigenschaft: f X (x)dx = 1 (78) 17

18 Verteilungsfunktion Verteilungsfunktion F X : F X (x) := Pr[X x] = Pr[{t R t x}] = F X ist monoton steigend F X ist stetig lim x F (x) = 0, lim x F X = 1 x Differenzierbare Funktion F (x) besitzt Dichte f(x) = F (x) Pr[a < X b] = F X (b) F X (a) Gleichverteilung Gleichverteilung über [a, b]. Dichtefunktion: f X (t)dt (79) Verteilungsfunktion: F (x) = f(x) = x { 1 b a x [a, b] 0 sonst 0 x < a x a f(t)dt = b a a x b 1 x > b (80) (81) E[X] = a+b 2 Var[X] = 1 12 (a b) Rechnen mit kontinuierlichen Zufallsvariablen Y = g(x), g : R R, C = {t R g(t) y} Verteilungsfunktion: F X (y) = Pr[Y y] = Pr[g(X) y] = f X (t)dt (82) Dichte folgt durch Differenziation Exponentialverteilung X gleichverteilt auf ]0, 1[, λ > 0, Y := 1 λ ln X C F Y (y) = Pr[ 1 λ ln X y] = Pr[X e λy ] { = 1 F X (e λy 1 e λy y 0 ) = 0 sonst { f Y (y) = F Y λe λy y 0 (y) 0 sonst (83) (84) 18

19 Lineare Zufallsvariablen Y = ax + b; a, b > 0 F Y (y) = F X ( y b a ) (85) f y (y) = f X ( y b a ) 1 a (86) Simulation von Zufallsvariablen Erzeugung von Zufallswerten mit Verteilung X entsprechend, über verschieden große Intervalle einer Gleichverteilung U über ]0, 1[. X = F 1 X (U) (87) Pr[ X t] = Pr[U F X (t)] = F U (F X (t)) = F X (t) (88) Kontinuierliche Zufallsvariablen als Grenzwerte diskreter Zufallsvariablen δ > 0, n Z: X δ = nδ X [nδ, (n + 1)δ[ (89) Pr[X δ = nδ] = F X ((n + 1)δ) F X (nδ) (90) Erwartungswert Y = g(x) Varianz E[X] = E[Y ] = Var[X] = E[(X E[X]) 2 ] = Laplace-Prinzip tf X (t)dt (91) g(t)f X (t)dt (92) Gleichwahrscheinlich im kontinuierlichen Fall eventuell unklar Bertrand sches Paradoxon (t E[X]) 2 f X (t)dt (93) Sehne im Einheitskreis länger, als 3 (Seite eines gleichseitiges Dreieck)? Lösungen: 1 2, 1 3,

20 Abbildung 1: 10.3 Mehrere kontinuierliche Zufallsvariablen Mehrdimensionale Dichten Integrierbare Dichtefunktion f X,Y : R 2 R + 0 mit: f X,Y (x, y)dxdy = 1 (94) Für A R 2 gilt: Pr[A] = f X,Y (x, y)dxdy (95) A Bereich B = {(x, y) R 2 a x b, c y d}; a, b, c, d R (96) Randverteilung von X Analog für Y möglich Randdichte F X (x) = Pr[X x] = [ ] f X,Y (u, v)dv du (97) von X Analog für Y möglich f X (x) = f X,Y (x, v)dv (98) Unabhängigkeit Mehrere Zufallsvariablen sind unabhängig, wenn gilt: F X1,,X n (x 1,, x n ) = F X1 (x 1 ) F Xn (x n ) f X1,,X n (x 1,, x n ) = f X1 (x 1 ) f Xn (x n ), x i R Für zwei Zufallsvariablen gilt insbesondere unabhängigkeit bei: Pr[X x, Y y] = Pr[X x] Pr[Y y]; x, y R F X,Y (x, y) = F X (x)f Y (y) f X,Y (x, y) = f X (x)f Y (y) (99) (100) 20

21 Summe von unabhängigen Zufallsvariablen Z = X + Y f Z (z) = f X (x)f Y (z x)dx (101) 11 Normalverteilung Kontinuierliche Analogie zur Binomialverteilung, wenn n. Dichtefunktion für X N (µ, σ 2 ): f(x) = 1 2πσ e (x µ)2 2σ 2 =: φ(x, µ, σ) (102) N (0, 1) ist Standardnormalverteilung. φ(x, 0, 1) = φ(x). ist Gauß sche Φ-Funktion. F (x) = 1 2πσ x 11.1 Erwartungswert und Varianz X N (0, 1) E[X] = 0, Var[X] = Allgemeiner Fall Lineare Transformation I := e (t µ) 2 2σ 2 dt =: Φ(x, µ, σ) (103) e x2 2 dx = 2π (104) X N (µ, σ 2 ), Y = ax + b Y N (aµ + b, a 2 σ 2 ) (105) Eigenschaften von X N (µ, σ 2 ): E[X] = µ Var[X] = σ 2 Y = X µ σ ist standardnormalverteilt 11.2 Normalverteilung als Grenzwert der Binomialverteilung Grenzwertsatz von de Moivre Seien X i, i [n] unabhängige Bernoulli-verteilte ZV, mit gleicher erfolgswarhscheinlichkeit p, dann gilt für H n := n i=1, n 1: H n = H n np np(1 p) (106) konvergiert für n gegen die Standardnormalverteilung. 21

22 Konvergenz der Binomialverteilung H n Bin(n, p): H n lim n n Für Folge Z n mit Verteilungsfunktionen F n gilt: p(1 p) = N (p, ) (107) n lim F n(x) = Φ(x), x R (108) n Z n konvergiert gegen Standardnormalverteilung für n 11.3 Summe von Normalverteilungen Additivität der Normalverteilung Seien X i, i [n] unabhängige ZV mit X i N (µ i, σi 2 ), dann gilt für Z = n i=1 a ix i, Z ist normalverteilt E[Z] = µ = n i=1 a iµ i Var[Z] = σ 2 = n i=1 a2 i σ2 i 12 Zentraler Grenzwertsatz Je mehr unabhängige Zufallsvariablen addiert werden, um so mehr nähert sich die Summe der Normalverteilung an Momentenerzeugende Funktion M X (s) = E[e Xs ] = Gleichverteilung auf [a, b] e ts f X (t)dt (109) M U (t) = etb e ta t(b a) (110) Standardnormalverteilung Normalverteilung Y N (µ, σ 2 ) M N (t) = e t2 2 (111) M Y (t) = e tµ+(tσ)2 2 (112) 22

23 12.2 Zentraler Grenzwertsatz Seien X i, i [n] ZV mit selber Verteilung, unabhängig. Y n = n i=1 X n, n 0. Dann folgt Z n = Y n nµ σ (113) n sind asymptotisch standardnormalverteilt, also Z n N (0, 1), für n. Für Folge H n mit Verteilungsfunktionen F n gilt: lim F n(x) = Φ(x), x R (114) n also H n konvergiert gegen die Standardnormalverteilung für n Elementarer Beweis des Grenzwertsatzes von de Moivre für p = 1 2 Zeige, das gilt: 13 Exponentialverteilung b Pr[a H2n b] φ(t)dt (115) Kontinuierliche Analogie zur geometrischen Verteilung. Ebenfalls gedächtnislos. a { λe λx x 0 f Y (x) = 0 sonst { 1 e λx x 0 F Y (x) = 0 sonst (116) (117) 13.1 Erwartungswert und Varianz E[X] = 1 λ Var[X] = 1 λ Exponentialverteilung als Grenzwert der geometrischen Verteilung Seien X n eine Folge geometrisch verteilter ZV mit p n = λ n. Für k N gilt: Für Y n = 1 n X n gilt: Pr[X n kn] = 1 (1 λ n )kn (118) lim Pr[Y n t] = 1 e λt (119) n Die Folge Y n von geometrisch verteilten ZV geht für n in eine exponentialverteilte ZV über. 23

24 13.3 Gedächtnislosigkeit Skalierung exponentialverteilter Variablen Für X exponentialverteilte ZV mit Parameter λ ist Y = ax wieder exponentialverteilt mit Parameter λ a Gedächtnislosigkeit ZV X mit Wertebereich R + ist exponentialverteilt gdw, x, y > 0 gilt: Pr[X > x + y X > y] = Pr[X > x] (120) 13.4 Minimum von Exponentialverteilungen Warten auf mehrere Ereignisse Seien X i, i [n] unabhängig, exponentialverteilt mit λ i. Dann gilt: X := min{x 1,, X n } ist exponentialverteilt mit Parameter i [n] λ i Poisson-Prozess Ergebnisse, zeitlicher Abstand exponentialverteilt Anzahl in fester Zeitspanne ist Poisson-verteilt. T 1, T 2, unabhängige exponentialverteilte ZV mit Parameter λ. T i ist die Zeit zwischen Treffer i 1 und i. So ist definiert: X(t) := max{n N T T n t} (121) X(t) ist Poisson-verteilt mit Parameter tλ. 14 Approximationen der Binomialverteilung Sei H n Bin(n, p) binomialverteilt mit Verteilungsfunktion F n. Für n gilt: [ Hn F n (t) = Pr n t ] Φ t n p ( ) t np = Φ (122) n p(1 p)n p(1 p) n Stetigkeitskorrektur: Ansatz +0, 5 im Zähler Approximation durch Poisson-Verteilung Bin(n, p) Po(np), bei seltenen Ereignissen. n 30, p 0, Approximation durch Chrenoff-Schranken Bei Berechnung der Ausläufer. Echte Abschätzung, nicht nur Approximation. 24

25 14.3 Approximation durch Normalverteilung F n (t) von Bin(n, p) approximiert durch: ( ) t np F n (t) Φ p(1 p)n (123) bei np 5, n(1 p) 5. 25

26 Teil III Induktive Statistik 15 Einführung Erschließen von Gesetzmäßigkeiten aus gemessenen Zufallsgrößen 16 Schätzvariablen Verteilung von X bekannt, Parameter nicht n Stichproben mit gleicher Verteilung, wie X, Stichprobenvariablen X i E[X] = 1 n n E[X i ] = 1 n i=1 X ist erwartungstreuer Schätzer für X Schätzer n E[X] = E[X] (124) ZV X mit Dichte f(x; θ). Schätzer U für θ ist ZV aus mehreren (unabhänigigen, identische verteilten) ZV Erwartungstreue i=1 Erwartungstreu, wenn gilt: E[U] = θ (125) Bias E[U θ] (126) 0, bei erwartungstreuen Schätzern Mittlere Quadratische Abweichung Bei Erwartungstreue: MSE := E[(U θ) 2 ] (127) MSE = E[(U E[U]) 2 ] = Var[U] (128) Schätzvariable ist effizienter, wenn kleinere mittlere quadratische Abweichung Konsistenz im quadratischen Mittel MSE 0 für n X ist also konsistent MSE(X) = V ar[x] = 1 V ar[x] (129) n 26

27 Schwache Konsistenz Folgt aus Konsistenz im quadratischen Mittel. Für n, ϵ > 0 beliebig: Pr[ X θ ϵ] 0 (130) Schätzer für die Varianz S := 1 n (X i X) n 1 2 (131) i=1 S 2 ist erwartungstreuer Schätzer für die Varianz E[S 2 ] = Var[X] (132) Stichprobenmittel & Stichprobenvarianz X = 1 n X i (133) n S 2 = 1 1 n i=1 n (X i X) 2 (134) sind erwartungstreue Schätzer für Erwartungswert bzw. Varianz i= Maximum-Likelihood-Prinzip X = (X 1,, X n ), x = (x 1,, x n ). f(x; θ) = Pr[X = x] mit θ als Parameter der Verteilung. L( x; θ) = n f(x i ; θ) = i=1 n i=1 Pr[X i = x i ] unabh. = Pr[X 1 = x 1,, X n = x n ] (135) θ θ L ist Likelihood-Funktion der Stichprobe. Wähle θ, dass L(x; θ) maximal. ˆθ ist Maximu-Likelihood(ML)-Schätzwert Bernoulli-Verteilung L( x; θ) L( x; ˆθ) θ (136) L( x; p) = n p xi (1 p) 1 xi (137) Logarithmieren (wegen Summe), Ableiten, Nullsetzen: p = x. Varianz: σ 2 = 1 n n i=1 (x i µ) 2 i=1 27

28 17 Konfidenzintervalle Konfidenzniveau 1 α: Pr[U 1 θ U 2 ] 1 α (138) Wahrscheinlichkeit, dass θ / [U 1, U 2 ] (Konfidenzintervall) Wahrscheinlichkeit α. Meist Schätzvariable U mit Konfidenzintervall [U δ, U + δ] 17.1 Konfidenzintevall für Standardnormalverteilung X N (µ, σ 2 ) X N (µ, σ2 n ) Z = n X µ σ N. Konfidenzintervall [ c, c]: Pr[ c Z c]! = 1 α. Nach µ Auflösen. [ K = X cσ, X + cσ ] n n (139) c = Φ 1 (1 α 2 ) γ-quantil ZV X mit Verteilung F X. F X (x y ) = γ (140) heißt γ-quantil. Für Standardnormalverteilung ist z γ das γ-quantil [ K = X z (1 α 2 ) σ, X + z ] (1 α 2 ) σ n n (141) 18 Testen von Hypothesen 18.1 Einführung Parameter nicht interessant, sondern damit verbundene Behauptung Test K = { x R n ; xablehnung der Hypothese} (142) heißts kritischer Bereich / Ablehnungsbereich Testvariable T aus Zusammenfassung der X 1,, X n. Einteilung von T in Bereiche, zur Ablehnung / Annahme der Hypothese. Zweiseitiger Test, bei geschlossenem Intervall; einseitig, bei einseitig halboffenem Intervall. K R ˆ=K aus T ist Abhlehnungsbereich. H 0 ist Nullhypothese, H 1 alternative Hypothese. Bei H 1 ˆ=H 0 gilt nicht, ist H 1 triviale Alternative Fehler 1. Art: H 0 gilt, wird aber abgelehnt ( x K) 2. Art: H 0 gilt nicht, wird aber angenommen ( x / K) Wahrscheinlichkeit für Fehler 1. Art, α heißt Signifikanzniveau. 28

29 Konstruktion eines einfachen Tests Test für p von X Ber(p). H 0 : p p 0, H 1 : p < p 0. Wähle k R für K := [0, k] optimal. T = T np (143) np(1 p) Signifikanzniveau α für Test mit k Fehlerwahrscheinlichkeit 1. Art = max p H0 Pr p [T k] Fehlerwahrscheinlichkeit 2. Art = sup p H1 Pr p [T > k] [ ] ( ) k np 0 k np α = Pr [T k] = Pr T Φ 0 p=p 0 np0 (1 p 0 ) np0 (1 p 0 (144) k vorgegeben: (k np 0 )/ np 0 (1 p 0 ) = z α Signifikanzniveau = α α vorgegeben: k = k(n) = z α np0 (1 p 0 ) + np 0 k kleiner Fehler 1. Art kleine, aber Wahrscheinlichkeit für Fehler 2. Art steigt. Alternativtest: Hinreichende Stichproben, beide Fehlerwahrscheinlichkeiten ausreichend klein 18.2 Praktische Anwendung statistischer Tests Siehe Vorlesungsfolien Seite Vorgehen bei statistischen Tests 1. Annahmen (über Verteilung, Unabhängigkeit) treffen 2. H 0 formulieren 3. Testverfahren wählen 4. Test durchführen & entscheiden 18.4 Ausgewählte statistische Tests Das richtige Testverfahren Beteiligte Zufallsgrößen: Ein-Stichproben-Test (Nur eine ZV) / Zwei-Stichproben- Test (Vergleichen von ZVs) Nullhypothese Lageparameter (Erwartungswert, Varianz, Median) Vorgegebene Verteilung Abhängigkeit Zufallsgrößen (Verteilung, Erwartungswert, Varianz bekannt?) 29

30 Ein-Stichproben-Tests für Lageparameter Gaußtest (n konvergiert gegen Normalverteilung). Varianz σ 2 muss bekannt sein. Siehe Vorlesungsfolien Seite 394. t-test Annäherung von σ 2 durch S 2. Für n 30 annäherung durch Normalverteilung Siehe Vorlesungsfolien Seite Zwei-Stichproben-Tests für Lageparameter Siehe Vorlesungsfolien Seite Nicht an Legeparametern orientierte Tests X 2 -Anpassungstest Untersuchung der Verteilung als ganzes. Siehe Vorlesungsfolien Seite

31 Teil IV Stochastische Prozesse 19 Einführung Stochastischer Prozess ist zeitliche Folge von Zufallsexperimenten 20 Prozesse mit diskreter Zeit 20.1 Markov-Ketten Markov-Kette über Zustandsmenge S = {0,, n 1} besteht aus unendlicher Folge von ZV (X t ) t N mit Wertemenge S, Startverteilung q 0 mit q0 T R n, mit Komponenten 0 und Summe 1. Für Indexmenge I {0,, t 1} und Zustände i, j, s k (k I) gilt: Pr[X t+1 = j X t = i, k I : X k = s k ] = Pr[X t+1 = j X t = i] =: p ij (145) Markov-Bedinung (145) besagt: Übergangswahrscheinlichkeit nur abhängig von aktuellem Zustand. p ij und t unabhängig: Markov-Kette ist (zeit)homogen. Übergangsmatrix: P = (p ij ) 0 i,j<n. Absolute Zeit t hat keinen Einfluss auf System S = N 0 möglich: unendliche Markov-Kette Wahrscheinlichkeitsraum einer Markov-Kette Mögliche Folge von Zuständen Ω S t0+1. Folge ω = (x 0, x 1,, x t0 ) Ω hat Wahrscheinlichkeit: Pr[ω] = (q 0 ) x0 t 0 i=1 Pr[X i = x i X i 1 = x i 1 ] (146) 20.2 Berechnung von Übergangswahrscheinlichkeiten Situation zum Zeitpunkt t ist Zeilenvektor q t, mit (q t ) i ist Wahrscheinlichkeit, dass sich Kette nach t Schritten in Zustand i befindet. n 1 Pr[X t+1 = k] = Pr[X t+1 = k X t = i] Pr[X t = i] (147) i=0 n 1 (q t+1 ) k = p ik (q t ) i (148) i=0 q t+1 = q t P (149) q t = q 0 P t (150) q t+k = q t P k (151) P k gibt an, mit welcher Wahrscheinlichkeit in k Schritten ein Übergang von i nach j erfolgt. p (k) ij = Pr[X t+k = j X t = i] = (P k ) ij (152) 31

32 Exponentiation von Matrizen Wenn P diagonalisierbar, so lässt sich P transformieren als: P k = B D k B 1 (153) Zur Berechnung: 1 ist immer Eigenwert von P Polynomdivision 20.3 Ankunftswahrscheinlichkeiten und Übergangszeiten Wahrscheinlichkeit irgendwann von i nach j zu kommen Mittel der Schritte um von i nach j zu kommen ZV T ij, Übergangszeit zählt Schritte von i nach j T ij = min{n 0 X n = j, wenn X 0 = i} (154) h ij = E[T ij ] (155) f ij, Ankunftswahrscheinlichkeit ist Wahrscheinlichkeit, in beliebig vielen Schritten von i nach j zu kommen: f ij = Pr[T ij < ] (156) T i, Rückkehrzeit zählt Schritte, um von i nach i zurückzukehren. T i = min{n 1 X n = j, wenn X 0 = i} (157) f i, Rückkehrwahrscheinlichkeit h i = E[T i ] (158) Erwartete Übergangs-/ Rückkehrzeiten f i = Pr[T i < ] (159) h ij = 1 + k j p ik h kj, i, j S, i j (160) h j = 1 + k j p jk h kj (161) Erwartete Ankunfsts- / Rückkehrwahrscheinlichkeiten f ij = p ij + k j p ik f kj, i, j S, i j (162) f j = p jj + k j p jk f kj (163) 32

33 20.4 Gamblers Ruin Problem Markov-Kette mit m Zuständen, entpsricht m Geldeinheiten im Spiel. Zuständsübergang mit Gewinnwahrscheinlichkeit von Spieler A p bzw. Spieler B 1 p. Wahrscheinlichkeit, dass Spieler A Spieler B bankrott treibt: f jm = 1 ( 1 p p )j 1 ( 1 p p )m, p 1 2 (164) Mittlere Spieldauer, bis ein Spieler Bankrott geht: d i = E[T i ] = qd i 1 + pd i mi m 2 (165) 20.5 Stationäre Verteilung Verhalten für t π mit π = π P ist Stationäre Verteilung Absorbierende Zustände lim P t = B lim (D t ) B 1 (166) t t π = lim t q t = lim t q 0 P t (167) Haben keine Ausgehenden kanten p ij = 0, j i p ii = Transiente Zustände Prozess kehrt mit positiver Wahrscheinlichkeit nach Besuch in i nie mehr zurück: f i Rekurrente Zustände f i = Irreduzible Markov-Ketten i, j S. n N.p (n) ij > 0. Jeder Zustand ist von jedem Zustand erreichbar. Endliche Markov-Kette Starke Zusammenhangskomponente. Für diese gilt: f ij = Pr[T ij < ] = 1. i, j S (168) Aperiodizität Periode ξ eines Zustands j ist die größte Zahl, so dass gilt (Rückkehr nur alle ξ Zustände möglich): {n N 0 p (n) jj } {i ξ i N 0} (169) Aperiodizität bei ξ = 1: Zustand besitzt Schleife 33

34 Zustand besitzt zwei Rückkehrwege, deren Längen teilerfremd sind. Zustand i ist aperiodisch, wenn gilt: n 0 N.p (n) ii > 0. n N, n n 0 (170) Markov-Kette ist aperiodisch, wenn alle Zustände aperiodisch sind Ergodische Markov-Ketten Für irreduzible aperiodische ( ˆ= ergodisch) endliche Markov-Ketten gilt unabhängig von q 0 : i S. t N.(q t ) i > 0 (171) Fundamentalsatz für ergodische Markov-Ketten lim n q n = π (172) 34