2 Zufallsvariablen und deren Verteilungen

Transkript

1 2 Zufallsvariablen und deren Verteilungen 2.1 Zufallsvariablen Zufallsvariablen sind Funktionen von Ω in die reellen Zahlen R. Beispiel (Zweimaliger Münzwurf). Ω = ZZ, KK, KZ, ZK}. Sei X(ω) die Anzahl an K s: X(KK) = 2, X(KZ) = X(ZK) = 1, X(ZZ) = 0. Die wichtigste Größe zur Beschreibung von Zufallsvariablen ist die Verteilungsfunktion F(x), die Wahrscheinlichkeit, dass die Zufallsvariable X nicht größer als x ist. Genauer: Sei (Ω, F, P) ein Wahrscheinlichkeitsraum. Dann ist F(x) = P(A(x)), wobei A(x) Ω mit A(x) := ω Ω X(ω) x}. Damit diese Aussage Sinn hat, muss zusätzlich gelten: A(x) F für alle x R. Definition (Zufallsvariable). Eine Zufallsvariable ist eine Funktion X : Ω R mit der Eigenschaft, dass ω Ω X(ω) x} F für alle x R. Eine solche Funktion nennt man F-messbar. Notation: X, Y, Z etc. sind Zufallsvariablen, x, y, z deren (reelle) Realisationen. Definition (Verteilungsfunktion). Die Verteilungsfunktion einer Zufallsvariablen X ist die Funktion F : R [0,1] mit F(x) = P(X x). Bemerkungen: 1. Folgende Abkürzungen werden häufig verwendet: ω Ω X(ω) x} = ω X(ω) x} = X x}. Beachte: Der erste Ausdruck ist ein Ereignis, also F, da X eine Zufallsvariable ist. 2. Will man betonen, dass F(x) die Verteilungsfunktion der Zufallsvariablen X ist, so schreibt man explizit F X (x) = F(x). Beispiel (Fortsetzung von Beispiel 2.1.1): Hier ergibt sich bei fairer Münze, die zweimal unabhängig voneinander geworfen wird, folgende Verteilungsfunktion: 0 für x < 0, 1 F X (x) = 4 für 0 x < 1, 3 4 für 1 x < 2, 1 für 2 x. Lemma Eine Verteilungsfunktion F hat folgende Eigenschaften: (a) Normiertheit: lim x F(x) = 0 und lim x + F(x) = 1. (b) Monotonie: Für x < y ist F(x) F(y). (c) Rechtsstetigkeit: lim h 0 F(x + h) = F(x) für alle x R. 18

2 Beweis zu Teil (a). Sei B n = ω Ω X(ω) n} = X n} für n = 1,2,... Es gilt: B 1 B 2... mit B n =. Mit der Stetigkeit von P folgt n=1 P(B n ) P( ) = 0 für n. Der zweite Teil der Aussage lässt sich analog beweisen. Beispiel X(ω) = c R für alle ω Ω ist eine konstante (deterministische) Zufallsvariable mit 0 für x < c, F(x) = 1 für c x. Allgemein nennt man X fast sicher konstant (Schreibweise: f.s. const.), falls es ein c R gibt mit P(X = c) = 1. Beispiel (Bernoullivariable). Wir betrachten einen Münzwurf mit P(K) = π (vergleiche hierzu Beispiel 1.3.2). Definiere X(K) = 1, X(Z) = 0. Hierbei handelt es sich um eine Bernoullivariable. Sie ist die einfachste nicht-triviale Zufallsvariable und hat die Verteilungsfunktion 0 für x < 0, F(x) = 1 π für 0 x < 1, 1 für 1 x. Man sagt auch, X ist Bernoulliverteilt mit Parameter π [0, 1]. Abkürzung: X B(π). Beispiel (Indikatorfunktion). Zu einem Ereignis A F wird die Indikatorfunktion I A : Ω R von A definiert durch 1 falls ω A, I A (ω) = 0 falls ω A bzw. ω A c. I A ist also Bernoulliverteilt mit Parameter π = P(A). Nützlich ist folgende Identität: Sei B i i I} eine Familie von disjunkten Ereignissen mit A i I B i. Dann gilt: I A = i I I A Bi Bemerkung: i I B i muss nicht notwendigerweise gleich Ω sein. Lemma Sei F(x) die Verteilungsfunktion der Zufallsvariable X. Dann gilt: (a) P(X > x) = 1 F(x). (b) P(x < X y) = F(y) F(x). (c) P(X = x) = F(x) lim y x F(y). 19

3 2.2 Das Gesetz vom Durchschnitt (The Law of Averages) Der nun folgende Abschnitt wird häufig auch mit Gesetz der großen Zahlen (engl. Law of Large Numbers) überschrieben. Vergleiche hierzu Kapitel 1.1. Betrachte eine Folge A 1,A 2,...,A n von unabhängigen Ereignissen mit P(A i ) = p für 0 p 1. Betrachte nun die Summe S n der Indikatorfunktionen I A1,I A2,...,I An, S n = n i=1 I A i. S n ist als Summe von Zufallsvariablen wieder eine Zufallsvariable, und es gilt folgender Satz: Satz Die Zufallsvariable S n /n konvergiert gegen p in dem Sinne, dass für beliebiges ε > 0 gilt: Beweis. Siehe Literatur. P ( p ε 1 n S n p + ε ) 1 für n. Die axiomatisch eingeführte Wahrscheinlichkeitstheorie steht also im Einklang mit der frequentistischen Interpretation von Wahrscheinlichkeiten (vgl. Kapitel 1.1). 2.3 Diskrete und stetige Zufallsvariablen Definition (diskrete Zufallsvariable). Eine Zufallsvariable heißt diskret, falls sie nur Werte in einer maximal abzählbaren Teilmenge x 1, x 2,...} von R annimmt. Die diskrete Zufallsvariable X besitzt die Wahrscheinlichkeitsfunktion (auch Dichtefunktion, engl. probability function, mass function, density function) f : R [0,1] mit f(x) = P(X = x). Man nennt T X = x f(x) > 0} den Träger der Zufallsvariablen X. Diskrete Zufallsvariablen besitzen also maximal abzählbaren Träger. Beachte: Die Verteilungsfunktion einer diskreten Zufallsvariable ist immer stückweise konstant mit Sprungstellen an allen Elementen ihres Trägers. Definition (stetige Zufallsvariable). Eine Zufallsvariable X heißt stetig, wenn ihre Verteilungsfunktion F in der Form F(x) = geschrieben werden kann, wobei x f(t)dt f : R [0, ) für alle x R integrierbar sein muss. f(x) heißt Dichte(funktion) von X. Auch hier nennt man T X = x f(x) > 0} den Träger von X. Beachte: Man verwendet also sowohl für die Wahrscheinlichkeitsfunktion einer diskreten Zufallsvariablen als auch für die Dichtefunktion einer stetigen Zufallsvariablen das gleiche Symbol f(x). Diese haben aber unterschiedliche Eigenschaften, insbesondere gilt zwar in beiden Fällen f(x) 0 für alle x R, 20

4 bei der diskreten Zufallsvariable muss aber zusätzlich noch gelten. f(x) 1 für alle x R Beispiel (für eine diskrete Zufallsvariable). Vergleiche hierzu Beispiel Beispiel (für eine stetige Zufallsvariable). Ein gerader Stab wird zufällig auf eine Ebene geworfen. Gemessen wird der Winkel ω zwischen der Längsachse des Stabes und einer Referenzrichtung (z.b. Norden). Als Ergebnis scheint ω [0, ) =: Ω sinnvoll, ebenso das Wahrscheinlichkeitsmaß P((a, b)) = (b a)/. Die Frage nach der σ-algebra F wird später behandelt. Alle angenehmen Teilmengen von Ω sind darin enthalten, insbesondere alle offenen Intervalle (a,b) mit 0 a < b <. Definiere nun die beiden Zufallsvariablen X(ω) = ω Y (ω) = ω 2 = [X(ω)] 2, oder kurz: Y = X 2. Wie lauten die zugehörigen Verteilungsfunktionen? Insgesamt: Analog: Insgesamt: F X (x) = P(ω Ω X(ω) x}) = P(ω Ω 0 X(ω) x}) = P(ω Ω 0 ω x}) = x für 0 x. 0 für x < 0, F X (x) = x für 0 x <, 1 für x. F Y (y) = P(ω Ω Y (ω) y}) = P(ω Ω 0 Y (ω) y}) = P(ω Ω 0 ω 2 y}) = P(ω Ω 0 ω y}) = P(X y) = F X ( y) y = für 0 y 4π 2. 0 für y < 0, F Y (y) = y für 0 y < 4π 2, 1 für 4π 2 y. 21

5 Nach Definition folgt mit Differentiation: f X (u) = f Y (u) = 1 für 0 u, 0 sonst, 1 u4π für 0 < u 4π 2, 0 sonst. Beispiel (für eine gemischt diskret-stetige Zufallsvariable). Es wird eine Münze geworfen. Beim Ergebnis Kopf (Wahrscheinlichkeit p) wird zusätzlich ein Stab wie in Beispiel geworfen und der Winkel x gemessen. Es ist Ω = Z} (K, x) 0 x < }. Betrachte nun die Zufallsvariable X : Ω R mit X(Z) = 1, X((K, x)) = x. Man sagt: Die Zufallsvariable ist stetig mit Ausnahme eines Punktmaßes im Punkte x = Zufallsvektoren (Ω, F,P) Xր 1 ց X 2 Frage: Wie stehen die Zufallsvariablen X 1 und X 2 zueinander in Beziehung? Definition Ein Zufallsvektor X = (X 1, X 2,..., X n ) T ist eine Abbildung von Ω in R n, wobei jede Komponente X i von X eine Zufallsvariable ist und X wieder F-messbar sein soll. R R Definition Die gemeinsame Verteilungsfunktion F X X = (X 1, X 2,..., X n ) T ist die Funktion F X : R n [0,1] mit eines Zufallsvektors F X (x) = P(X x) = P(X 1 x 1, X 2 x 2,...,X n x n ) = P ( ω Ω X 1 (ω) x 1, X 2 (ω) x 2,..., X n (ω) x n } ), wobei x = (x 1, x 2,..., x n ) eine Realisierung von X ist. Es sei darauf hingewiesen, dass ω Ω X1 (ω) x 1, X 2 (ω) x 2,..., X n (ω) x n } F ist, da X F-messbar. 22

6 Lemma Die gemeinsame Verteilungsfunktion F X,Y (x,y) eines bivariaten Zufallsvektors (X, Y ) hat folgende Eigenschaften: (a) Positivität und Normiertheit: Positivität: lim x, y F X, Y (x, y) = 0, Normiertheit: lim x, y + F X, Y (x, y) = 1. (b) Monotonie: Für (x 1, y 1 ) (x 2, y 2 ), d.h. x 1 x 2 und y 1 y 2, gilt: F X, Y (x 1, y 1 ) F X, Y (x 2, y 2 ). (c) Stetigkeit von oben: F ist stetig von oben (engl.: continuous from above ), das heißt (d) Randverteilungen: lim F X, Y (x + u, y + v) F X, Y (x, y). u, v 0 lim F X, Y (x, y) = F X (x), y lim F X, Y (x, y) = F Y (y). x Man nennt F X (x) und F Y (y) die Rand oder Marginalverteilungen des Zufallsvektors (X, Y ). Diese sind nach Teil (d) von Lemma aus F X, Y (x, y) bestimmbar. Jedoch kann man im Allgemeinen nicht F X, Y (x, y) aus F X (x) und F Y (y) berechnen. Bemerkung: Ähnliche Resultate wie die von Lemma gelten auch für n-dimensionale Zufallsvektoren. Definition Die Zufallsvariablen X und Y, definiert auf einem Wahrscheinlichkeitsraum (Ω, F, P), heißen (gemeinsam) diskret, falls der Vektor (X, Y ) nur maximal abzählbar viele Werte annehmen kann. Die (gemeinsame)wahrscheinlichkeitsfunktion von (X, Y ) ist dann definiert durch f(x, y) = P(X = x, Y = y). Beispiel Ein Lehrer bittet seine Schüler, eine faire Münze zweimal zu werfen und das Ergebins zu notieren. Ein strebsamer Schüler macht das tatsächlich, ein fauler wirft nur einmal und notiert das eine Ergebnis zweimal. Mit Definition ergibt sich folglich: 1. Wurf 2. Wurf Strebsamer Schüler X S Y S Fauler Schüler X F Y F Strebsamer Schüler f(x, y) Y S = 0 Y S = X S = X S = Fauler Schüler f(x, y) Y F = 0 Y F = 1 X F = X F =

7 Obwohl X S, Y S, X F, Y F Zufallsvariablen mit identischen Wahrscheinlichkeitsfunktionen sind, sind die Verteilungsfunktionen der Zufallsvektoren (X S, Y S ) und (X F, Y F ) unterschiedlich. Zum Beispiel gilt: P(X S = Y S = 1) = 1 4, P(X F = Y F = 1) = 1 2. Beispiel (n-maliger Wurf einer 3-seitigen Münze). Die drei Ereignisse Kopf, Zahl und Rand treten jeweils mit gleicher Wahrscheinlichkeit auf: Ereignis Wahrscheinlichkeit des Ereignisses K: Kopf P(K) = 1 3 Z: Zahl P(Z) = 1 3 R: Rand P(R) = 1 3 Seien K n, Z n, R n die Anzahlen der entsprechenden Ergebnisse (Kopf, Zahl, Rand) bei n unabhängigen Würfen dieser Münze. Dann ist (K n, Z n, R n ) ein diskreter Zufallsvektor mit der Wahrscheinlichkeitsfunktion P(K n = k, Z n = z, R n = r) = n! k!z!r! wobei k, z, r 0, 1,..., n} und k + z + r = n gelten muss. ( ) 1 n, (4) 3 Beachte: K n, Z n und R n sind (stochastisch) abhängig! Die Wahrscheinlichkeitsfunktion (4) ist ein Spezialfall der Trinomialverteilung (7), da P(K) = P(Z) = P(R) = 1 3. Die Trinomialverteilung ist wiederum ein Spezialfall der Multinomialverteilung (8). Alle sind Verallgemeinerungen der Binomialverteilung (5) bzw. (6). Binomialverteilung (mit Parametern n und π): Für alle x 0, 1,..., n} gilt: ( ) n P(X = x) = π x (1 π) n x. (5) x Für andere x ist P(X = x) = 0. Die folgende Aussage ist zur vorherigen äquivalent, jedoch zur Veranschaulichung der Verwandtschaft mit den folgenden Wahrscheinlichkeitsfunktionen dienlich: Für alle x = (x 1,x 2 ) N 2 0 mit der Eigenschaft x 1 + x 2 = n gilt: P(X = x) = n! x 1!x 2! πx 1 1 πx 2 2 mit π 1 + π 2 = 1, π 1,π 2 0. (6) Für andere x ist P(X = x) = 0. Trinomialverteilung (mit Parametern n und π 1,π 2,π 3 ): Für alle x = (x 1,x 2,x 3 ) N 3 0 mit der Eigenschaft x 1 + x 2 + x 3 = n gilt: P(X = x) = Für andere x ist P(X = x) = 0. n! x 1!x 2!x 3! px 1 1 px 2 2 px 3 3 mit π 1 + π 2 + π 3 = 1, π 1,...,π 3 0. (7) 24

8 Multinomialverteilung (mit Parametern n und π 1,...,π p ): Für alle x = (x 1,...,x p ) mit x i 0,1,...,n} und p i=1 x i = n gilt: P(X = x) = p n! p π x i i mit π π p = 1, π 1,...,π p 0. (8) x i! i=1 i=1 Für andere x ist P(X = x) = 0. Definition Die Zufallsvariablen X und Y nennt man (gemeinsam) stetig, falls deren (gemeinsame) Verteilungsfunktion geschrieben werden kann als F X, Y (x, y) = y v= x u= f X,Y (u, v)dudv für alle x, y R, wobei f X,Y : R 2 [0, ) integrierbar sein muss und (gemeinsame) Dichtefunktion von (X, Y ) heißt. Beispiel (Wurf eines Dartpfeils auf eine Scheibe). Man wirft einen Dartpfeil auf eine Scheibe mit dem Radius ρ. Es wird angenommen, dass die Wahrscheinlichkeit, eine beliebige Region auf der Scheibe zu treffen, proportional zu ihrer Fläche ist. Weiterhin wird die Scheibe immer getroffen. Sei R der Abstand vom MIttelpunkt und Θ der Winkel bzgl. einer Referenzrichtung (z.b. oben ). Man kann zeigen, dass dann gilt: für 0 r ρ und 0 θ, und ferner P(R r) = r2 ρ 2 und P(Θ θ) = θ P(R r,θ θ) = P(R r) P(Θ θ) = r2 θ ρ 2. Es folgt daher durch Differentiation, dass die gemeinsame Dichtefunktion von R und Θ gleich r für 0 r ρ und 0 θ, f R,Θ (r,θ) = πρ 2 0 sonst ist. 2.5 Monte Carlo Simulation Einfachstes Beispiel: Wiederholter Wurf einer Münze, um die Wahrscheinlichkeit für Kopf bzw. Zahl empirisch zu bestimmen. Beispiel (Buffon s Nadel). Eine Nadel der Länge 1 wird auf eine Ebene mit parallelen Geraden im Abstand 1 geworfen. Man kann zeigen: für π = Folglich ist ˆπ = ein Monte-Carlo-Schätzer für π. P( Nadel kreuzt eine Linie ) = 2 π 2 Relative Häufigkeit des Ereignisses Nadel kreuzt Linie bei n Versuchen 25

9 Beispiel (Monte Carlo Integration). Dieses Verfahren stellt häufig bei höher-dimensionalen Integrationsberechnungen die beste Methode zur approximativen Bestimmung des Integrals von analytisch sehr schwer zu integrierenden Funktionen dar. Sei g : [0,1] [0,1] stetig, aber analytisch schwer zu integrieren. Die Aufgabe lautet: Berechne 1 0 g(u)du. Hierzu bietet sich die Hit or Miss-Technik an: Der Computer kann leicht gleichverteilte (Pseudo-)Zufallszahlen (X, Y ) in einem Einheitsquadrat erzeugen, d.h. P((x, y) A) = A für alle A [0,1] 2. Für jede Zufallszahl/Realisation (x, y) kann leicht überprüft werden, ob y g(x) ist. Die relative Häufigkeit des Ereignisses A = y g(x)} konvergiert für unendlich viele Realisationen gegen A, also gegen 1 0 g(u)du. Beispiel Berechne für g(x) = arctan(x) das Integral auf dem Einheitsintervall [0, 1]. Monte Carlo Integration mit n Zufallszahlen liefert (zum Beispiel) Die analytische Lösung lautet 1 0 n Monte Carlo Integration arctan(x)dx = [ xarctan(x) 1 ] 1 2 ln(1 + x2 ) 0 = π ln(2) = Bemerkung: Auch der Fehler der Schätzung kann berechnet werden. 26