2.3 Zufallsvariablen 2.3 Zufallsvariablen Meist sind die Ereignisse eines Zufallseperiments bereits reelle Zahlen. Ist dies nicht der Fall, kann man Ereignissen eine reelle Zahl zuordnen. Zum Beispiel wenn ein Würfel fünf Augen zeigt, wird dem Ergebnis die reelle Zahl fünf zugewiesen. Mit Ereignissen wie blaue Augen, grüne Augen und graue Augen ist das etwas schwieriger - hier würde man jedem der drei Ereignisse eine Zahl, z.b. 1 für blaue Augen, 2 für grüne Augen und 3 für graue Augen, zuordnen. Insgesamt wird die Behandlung von Zufallsereignissen auf diese Weise einfacher zu handhaben und die Einführung von sogenannten Zufallsvariablen erleichtert die praktische Anwendung von stochastischen Modellen. Als Beispiel: Beim viermaligen Münzwurf besteht der Ereignisraum aus den 2 4 = 16 Kombinationen aus Kopf und Zahl. Wenn wir uns aber nur für die Anzahl Kopf interessieren, ist das Ergebnis des zugrundeliegenden Zufalleperiments nicht von Interesse und wir können uns auf den Zufallsraum {0, 1, 2, 3, 4} beschränken. Eine solche Vereinfachung bietet die Zufallsvariable. Definition (Zufallsvariable) Eine Zufallsvariable ist eine Funktion, die jedem Elementarereignis e eine reelle Zahl = X(e), zuweist, d.h. X : Ω R. Dabei kann man auch mehrere Elementarereignisse auf die gleiche Zahl abbilden. Die möglichen Werte, die eine Zufallsvariable X annimmt, heißen Realisationen der Zufallsvariablen. Beispiel 2.3.1. Sei X eine Zufallsvariable, welche die Anzahl Kopf beim viermaligen Münzwurf zählt. Für e = (Z, Z, K, K) gilt z.b. X(e) = 2. Sei {X = 2} = Es tritt zweimal Kopf auf. Dies entspricht allen Elemtarereignissen e, sodass X(e) = 2 also {(Z, Z, K, K), (Z, K, Z, K), (Z, K, K, Z), (K, K, Z, Z), (K, Z, K, Z), (K, Z, Z, K)}. Beispiel. Wir werfen mit zwei Würfeln. Der Ereignisraum besteht also aus allen Zahlenpaaren mit Zahlen zwischen Eins und Sechs, Ω = {(1, 1), (1, 2),..., (6, 6) } Wenn wir uns nur für die Summe der Augenzahlen interessieren, betrachten wir die Zufallsvariable X, die durch X = Summe der Augenzahlen = 1 + 2 für ( 1, 2 ) Ω gegeben ist. Wir finden z.b. P (X = 2) = 1/36, P (X = 3) = 2/36,... Oft tritt der Charakter der Zufallsvariable als Funktion in den Hintergrund und man betrachtet als Ergebnisraum oft direkt den Wertebereich der Zufallsvariablen. Das heißt im Beispiel mit den Augenfarben: Angenommen die Zufallsvariable Y gibt die Augenfarbe einer Person an, dann würden wir auch Y = blau schreiben, anstatt die zugrundeliegende Kodierung Y = 1 zu benutzen. Ebenso wie in Kapitel 1 werden die Begriffe zu Skaleniveaus einer Messung und die Unterscheidung in diskrete und stetige Merkmale auf Zufallsvariablen übertragen. Stetige Zufallsvariablen sind somit meistens metrisch skaliert, während diskrete Zufallsvariablen nominal- oder ordinalskaliert sind. Beispiele für diskrete Zufallsvariablen sind z.b. Würfelzahlen und Populationsgröße. Das Gewicht oder die Größe eines Individuums wird mit einer stetigen Zufallsvariable dargestellt. 55
2 Wahrscheinlichkeitstheorie 2.3.1 Diskrete Zufallsvariablen Für Zufallsvariablen werden nun einige Begriffe eingeführt, die in ähnlicher Weise schon in Kapitel 1 diskutiert wurden. Auch Zufallsvariablen werden durch Lageparameter wie Mittelwert, Streuungsparameter wie Varianz sowie Darstellungen wie Histogramm und Verteilungsfunktion beschrieben. Angenommen die diskrete Zufallsvariable X kann die Werte 1, 2,... annehmen. Die Wahrscheinlichkeitsverteilung von X ist durch die Wahrscheinlichkeiten P (X = i ) gegeben. Die Wahrscheinlichkeit, dass X einen Wert aus einer Teilmenge A von 1, 2,... annimmt ist P (X A) = A P (X = ). Die Wahrscheinlichkeitsfunktion f() einer diskreten Zufallsvariable X ist für R definiert durch { P (X = i ) falls { f() = 1, 2,..., } 0 sonst. Ähnlich wie relative Häufigkeiten lassen sich Wahrscheinlichkeitsverteilungen durch Stabdiagramme darstellen (siehe z.b. Abb. 2.2), wobei für jede mögliche Realisation i die Stabhöhe gleich P (X = i ) ist. Werden mehrere Werte zusammengefasst und Stäbe anstatt dessen mit Rechtecken gezeichnet, erhält man das Analogon zum Histogramm. f(x=) 0.0 0.1 0.2 0.3 0.4 0.5 0.5 1.0 1.5 2.0 2.5 3.0 3.5 blau grün grau X= Abbildung 2.2: Wahrscheinlichkeitsfunktion für die die Zufallsvariable X, die die Augenfarbe einer Person beschreibt. Es gilt P (X = blau) = 0.5, P (X = grün) = 0.2 und P (X = grau) = 0.3. Auch die Verteilungsfunktion lässt sich für eine diskrete Zufallsvariable definieren. Dabei setzen wir voraus, dass X mindestens ordinalskaliert ist, und dass die i schon der Größe nach geordnet sind: F () = P (X ) = i f( i ). 56
2.3 Zufallsvariablen Wie in Abschnitt 1.5.4 ist die Verteilungsfunktion für eine diskrete Zufallsvariable eine Treppenfunktion. Die Sprungstellen liegen an den möglichen Realisationen von X, d.h. die Funktion ist rechtsseitig stetig. Siehe auch Abb. 2.3. Auch die Definition von Unabhängigkeit von Ereignissen lässt sich auf Zufallsvariablen übertragen. Definition (Unabhängige Zufallsvariablen) Zwei Zufallsvariablen X, Y heißen unabhängig, falls für jede mögliche Realisation von X und y von Y gilt, dass P (X =, Y = y) = P (X = ) P (Y = y) Erwartungswert und Varianz Definition (Erwartungswert) Sei X eine Zufallsvariable und i die Werte, die sie annehmen kann. Der Erwartungswert E(X) K! einer Zufallsvariable ist gegeben durch E(X) = i i f( i ). Bemerkung. Wenn wir eine Funktion g : R R gegeben haben, können wir auch die Zufallsvariable Y = g(x) betrachten. Diese Zufallsvariable nimmt die Werte g( i ) mit der Wahrscheinlichkeit P (X = i ) an, d.h. wir erhalten E(g(X)) = i g( i ) f( i ). Falls g() = a + b eine lineare Funktion ist, so finden wir E(a X + b) = i (a i + b) f( i ) = i a i f( i ) + i b f( i ) Für zwei Zufallsvariablen X und Y gilt, dass = a i f( i ) + b f( i ) = ae(x) + b. i i } {{ } =1 E(X + Y ) = E(X) + E(Y ). (2.1) Diese Formel gilt egal, ob X und Y abhängig oder unabhängig sind. Falls X und Y unabhängig sind, gilt auch E(X Y ) = E(X) E(Y ). Definition (Varianz) Die Varianz einer Zufallsvariablen X ist definiert durch Var(X) = i ( i E(X)) 2 f( i ). 57
2 Wahrscheinlichkeitstheorie Bemerkung. Sei g() = ( E(X)) 2. Dann können wir auch schreiben Var(X) = i ( i E(X)) 2 f( i ) = E((X E(X)) 2 ) = E(X 2 2 X E(X) + E(X) 2 ) = E(X 2 ) E(2 X E(X)) + E(E(X) 2 ) = E(X 2 ) 2 E(X) E(X) + E(E(X) 2 ) = E(X 2 ) E(X) 2 Dies wird auch der Varianzverschiebungssatz genannt und kann mit der Formel für die empirische K! Varianz aus (1.1) auf Seite 15 verglichen werden. Dieser Zusammenhang kommt daher, dass wir die Eigenschaften der relativen Häufigkeiten mit der Varianz nachgebaut haben. Für eine lineare Transformation Y = ax + b einer Zufallsvariablen X mit a, b R gilt Var(aX + b) = a 2 Var(X). (2.2) Sind zwei Zufallsvariablen unabhängig, gilt auch Var(X + Y ) = Var(X) + Var(Y ). (2.3) Bei Abhängigkeit gilt dieser Zusammenhang nicht mehr - denn hier muss noch die Kovarianz zwischen X und Y berücksichtigt werden. Die Kovarianz zwischen zwei Zufallsvariablen ist die theoretische Größe hinter der in Kapitel 1 benutzten empirischen Kovarianz. Eine sinnvolle Definition bedarf jedoch der Erklärung von mehrdimensionalen Zufallsvariablen, weswegen wir uns in dieser Vorlesung nur auf den Fall unabhängiger Zufallsvariablen beschränken. Weitere Lageparameter Die Definition weiterer Lageparameter erfolgt in Analogie zu den entsprechenden Definitionen für empirische Verteilungen aus Abschnitt 1.4.1. Überall werden empirische Verteilungen und relative Häufigkeiten einfach durch Wahrscheinlichkeiten ersetzt. Zum Beispiel ist der Modalwert M X einer Zufallsvariablen X der Wert, für den die Wahrscheinlichkeitsfunktion f() von X maimal wird. Die Berechnung von Median bzw. Quantilen einer Zufallsvariablen setzt, wie schon in Abschnitt 1.4.1, eine mindestens ordinale Skala voraus. Für q (0, 1) definiert man das q-quantil einer Zufallsvariablen X als den Wert q, sodass { } q = min { 1, 2,...} : F () q. Das heißt q ist die kleinste mögliche Realisation von X für die gilt P (X q ) = F ( q ) q. Abbildung 2.3 illustriert die Bestimmung des q = 0.5-Quantils, d.h. des Medians, für eine Zufallsvariable X anhand der Verteilungsfunktion F (). Drei wichtige diskrete Wahrscheinlichkeitsverteilungen sind die Bernoulli-Verteilung, die Binomial- Verteilung und die Poisson-Verteilung. Für diese Verteilungen werden im Folgenden Wahrscheinlichkeitsfunktion, Verteilungsfunktion, Erwartungswert und Varianz betrachtet. 58
2.3 Zufallsvariablen F() 0.0 0.2 0.4 0.6 0.8 1.0 0 1 2 3 4 5 6 0.5 Abbildung 2.3: Der Median 0.5 einer diskreten Zufallsvariablen mit 5 möglichen Realisationen. 2.3.2 Bernoulli-Zufallsvariable (0/1-Zufallsvariable) Wir betrachten den einmaligen Münzwurf und kodieren unsere Zufallsvariable X, sodass Kopf mit 0 und Zahl mit 1 gewertet wird. Somit erhalten wir eine Zufallsvariable X, deren möglichen Werte die Menge {0, 1} ist. Das Verhalten von X ist bestimmt durch die Angabe von denn daraus folgt automatisch P (X = 1) = p P (X = 0) = 1 P (X = 1) = 1 p. Man nennt X eine Bernoulli-Zufallsvariable und das zugehörige Zufallseperiment ein Bernoulli- Eperiment. Ist eine Zufallsvariable X Bernoulli verteilt mit Parameter p, so schreibt man X B(p), wobei das Symbol als ist verteilt als gelesen wird. Die Wahrscheinlichkeitsfunktion und Verteilungsfunktion einer Bernoulli-Zufallsvariablen sind: 1 p für = 0 f() = p für = 1 0 sonst 0 für < 0 F () = 1 p für [0, 1) 1 für 1 Abbildung 2.4 zeigt die beiden Funktionen. Sei X B(p). Der Erwartungswert von X ist K! E(X) = 1 f() = 0 P (X = 0) + 1 P (X = 1) = p. =0 59
2 Wahrscheinlichkeitstheorie (a) f() (b) F() 1 p 1 p 1 p 1 p 0 1 0 1 Abbildung 2.4: Wahrscheinlichkeitsfunktion (a) und Verteilungsfunktion (b) einer Bernoulli- Zufallsvariablen. Die Varianz Var(X) lässt sich über den Varianzverschiebungssatz bestimmen. Dazu wird zunächst E(X 2 ) berechnet: E(X 2 ) = 1 2 f() = 0 2 P (X = 0) + 1 2 P (X = 1) = p, =0 Var(X) = E(X 2 ) E(X) 2 = p p 2 = p(1 p). 2.3.3 Binomial-Verteilung Angenommen wir betrachten die n-malige Wiederholung eines Bernoulli-Eperiments mit gleichbleibender Wahrscheinlichkeit p für das interessierende Ereignis. Seien also X 1,..., X n unabhängige und identisch verteilte Bernoulli-Zufallsvariablen mit P (X i = 1) = p und sei Y die Summe der n Bernoulli-Zufallsvariablen, Y = n X i = X 1 + X 2 + + X n. i=1 Somit zählt Y die Anzahl der Versuche, bei denen das interessierende Ereignis auftritt. Ein Beispiel ist das wiederholte Werfen einer Münze, wobei Y z.b. die Anzahl Kopf zählt. Man sagt: Y ist binomialverteilt mit Parametern n und p (Schreibweise: Y Bin(n, p)). Die K! möglichen Realisationen von Y sind 0, 1, 2,..., n und die Wahrscheinlichkeitsfunktion f(y) ist: ( ) n p y (1 p) n y für y {0, 1,..., n} f(y) = P (Y = y) = y (2.4) 0 sonst. Abbildung 2.5 zeigt die Wahrscheinlichkeitsfunktion für Y Bin(10, p) für drei verschiedene p. Wir motivieren (2.4) anhand des 10-maligen Münzwurfs mit Wahrscheinlichkeit p für Kopf: Betrachtet wird die Zufallsvariable Y, die die Anzahl Kopf zählt. Das Ereignis {Y = 4} ist die Menge aller Elementarereignisse e Ω, bei denen Y (e) = 4. Beispielsweise ist Y (e) = 4 für e = (K, K, K, K, Z, Z, Z, Z, Z, Z). Wegen der Unabhängigkeit der Eperimente ist für dieses e P (e) = p p p p (1 p) (1 p) (1 p) (1 p) (1 p) (1 p) = p 4 (1 p) 6 60
2.3 Zufallsvariablen Binomial Verteilung, n=10, p=0.9 f() 0.0 0.1 0.2 0.3 0.4 0 2 4 6 8 10 Binomial Verteilung, n=10, p=0.5 f() 0.00 0.10 0.20 0 2 4 6 8 10 Binomial Verteilung, n=10, p=0.1 f() 0.0 0.1 0.2 0.3 0.4 0 2 4 6 8 10 Abbildung 2.5: Wahrscheinlichkeitsfunktion einer binomialverteilten Zufallsvariablen Bin(10, p); p wird variiert: p = 0.1, p = 0.5 und p = 0.9. Man erkennt, dass eine kleine Wahrscheinlichkeit p die Verteilung an den linken Rand drückt, eine große Wahrscheinlichkeit p die Wahrscheinlichkeitsfunktion an den rechten Rand drückt, und p = 0.5 ergibt ein symmetrisches Bild. 61
2 Wahrscheinlichkeitstheorie Jedoch tritt auch {Y = 4} auf, wenn 4 Mal Zahl und 6 Mal Kopf in irgendeiner Reihenfolge auftritt. Die Wahrscheinlichkeit ist dabei jedes Mal p 4 (1 p) 6 und wie wir in der Übung gelernt haben, gibt es genau ( 10 4 ) = 210 verschiedene derartige Reihenfolgen. Da eine Bin(n, p)-verteilte Zufallsvariable die Summe von n Bernoulli-Zufallsvariablen X i, i = 1,..., n (mit P (X i = 1) = p), ist, lässt sich der Erwartungswert durch (2.1) auf Seite 57 bestimmen: ( n ) E(Y ) = E X i i=1 (2.1) = E(X 1 ) +... + E(X n ) = p +... + p = n p. Die Varianz lässt sich wegen Unabhängigkeit der Eperimente durch (2.3) bestimmen: Var(Y ) = n Var(X i ) = i=1 n p(1 p) = n p (1 p). i=1 Abbildung 2.5 zeigt auch, dass der Modalwert einer Y Bin(n, 1 2 ) Zufallsvariablen gleich 1 2 n ist, falls n gerade ist. Ist n ungerade gilt ( ) ( ) 1 1 f 2 n 1 = f 2 n, d.h. der Modalwert ist in diesem Fall nicht eindeutig definiert. In R lässt sich die Wahrscheinlichkeitsfunktion f(y) einer Y Bin(n, p) Zufallsvariablen mit der Funktion dbinom(y, n, p) bestimmen. Desweiteren liefert qbinom(y,n,p) die Verteilungsfunktion F(y) und qbinom(q,n,p) das 0 q 1 Quantil von Y. Als Beispiel wird hier n = 10 und p = 1 2 benutzt: > dbinom(0:10, 10, 0.5) R Output [1] 0.0009766 0.0097656 0.0439453 0.1171875 0.2050781 0.2460938 0.2050781 0.1171875 [9] 0.0439453 0.0097656 0.0009766 > pbinom(0:10, 10, 0.5) R Output [1] 0.0009766 0.0107422 0.0546875 0.1718750 0.3769531 0.6230469 0.8281250 0.9453125 [9] 0.9892578 0.9990234 1.0000000 > qbinom(c(0.1, 0.5, 0.9), 10, 0.5) [1] 3 5 7 R Output 2.3.4 Poisson-Verteilung Die Poisson-Verteilung ist wie die Binomial-Verteilung eine diskrete Verteilung, um die Anzahl der Beobachtungen eines bestimmten Ereignisses in einem bestimmten Zeitraum oder in einem 62