Stochastik. Peter Pfaffelhuber

Transkript

1 Stochastik Peter Pfaffelhuber 1

2 Grundlegende Bemerkungen Vorlesung orientiert sich an G. Kersting und A. Wakolbinger. Elementare Stochastik. Birkhäuser, 2008 Übungen Volker Pohl Praktikum Ernst August von Hammerstein Weitere Infos: Infozettel 2

3 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Stochastik Peter Pfaffelhuber 1

4 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Grundlegende Bemerkungen Vorlesung orientiert sich an G. Kersting und A. Wakolbinger. Elementare Stochastik. Birkhäuser,

5 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Grundlegende Bemerkungen Grundlegendes Objekt: Zufallsvariable = zufällige Wahl eines Elementes einer Menge Beispiel: Münzwurf Mehrere mögliche Ausgänge, einer davon wird realisiert 3

6 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable I: Uniform verteilte Zufallsvariable 4

7 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Ein einfaches Beispiel n Individuen, gekennzeichnet mit r n verschiedenen Kennzeichen (z.b. Name, Geburtstag, PIN,...) Wie groß ist die Wahrscheinlichkeit, dass keine zwei Individuen gleich gekennzeichnet sind? 5

8 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Ein einfaches Beispiel Wie beschreibt man die möglichen Ausgänge der Kennzeichnung? X = (X 1,..., X n ) mit Werten in S = {1,..., r} {1,...,n} Was bedeutet Keine zwei Individuen haben dasselbe Kennzeichen? {X A} mit A = {(a 1,..., a n } S : a i a j für alle i j} Wie kommt man zur Wahrscheinlichkeit dieses Ereignisses? P(X A) = a A P(X = a) Wie groß ist die Kollisionswahrscheinlichkeit? n 1 i=1 ( 1 i ) r 6

9 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Beschreibung der möglichen Ausgänge Jede Kennzeichnung lässt sich beschreiben durch a = (a 1,..., a n ), a i : Kennzeichnung des Individuums i Kennzeichnung erfolgt zufällig: X = (X 1,..., X n ), X i : zufälliger Ausgang der Kennzeichnung des Individuums i Wertebereich von X ist S := {1,..., r} {1,...,n} 7

10 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Was bedeutet Keine Kollision Spezielles Ereignis {X i X j für alle i j} oder für {X A} A := {(a 1,..., a n ) S : a i a j für alle i j} 8

11 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Wie kommt man zur Wahrscheinlichkeit von Ereignissen? Forderungen: P(X A) = a A P(X = a), (1) P(X S) = 1. (2) 9

12 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Wahrscheinlichkeitsmodell Reine Zufälligkeit: alle Ausgänge gleich wahrscheinlich P(X = a) = P(X = a ), (a, a S) Also und P(X = a) = 1 #S P(X A) = #A #S 10

13 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Wie groß ist die Kollisionswahrscheinlichkeit? Zu bestimmen: #A #A = r(r 1) (r n + 1) a 1 hat r mögliche Werte, a 2 hat r 1 mögliche Werte etc. Also P(X A) = r(r 1) (r n + 1) r n = n 1 i=1 ( 1 i ) r 11

14 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Wie groß ist die Kollisionswahrscheinlichkeit? Mit 1 t e t P(X A) = n 1 i=1 ( 1 i ) ( exp r n 1 i=1 i ) ( = exp r n(n 1) ) 2r Da A c = i j B ij, B ij := {(a 1,..., a n ) : a i = a j }, folgt mit (1) und (2), dass P(X A) = 1 P(X A c ) 1 i j P(X B ij ) = 1 n(n 1) 2r 12

15 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Wie groß ist die Kollisionswahrscheinlichkeit? Es gilt also 1 n(n 1) 2r ( P(X A) exp n(n 1) ). 2r Für große n muss also n mindestens so groß wie r sein, damit es merklich zu Kollisionen kommt. 13

16 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Ein einfaches Beispiel Wie beschreibt man die möglichen Ausgänge der Kennzeichnung? X = (X 1,..., X n ) mit Werten in S = {1,..., r} {1,...,n} Was bedeutet Keine zwei Individuen haben dasselbe Kennzeichen? {X A} mit A = {(a 1,..., a n } S : a i a j für alle i j} Wie kommt man zur Wahrscheinlichkeit dieses Ereignisses? P(X A) = a A P(X = a) Wie groß ist die Kollisionswahrscheinlichkeit? n 1 i=1 ( 1 i ) r 14

17 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Ein einfaches Beispiel Wie beschreibt man die möglichen Ausgänge der Kennzeichnung? X = (X 1,..., X n ) mit Werten in S = {1,..., r} {1,...,n} Was bedeutet Keine zwei Individuen haben dasselbe Kennzeichen? {X A} mit A = {(a 1,..., a n } S : a i a j für alle i j} Wie kommt man zur Wahrscheinlichkeit dieses Ereignisses? P(X A) = a A P(X = a) Wie groß ist die Kollisionswahrscheinlichkeit? P(X A) = n 1 i=1 ( 1 i ) r 15

18 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Diskrete uniforme Verteilung Definition: Sei S endlich. Dann heißt X uniform verteilt auf S, wenn P(X A) = #A #S für alle Teilmengen A S gilt. Äquivalent ist P(X = a) = 1 #S, a S. Dieser Fall heißt Laplace-Wahrscheinlichkeit. 16

19 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Permutationen Permutation a: bijektive Abbildung von {1,..., n} nach {1,..., n} Beispiel: ( ) a = Zykelschreibweise: (3) a = (15)(2)(3764). S: Menge der Permutationen von {1,..., n} #S = n(n 1) 1 =: n!, denn: in (3) hat die erste Stelle n, die zweite n 1,... Möglichkeiten 17

20 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Permutationen X : rein zufällige Permutation von {1,..., n} Wie groß ist die Wahrscheinlichkeit, dass der Zykel, der die 1 enthält, die Länge b hat? Definiere h : { S a N Länge des Zykels, der die 1 enthält Wie groß ist P(h(X ) = b)? 18

21 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Permutationen Definiere A := {a S : h(a) = b} = {a S : a(1) 1, a 2 1,..., a b 1 1, a b = 1}. Wie groß ist #A? also #A = (n 1)(n 2) (n b + 1) 1 (n b) 1, P(h(X ) = b) = #A #S = (n 1)! n! = 1 n. In Worten: die Länge des Zykels, der die 1 enthält, ist uniform verteilt auf {1,..., n}. 19

22 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Bilder von Zufallsvariablen Obiges Vorgehen schematisch dargestellt: h : S S h(x ) ist eine neue Zufallsvariable X. h(x ) S... h S

23 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Zufällige Teilmengen S: Menge der k-elementigen Teilmengen von {1,..., n}, 1 k n S = {t : t {1,..., n}, #t = k} Y : rein zufälliges Element aus S Wie groß ist P(Y = {1,..., k})? 21

24 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Zufällige Teilmengen Es ist n (n 1) (n k + 1) #S =, k! denn: Ziehen von k Elementen mit Beachtung der Reihenfolge ergibt n (n k + 1) mögliche Ergebnisse. Jeweils k! dieser Möglichkeiten liefern jedoch dieselbe k-elementige Teilmenge. Definiere die Binomialkoeffizienten ( ) n n! n (n 1) (n k + 1) := = k k!(n k)! k! 22

25 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Zufällige Teilmengen Insgesamt: P(Y = {1,..., k}) = 1 ( n k). Andere Erklärung: X : rein zufällige Permutation von {1,..., n} A = {a : a Permutation mit {a(1),..., a(k)} = {1,..., k}}. Damit P(Y = {1,..., k}) = P(X A) = k!(n k)! n! 23

26 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Zufällige Besetzungen S n,r : Menge der Besetzungen von r Plätzen (Urnen) mit n Objekten (Kugeln) S n,r = {k = (k 1,..., k r ) : k j N 0, k k r = n} Z: rein zufälliges Element aus S n,r Wie groß ist P(Z = k)? für ein k S n,r? 24

27 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Zufällige Besetzungen Hilfskonstruktion: S = {01-Folgen der Länge n + r 1 mit genau n Einsen} S n,r S h : (k 1,..., k r ) }{{} 0 } 1.{{.. 1} }.{{.. 1} k 1 mal k 2 mal k r mal z.b. h(2, 0, 3, 0) = h ist eine Bijektion, also ( ) n + r 1 #S n,r = #S = n 25

28 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Zufällige Besetzungen Insgesamt: P ( Z = (k 1,..., k r ) ) = 1 ( n+r 1 n ). 26

29 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Kontinuierlich uniforme Verteilung Definition: Sei S eine Teilmenge des R d mit endlichem Inhalt V (S). Eine S-wertige Zufallsvariable X heißt uniform verteilt auf S, wenn für alle Teilmengen A S mit wohldefiniertem Inhalt V (A) gilt: P(X A) = V (A) V (S). Wohldefinierter Inhalt Maßtheorie Analogie zum diskreten Fall P(X da) = da V (S). 27

30 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Uniforme Verteilung auf einem Interval Sei S = [l, r] R ein beschränktes Interval. Eine Zufallsvariable X ist uniform verteilt auf S, falls Beispiel: l = 0, r = 1 P(X [c, d]) = d c r l, l c d r. Verteilung von X ist verschiebungsinvariant: für alle v R: X uniform auf [0, 1] verteilt X +v uniform auf [0, 1] verteilt wobei x = x x der gebrochene Anteil von x R ist 28

31 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Benford s Gesetz Das Gesetz: Die Anfangsziffer der Dezimaldarstellung einer positiven Zahl, die aus einem weitgestreckten Interval herausgegriffen ist, ist nicht uniform verteilt auf {1,..., 9}. 29

32 Beispiel: Kollision von Kennzeichen Diskret uniform verteilte Zufallsvariable Kontinuierlich uniform verteilte Zufallsvariable Benford s Gesetz Y (uniform verteilt) auf [l, r] mit r l 1 Y annähernd uniform verteilt auf [0, 1] h : { R + {1,..., 9} a b falls log 10 b log 10 a < log 10 (b + 1) Annahme: X Zufallsvariable mit Werten in R +, U := log 10 X annähernd uniform verteilt auf [0, 1]. P(h(X ) = b) = P(U [log 10 b, log 10 (b + 1)) ( = log 10 (b + 1) log 10 b = log ) b 30

33 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten II: Zufallsvariable und Verteilungen 1

34 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Bernoulli-Folgen Sei X = (X 1,..., X n ) das Ergebnis von n Würfel-Würfen X ist uniform verteilt auf {1,..., 6} {1,...,n} Die Ws für genau k Sechser in den ersten k Würfen? ist P(X 1 = 6,..., X k = 6, X k+1 6,..., X n 6) = 1k 5 n k 6 n = p k q n k mit p = 1 6 und q = 1 p. 2

35 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Bernoulli-Folgen Definiere Z := (Z 1,..., Z n ) mit { 1, falls X i = 6, Z i := 1 {Xi =6} := 0, sonst. Sei (a 1,..., a n ) eine 01-Folge mit genau k Einsen. Dann ist P(Z = (a 1,..., a n )) = p k q n k (1) 3

36 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Bernoulli-Folgen Allgemein: p [0, 1] heißt Erfolgswahrscheinlichkeit q = 1 p heißt Gegenwahrscheinlichkeit Definition: Z Zufallsvariable in S = {0, 1} {1,...,n} mit P(Z = a) = p k q n k, a S mit k = n i=1 a i heißt Münzwurf zur Erfolgswahrscheinlichkeit p oder Bernoulli-Folge zum Parameter p 4

37 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Verteilung Zufallsvariable X mit abzählbarem Zielbereich S Forderungen an Wahrscheinlichkeiten P(X S) = 1, P(X A) = a A P(X = a) 5

38 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Definition (Verteilung) Eine Zufallsvariable X heißt diskret, falls ihr Zielbereich eine abzählbare Menge S enthält mit Die Abbildung P(X S) = 1. A ρ[a] := P(X A), heißt Verteilung von X Die Zahlen ρ(a) := P(X = a), A S a S heißen Verteilungsgewichte 6

39 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Definition (Gemeinsame Verteilung) Ist X = (X 1,..., X n ) mit Zielbereich S 1... S n, so heißt ρ auch gemeinsame Verteilung von X 1,..., X n Die Abbildung A ρ i [A] := P(X i A), A S i ist die i-te Rand- oder Marginalverteilung von ρ. Beispiel: für n = 2, ρ i (a 1 ) = P(X 1 = a 1 ) = P(X {a 1 } S 2 ) = ρ(a 1, a 2 ). a 2 S 2 7

40 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Bildverteilungen Ist X eine ZV mit Zielbereich S und h : S S, so ist Y := h(x ) eine ZV mit Zielbereich S und {Y = b} = {X h 1 (b)}, Also P(Y = b) = P(X h 1 (b)) = P(X = a) a h 1 (b) 8

41 .. Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Bildverteilungen X ZV mit Zielbereich S, h : S S, dann ist Y := h(x ) eine ZV mit Zielbereich S X. Y = h(x ) S... h 1 (b)... b..... S h 9

42 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Beispiel: Münzwurf Sei Z ein p-münzwurf mit Zielbereich S = {0, 1} {1,...,n}, Verteilung (1) Sei h : S {0,..., n} mit Anzahl an Erfolgen Es ist h(a 1,..., a n ) = a a n #h 1 (k) = ( ) n, k Also ( ) P Z Z n = k = P ( Z h 1 (k) ) = a h 1 (k) p k q n k = ( ) n p k q n k. k 10

43 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Erwartungswert und Varianz Erwartungswert: Lageparameter Varianz: Formparameter können für ZVn mit Zielbereich S R berechnet werden 11

44 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Erwartungswert Definition: Der Erwartungswert einer diskreten ZVn X (oder ihrer Verteilung) ist µ := E[X ] := a S a P(X = a), falls die Summe wohldefiniert ist. 12

45 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Transformation von Erwartungswerten Satz: Sei X eine diskrete ZV mit Zielbereich S und h : S R. Dann gilt E[h(X )] = a S h(a) P(X = a), falls die rechte Seite wohldefiniert ist. Beweis: E[h(X )] = bp(h(x ) = b) = b h(s) = b h(s) a h 1 (b) = a S h(a)p(x = a) b h(s) h(a)p(x = a) b a h 1 (b) P(X = a) 13

46 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Andere Lageparameter Median der Verteilung von X ist jede Zahl m mit P(X m) 1 2, P(X m) 1 2. Aber: Erwartungswert besser handhabbar (Linearität) 14

47 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Varianz Definition: Die Varianz einer diskreten Zufallsvariablen X (oder ihrer Verteilung) mit endlichem Erwartungswert µ ist σ 2 := Var[X ] = E[(X µ) 2 ]. Weiter ist die Standardabweichung von X gegeben durch σ := Var[X ]. Es gilt Var[X ] = a S(a µ) 2 P(X = a) also wegen (a µ) 2 = a(a 1) + a + µ 2 2aµ auch Var[X ] = E[X (X 1)] + E[X ] E[X ] 2 (2) 15

48 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Binomialverteilung Definition: Sei n N und p [0, 1]. Eine Zufallsvariable X mit Zielbereich {0,..., n} heißt binomialverteit mit n und p (auch: B(n, p)-verteilt), falls (mit q := 1 p) ( ) n P(X = k) = p k q n k, k = 0,..., n. k Beispiel: ist Z = (Z 1,..., Z n ) ein p-münzwurf, so ist Z Z n binomialverteilt mit n und p 16

49 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Binomialverteilung Gewichte der Binomialvreteilung n=20 p=

50 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Erwartungswert und Varianz der Binomialverteilung Satz: Sei X verteilt nach B(n, p). Dann gilt E[X ] = np, Var[X ] = npq. Bemerkung: Da wächst σ für große n wie n! σ = Var[X ] = npq, 18

51 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Erwartungswert und Varianz der Binomialverteilung Beweis: E[X ] = n k k=0 n 1 ( ) n k n ( ) n 1 p k 1 q n k k 1 k=1 ) p k q n k = np, p k q n k = np ( n 1 = np k k=0 n ( ) n E[X (X 1)] = k(k 1) p k q n k k k=0 n ( ) n 2 = n(n 1)p 2 p k 2 q n k = n(n 1)p 2, k 2 also k=2 Var[X ] = n(n 1)p 2 + np (np) 2 = npq. 19

52 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Approximation der Binomialverteilung Die Stirling-Formel approximiert Fakultäten n! n ) n 1 2πn ( n e 20

53 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Approximation der Binomialverteilung Sei X verteilt nach B(n, p) Mit η(t) = t ln t p P(X = k) = = 1 t + (1 t) ln q ( ) n p k q n k k 1 2πn k n k n n 1 2πn k n k n n exp ist n 2πk(n k) ( ( k )) nη n ( exp 1 ( k np ) 2 ) 2 npq ( np ) k ( nq ) n k k n k da η(p) = η (p) = 0, η (p) = 1 von η um p. pq mit einer Taylor-Entwicklung 21

54 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Multinomialkoeffizienten Sei n und k 1,..., k r mit k 1 + k r = n gegeben. Wie viele Möglichkeiten gibt es, n unterscheidbare Objekte so in r Gruppen aufzuteilen, dass die i-te Gruppe genau k i Objekte enthält? Was ist #A für A := { (a 1,..., a n ) {1,..., r} {1,...,n} : n i=1 } 1 ai =j = k j, j = 1,..., r 22

55 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Multinomialkoeffizienten Wähle zuerst k 1 Elemente (von n) der ersten Gruppe aus Wähle dann k 2 Elemente (von n k 1 ) der zweiten Gruppe aus Also ( )( ) ( ) n n k1 n k1 k r 1 #A = k 1 k 2 n!(n k 1 )! k r! = k 1! k r!(n k 1 )! (n k 1 k r )! ( ) n! = k 1! k r! =: n k 1,..., k r k r 23

56 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Multinomialverteilung Definition: Sei n N und p 1,..., p r 0 mit p 1 + p r = 1. Eine Zufallsvariable X = (X 1,..., X r ) mit Zielbereich S = { (k 1,..., k r ) N {1,...,r} 0 : k 1 + k r = n } heißt multinomialverteilt mit Parametern (n, p 1,..., p r ), falls P ( X = (k 1,..., k r ) ) ( ) n = p k 1 1 k 1,..., k pkr r. r Beispiel: Anzahlen X = (X 1,...X 6 ) der 1er,..., 6er beim n-fachen Würfelwurf. Bemerkung: k 1 + k r =n ( n k 1,..., k r ) p k 1 1 pkr r = (p 1 + p r ) n = 1 24

57 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Poisson-Verteilung Definition: Sei λ R +. Eine Zufallsvariable X mit Zielbereich N 0 ist Poisson-verteilt mit Parameter λ, oder Pois(λ)-verteilt, falls P(X = k) = e Bemerkung: Wegen e λ = der Poisson-Verteilung zu 1. λ λk, k = 0, 1, 2,... k! k=0 λk k! summieren die Gewichte 25

58 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Erwartungswert und Varianz der Poisson-Verteilung Satz: Sei X nach Poi(λ) verteilt. Dann gilt Beweis: E[X ] = E[X ] = λ, Var[X ] = λ. k=0 und mit (2) folgt ebenso k=0 λ λk ke k! = λe λ k=1 λ k 1 (k 1)! ( ) λ λk Var[X ] = k(k 1)e + λ λ 2 k! = (λ 2 e λ λ k 2 ) + λ λ 2 = λ (k 2)! k=2 26

59 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Poisson-Approximation Die Poissonverteilung entsteht als Grenzwert der Binomialverteilung: Satz: Sei X n verteilt nach B(n, p n ) für n = 1, 2,..., so dass E[X n ] = n p n n λ > 0. Dann P(X n = k) n λ λk e k!. 27

60 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Poisson-Approximation Beweis: ( ) n p k k n(1 p n ) n k = n(n 1) (n k + 1) n k } {{ } 1 P(X n = k) n λ λk e k!. 1 k! (np n) k }{{} λ k ) n ( 1 np n }{{ n } e λ (1 p n ) k }{{} 1 28

61 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Hypergeometrische Verteilung Gegeben seien g unterscheidbare Objekte, von denen w markiert sind Wieviele Möglichkeiten gibt es, n Objekte (ohne Beachtung der Reihenfolge) so auszuwählen, dass genau k markierte dabei sind? ( )( ) w g w k n k 29

62 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Hypergeometrische Verteilung Definition: Sei n, g N und w N 0 mit n, w g. Eine Zufallsvariable X mit Zielbereich {0,..., n} heißt hypergeometrisch verteilt mit n, g, w oder Hyp(n, g, w)-verteilt, wenn ( w )( g w ) k n k P(X = k) = ( g, k = 0, 1,..., n. n) Bemerkung: letzten Folie Gewichte summieren zu 1. 30

63 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Hypergeometrische Verteilung Satz: Sei X nach Hyp(n, g, w) verteilt. Dann gilt E[X ] = np, ( Var[X ] = npq 1 n 1 ) g 1 mit p := w g, q := 1 p. Bemerkung: p ist Wahrscheinlichkeit, dass das i-te gezogene Objekt markiert ist. 31

64 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Hypergeometrische Verteilung E[X ] = np Beweis: ( n w )( g w ) n k n k E[X ] = k ( g = w n) k=0 k=1 ( w 1 )( g w k 1 n k ) ( g n) = w ( g 1 n 1 ( g n ) ) = n w g 32

65 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Hypergeometrische Verteilung Beweis: E[X (X 1)] = = w(w 1) ( Var[X ] = npq 1 n 1 ) g 1 ( n w )( g w ) k n k k(k 1) ( g n) k=0 ( n w 2 )( g w k 2 n k k=2 und damit nach (2) Var[X ] = np (n 1)(w 1) g 1 ) ( g n) = w(w 1) ( g 2 n 2 ( g n + np (np) 2 = npq g n g 1 ) ) = np (n 1)(w 1) g 1 33

66 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Urnen in der Stochastik Betrachte eine Urne mit insgesamt g Kugeln, wovon w weißt sind. Wir ziehen n Kugeln heraus X := Anzahl der weißen Kugeln in der Stichprobe Ziehen mit Zurücklegen X is B(n, p)-verteilt mit p = w g Ziehen ohne Zurücklegen X is Hyp(n, g, w)-verteilt Falls w unbekannt, können wir w anhand der Beobachtung X schätzen ŵ = g X n. Ziehen mit Zurücklegen E[ŵ] = w, V[ŵ] = w g w g Ziehen ohne Zurücklegen E[ŵ] = w, Var[ŵ] = w g w g n g g 1 34

67 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Binomial- und hypergeometrische Verteilung Sei beim Ziehen von n Kugeln aus einer Urne mit g Kugeln wovon w weiß sind { 1, falls i-te Kugel weiß Z i := 0, sonst Bestimme die Verteilungsgewichte der gemeinesamen Verteilung der Z 1,..., Z n 35

68 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Binomial- und hypergeometrische Verteilung Sei a = (a 1,..., a n ) {0, 1} {1,...,n} mit a a n = k Ohne Zurücklegen P(Z = (a 1,..., a n )) = w (w k + 1) (g w) (g w (n k) + 1) g g n + 1 g,w, w g p p k (1 p) n k Mit Zurücklegen P(Z = (a 1,..., a n )) = p k (1 p) n k 36

69 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Geometrische Verteilung Definition: Sei p (0, 1). Eine Zufallsvariable X mit Zielbereich N heißt geometrisch verteilt mit Parameter p, oder Geom(p)-verteilt, falls für q = 1 p Es gilt also P(X > i) = q i, i = 1, 2,... P(X = i) = P(X > i 1) P(X > i) = q i 1 q i = q i 1 p. Sei Z = (Z 1, Z 2,...) ein unendlicher (!) p-münzwurf. Dann ist geometrisch verteilt mit p. X := min{i : Z i = 1} 37

70 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Ein Lemma zur Berechnung von Erwartungswerten Lemma: Sei X eine Zufallsvariable mit Zielbereich N 0. Dann gilt E[X ] = P(X > i), E[X (X 1)] = 2 i P(X > i) i=0 i=0 Beweis: seien ρ(i) die Verteilungsgewichte von X. Dann E[X ] = j ρ(j) = j=1 E[X (X 1)] = 2 = 2 i=0 j=i+1 j=1 j 1 ρ(j) = j=1 i=0 j(j 1) 2 iρ(j) = 2 i 0 ρ(j) = i=0 j=i+1 i 0 j 1 ρ(j) = 2 iρ(j) j=1 i=0 i P(X > i), P(X > i), 38

71 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Geometrische Verteilung Satz: Ist X nach Geom(p) verteilt, so gilt E[X ] = 1 p, Var[X ] = 1 ( 1 ) p p 1. Beweis: Mit dem Lemma der letzten Folie gilt E[X ] = q i = 1 1 q = 1 p, E[X (X 1)] = 2 also wegen (2) i=0 iq i = 2 q p i=0 iq i 1 p = 2 q p E[X ] = 2 q p 2, i=0 Var[X ] = 2 q p p 1 p 2 = q p 2 39

72 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Indikatorvariable und Ereignisse Definition: Sei X eine Zufallsvariable mit Zielbereich {0, 1} und E = {X = 1}. Dann heißt X auch Indikatorvariable von E und wird mit I E bezeichnet. E heißt auch ein Ereignis. Für eine Zufallsvariable X mit beliebigem Zielbereich S und 1 A : S {0, 1} mit { 1, s A, 1 A (s) : 0, s / A gilt I {X A} = 1 A (X ). 40

73 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Indikatorvariable und Ereignisse Definition: Das sichere und das unmögliche Ereignis E s und E u sind definiert durch ihre Indikatorvariablen I Es = 1, I Eu = 0. Für Ereignisse E 1 und E 2 definieren wir E 1 E 2 und E 1 E 2 durch I E1 E 2 = max(i E1, I E2 ), I E1 E 2 = min(i E1, I E2 ). Falls E 1 E 2 = E u, so heißen E 1 und E 2 disjunkt. Falls E 1 E 2 = E 1, so schreiben wir E 1 E 2. Für ein Eregnis E ist das Komplementärereignis E c definiert durch I E c = 1 I E. 41

74 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Dichten Zufallsvariable mit diskretem Zielebereich: Verteilungsgewichte Zufallsvariable mit kontinuierlichem Zielebereich: Dichte Definition: Sei S = (l, r) R ein Intervall mit l < r und f : S R + mit r l f (a)da = 1. Gilt für X mit Zielbereich S für alle Intervalle [c, d] S P(X [c, d]) = d c f (a)da, so heißt f (a)da die Dichte von (der Verteilunge von) X. Kurz P(X da) = f (a)da, a S. 42

75 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Dichten Beispiel 1: P(X [c,d]) f(a) c d 43

76 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Dichten Beispiel 2: Eine auf einem Intervall S = [l, r] uniform verteilte Zufallsgröße hat die Dichte f (a)da = 1 r l da, a S. Sei l = 1, r = 3 P(X [c,d]) = d c r l l c d r 44

77 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Verteilungsfunktion Definition: Sei X eine Zufallsvariable mit Dichte f (a)da. Die Funktion F (x) := P(X x) = x f (a)da, x R (mit f (a) = 0 für a / S) heißt Verteilungsfunktion von X. Beispiel: Sei X uniform verteilt auf S = [l, r]. Dann ist die Verteilungsfunktion von X gegeben durch 0, x l F (x) = x l r l, l < x r 1, x r 45

78 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Erwartungswert und Varianz Der Erwartungswert einer Zufallsvaraiblen X mit Zielbereich S = [l, r] und Dichte f (a)da ist µ = E[X ] = die Varianz ist σ 2 = Var[X ] = r l r l af (a)da; (a µ) 2 f (a)da, vorausgesetzt, die Integrale sind wohldefiniert. 46

79 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Erwartungswert und Varianz Bemerkung: Genau wie im diskreten Fall gilt Bemerkung: E[h(X )] = r l h(a)f (a)da denn Var[X ] = Var[X ] = E[X 2 ] E[X ] 2, (3) r l r a 2 f (a)da 2µ af (a)da + µ 2. l Diese Formel gilt auch für diskrete Zufallsvariable. 47

80 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Skalierung Oft: Verteilungen mit Dichten = Grenzwert von skalierten diskreten Verteilungen X 1, X 2,... haben diskrete Verteilungen mit Erwartungswerten 0 < µ n <, X n = X n µ n oder X n = X n µ n σ n wobei σ n Standardabweichung von X n ist. Mit X n hat auch X n Zielbereich R Verteilungsgrenzwerte finden sich für n Ergebnise: Zufallsvariable X mit Grenzverteilung mit Dichte 48

81 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Standardisierung Definition: Die Standardisierung einer Zufallsvariable X ist X = X µ, σ wenn 0 < µ < und 0 < σ < Erwartungswert und Standardabweichung von X sind. Bemerkung: Es gilt immer E[X ] = 0 und Var[X ] = 1. 49

82 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Exponentialverteilung Definition: Sei λ > 0. Eine Zufallsvariable X mit Zielbereich S = R + heißt exponentialverteilt mit λ oder Exp(λ)-verteilt, falls sie die Dichte besitzt. Wegen P(X da) = λe λa da, a 0 (4) ist (4) wirklich eine Dichte. 0 λe λa da = e λa 0 = 1 50

83 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Exponentialverteilung Satz: Für λ > 0 sei X nach Exp(λ) verteilt. Dann gilt E[X ] = 1 λ, Var[X ] = 1 λ 2. Beweis: mit partieller Integration gilt E[X ] = λ E[X 2 ] = λ 0 0 Das Resultat folgt im (3). ae λa da = ae λa 0 a 2 e λa da = a 2 e λa 0 + e λa da = 1 λ, 0 + 2ae λa da = 2 λ

84 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Exponentialapproximation Satz: Sei Z nach Exp(1) verteilt und X 1, X 2,... eine Folge von geometrisch verteilten Zufallsvariablen mit E[X n ] n. Dann gilt für 0 c < d ( P c X n E[X n ] d ) n P(c Z d). 52

85 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Exponentialapproximation ( P c X n E[X n ] d ) n P(c Z d). Beweis: Sei X n nach Geom(p n ) verteilt mit p n n 0. Weiter c n := ( ce[x n ] 1)p n, d n := ( de[x n ] 1)p n, n also c n c, d ( n P c n d. Dann X ) n E[X n ] d = P(X n ce[x n ]) P(X n > de[x n ]) = (1 p n ) ce[xn] 1 (1 p n ) de[xn] 1 ) cn ) dn = ((1 p n ) 1/pn ((1 p n ) 1/pn n e c e d = d c e a da. 53

86 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Normalverteilte Zufallsvariable Definition: Eine Zufallsvariable Z mit Zielbereich R heißt standardnormalverteilt oder N(0, 1)-verteilt, falls sie folgende Dichte besitzt P(Z da) = 1 ( exp a2 ) da, a R. 2π 2 Sei µ R und 0 < σ 2 <. Besitzt eine Zufallsvariable mit Zielbereich R die Dichte P(X da) = 1 ( exp (a ) µ)2 2πσ 2 2σ 2 da, a R (5) so heißt X auch N(µ, σ 2 )-verteilt. 54

87 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Normalverteilte Zufallsvariable Aus der Analysis bekannt ist exp ( z2 ) dz = 2π. 2 Mittels Subsitution z = (x µ)/ σ 2 folgt daraus, dass (5) eine Dichte ist. Satz: Sei X eine Zufallsvariable die nach N(µ, σ 2 ) verteilt ist. Dann ist E[X ] = µ, Var[X ] = σ 2. 55

88 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Normalverteilte Zufallsvariable E[X ] = µ, Var[X ] = σ 2. Beweis: Zunächst ist ( x exp x 2 ) ( dx = exp x 2 ) 2 2 = 0, ( }{{} x x exp x 2 ) dx }{{ 2 } =g (x) ( x 2 ) ( x 2 =f (x) = x exp 2 + exp 2 ) dx = 2π 56

89 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Normalverteilte Zufallsvariable E[X ] = µ, Var[X ] = σ 2. Damit, für z = (x µ)/ σ 2 1 E[X ] = 2π = 1 (z σ 2 + µ) exp 2π Var[X ] = = σ 2 x ( exp (x ) µ)2 σ 2 2σ 2 dx 1 (x µ) 2 ( exp 2π σ 2 1 2π z 2 exp ( z2 2 ( z2 2 ) dz = µ, (x ) µ)2 2σ 2 dx ) dz = σ 2. 57

90 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Satz von demoivre-laplace Poi(λ): Approximation von B(n, p) falls n groß, p klein und n p λ Hier informell: N(np, npq)): Approximation von B(n, p) falls n groß, npq groß. Satz: Sei Z eine N(0, 1) verteilte Zufallsvariable und X 1, X 2,... eine Folge binomialverteilter Zufallsvariable mit Var[X n ] n. Dann ist für c < d ( P c X n E[X n ] ) n d P[c Z d). Var[Xn ] 58

91 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Satz von demoivre-laplace Beweisskizze: Es sei daran erinnert, dass für µ n = np n, σ 2 n = np n q n und z x,n = x µn σ 2 n 1 P(X n = k) 2πn k n k n n Damit ( P c X n E[X n ] Var[Xn ] k:c z k,n d ) d = 1 2πσ 2 n exp ( ( exp 1 ( k µn ) 2 ). 2 σ 2 n k:c z k,n d z2 k,n 2 ) P(X n = k) 1 2π d c e z2 dz, wobei wir die letzte Summe als Riemannsumme interpretiert haben. Den Approximationsfehler haben wir nicht abgeschätzt. 59

92 Beispiel von Würfeln und p-münzwurf Zufallsvariable mit Gewichten Zufallsvariable mit Dichten Satz von demoivre-laplace Definition: Die Funktion Φ : x 1 2π x ( exp x 2 ) dx 2 heißt Verteilungsfunktion der Standard-Normalverteilung. Anwendung des Satzes von demoivre-laplace: Sei X eine B(n, p) verteilte Zufallsgröße mit n groß, npq groß, sowie c, d Z. Dann P(c X d) d k=c 1 2π zd+1/2,n z c 1/2,n exp 1 2π exp ( z2 ) k,n (z 1 2 z k+ 2,n k 1 2,n) ( d np ) ( c 1 2 Φ np ). npq npq ( z2 ) dz = Φ 2 60

93 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS III: Erwartungswert, Varianz, Unabhängigkeit 1

94 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Ein neuer Blick auf alte Formeln Sei Z = (Z 1,..., Z n ) ein p-münzwurf und X = Z Z n Bereits bekannt ist, dass X nach B(n, p) verteilt ist und E[X ] = np, Var[X ] = npq. Sowohl E[X ] als auch Var[X ] wachsen linear mit n. Weiter ist für i = 1,..., n E[Z i ] = 0 P(Z i = 0) + 1 P(Z i = 1) = p, Var[Z i ] = E[Z 2 i ] E[Z i ] 2 = E[Z i ](1 E[Z i ]) = pq 2

95 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Ein neuer Blick auf alte Formeln Wir werden die Linearität des Erwartungswertes kennenlernen, d.h. E[Z 1 + Z n ] = E[Z 1 ] + + E[Z n ] gilt immer Beim Münzwurf ist also einfach wegen dieser Linearität. E[X ] = np 3

96 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Ein neuer Blick auf alte Formeln Bei Varianzen werden wir die Formel [ n ] Var Z i = i=1 n Var[Z i ] + 2 Cov[Z i, Z j ] (1) i=1 1 <j n kennenlernen. Die Korrekturterme Cov[Z i, Z j ] = E[Z i Z j ] E[Z i ] E[Z j ] beschreiben Abhängigkeiten zwischen Z i und Z j. Da die einzelnen Münzwürfe unabhängig sind, gilt hier Var[X ] = n Var[Z i ] = npq. i=1 4

97 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Beispiel: Ziehen ohne Zurücklegen In einer Urne seien g Kugeln, von denen w markiert sind. Wir ziehen n mal ohne Zurücklegen und { 1, i-te Kugel markiert, Z i = 0, sonst Wir wissen: X = Z 1 + Z n hat eine Hyp(g, w, n)-verteilung und E[Z i ] = 0 P(Z i = 0) + 1 P(Z i = 1) = w g =: p. Also wegen der Linearität des Erwartungswertes E[X ] = np. 5

98 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Beispiel: Ziehen ohne Zurücklegen Genau wie beim p-münzwurf ist auch hier Var[Z i ] = pq Alle Paare i j haben dieselbe Abhängigkeit Wegen (1) muss gelten, dass Var[X ] = npq + n(n 1)Cov[Z 1, Z 2 ]. Da für n = g gelten muss, dass Var[X ] = 0, folgt Cov[Z 1, Z 2 ] = pq g 1, ( Var[X ] = npq 1 n 1 ) g 1 6

99 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Analogie Dieses Kapitel: Beweise meist nur für diskrete Zufallsvariablen; Beweise für ZV mit Dichten ergeben sich analog ersetze Summe durch ein Integral 7

100 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Linearität des Erwartungswertes Satz: Seien X 1, X 2 Zufallsvariable mit Zielbereichen S 1, S 2 R und wohldefiniertem Erwartungswert. Dann gilt E[c 1 X 1 + c 2 X 2 ] = c 1 E[X 1 ] + c 2 E[X 2 ], c 1, c 2 R. Beweis: Mit dem Transformationssatz E[c 1 X 1 + c 2 X 2 ] = (c 1 a 1 + c 2 a 2 )P(X 1 = a 1, X 2 = a 2 ) a 1 S 1 a 2 S 2 = c 1 a 1 P(X 1 = a 1 ) + c 2 a 2 P(X 2 = a 2 ) a 1 S 1 a 2 S 2 = c 1 E[X 1 ] + c 2 E[X 2 ]. 8

101 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Beispiel Wir ziehen alle g Kugeln aus einer Urne, in der sich w markierte befinden. Also Z i {0, 1}, je nachdem ob die i-te gezogene Kugel markiert ist oder nicht. Wir wollen den Erwartungswert der Zahl der gezogenen Kugeln beim Auftreten der ersten Markierten berechnen: Sei X 1 = X, X := min{i : Z i = 1} X k+1 = min{i > X k : Z i = 1} X k, k = 1,..., w 1. und X w+1 = g + 1 X w. Dann sind X 1,..., X w+1 identisch verteilt und X X w+1 = g + 1. Also g + 1 = E[X X w+1 ] = (w + 1)E[X ], d.h. E[X ] = g + 1 w

102 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Positivität und Monotonie Satz: Sei X eine ZV mit Zielbereich R und X 0. Dann gilt und E[X ] 0 E[X ] = 0 gdw P(X = 0) = 1. Für reellwertige ZV X 1, X 2 mit X 1 X 2 mit wohldefiniertem Erwartungswert gilt E[X 1 ] E[X 2 ]. Beweis: Die ersten beiden Aussagen ergeben sich aus der Definition E[X ] = a R ap(x = a). Die letzte Aussage folgt aus der ersten, da 0 E[X 2 X 1 ] = E[X 2 ] E[X 1 ]. 10

103 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Jensen sche Ungleichung Sei k : R R konvex und X eine reellwertige ZV mit endlichem Erwartungswert. Dann ist Insbesondere k(e[x ]) E[k(X )]. E[X ] E[ X ], E[X ] 2 E[X 2 ]. Beweis: Da k konvex ist, gibt es für jedes d R ein c R, so dass k(d) + c(x d) k(x) für alle x R. Für d = E[X ] ist also k(e[x ]) = E [ k(e[x ]) + c(x E[X ]) ] E[k(X )] 11

104 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Cauchy-Schwartz Ungleichung Satz: Seien X, Y rellwertige ZV mit E[X 2 ], E[Y 2 ] <. Dann gilt E[XY ] 2 E[X 2 ]E[Y 2 ]. Beweis: Im Fall P(X = 0) = 1 oder P(Y = 0) = 1 ist die Ungleichung trivial. Andersfalls betrachte U := X, V := Y. E[X 2 ] E[Y 2 ] Wegen (U V ) 2, (U + V ) 2 0 ist klar, dass ±2UV U 2 + V 2, also ± E[UV ] 1. Multiplizieren der letzten Gleichung mit E[X 2 ] E[Y 2 ] und Quadrieren liefert die Behauptung. 12

105 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Rechnen mit Wahrscheinlichkeiten Indikatorvariable I E : ZV mit Zielbereich {0, 1}. Beziehung zwischen Ereignis E und Indikatorvariable I E : E[I E ] = P(I E = 1) = P(E). Satz: Es gelten (i) P(E s ) = 1, P(E u ) = 0. (ii) P(E 1 ) + P(E 2 ) = P(E 1 E 2 ) + P(E 1 E 2 ), insbesondere P(E 1 ) + P(E 2 ) P(E 1 E 2 ) (iii) P(E 1 ) + P(E 2 ) = P(E 1 E 2 ) falls E 1 und E 2 disjunkt sind (iv) P(E c ) = 1 P(E) (v) P(E 1 ) P(E 2 ) falls E 1 E 2. 13

106 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Rechnen mit Wahrscheinlichkeiten Beweis: (i) folgt wegen I Es = 1, I Eu = 0. (ii) gilt wegen I E1 E 2 + I E1 E 2 = max(i E1, I E2 ) + min(i E1, I E2 ) = I E1 + I E2 und Linearität des Erwartungswertes. (iii) folgt aus (i), (ii), und (iv) aus I E c = 1 I E. Schließlich folgt (v) aus I E1 = min(i E1, I E2 ) I E2 und Monotonie des Erwartungswertes. 14

107 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Einschluss- Ausschlussformel Satz: Für Ereignisse E 1,..., E n gilt P(E 1 E n ) n = P(E i ) P(E 1 E 2 ) + ± P(E 1 E n ) i=1 1 i<j n Beweis: Man verwende Linearität der Erwartungswerte bei (1 I E1 E n ) = (1 I E1 ) (1 I En ) n = 1 I Ei + I Ei I Ej + = 1 i=1 n I Ei + 1 i<j n i=1 1 i<j n I Ei E j + 15

108 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Beispiel: Fixpunkte in Permutationen Sei X = (X 1,..., X n ) eine zufällige Permutation von {1,..., n}. Weiter ist die Anzahl der Fixpunkte gleich Y n = n 1 Ei, E i = {X i = i} i=1 Für i 1 < < i k ist P(E 1 E k ) = (n k)! n!, also mit der Einschluss- Ausschlussformel P(E 1 E n ) = 1 1 2! + 1 3! ± 1 n!. ) Also: genau n!( 1 2! 1 3! ± 1 n! Permutationen haben keinen Fixpunkt 16

109 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Beispiel: Fixpunkte in Permutationen Also: genau n!( 1 2! 1 3! ± 1 n! ) Permutationen haben keinen Fixpunkt Damit gilt ( ) n (n k)! ( 1 P(Y n = k) = k n! 2! 1 3! ± 1 ) (n k)! = 1 ( 1 k! 2! 1 3! ± 1 ), (n k)! insbesondere P(Y n = k) n e 1 1 k!, d.h. für große n ist Y n approximativ Poi(1)-verteilt. 17

110 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Eigenschaften der Varianz Aus der Definition der Varianz entnimmt man Var[cX + d] = E[(cX + d E[cX + d]) 2 ] = E[(cX ce[x ]) 2 ] = c 2 Var[X ], also Var[cX + d] = c Var[X ]. Man sagt: Die Standardabweichung ist ein Skalenparameter. Es gilt Var[X ] = 0 P(X = E[X ]) = 1. Man sagt: X ist fast sicher konstant. Beweis: Da (X E[X ]) 2 0, folgt die Aussage mit dem Satz über die Positivität des Erwartungswertes. 18

111 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Kovarianz Um mit Varianzen zu Rechnen, benötigen wir Kovarianzen. Definition: Seien X, Y ZV mit Zielbereich R und E[X 2 ], E[Y 2 ] <. Wir definieren die Kovarianz von X und Y durch Cov[X, Y ] := E[(X E[X ])(Y E[Y ])]. Offenbar gilt Var[X ] = Cov[X, X ]. Aus der Linearität des Erwartungswertes folgt Cov[X, Y ] = E[XY ] E[E[X ] Y ] E[X E[Y ]] + E[X ] E[Y ] insbesondere = E[XY ] E[X ] E[Y ], Var[X ] = E[X 2 ] E[X ] 2. 19

112 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Eigenschaften der Kovarianz Satz: Für ZV mit Zielbereich R und wohldefinierter Varianz: (i) Cov[X, Y ] = Cov[Y, X ] (ii) Cov[X, X ] 0 (iii) Cov[c 1 X 1 + c 2 X 2, Y ] = c 1 Cov[X 1, Y ] + c 2 Cov[X 2, Y ], Cov[X, c 1 Y 1 + c 2 Y 2 ] = c 1 Cov[X, Y 1 ] + c 2 Cov[X, Y 2 ]. (iv) Cov[X, Y ] 2 Var[X ] Var[Y ]. Beweis: (i) ist klar, für (ii) siehe die letzte Folie, (iii) folgt aus der Linearität des Erwartungswertes und (iv) ist die Cauchy-Schwartz-Ungleichung, angewandt auf die ZVen X E[X ] und Y E[Y ]. 20

113 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Varianz von Summen Satz: Falls X, Y ZV mit Zielbereich R mit endlichen Varianzen sind, so gilt Var[X + Y ] = Var[X ] + Var[Y ] + 2 Cov[X, Y ]. Beweis: aus vorhergehendem Satz folgt Var[X + Y ] = Cov[X + Y, X + Y ] = Cov[X, X + Y ] + Cov[Y, X + Y ] = Cov[X, X ] + Cov[X, Y ] + Cov[Y, X ] + Cov[Y, Y ] = Var[X ] + 2 Cov[X, Y ] + Var[Y ]. Analog gilt [ n ] Var X i = i=1 n Var[X i ] + 2 i=1 1 i<j n Cov[X i, X j ]. 21

114 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Beispiel: Fixpunkte in Permutationen Sei X = (X 1,..., X n ) eine zufällige Permutation von {1,..., n}. Weiter ist die Anzahl der Fixpunkte gleich Y n = n 1 Ei, E i = {X i = i} i=1 Es ist bereits gezeigt worden, dass P(Y n = k) = 1 k! ( 1 2! 1 3! ± 1 ). (n k)! 22

115 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Beispiel: Fixpunkte in Permutationen P(Y n = k) = 1 k! Damit ist n E[Y n ] = k 1 k! = k=0 n k=1 n 1 = k=0 n 1 ( 1 2! 1 3! ± 1 ). (n k)! ( 1 2! 1 3! ± 1 ) (n k)! 1 ( 1 (k 1)! 2! 1 3! ± 1 ) (n k)! 1 ( 1 k! 2! 1 3! ± 1 ) (n 1 k)! = P(Y n 1 = k) = 1. k=0 23

116 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Beispiel: Fixpunkte in Permutationen Und weiter P(Y n = k) = 1 k! E[Y n (Y n 1)] = n k=2 n 2 = k=0 n 2 ( 1 2! 1 3! ± 1 ). (n k)! 1 ( 1 (k 2)! 2! 1 3! ± 1 ) (n k)! 1 ( 1 k! 2! 1 3! ± 1 ) (n 2 k)! = P(Y n 2 = k) = 1, k=0 Var[Y n ] = E[Y n (Y n 1)] + E[Y n ] E[Y n ] 2 = 1. 24

117 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Beispiel: Fixpunkte in Permutationen Einfacher rechnet man: also E[1 Ei ] = P(X i = i) = 1 n, Var[1 Ei ] = E[1 Ei ] E[1 Ei ] 2 = 1 n( 1 1 n E[1 Ei 1 Ej ] = P(X i = i, X j = j) = 1 n(n 1), Cov[1 Ei, 1 Ej ] = 1 n(n 1) 1 n 2 = 1 E[Y n ] = Var[Y n ] = n 2 (n 1), n E[1 Ei ] = n 1 n = 1, i=1 n i=1 Var[1 Ei ] + 2 i<j ) = n 1 n 2, Cov[1 Ei, 1 Ej ] = n n 1 n 2 + n(n 1) 1 n 2 (n 1) = 1. 25

118 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Beispiel: Runs in Münzwürfen Sei Z = (Z 1,..., Z n ) ein p-münzwurf. Ein Run ist ein maximaler Block aus 0ern oder 1ern, also enthält genau vier Runs. Sei Y die Anzahl der Runs. Dann gilt n Y n = Ei, E i = {Z i Z i 1 }. Es gilt Für 2 i n 1 ist i=2 E[1 Ei ] = P(Z i Z i 1 ) = 2pq, V[1 Ei ] = 2pq (2pq) 2 = 2pq(1 2pq). E[1 Ei 1 Ei+1 ] = P(Z i+1 Z i Z i 1 ) = pqp + qpq = pq. Offenbar sind 1 Ei, 1 Ej für i j > 1 unabhängig. 26

119 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Beispiel: Runs in Münzwürfen Damit Y n = 1 + n 1 Ei, E i = {Z i Z i 1 }. i=2 E[Y ] = 1 + 2pq(n 1), n n 1 Var[Y ] = Var[1 Ei ] + 2 Cov[1 Ei, 1 Ei+1 ] i=2 i=2 = 2pq(1 2pq)(n 1) + pq(1 4pq)(n 2). 27

120 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Unkorreliertheit und Unabhängigkeit Definition: Zwei ZV X, Y heißen unkorreliert, falls sie endliche Varianz besitzen und Cov[X, Y ] = 0. X, Y heißen unabhängig, falls für alle Ereignisse {X A}, {Y B} gilt. P(X A, Y B) = P(X A) P(Y B) 28

121 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Unkorreliertheit und Unabhängigkeit Seien X, Y unabhängige ZV mit Zielbereichen S X, S Y und h X : S X R, h Y = S Y R, so dass h X (X ), h Y (Y ) endlichen Erwartungswert haben. Dann gilt E[h X (X ) h Y (Y )] = E[h X (X )] E[h Y (Y )]. Insbesondere sind h X (X ) und h Y (Y ) unkorreliert (falls die Varianzen endlich sind). Beweis: im Falle diskreter ZV ist h X (a)h Y (b)p(x = a, Y b = b) a,b = a,b h X (a)p(x = a)h Y (b)p(y = b) = a h X (a)p(x = a) b h Y (b)p(y = b). 29

122 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Der Korrelationskoeffizient ist eine normierte Version der Kovarianz Definition: Seien X, Y ZV mit endlichen Erwartungswerten µ X, µ Y, endlichen Varianzen σ 2 X, σ2 Y und Kovarianz γ X,Y. Der Korrelationskoeffizient von X und Y is definiert durch κ := κ X,Y := γ X,Y σ X σ Y. Wegen der Cauchy-Schwartz-Ungleichung gilt 1 κ 1. 30

123 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Interpretation des Korrelationskoeffizienten Satz: Seien X, Y ZVen mit endlichen Varianzen und Korrelationskoeffizient κ. Dann gilt min β 0,β 1 E [ (Y β 1 X β 0 ) 2] = (1 κ 2 ) min β E [ (Y β) 2]. In Worten: die ZV Y kann (im Sinne des quadratischen Mittels) um den Faktor (1 κ 2 ) besser durch eine ZV der Form β 1 X + β 0 approximiert werden als durch eine Konstante β. 31

124 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Interpretation des Korrelationskoeffizienten min β 0,β 1 E [ (Y β 1 X β 0 ) 2] = (1 κ 2 ) min β E [ (Y β) 2]. Für β = E[Y ] wird das Minimum der rechten Seite angenommen, denn Für die linke Seite ist E[(Y β) 2 ] = Var[Y ] + (E[Y ] β) 2 E[(Y β 1 X β 0 ) 2 ] = Var[Y β 1 X β 0 ] + (E[Y ] β 1 E[X ] β 0 ) 2 = Var[Y ] 2β 1 Cov[X, Y ] + β 2 1Var[X ] + (E[Y ] β 1 E[X ] β 0 ) 2 = σy 2 2β 1σ X σ Y κ + β1σ 2 X 2 + (µ Y β 1 µ X β 0 ) 2 ( = σy 2 (1 κ2 ) + σx 2 β 1 σ Y κ ) 2 + (µy β 1 µ X β 0 ) 2 σ X 32

125 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Interpretation des Korrelationskoeffizienten σ 2 Y (1 κ2 ) + σ 2 X nimmt sein Minimum an für Insgesamt: ( β 1 σ Y κ σ X ) 2 + (µy β 1 µ X β 0 ) 2 β 1 = σ Y σ X κ, β 0 = µ Y β 1 µ X. min β E [ (Y β) 2] = σ 2 Y, min β 0,β 1 E [ (Y β 1 X β 0 ) 2] = (1 κ 2 )σ 2 Y und die Behauptung ist gezeigt. 33

126 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Regressionsgerade Für β 1 = σ Y σ X κ, erhalten wir die Regressionsgerade β 0 = µ Y β 1 µ X y = β 1 x + β 0. Es ist κ = 1 genau dann, wenn es β 1, β 0 gibt mit E[(Y β 1 X β 0 ) 2 ] = 0, also Y = β 1 X + β 0. Falls κ = 0, kann dennoch ein enger (nichtlinearer) Zusammenhang zwischen X und Y bestehen: sei X so, dass E[X ] = E[X 3 ] = 0, dann ist Cov[X, X 2 ] = 0, also κ = 0. 34

127 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Unabhängigkeit Ziel: Verallgemeinerung des Begriffes Unabhängigkeit auf Familien von ZVen Definition: ZV X 1,..., X n heißen (stochastisch) unabhängig, falls P(X 1 A 1,..., X n A n ) = P(X 1 A 1 ) P(X n A n ) für alle Ereignisse {X i A i }. Insbesondere: die gemeinsame Verteilung unabhängiger ZVen ist durch die Marginalverteilungen gegeben. 35

128 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Unabhängigkeit Seien X 1,..., X n unabhängig. Jede Teilfamilie X i1,..., X ik für i 1,..., i k paarweise verschieden is unabhängig. Zum Beweis wähle man A j = S j für j / {i 1,..., i k } in der Produktformel. Seien h 1,..., h n Funktionen auf den Zielbereichen S 1,..., S n. Dann sind h 1 (X 1 ),..., h n (X n ) unabhängig. 36

129 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Produktgewichte Satz: Seien X 1,..., X n diskrete ZVe und ρ 1,..., ρ n Verteilungen auf S 1,..., S n. Dann sind folgende Aussagen äquivalent: (i) X 1,..., X n sind unabhängig und X i hat Verteilung ρ i, i = 1,..., n (ii) Es gilt P(X 1 = a 1,..., X n = a n ) = ρ 1 (a 1 ) ρ n (a n ). Beweis: (i) (ii) ist offensichtlich. Für die Umkehrung schreiben wir P(X 1 A 1,..., X n A n ) = P ( ) (X 1,..., X n ) A 1... A n = ρ 1 (a 1 ) ρ n (a n ) (a 1,...,a n) A 1... A n = ρ 1 (a 1 ) ρ n (a n ) a 1 A 1 a n A n Wählt man A i = {a i }, A j = S j für j i folgt außerdem P(X i = a i ) = ρ i (a i ), d.h. X i hat Verteilung ρ i. 37

130 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Produktgewichte Beispiel: (Z 1,..., Z n ) ist genau dann ein p-münzwurf, wenn Z 1,..., Z n unabhängig ist und P(Z i = 1) = 1 P(Z i = 0) = p. Nach obigem Satz sind diskrete ZV X 1,..., X n genau dann unabhängig, wenn P(X 1 = a 1,..., X n = a n ) = P(X 1 = a 1 ) P(X n = a n ) für alle a 1,..., a n. 38

131 Neuer Blick Erwartungswerte Varianzen Unabhängigkeit Summen unabhängiger ZV Der ZGS Beispiel: Fehlstände in Permutationen Für eine Permutation a = (a 1,..., a n ) S, der Menge der Permutationen von {1,..., n} definieren wir die Anzahl der Fehlstände h j (a) := #{i < j : a i > a j }. Für S j = {0,..., j 1} ist die Abbildung (h 1,..., h n ) : S S 1 S n surjektiv, wegen #S 1 S n = n! also bijektiv. Sei X = (X 1,..., X n ) eine zufällige Permutation von {1,..., n} und Y j = h j (X ). Dann ist P(Y 2 = b 2,..., Y n = b n ) = 1 n! = n, also sind Y 2,..., Y n unabhängig. 39