Vorlesung 7a. Der Zentrale Grenzwertsatz

Vorlesung 7a Der Zentrale Grenzwertsatz als Erlebnis und Das Schwache Gesetz der Großen Zahlen

Wiederholung: Die Normalverteilung

Dichtefunktion ϕ der Standardnormalverteilung ϕ(x) 0.0 0.1 0.2 0.3 0.4 4 2 0 2 4 x

ϕ(x) 0.0 0.1 0.2 0.3 0.4 Die Gaußsche Glocke 4 2 0 2 4 x

Die Standardnormalverteilung Dichtefunktion:

Die Standardnormalverteilung Dichtefunktion: ϕ(x) := 1 2π e x2 /2

Die Standardnormalverteilung Dichtefunktion: ϕ(x) := 1 2π e x2 /2 Verteilungsfunktion:

Die Standardnormalverteilung Dichtefunktion: ϕ(x) := 1 2π e x2 /2 Verteilungsfunktion: Φ(a) := 1 2π a e x2 /2 dx

Die Standardnormalverteilung Dichtefunktion: ϕ(x) := 1 2π e x2 /2 Verteilungsfunktion: Φ(a) := 1 2π a e x2 /2 dx Z standard-normalverteilt:

Die Standardnormalverteilung Dichtefunktion: ϕ(x) := 1 2π e x2 /2 Verteilungsfunktion: Φ(a) := 1 2π a e x2 /2 dx Z standard-normalverteilt: P( Z a ) = Φ(a)

Die Standard-Normalverteilung EZ = 0 σ Z = 1

Die Standard-Normalverteilung EZ = 0 σ Z = 1 Die allgemeine Normalverteilung N = µ+σz

Die Standard-Normalverteilung EZ = 0 σ Z = 1 Die allgemeine Normalverteilung N = µ+σz EN = µ σ N = σ

Dichtefunktion ϕ der Standard-Normalverteilung ϕ(x) 0.0 0.1 0.2 0.3 0.4 4 2 0 2 4 x

ϕ(x) 0.0 0.1 0.2 0.3 0.4 P( Z < 1) 0.68 0.68 4 2 1 0 1 2 4 x

ϕ(x) 0.0 0.1 0.2 0.3 0.4 Φ(1) Φ( 1) 0.68 0.68 4 2 1 0 1 2 4 x

ϕ(x) 0.0 0.1 0.2 0.3 0.4 P( Z < 2 ) 0.95 0.95 4 2 0 2 4 x

Und für allgemeine normalverteilte Zufallsgrößen N? ϕ(x) 0.0 0.1 0.2 0.3 0.4 0.95 4 2 0 2 4 x

ϕ(x) 0.0 0.1 0.2 0.3 0.4 Dasselbe in grün. 0.95 4 2 0 2 4 x

P( N EN < σ N ) 0.68 ϕ(z) 0.0 0.1 0.2 0.3 0.4 0.68 4 2 1 0 1 2 4 z = (x EN)/σ N

P( N EN < 2σ N ) 0.95 ϕ(z) 0.0 0.1 0.2 0.3 0.4 0.95 4 2 0 2 4 z = (x EN)/σ N

Der Zentrale Grenzwertsatz

Die Summe von vielen kleinen, unabhängigen Summanden

Die Summe von vielen kleinen, unabhängigen Summanden ist annähernd normalverteilt.

DER ZENTRALE GRENZWERTSATZ Seien X 1,X 2,... unabhängige, identisch verteilte Zufallsgrößen.

DER ZENTRALE GRENZWERTSATZ Seien X 1,X 2,... unabhängige, identisch verteilte Zufallsgrößen. Sei S n := X 1 +...+X n

DER ZENTRALE GRENZWERTSATZ Seien X 1,X 2,... unabhängige, identisch verteilte Zufallsgrößen. Sei S n := X 1 +...+X n und Z n := (S n ES n ) / σ Sn.

DER ZENTRALE GRENZWERTSATZ Seien X 1,X 2,... unabhängige, identisch verteilte Zufallsgrößen. Sei S n := X 1 +...+X n und Z n := (S n ES n ) / σ Sn. ( EZ n = 0, σ Zn = 1.)

Dann gilt: Z n ist asymptotsich standard-normalverteilt.

Dann gilt: Z n ist asymptotsich standard-normalverteilt. Das heißt: P( Z n a ) Φ(a).

Zentraler Grenzwertsatz (in mathematischer Sprechweise fomuliert:)

Zentraler Grenzwertsatz (in mathematischer Sprechweise fomuliert:) Die standardisierte Summe von n unabhängigen, identisch verteilten R-wertigen Zufallsvariablen mit endlicher Varianz konvergiert mit wachsendem n in Verteilung

Zentraler Grenzwertsatz (in mathematischer Sprechweise fomuliert:) Die standardisierte Summe von n unabhängigen, identisch verteilten R-wertigen Zufallsvariablen mit endlicher Varianz konvergiert mit wachsendem n in Verteilung gegen eine standard-normalverteilte Zufallsvariable.

Zentraler Grenzwertsatz (in mathematischer Sprechweise fomuliert:) Die standardisierte Summe von n unabhängigen, identisch verteilten R-wertigen Zufallsvariablen mit endlicher Varianz konvergiert mit wachsendem n in Verteilung gegen eine standard-normalverteilte Zufallsvariable. kurz:... konvergiert in Verteilung gegen N(0,1).

Formal:

Formal: Seien X 1, X 2,... unabhängige und identisch verteilte Zufallsvariable mit endlichem Erwartungswert µ und endlicher Varianz σ 2 > 0. Dann gilt für alle a R

Formal: Seien X 1, X 2,... unabhängige und identisch verteilte Zufallsvariable mit endlichem Erwartungswert µ und endlicher Varianz σ 2 > 0. Dann gilt für alle a R P ( X1 + +X n nµ nσ 2 ) a P(Z a). n

Formal: Seien X 1, X 2,... unabhängige und identisch verteilte Zufallsvariable mit endlichem Erwartungswert µ und endlicher Varianz σ 2 > 0. Dann gilt für alle a R P ( X1 + +X n nµ nσ 2 ) a P(Z a). n Dabei ist Z standard-normalverteilt.

Geschichte des Zentralen Grenzwertsatzes

Abraham de Moivre Der faire Münzwurf (1733)

Pierre-Simon Laplace Allgemeine binomiale Zufallsgrößen (1812)

Pafnuty Lvovich Chebyshev P( X EX > kσ ) 1 k 2 (1846)

Andrei Andreyevich Markov Allgemeiner zentraler Grenzwertsatz

Aleksandr Mikhailovich Lyapunov Noch allgemeiner (1906)

Nehmen wir an, diese Herren hätten sich auf ihre vielen anderen Interessen beschränkt.

Nehmen wir an, diese Herren hätten sich auf ihre vielen anderen Interessen beschränkt. ZENTRALER GRENZWERTSATZ Unbekannt Könnten wir ihn entdecken? Wie kämen wir auf e x2 /2?

Nehmen wir an, diese Herren hätten sich auf ihre vielen anderen Interessen beschränkt. ZENTRALER GRENZWERTSATZ Unbekannt.

Nehmen wir an, diese Herren hätten sich auf ihre vielen anderen Interessen beschränkt. ZENTRALER GRENZWERTSATZ Unbekannt. Könnten wir ihn entdecken?

Nehmen wir an, diese Herren hätten sich auf ihre vielen anderen Interessen beschränkt. ZENTRALER GRENZWERTSATZ Unbekannt. Könnten wir ihn entdecken? Wie kämen wir auf ϕ?

Nehmen wir an, diese Herren hätten sich auf ihre vielen anderen Interessen beschränkt. ZENTRALER GRENZWERTSATZ Unbekannt. Könnten wir ihn entdecken? Wie kämen wir auf ϕ? Warum gerade e x2 /2?

BEISPIEL

BEISPIEL Rundungsfehler bei Addition

In Wirklichkeit π = 3.141592653589793238462643383279502884197169399375105...

In Wirklichkeit π = 3.141592653589793238462643383279502884197169399375105... Im Rechner

In Wirklichkeit π = 3.141592653589793238462643383279502884197169399375105... Im Rechner π 3.14159265358979

MODELL Zahl = Rechnerdarstellung + Rundungsfehler.

MODELL Zahl = Rechnerdarstellung + Rundungsfehler. A = a [R] +εx ε = 10 15

MODELL Zahl = Rechnerdarstellung + Rundungsfehler. A = a [R] +εx ε = 10 15 Annahme: X uniform verteilt auf [ 0.5,0.5].

MODELL Zahl = Rechnerdarstellung + Rundungsfehler. A = a [R] +εx ε = 10 15 Annahme: X uniform verteilt auf [ 0.5,0.5]. ni=1 A i =?

MODELL Zahl = Rechnerdarstellung + Rundungsfehler. A = a [R] +εx ε = 10 15 Annahme: X uniform verteilt auf [ 0.5,0.5]. ni=1 A i =? ni=1 A i = n i=1 a [R] i +ε n i=1 X i

MODELL Zahl = Rechnerdarstellung + Rundungsfehler. A = a [R] +εx ε = 10 15 Annahme: X uniform verteilt auf [ 0.5,0.5]. ni=1 A i =? ni=1 A i = n i=1 a [R] i +ε n i=1 X i Wie groß ist der Fehler?

MODELL Zahl = Rechnerdarstellung + Rundungsfehler. A = a [R] +εx ε = 10 15 Annahme: X uniform verteilt auf [ 0.5,0.5]. ni=1 A i =? ni=1 A i = n i=1 a [R] i +ε n i=1 X i Wie groß ist der Fehler? ni=1 X i?

Empirische Verteilung von S n := X 1 +...+X n

Empirische Verteilung von S n := X 1 +...+X n 100000 Simulationen

Empirische Verteilung von S n := X 1 +...+X n 100000 Simulationen n = 1,2,...,10

Empirische Verteilung von S n := X 1 +...+X n 100000 Simulationen n = 1,2,...,10 n = 15,20,...,100

Dichtefunktion f X der Verteilung von X f X (x) 0.0 0.5 1.0 1.5 2.0 0.5 0.0 0.5 x

Dichtefunktion f X der Verteilung von X f X (x) 0.0 0.5 1.0 1.5 2.0 EX = 0 0.5 0.0 0.5 x

Dichtefunktion f X der Verteilung von X f X (x) 0.0 0.5 1.0 1.5 2.0 EX = xf X (x)dx EX = 0 0.5 0.0 0.5 x

Dichtefunktion f X der Verteilung von X f X (x) 0.0 0.5 1.0 1.5 2.0 EX = 0.5 0.5 EX = 0 xdx 0.5 0.0 0.5 x

Dichtefunktion f X der Verteilung von X f X (x) 0.0 0.5 1.0 1.5 2.0 EX = 1 2 x2 0.5 0.5 EX = 0 0.5 0.0 0.5 x

Dichtefunktion f X der Verteilung von X f X (x) 0.0 0.5 1.0 1.5 2.0 EX = 0 EX = 0 0.5 0.0 0.5 x

Dichtefunktion f X der Verteilung von X f X (x) 0.0 0.5 1.0 1.5 2.0 σ EX = 0 σ = 1 12 0.5 0.0 0.5 x

Dichtefunktion f X der Verteilung von X f X (x) 0.0 0.5 1.0 1.5 2.0 σ σ 2 = E(X EX) 2 EX = 0 σ = 1 12 0.5 0.0 0.5 x

Dichtefunktion f X der Verteilung von X f X (x) 0.0 0.5 1.0 1.5 2.0 σ σ 2 = EX 2 EX = 0 σ = 1 12 0.5 0.0 0.5 x

Dichtefunktion f X der Verteilung von X f X (x) 0.0 0.5 1.0 1.5 2.0 σ σ 2 = x 2 f X (x)dx EX = 0 σ = 1 12 0.5 0.0 0.5 x

Dichtefunktion f X der Verteilung von X f X (x) 0.0 0.5 1.0 1.5 2.0 σ σ 2 = 0.5 0.5 x 2 dx EX = 0 σ = 1 12 0.5 0.0 0.5 x

Dichtefunktion f X der Verteilung von X f X (x) 0.0 0.5 1.0 1.5 2.0 σ σ 2 = 1 3 x3 0.5 0.5 EX = 0 σ = 1 12 0.5 0.0 0.5 x

Dichtefunktion f X der Verteilung von X f X (x) 0.0 0.5 1.0 1.5 2.0 σ σ 2 = 1 12 EX = 0 σ = 1 12 0.5 0.0 0.5 x

Dichtefunktion f X der Verteilung von X f X (x) 0.0 0.5 1.0 1.5 2.0 σ EX σ 0.5 0.0 0.5 x

Dichtefunktion f X der Verteilung von X f X (x) 0.0 0.5 1.0 1.5 2.0 Aus dieser Verteilung wird 100000-mal eine Stichprobe vom Umfang n gezogen. σ EX σ 0.5 0.0 0.5 x

0.6 0.4 0.2 0.0 0.2 0.4 0.6 Anzahl Simulationen (aus 100000) 0 1000 2000 3000 4000 5000 123456789123456789Verteilung von S 1 = X 1 (n = 1)1234567891234567 Sn

1.0 0.5 0.0 0.5 1.0 Anzahl Simulationen (aus 100000) 0 2000 4000 6000 8000 56789123456789Verteilung von Sn = X 1 + +Xn (n = 2)12345678912 Sn

1.5 1.0 0.5 0.0 0.5 1.0 1.5 Anzahl Simulationen (aus 100000) 0 5000 10000 15000 123456789123456789Verteilung von Sn (n = 3)123456789123456789 Sn

2 1 0 1 2 Anzahl Simulationen (aus 100000) 0 2000 4000 6000 8000 10000 12000 89123456789123456789Verteilung von Sn (n = 4)123456789123456789 Sn

2 1 0 1 2 Anzahl Simulationen (aus 100000) 0 2000 4000 6000 8000 10000 12000 89123456789123456789Verteilung von Sn (n = 5)123456789123456789 Sn

3 2 1 0 1 2 3 Anzahl Simulationen (aus 100000) 0 5000 10000 15000 20000 25000 89123456789123456789Verteilung von Sn (n = 6)123456789123456789 Sn

3 2 1 0 1 2 3 Anzahl Simulationen (aus 100000) 0 5000 10000 15000 20000 25000 89123456789123456789Verteilung von Sn (n = 7)123456789123456789 Sn

4 2 0 2 4 Anzahl Simulationen (aus 100000) 0 5000 10000 15000 20000 89123456789123456789Verteilung von Sn (n = 8)123456789123456789 Sn

4 2 0 2 4 Anzahl Simulationen (aus 100000) 0 5000 10000 15000 20000 9123456789123456789Bisher: dynamische Skalierung1234567891234567 Sn

4 2 0 2 4 Anzahl Simulationen (aus 100000) 0 5000 10000 15000 20000 6789123456789123456789Jetzt: feste Skalierung12345678912345678912 Sn

15 10 5 0 5 10 15 Anzahl Simulationen (aus 100000) 0 5000 10000 15000 89123456789123456789Verteilung von Sn (n = 15)123456789123456789 Sn

4 2 0 2 4 z Anzahl Simulationen (aus 100000) 0 2000 4000 6000 8000 123456789Standardisierung: Zn := (Sn ESn)/σ S n (n = 1)1234567

Die Verteilung von Z n scheint zu konvergieren.

Die Verteilung von Z n scheint zu konvergieren. Welche Form hat die Grenzverteilung?

Die Verteilung von Z 100 ist glockenförmig.

Die Verteilung von Z 100 ist glockenförmig. Welche Glocke?

Glücklicher Einfall:

Glücklicher Einfall: Zwei unabhängige Kopien (U,V) = (Z 100,Z 100 )

Glücklicher Einfall: Zwei unabhängige Kopien (U,V) = (Z 100,Z 100 ) Wie sieht die gemeinsame Verteilung von U und V aus?

4567891234567891234567891000 Simulationen1234567891234567891234 V = Z 100 4 2 0 2 4 4 2 0 2 4 U = Z 100

89123456789Die Verteilung von (U,V) ist rotationssymmetrisch!123456789 V = Z 100 4 2 0 2 4 4 2 0 2 4 U = Z 100

Behauptung: Aus U und V unabhängig und Verteilung von (U,V) rotationssymmetrisch

Behauptung: Aus U und V unabhängig und Verteilung von (U,V) rotationssymmetrisch folgt, dass U und V normalverteilt sind:

Behauptung: Aus U und V unabhängig und Verteilung von (U,V) rotationssymmetrisch folgt, dass U und V normalverteilt sind: f U (x) = f V (x) = 1 σ 2π e x2 /(2σ 2 )

Denn: U, V unabhängig bedeutet:

Denn: U, V unabhängig bedeutet: f (U,V) (a,b) = f U (a)f V (b)

Denn: U, V unabhängig bedeutet: f (U,V) (a,b) = f U (a)f V (b) f (U,V) rotationssymmetrisch heißt: es existiert ein g mit

Denn: U, V unabhängig bedeutet: f (U,V) (a,b) = f U (a)f V (b) f (U,V) rotationssymmetrisch heißt: es existiert ein g mit f (U,V) (a,b) = g(r) r := a 2 +b 2

Denn: U, V unabhängig bedeutet: f (U,V) (a,b) = f U (a)f V (b) f (U,V) rotationssymmetrisch heißt: es existiert ein g mit f (U,V) (a,b) = g(r) r := a 2 +b 2 Mit f U = f V =: h folgt

Denn: U, V unabhängig bedeutet: f (U,V) (a,b) = f U (a)f V (b) f (U,V) rotationssymmetrisch heißt: es existiert ein g mit f (U,V) (a,b) = g(r) r := a 2 +b 2 Mit f U = f V =: h folgt g(r) = h(a)h(b)

g(r) = h(a)h(b) g(r) = c h(r) (c := h(0)))

g(r) = h(a)h(b) g(r) = c h(r) (c := h(0))) ch( a 2 +b 2 ) = h(a)h(b)

g(r) = h(a)h(b) g(r) = c h(r) (c := h(0))) ch( a 2 +b 2 ) = h(a)h(b) Eine Lösung:

g(r) = h(a)h(b) g(r) = c h(r) (c := h(0))) ch( a 2 +b 2 ) = h(a)h(b) Eine Lösung: h(x) = e x2

g(r) = h(a)h(b) g(r) = c h(r) (c := h(0))) ch( a 2 +b 2 ) = h(a)h(b) Eine Lösung: h(x) = e x2 e (a2 +b 2) = e a2 e b2

Allgemeine Lösung (logarithmieren; nach a ableiten) h(x) = k 1 e k 2x 2

Allgemeine Lösung (logarithmieren; nach a ableiten) h(x) = k 1 e k 2x 2 Nebenbedingungen:

Allgemeine Lösung (logarithmieren; nach a ableiten) h(x) = k 1 e k 2x 2 Nebenbedingungen: P( U R ) = h(x)dx = 1

Allgemeine Lösung (logarithmieren; nach a ableiten) h(x) = k 1 e k 2x 2 Nebenbedingungen: P( U R ) = h(x)dx = 1 σ 2 U = x 2 h(x)dx = 1

Allgemeine Lösung (logarithmieren; nach a ableiten) h(x) = k 1 e k 2x 2 Nebenbedingungen: P( U R ) = h(x)dx = 1 σ 2 U = x 2 h(x)dx = 1 h(x) = 1 2π e x2 /2

FAZIT Der Zentrale Grenzwertsatz lässt sich erraten

FAZIT Der Zentrale Grenzwertsatz lässt sich erraten (in konkreten Fällen,

FAZIT Der Zentrale Grenzwertsatz lässt sich erraten (in konkreten Fällen, mit etwas Glück).

Bei unserer Entdeckungsreise zum Zentralen Grenzwertsatz hatten wir die (Beinahe-) Rotationssymmetrie der Verteilung von (Z n,z n ) aus den Simulationen abgelesen. Diese lässt sich aber auch konzeptionell begründen, wenn man die Existenz (irgend-) einer Grenzverteilung im ZGS unterstellt. Aufgabe: Endecken Sie die Rotationssymmetrie der Grenzverteilung von (Z n,z n ) (und damit die Gaußsche Glockenkurve) nochmal, indem Sie (ohne Rückgriff auf den ZGS) Folgendes begründen:

Falls für unabhängige, identisch verteilte X 1,X 2,... mit E[X i ] = 0, E[X 2 i ] = 1 die Folge 1 n (X 1 + +X n ) in Verteilung konvergiert, dann hat die Grenzverteilung ν die folgende Eigenschaft:

Falls für unabhängige, identisch verteilte X 1,X 2,... mit E[X i ] = 0, E[X 2 i ] = 1 die Folge 1 n (X 1 + +X n ) in Verteilung konvergiert, dann hat die Grenzverteilung ν die folgende Eigenschaft: Sind Z und Z unabhängig mit Verteilung ν, und sind α und β positive Zahlen mit α 2 +β 2 = 1, dann hat auch αz+βz die Verteilung ν.

Der Münzwurf passt in den Zentralen Grenzwertsatz:

Der Münzwurf passt in den Zentralen Grenzwertsatz: Seien X 1, X 2,... unabhängige und identisch verteilte Zufallsvariable mit endlichem Erwartungswert µ und endlicher Varianz σ 2 > 0. Dann gilt für alle l < r R

Der Münzwurf passt in den Zentralen Grenzwertsatz: Seien X 1, X 2,... unabhängige und identisch verteilte Zufallsvariable mit endlichem Erwartungswert µ und endlicher Varianz σ 2 > 0. Dann gilt für alle l < r R P ( X1 + +X n nµ nσ 2 ) [l,r] P(Z [l,r]). n

Der Münzwurf passt in den Zentralen Grenzwertsatz: Seien X 1, X 2,... unabhängige und identisch verteilte Zufallsvariable mit endlichem Erwartungswert µ und endlicher Varianz σ 2 > 0. Dann gilt für alle l < r R P ( X1 + +X n nµ nσ 2 ) [l,r] P(Z [l,r]). n Dabei ist Z standard-normalverteilt.

Der Münzwurf passt in den Zentralen Grenzwertsatz: Seien X 1, X 2,... unabhängige und identisch verteilte Zufallsvariable mit endlichem Erwartungswert µ und endlicher Varianz σ 2 > 0. Dann gilt für alle l < r R P ( X1 + +X n nµ nσ 2 ) [l,r] P(Z [l,r]). n Dabei ist Z standard-normalverteilt. Mit µ = p und σ 2 = pq ergibt sich der alte Satz von de Moivre und Laplace.

Das passt zur Approximation der Binomialgewichte ( n )p k q n k 1 σ ϕ ( k µ k σ ) k+ 1 2 1 σ ϕ ( x µ σ ) dx, k 1 2 mit µ := np, σ := npq

Das passt zur Approximation der Binomialgewichte ( n )p k q n k 1 σ ϕ ( k µ k σ ) k+ 1 2 1 σ ϕ ( x µ σ ) dx, k 1 2 mit µ := np, σ := npq P(k 1 X k 2 ) = k 2 + 1 2 k 1 1 2 1 σ ϕ ( x µ σ ) dx = (k 2 + 1 2 µ)/σ (k 1 1 2 µ)/σ ϕ(z)dz

Hier ist noch einmal die (im ZGS präzisierte) Botschaft der Stunde:

Hier ist noch einmal die (im ZGS präzisierte) Botschaft der Stunde: Summen (und Mittelwerte) von vielen unabhängigen, identisch verteilten ZV mit endlicher Varianz sind annähernd normalverteilt.

Hier ist noch einmal die (im ZGS präzisierte) Botschaft der Stunde: Summen (und Mittelwerte) von vielen unabhängigen, identisch verteilten ZV mit endlicher Varianz sind annähernd normalverteilt. Diese Aussage bleibt übrigens auch unter schwächeren Bedingungen bestehen,

Hier ist noch einmal die (im ZGS präzisierte) Botschaft der Stunde: Summen (und Mittelwerte) von vielen unabhängigen, identisch verteilten ZV mit endlicher Varianz sind annähernd normalverteilt. Diese Aussage bleibt übrigens auch unter schwächeren Bedingungen bestehen, sowohl was die Unabhängigkeit, als auch was die identische Verteiltheit betrifft.

Für unabhängige, identisch verteilte ZV e X 1,X 2,... mit Erwartungswert µ und endlicher Varianz σ 2 bekommen wir aus dem Zentralen Grenzwertsatz: Für große n ist der Mittelwert X 1+ +X n n annähernd normalverteilt mit Erwartungswert µ und Standardabweichung σ n. Daraus folgt insbesondere, dass für große n die Verteilung von X 1+ +X n n in der Nähe von µ konzentriert ist: P( X 1 + +X n n µ ε ) 0 für n

Das Schwache Gesetz der großen Zahlen P( X 1 + +X n n µ ε ) 0 für n gilt sogar für jede Folge von paarweise unkorrelierten Zufallsvariablen mit ein- und demselben Erwartungswert µ und ein-und derselben Varianz σ 2. Dahinter steckt, dass der Erwartungswert von X 1+ +X n n gleich µ bleibt und seine Standardabweichung klein wird, nämlich σ n.

Den (einfachen) Beweis des Schwachen Gesetzes der Großen Zahlen bereiten wir vor durch zwei einfache Ungleichungen: die Markov-Ungleichung und die Chebyshev-Ungleichung.

Markov-Ungleichung: Für jede Zufallsvariable X 0 und jedes ε > 0 gilt P(X ε) 1 ε E[X].

Markov-Ungleichung: Für jede Zufallsvariable X 0 und jedes ε > 0 gilt P(X ε) 1 ε E[X]. Beweis: Es gilt εi {X ε} = ε1 [ε, ] (X) X.

Markov-Ungleichung: Für jede Zufallsvariable X 0 und jedes ε > 0 gilt P(X ε) 1 ε E[X]. Beweis: Es gilt εi {X ε} = ε1 [ε, ] (X) X. Mit der Monotonie des Erwartungswertes folgt die Behauptung.

Chebyshev-Ungleichung: Für eine reellwertige Zufallsvariable X mit endlichem Erwartungswert gilt für beliebiges ε > 0 P ( X E[X] ε ) 1 ε 2 Var[X]

Chebyshev-Ungleichung: Für eine reellwertige Zufallsvariable X mit endlichem Erwartungswert gilt für beliebiges ε > 0 P ( X E[X] ε ) 1 ε 2 Var[X] Beweis: Markov-Ungleichung angewandt auf Y = (X E[X]) 2 : P ( X E[X] ε ) = P(Y ε 2 ) ε 2 E[Y] = ε 2 Var[X].

Schwaches Gesetz der Großen Zahlen (Buch S. 74) Die Zufallsvariablen X 1,X 2,... seien reellwertig, identisch verteilt mit endlichem Erwartungswert µ und endlicher Varianz, und sie seien unkorreliert. Dann gilt für alle ε > 0 ( lim n P X 1 + +X n n µ ε ) = 0.

Beweis: Gemäß Voraussetzung gilt [ ] X E 1 + +X n = E[X 1]+ +E[X n ] = µ, n n [ ] X Var 1 + +X n = Var[X 1]+ +Var[X n ] n n 2 = Var[X 1]. n

Beweis: Gemäß Voraussetzung gilt [ ] X E 1 + +X n = E[X 1]+ +E[X n ] = µ, n n [ ] X Var 1 + +X n = Var[X 1]+ +Var[X n ] n n 2 = Var[X 1] n. Die Chebyshev-Ungleichung, angewandt auf (X 1 + +X n )/n ergibt ( X P 1 + +X n n ) µ ε Var[X 1] ε 2 n.

Beweis: Gemäß Voraussetzung gilt [ ] X E 1 + +X n = E[X 1]+ +E[X n ] = µ, n n [ ] X Var 1 + +X n = Var[X 1]+ +Var[X n ] n n 2 = Var[X 1] n. Die Chebyshev-Ungleichung, angewandt auf (X 1 + +X n )/n ergibt ( X P 1 + +X n n ) µ ε Var[X 1] ε 2 n. Die Behauptung folgt nun mit n.

Im Schwache Gesetz der Großen Zahlen treffen wir auf die sogenannte stochastische Konvergenz von Zufallsvariablen:

Im Schwache Gesetz der Großen Zahlen treffen wir auf die sogenannte stochastische Konvergenz von Zufallsvariablen: Definition: Seien Y,Y 1,Y 2,... Zufallsvariable. Man sagt

Im Schwache Gesetz der Großen Zahlen treffen wir auf die sogenannte stochastische Konvergenz von Zufallsvariablen: Definition: Seien Y,Y 1,Y 2,... Zufallsvariable. Man sagt Y n konvergiert für n stochastisch gegen Y, wenn für alle ε > 0 gilt: P( Y n Y > ε) n 0

Das Schwache Gesetz kompakt formuliert: Unter den angegebenen Voraussetzungen (paarweise Unkorreliertheit, gleicher Erwartungswert, gleiche Varianz) konvergiert die Folge der Stichprobenmittel stochastisch gegen den Erwartungswert.

Ein Wiedersehen von ein paar früheren Folien: Eine faire Münze wird dreimal geworfen. X:= Anzahl der Erfolge. Wie erlebt man den Erwartungswert?

Ein Wiedersehen von ein paar früheren Folien: Eine faire Münze wird dreimal geworfen. X:= Anzahl der Erfolge. Wie erlebt man den Erwartungswert? Durch wiederholtes Werfen der drei Münzen!

12345678912345678980 Wiederholungen: X 1,X 2,...,X 80 123456789123456 Xn 0 1 2 3 0 20 40 60 80 n

123456789123456789M n := (X 1 +X 2 +...+X n )/n12345678912345678 Xn 0 1 2 3 0 20 40 60 80 n

123456789123456789M n := (X 1 +X 2 +...+X n )/n12345678912345678 Xn 0 1 2 3 0 200 400 600 800 n

123456789123456789M n := (X 1 +X 2 +...+X n )/n12345678912345678 Xn 0 1 2 3 0 2000 4000 6000 8000 n

123456789123456789123456789M n E[X]123456789123456789123456 Xn 0 1 2 3 0 2000 4000 6000 8000 n

Das Schwache Gesetz der Großen Zahlen wurde von Jacob Bernoulli im Münzwurfmodell endeckt.

Ergänzung Zum Schätzen von Mittelwerten

Eine große Population von Werten w 1,...,w g ist auf der Zahlengeraden verteilt.

Eine große Population von Werten w 1,...,w g ist auf der Zahlengeraden verteilt. Man interessiert sich für den Populationsmittelwert: µ := 1 g g w j. j=1

Zur Verfügung stehen die Werte einer rein zufällig aus der Population gezogene Stichprobe x 1,...,x n

Zur Verfügung stehen die Werte einer rein zufällig aus der Population gezogene Stichprobe x 1,...,x n m := 1 n (x 1 +...+x n ) ist ein Schätzwert für µ.

Wie zuverlässig ist diese Schätzung?

Wie zuverlässig ist diese Schätzung? Das hängt ab von der Streuung der Werte w j in der Population

Wie zuverlässig ist diese Schätzung? Das hängt ab von der Streuung der Werte w j in der Population und von der Größe n der Stichprobe.

Goldene Idee der Statistik: Man fasst x 1,...,x n auf als Ergebnis eines (rein) zufälligen Ziehens aus der Population:

Goldene Idee der Statistik: Man fasst x 1,...,x n auf als Ergebnis eines (rein) zufälligen Ziehens aus der Population: X 1 := w J1,X 2 := w J2,... mit J 1,J 2,... rein zufällige Wahl aus {1,...,g}.

Ein Maß für die Variabilität in der Population ist σ 2 := 1 g g (w j µ) 2 j=1

Ein Maß für die Variabilität in der Population ist σ 2 := 1 g g (w j µ) 2 j=1 Stellen wir uns vor: X 1,X 2,... unabhängig und identisch verteilt mit Erwartungswert µ und Varianz σ 2

m = 1 n (x 1 +...+x n ) fasst man auf als eine Realisierung (einen Ausgang) der Zufallsvariable X := 1 n (X 1 +...+X n )

m = 1 n (x 1 +...+x n ) fasst man auf als eine Realisierung (einen Ausgang) der Zufallsvariable X := 1 n (X 1 +...+X n ) Wie ist X verteilt?

Wie ist X verteilt? Der Zentrale Grenzwertsatz gibt eine Antwort:

Wie ist X verteilt? Der Zentrale Grenzwertsatz gibt eine Antwort: X ist approximativ N(µ, σ2 n )-verteilt.

Ein Problem in der Praxis: Man kennt σ 2 nicht. Auch σ 2 muss man schätzen. Zwei Vorschläge: s 2 := 1 n 1 n (x i m) 2 i=1 ^σ 2 := 1 n n (x i m) 2. i=1