Wirtschaftswissenschaftliches Zentrum 0 Universität Basel Mathematik Dr. Thomas Zehrt Grenzwertsätze Benötigtes Vorwissen: Der Stoff der Vorlesung,,Statistik wird als bekannt vorausgesetzt, insbesondere Kapitel 8,,Zufallsvariablen und Kapitel 0,,Ausblick Inhaltsverzeichnis Stochastische Konvergenz Grenzwertsätze 4. Das Gesetz der grossen Zahlen......................... 4. Der Satz von Bernoulli............................. 6.3 Der zentrale Grenzwertsatz........................... 8 3 Approximationen der Binomialverteilung 3 3. Grenzwertsatz von de Moivre und Laplace.................. 4 3. Poissonscher Grenzwertsatz.......................... 6 4 Übungsaufgaben 7
Stochastische Konvergenz Sei (X i ) i N = X, X, X 3... eine Folge von Zufallsvariablen, die zugehörigen Verteilungsfunktionen seien mit F i = F i (t) bezeichnet. Definition. Eine Folge (X i ) i N von Zufallsvariablen konvergiert stochastisch gegen die reelle Zahl a, wenn für beliebige c > 0 die folgende Beziehung gilt: Äquivalent dazu: lim P ( X i a c) = 0. i lim P ( X i a < c) = i Das ist keine Konvergenz im klassischen Sinne und es bedeutet auch nicht, dass X i gegen a konvergiert. Die zweite Relation könnten wir wie folgt deuten: Für grosse i sind die Werte von X i mit grosser Wahrscheinlichkeit nahe (Abstand kleiner als c) beim Wert a. Wir wollen nun untersuchen, was die stochastische Konvergenz für die zugehörigen Verteilungsfunktionen bedeutet. Sei also (X i ) i N eine Folge von Zufallsvariablen mit Das bedeutet für jedes c > 0:.. lim P ( X i a c) = 0. i 0 = lim i P (X i a c) = lim i P (X i a c) = lim i F i (a c) Für alle c > 0 gilt somit: 0 = lim P (X i a c) i = lim ( P (X i < a + c)) i = lim F i (a + c) lim P (X i = a + c) i i }{{} =0 lim i F i(a c) = 0 und lim i F i (a + c) =
3 Satz Eine Folge von Zufallsvariablen konvergiert genau dann stochastisch gegen a, wenn die Folge (F i (t)) i N ihrer Verteilungsfunktionen (in jeder Stetigkeitsstelle) gegen die Verteilungsfunktion einer Einpunktverteilung konvergiert. F i (a+c) i 8 F i (a c) i 8 a c a a+c Links von a, also an der Stelle a c, gilt lim i F i (a c) = 0 und rechts von a, also an der Stelle a + c, gilt lim i F i (a + c) =.
4 Grenzwertsätze. Das Gesetz der grossen Zahlen Sei (X i ) i N eine Folge unabhängiger und identisch verteilter Zufallsvariablen mit E(X i ) = µ und V ar(x i ) = σ. Für das arithmetische Mittel X n = n X i = n (X + X +... + X n ) von den ersten n dieser Zufallsvariablen gilt E(X n ) = µ und V ar(x n ) = σ n Mit der Tschebyschevungleichung folgt dann sofort P ( X n µ < c ) V ar(x n) c = σ n c Für festes c 0 strebt die rechte Seite für n gegen. Satz (Gesetz der grossen Zahlen) Sei (X i ) i N eine Folge unabhängiger und identisch verteilter Zufallsvariablen mit E(X i ) = µ und V ar(x i ) = σ. Für das arithmetische Mittel X n = n n X i von den ersten n dieser Zufallsvariablen gilt dann lim P ( X n µ < c ) = n d.h. die Folge (X n ) n N konvergiert stochastisch gegen µ. Ist n nur gross genug, so unterscheiden sich X n und µ mit hoher Wahrscheinlichkeit nur um einen (kleinen) Wert < c. Oder: Für grosse n gilt mit hoher Wahrscheinlichkeit µ c < n (X + X +... + X n ) < µ + c.
5 Beispiel. Die historischen Lottozahlen der letzten 5 Jahre (30 Ausspielungen) aus Deutschland (7 aus 49) zeigen das Gesetz der grossen Zahlen sehr anschaulich. 3 4 5 6 7 87 94 94 78 76 87 75 8 9 0 3 4 97 0 73 75 80 57 8 5 6 7 8 9 0 7 80 90 83 9 8 00 3 4 5 6 7 8 9 86 77 96 00 80 67 9 30 3 3 33 34 35 86 8 99 89 75 83 36 37 38 39 40 4 4 99 75 99 99 95 83 8 43 44 45 46 47 48 49 89 8 88 9 75 95 07 Jeden Samstag wurden sieben Kugeln (einschliesslich Zusatzzahl) gezogen, es liegt somit ein sehr grosser Stichprobenumfang von n = 7 30 = 94 vor. Genau genommen sind die Ziehungen an einem Tag weder unabhängig noch identisch verteilt, aber wir wollen annehmen, dass beides fast stimmt. Das arithmetische Mittel der gezogenen Lottozahlen beträgt X 94 = ( 87 + 94 +... + 49 07) = 5. 94 V ar(x 94 ) = 00.65 Die (idealisierte) Wahrscheinlichkeitsverteilung ist die diskrete Gleichverteilung (auf den 49 Zahlen) mit Erwartungswert und Varianz µ = 49 i 49 = 50 = 5 V ar = 49 = 00
6. Der Satz von Bernoulli Der folgende Satz ist ein Spezialfall des Gesetzes der grossen Zahlen. Wir starten also mit eine speziellen Folge unabhängiger und identisch verteilter Zufallsvariablen. Sei A irgend ein Ereignis eines (beliebig oft wiederholbaren) Zufallsexperimentes, welches mit der Wahrscheinlichkeit p = p(a) eintritt und jedes X i sei Null-Eins-verteilt, d.h. X i = { ( Ereignis A tritt ein im i-ten Versuch) mit P (Xi = ) = p 0 ( Ereignis A tritt nicht ein im i-ten Versuch) mit P (X i = 0) = p Dann gilt E(X i ) = p = µ und V ar(x i ) = p( p) = σ. Die Zufallsvariable X n = n X i stellt hier die relative Häufigkeit des Ereignisses A bei n unabhängigen Wiederholungen dar. Mit der Tschebyschevungleichung folgt wieder P ( X n p < c ) lim P ( X n p < c ) = n Für grosse n gilt mit hoher Wahrscheinlichkeit p( p) n c p(a) c < n (X + X +... + X n ) < p(a) + c. Satz 3 (Satz von Bernoulli) Die relative Häufigkeit eines zufälligen Ereignisses A in n unabhängigen Wiederholungen konvergiert stochastisch gegen die Wahrscheinlichkeit p = p(a) des Ereignisses A.
7 Anwendung: Schätzen von p = p(a) durch die relative Häufigkeit X n gegeben: c > 0 und Irrtumswahrscheinlichkeit α (Sicherheitswahrscheinlichkeit α) gesucht: Wie gross muss n gewählt werden, so dass P ( X n p < c ) α Lösung: p( p) P ( X n p < c ) /4 n c n c α } {{} Auflösen nach n Die erste Ungleichung ist die Tschebyschevungleichung. Die zweite Ungleichung folgt aus der Feststellung, dass die quadratische Funktion g(p) = p( p) = p + p in p = / ihr globales Maximum annimmt. Auflösen nach der Variablen n liefert uns dann eine Abschätzung der nötigen Stichprobengrösse: n 4 α c. Aufgabe. Eine (eventuell nichtfaire) Münze soll n-mal geworfen werden, so dass die relative Häufigkeit für das Ereignis A =,,Kopf mit 98%-iger Wahrscheinlichkeit um weniger als 0. von p = p(a) abweicht. Wie gross muss n mindestens sein? Lösung:
8.3 Der zentrale Grenzwertsatz Der zentrale Grenzwertsatz gibt einen Grund für die herausragende Rolle der Normalverteilung, denn er charakterisiert diese als Grenzverteilung von (additiven) Überlagerungen von vielen unabhängigen zufälligen Einzeleffekten. Sei X, X,... eine (unendliche) Folge von identisch verteilten und unabhängigen Zufallsvariablen mit µ = E(X i ) und σ = V ar(x i ). Wir betrachten: S n = X i = X + X +... + X n Für den Erwartungswert und die Varianz von S n folgt: ( ) E(S n ) = E X i = E(X i ) = n µ V ar(s n ) = V ar ( X i ) Diese Zufallsvariablen werden nun standardisiert: Y n = S n E(S n ) = S n n µ V ar(sn ). n σ Y n heisst auch die standardisierte Summe der X, X,... X n. Satz 4 (Zentraler Grenzwertsatz) = V ar(x i ) = n σ lim P (Y n y) = Φ(y) = y n π e t dt wobei Φ die Verteilungsfunktion der Standardnormalverteilung N(0, ) ist. Ist eine zufällige Erscheinung additiv aus (möglichts vielen) unabhängigen zufälligen Ereignissen zusammengesetz, so können Wahrscheinlichkeiten näherungsweise mit der Funktion Φ bestimmt werden. Merken sie sich: S n = X i N(n µ, n σ ) für n gross X n = n X i N(µ, σ /n) für n gross Y n = X i n µ n σ N(0, ) für n gross
9 Beispiel. Experiment: n-maliger Münzwurf Dann gilt Ω = {(ω, ω,..., ω n ) : ω i {K, Z}} mit der Gleichverteilung. Sei { 0 beim i-ten Wurf Kopf X i = beim i-ten Wurf Zahl Alle diese Zufallsvariablen sind unabhängig und gleichverteilt; es gilt E(X i ) = und V ar(x i ) =. Jedes X 4 i hat die Verteilung {( ( 0, ),, )} Nun addieren wir die Zufallsvariablen:. S = X Verteilung: {( ( )} 0, ),,. S = X + X, Verteilung: {( ( ) ( )} 0, 4),, 4,, 4 3. S 3 = X + X + X 3, Verteilung: {( 0, 8), (, 3 8 ), (, 3 8 ) ( )}, 3, 8
0 4. S 0 = X +... + X 0, Verteilung: {( 0, 0 ), (, 0 0 ),..., ( 0, 0 )} 5. S 50 = X +... + X 50, Verteilung: Satz 5 Die Verteilung für S n = X i ist gegeben durch { ( 0, ) (, (, n ),..., k, n n ( ) n k) n,..., (n, ) } n
Nun betrachten wir die zugehörigen normalisierten Zufallsvariablen: Y n = S n n n = X i n n n 4 z.b. hat Y dann die Verteilung: {( ( ) ( )}, 4), 0, 4,, 4 Satz 6 Die Verteilung der Zufallsvariablen Y n = { ( 0 n n und für n gilt Y n N(0, ), ) ( k n,..., n n n n X i n n ist gegeben durch ( ) n (, k) n n,..., n, ) } n
Beispiel.3 Eine Theorie behauptet, dass die Entwicklung von Aktienkursen auf (informationseffizienten) Märkten einem Random-Walk folgt: k t+ }{{} Kurs morgen = k t }{{} Kurs heute +ɛ t+ wobei die Kursänderungen ɛ t+ = k t+ k t Zufallsvariablen sind mit E(ɛ i ) = 0 und V ar(ɛ i ) = σ. Monatliche Kursänderung: ɛ t+ + ɛ t+ +... + ɛ t+n (z.b. n = 5 Handelstage pro Monat) Zentraler Grenzwertsatz: 5 ɛ t+i,, N(0, 5σ ) (die monatliche Kursänderung ist ungefähr normalverteilt mit dem Erwartungswert 0 und der 5-fachen Varianz 5σ ) Schlussfolgerungen aus der Random-Walktheorie Jede Kursprognose, die sich auf die vergangene Kursentwicklung stützt (z.b. die Charttechnik) ist unmöglich. Einzige akzeptable Prognose: Der Kurs bleibt wie er ist!
3 3 Approximationen der Binomialverteilung In der Praxis muss man häufig Wahrscheinlichkeiten von binomialverteilten Zufallsvariablen X B(n; p) für grosse n bestimmen. Das ist sehr aufwändig. Hier helfen Approximationen der Binomialverteilung durch Standardverteilungen. Wir wissen bereits, dass binomialverteilte Zufallsvariablen Summen von identisch zweipunktverteilten und unabhängigen Zufallsvariablen sind. Der zentrale Grenzwertsatz liefert uns somit eine Approximationsmöglichkeit mit Hilfe einer Normalverteilung und vernünftigerweise sollte man die (eindeutig bestimmte) Normalverteilung nutzen, die den selben Erwartungswert und die selbe Varianz wie X hat, d.h. µ = np und σ = np( p). Für n wäre diese Approximation (immer) perfekt. Natürlich ist das n stets endlich und die Qualität der Approximation hängt ganz entscheidend auch von p ab. Das ist leicht zu verstehen, denn zunächst einmal sind alle Glockenkurven symmetrisch (zur Achse x = µ). Dagegen haben nur die Binomialverteilungen mit p = / eine ähnliche Symmetrie. Für sehr kleine (oder sehr grosse) Werte von p (und relativ kleine Werte n) liefert diese Approximation meist keine guten Resultate. Hier greift man auf eine Approximation durch eine Poissonverteilung zurück. B(n;p) n p ( p) > 9 p < 0. und n > 00 N( np, np( p) ) Po( np )
4 3. Grenzwertsatz von de Moivre und Laplace Satz 7 (Grenzwertsatz von de Moivre und Laplace) Sei X B(n; p) eine binomialverteilte Zufallsvariable, µ = np und σ = np( p). Dann gilt f Bi (x; n, p) P (a X b) ( φ x; np, ) np( p) ( ) ( ) b µ + 0.5 a µ 0.5 Φ Φ σ σ mit hinreichender Genauigkeit, falls n p ( p) > 9 gilt. Beispiel 3. n = 0 und p = 0.5 µ = n p = 5 und σ = n p ( p).58 In der Skizze sehen Sie die Binomialverteilung f Bi (x; 0, 0.5) (als rotes Stabdiagramm) und die (blaue) Glockenkurve φ(x; 5,.58): n = 0 und p = 0.5 µ = n p =.5 und σ = n p ( p).37 In der Skizze sehen Sie die Binomialverteilung f Bi (x; 0, 0.5) (als rotes Stabdiagramm) und die (blaue) Glockenkurve φ(x;.5,.37):
5 Aufgabe 3. Bestimmen Sie approximativ die Zahl P = 50 k=00 ( ) ( ) k ( ) 000 k 000 5. k 6 6 Lösung: P ( ) ( ) 50 66.67 + 0.5 00 66.67 0.5 Φ Φ.78.78 = 0.085 = Φ(.37) Φ( 5.70)
6 3. Poissonscher Grenzwertsatz Satz 8 Für eine Folge von binomialverteilten Zufallsvariablen X n B(n; p) wobei p = p(n) mit n p(n) = λ (d.h. zu grossen n gehören kleine p) gilt für alle k = 0,,,...: lim P (X n = k) = lim n n ( ) n p k ( p) n k = λk k k! e λ Beweis: Wir setzten n p = λ bzw. p = λ n und erhalten lim n ( ) n p k ( p) n k = lim k n ( n k ) ( λ n ) k ( λ ) n ( λ ) k n n Für den dritten und vierten Faktor gilt sicher: ( lim λ ) n n n = e λ Weiterhin: lim n ( n k ) ( λ n Zusammen folgt die Behauptung. lim n ) k = lim n = λk k! = λk k! = λk k! ( λ n) k = n! k!(n k)! lim n lim n λ k n k n! (n k)! n k n (n ) (n ) (n k + ) n n n n In der Praxis verwendet man diesen Grenzwertsatz zur näherungsweisen Berechnung der Einzelwahrscheinlichkeiten der Binomialverteilung bei grossem n und kleinem p. Praktische Approximationsregel Für grosse n und kleine p gilt für λ = n p f Bi (x; n, p) = ( ) n p k ( p) n k k λk k! e λ
7 4 Übungsaufgaben. X,..., X n seien unabhängige, identisch verteilte Zufallsvariablen mit Erwartungswert µ und Varianz σ. Wir betrachten die Zufallsvariablen X = n Z i = X i µ σ X i für i =,,... n. (a) Bestimmen Sie (nochmals) den Erwartungswert von X. (b) Bestimmen Sie (nochmals) die Varianz von X. (c) Bestimmen Sie den Erwartungswert von Z i. (d) Bestimmen Sie die Varianz von Z i.. Ein Zufallsexperiment, in dem ein Ereignis A mit Wahrscheinlichkeit p = 0.5 eintritt, wird n-mal wiederholt. Wie gross muss n sein, so dass mit Wahrscheinlichkeit α = 0.99 (Sicherheitswahrscheinlichkeit) die absolute Abweichung der relativen Häufigkeit X n von p höchstens 0. ist? 3. Bestimmen Sie approximativ die Zahlen P = P = P 3 = 00 ( ) ( ) k ( ) 500 k 500 3, k 4 4 k=0 0 ( ) ( ) k ( ) 500 k 500 3, k 4 4 k=00 60 ( ) ( ) k ( ) 500 k 500 3. k 4 4 k=0 4. Die Wahrscheinlichkeit, dass ein Brennelement in einem Kernreaktor den Bedingungen einer Qualitätsprüfung nicht genügt, beträgt p = 0.000. Wie gross ist die Wahrscheinlichkeit, dass höchstens von 5000, genau eins von 000 bzw. keines von 00 dieser Brennelemente die Qualitätsbedingungen nicht erfüllen? Rechnen Sie exakt und mit Hilfe der Poissonapproximation. 5. Seien X, X,... unabhängige und identisch (zweipunkt)verteilte Zufallsvariablen mit { 0 mit P (Xi = 0) = /3 X i = mit P (X i = ) = /3 und sei S n = X n = X + X +... + X n. (a) Bestimmen Sie die Verteilung der Zufallsvariablen S 3. (b) Bestimmen Sie Erwartungswert und Varianz der Zufallsvariablen S n. (c) Was kann man über die Verteilung der Zufallsvariablen S n für sehr grosse n aussagen? Begründung!
8 Lösungen einiger Übungsaufgaben. (a) µ, (b) σ n, (c) 0, (d). n 500 3. Die exakten Werte sind P = 0.0049, P = 0.399 und P 3 = 0.78. Die Werte, die man über die Approximation mittels Normalverteilung erhält sind P = 0.006, P = 0.39 und P 3 = 0.76. 4. n = 5000, P (X ) = 0.997 n = 000, P (X = ) = 0.637 n = 00, P (X = 0) = 0.980 5. 0 4 6 (a) (/3) 3 3(/3) (/3) 3(/3) (/3) (/3) 3 (b) E(S n ) = n 4 3 und V ar(s n) = n 8 9 (c) -