Einführung in die Stochastik

Transkript

1 Eiführug i die Stochastik Erwi Bolthause HS 2008 Ihaltsverzeichis Diskrete Wahrscheilichkeitsräume 2.A Ahag: Was sid Wahrscheilichkeite wirklich? B Ahag: Eiige historische Amerkuge Bedigte Wahrscheilichkeite, Uabhägigkeit 4 3 Zufallsgrösse, Gesetz der Grosse Zahle 29 4 Der Poissosche Grezwertsatz 56 5 Der Zetrale Grezwertsatz 63 6 Zufallsgrösse mit Dichte 80 7 Statistische Probleme Eifache Schätzprobleme Testprobleme Ko dezitervalle Marko -Kette Grudlegede Begri e Beispiele vo Marko -Kette Klasseeigeschafte, Rekurrez, Trasiez Stoppzeite, starke Marko -Eigeschaft Gleichgewichtsverteilug Kovergez gege die Gleichgewichtsverteilug Reversible stochastische Matrize Literatur: Die Literatur über Wahrscheilichkeitsrechug ist immes. Hier ur eie kleie Auswahl:

2 W. Feller: A Itroductio to Probability Theory ad Its Applicatios Das ist der Klassiker. Die Paperback-Versio ist leider vergri e, sodass das Buch ziemlich teuer ist. D. Williams: Probability with Martigales G. Grimmett, D. Stirzaker: Probability ad Radom Processes H.O. Georgii: Stochastik. Eiführug i die Wahrscheilichkeitstheorie ud Statistik Diskrete Wahrscheilichkeitsräume I diesem Kapitel wird der Begri Wahrscheilichkeit mathematisch präzisiert. Zufallsereigisse werde dabei Wahrscheilichkeite zugeordet. (Ma spricht da vo der Wahrscheilichkeit eies Ereigisses ). Auf die aheliegede Frage, was Wahrscheilichkeite wirklich sid, werde wir jedoch ur sehr rudimetär eigehe, weil wir da zuerst erkläre müsste, was Zufall ist. Bekatlich gibt es philosophische ud religiöse Systeme, die dem Zufall keie Platz eiräume. Um Auseiadersetzuge zu diese Frage zu vermeide, legt die Mathematik ur Regel fest, ach dee mit Wahrscheilichkeite umgegage wird. Was diese i der Wirklichkeit etspricht ud ob überhaupt irged etwas, bleibt dem Eizele überlasse zu etscheide. Natürlich wird i diesem Text dieser Stadpukt icht kosequet durchgehalte, ud wir werde des öftere Iterpretatioe vo Wahrscheilichkeite vorschlage. I eiem Ahag.A zu diesem Kapitel werde eiige Erläuteruge zu verschiedee Asätze gegebe. Zuächst muss der Begri Ereigis präzisiert werde. Am beste zerlegt ma die Ereigisse gewissermasse i Atome, i die sogeate Elemetarereigisse: die kleiste Ereigisse, die i eier bestimmte Situatio iteressat oder vo Bedeutug sid. Die Festlegug, was i eier Situatio die Elemetarereigisse sid, ist weitgehed willkürlich. Formal sid die Elemetarereigisse eifach die Elemete eier (zuächst) edliche oder abzählbare Mege, die meist mit bezeichet wird. Die Wahrscheilichkeiteder Elemetarereigisse! 2 sid Zahle p(!) zwische 0 ud, die sich auf aufsummiere. De itio. Ei diskreter Wahrscheilichkeitsraum (; p) besteht aus eier edliche oder abzählbar uedliche Mege ud eier Abbildug p :! [0; ], für die P!2 p(!) = gilt. Da alle p(!) 0 sid, spielt selbst im Fall, we uedlich ist, die Reihefolge der Summatio i P!2 p(!) keie Rolle. Geau geomme hadelt es sich um eie Grezwert. Ma wählt zuächst eie Abzählug! ;! 2 ; : : : der Elemete vo. Da ist P!2 p(!) = lim P! i= p(! i), wobei der Grezwert icht vo der gewählte Abzählug abhägt, da die p(!) 0 sid. 2

3 Soweit ist mathematisch alles sehr eifach. Falls mit Wahrscheilichkeitsräume kokrete Zufallssituatioe modelliert werde solle, so gibt es i der Regel mehr als eie verüftige Wahl für eie Wahrscheilichkeitsraum. Ma wählt oft so, dass die eizele Elemetarereigisse! 2 als gleich wahrscheilich erscheie, was atürlich ur möglich ist, we edlich ist. I diesem Fall erhalte alle Elemetarereigisse! de Wert p (!) = = jj : Eiige Beispiele dazu: Beispiele.2. Beim Würfel mit eiem Würfel wählt ma = f; 2; 3; 4; 5; 6g. Dabei ist i 2 das Elemetarereigis, dass die Zahl i geworfe wird. Ist der Würfel icht gezikt, so wird ma p(i) = =6 für alle i 2 setze. 2. Als Elemetarereigisse beim Würfel mit 2 Würfel fasse wir alle mögliche Kombiatioe vo Augezahle auf. besteht i diesem Fall aus 36 Elemetarereigisse: = f(; ); (; 2); : : : ; (6; 6)g = f; 2; 3; 4; 5; 6g 2. Wir setze p((i; j)) = =36 für jedes Elemetarereigis. 3. Ei Stapel mit Karte wird gut gemischt. Wir deke us die Karte vo bis durchumeriert. Die Elemetarereigisse sid die mögliche Reihefolge dieser Karte, etwa bei = 3: = f(; 2; 3); (; 3; 2); (2; ; 3); (2; 3; ); (3; ; 2); (3; 2; )g: Bei guter Mischug wird ma jede Reihefolge als gleich wahrscheilich betrachte köe. Jedes Elemetarereigis hat da Wahrscheilichkeit =!. Natürlich solle icht ur de Elemetarereigisse Wahrscheilichkeite zugeordet werde, soder auch zusammegesetzte Ereigisse, etwa i Beispiel.2.2 obe dem Ereigis, dass die beide Augezahle gleich sid. Ereigisse sid eifach Zusammesetzuge vo Elemetarereigisse. I mathematischer Formulierug: De itio.3 (; p) sei ei Wahrscheilichkeitsraum. Die Teilmege vo heiße Ereigisse. Für ei Ereigis A ist die Wahrscheilichkeit vo A de iert durch P (A) = P!2A p(!). Die leere Mege ; ist das sogeate umögliche Ereigis. Per Kovetio lege wir fest, dass die Summatio über die leere Mege gleich Null ist. Das umögliche Ereigis hat als Wahrscheilichkeit P (;) = 0. Die Grudmege ist das sichere Ereigis. Dieses hat die Wahrscheilichkeit P () = : Es hat sich eigebürgert, Ereigisse mit grosse lateiische Buchstabe vom Afag des Alphabets zu bezeiche: A; B; C; : : :. Die Wahrscheilichkeit wird meist mit eiem grosse P (eglisch probability ) bezeichet. Es mag etwas verwirre, dass Ereigisse Teilmege sid. Am aschaulichste ist vielleicht die folgede Vorstellug: Das zufällige Geschehe besteht i der zufällige Auswahl eies Elemetarereigisses. Eie Teilmege A vo etspricht da dem Ereigis, dass dieses zufällig gewählte Elemetarereigis i A liegt. 3

4 Megeoperatioe etspreche mithi aussagelogische Operatioe gemäßder folgede Übersetzugstabelle: Sprache der Ereigisse Megeschreib- bzw. Sprechweise A; B; C sid Ereigisse A; B; C sid Teilmege vo A ud B A \ B A oder B A [ B icht A A c = A A ud B schließe sich aus A \ B = ; A impliziert B A B Für jedes Elemetarereigis! ist die Mege f!g o ebar ei Ereigis, das sich formal mathematisch vo! uterscheidet. Elemetarereigisse sid formal ach userer De itio keie Ereigisse. Sowohl p(!) als auch P (f!g) bezeiche die Wahrscheilichkeit vo! 2. Diese Uterscheidug ist atürlich spitz dig, ud wir werde darauf icht herumreite. Wahrscheilichkeite geüge eiige eifache Regel, die im ächste Satz aufgelistet sid. Satz.4 Es sei (; p) ei Wahrscheilichkeitsraum.. Für jedes Ereigis A gilt 0 P (A) : 2. P (;) = 0, P () =. 3. Sid Ereigisse A i für i 2 N paarweise disjukt (d.h. A i \ A j = ; für i 6= j), so gilt [ P i2n A i = P (A i ): (.) i= 4. I 3. ohe die Voraussetzug, dass die A i paarweise disjukt sid, gilt [ P i2n A i P (A i ): (.2) i= A B ) P (B) = P (A) + P (B A): A B ) P (A) P (B): 7. P (A [ B) = P (A) + P (B) P (A \ B): 4

5 Die Eigeschaft (.) et ma auch -Additivität ud die Eigeschaft (.2) et ma -Subadditivität. Bemerkug.5 Gilt A + = A +2 = = ; für ei, so besage c) ud d) [ P i= A i = [ P (A i ) bzw: P i= i= A i P (A i ): i= Dies et ma auch die edliche Additivität bzw. edliche Subadditivität. Beweis vo Satz.4.. ud 2. folge sofort aus der De itio. 3., 4.: Jedes! 2 S i= A i gehört zu midestes eiem der A i ud zu geau eiem, we die A i paarweise disjukt sid. Demzufolge gilt [ P i2n A i =!2 S i2n A i p(!) = i=!2a i p(!) = P (A i ); i= we die A i paarweise disjukt sid. Im Fall 4. ist das mittlere Gleichheitszeiche durch zu ersetze, de die p(!) s werde i der Summe auf der rechte Seite evetuell mehrfach gezählt, ämlich eimal für jede Mege A i, die das etsprechede! ethält. 5. Es gelte B = A [ (B A) ud A \ (B A) = ;. Somit ist ach 3. P (B) = P (A) + P (B A). 6. folgt aus 5. ud P (B A) Wir habe die folgede Zerleguge i disjukte Teilmege: A [ B = (A B) [ B ud Nach 5. gelte: A = (A B) [ (A \ B): P (A [ B) = P (A B) + P (B); P (A) = P (A B) + P (A \ B): Subtrahiert ma die zweite Gleichug vo der erste, so folgt 7. Beispiele.6. I Beispiel.2.2 wird ma jedem Elemetarereigis die Wahrscheilichkeit =36 zuorde. Für jedes Ereigis A ist P (A) = jaj=36, wobei jaj die Azahl der Elemete i A ist. Sei z.b. A = f(; ); (2; 2); : : : ; (6; 6)g das Ereigis, dass die Augezahle gleich sid. Da ist P (A) = 6=36 = =6. 5

6 2. I eiem Kartespiel mit eier gerade Azahl (= 2) vo Karte be de sich 2 Joker. Nach guter Mischug werde die Karte i zwei gleich grosse Haufe aufgeteilt. Wie großist die Wahrscheilichkeit, dass beide Joker im gleiche Haufe sid? Wir wähle = f (i; j) 2 f; 2; : : : ; 2g 2 : i 6= jg als Mege der Elemetarereigisse. Hierbei ist (i; j) 2 das Elemetarereigis, dass sich der erste Joker am Platz i ud der zweite am Platz j be det. Nach guter Mischug hat jedes dieser Elemetarereigisse die Wahrscheilichkeit p((i; j)) = =jj = =2(2 ). Das us iteressierede Ereigis ist A = f (i; j) 2 f; 2; : : : ; g 2 : i 6= jg [ f(i; j) 2 f + ; : : : ; 2g 2 : i 6= jg: Dieses ethält 2 ( ) Elemetarereigisse. Somit ist P (A) = 2( ) 2(2 ) = 2 : 3. Eie Müze wird -mal geworfe. sei die Mege der -Tupel, bestehed aus Zahl ud Kopf. Somit ist jj = 2. Habe alle -Tupel gleiche Wahrscheilichkeite, so hat jedes Elemetarereigis Wahrscheilichkeit 2. Es sei A k das Ereigis, dass k-mal Zahl fällt. A k ethält k Elemetarereigisse. Es gilt also P (A k ) = k 2 : 4. Uremodell: I eier Schachtel (Ure) be de sich r rote ud s schwarze Kugel. Eie Kugel wird zufällig herausgeomme. Mit welcher Wahrscheilichkeit ist sie rot? Wir deke us die Kugel vo bis r + s durchumeriert. Die Kugel mit de Nummer bis r sid rot; die adere schwarz. Für ehme wir die Mege f; 2; : : : ; r + sg. Da ist i 2 das Elemetarereigis, dass die Kugel i gezoge wird. Diese Elemetarereigisse sid ach guter Mischug gleich wahrscheilich. User Ereigis ethält r Elemetarereigisse. Seie Wahrscheilichkeit ist also r=(r + s). Die Festlegug der Wahrscheilichkeite der Elemetarereigisse ist ei Problem, das i Awedug icht mathematisch gelöst werde ka. I de bisherige Beispiele hatte die Elemetarereigisse jeweils alle die gleiche Wahrscheilichkeite. Dies ist verüftig, we alle Elemetarereigisse als gleich möglich erscheie, oder we kei Grud für eie Ugleichbehadlug der Elemetarereigisse vorliegt. Tatsächlich wählt ma die Zerlegug i Elemetarereigisse oft uter diesem Gesichtspukt. Ei Beispiel dazu: Jemad wirft zwei Würfel. Iteressiert er sich ur für die Augesumme, so ka er als Elemetarereigisse die mögliche Ergebisse dafür ehme: = f2; 3; 4; : : : ; 2g. Es ist o esichtlich, dass diese Elemetarereigisse icht gleichwertig sid. Deshalb immt ma besser die Elemetarereigisse aus Beispiel.2.2. I viele Fälle wäre die Festlegug, dass alle Elemetarereigisse gleich wahrscheilich sid, aber gaz usiig. Als Beispiel betrachte wir das Problem festzulege, wie großdie Wahrscheilichkeit ist, mit der etwa ei produziertes Werkstück i eiem Fertigugsprozess defekt ist. I Fälle, wo ma auf lage Produktiosreihe zurückgreife ka, setzt ma die Wahrscheilichkeit als die relative Häu gkeit des Defekts a. Eie gewisse theoretische 6

7 Begrüdug für diese Asatz gibt das Gesetz der grosse Zahle (siehe Kapitel 3). Sid etwa bei der Produktio vo Werkstücke 200 defekt gewese, so wird ma die Wahrscheilichkeit als 0,02 aehme. Dabei hadelt es sich icht um eie Naturkostate, soder lediglich um eie Arbeitshypothese, die gegebeefalls wieder revidiert werde muss. Das Vertraue, das ma zu eiem über relative Häu gkeite ermittelte Wert für eie Wahrscheilichkeit hat, hägt atürlich auch vo der Azahl der Versuche ab. Es ist z.b. klar, dass 200 Defekte auf aussagekräftiger ist, als 2 auf 00. Eie geauere Diskussio derartiger Probleme gehört i die Statistik. (siehe auch die Diskussio im Ahag.A). Nu ei Beispiel mit eiem uedliche Wahrscheilichkeitsraum: Beispiel.7 Eie Müze wird so lage geworfe, bis zum erstemal Kopf fällt. Wir wähle als die atürliche Zahle N. Das Elemetarereigis i 2 N bedeutet, dass zum erstemal beim i- te Wurf Kopf fällt. Wie großist p(i)? Dass i eitritt, ist auch ei Elemetarereigis i userem Beispiel.6, 3., ämlich, dass zuächst (i )-mal Zahl fällt ud da Kopf. Somit ist p(i) = 2 i. Die p(i) erfülle die Bedigug i De itio.: P i2n p(i) =. Also ist (; p) ei Wahrscheilichkeitsraum. I userem Modell ist das Ereigis, dass Kopf ie fällt, das umögliche Ereigis. Die Wahl vo i diesem Beispiel erscheit etwas küstlich. I der Tat wählt ma meist für die Mege der uedlich fortgesetzte Müzwürfe, d.h. fk; Zg N : Da diese Mege icht mehr abzählbar ist, ist es aber icht mehr möglich, im Rahme der De itio. zu arbeite. Siehe dazu Satz 2.9 ud die dazugehörige Diskussio im ächste Kapitel. Zum Schluss och eie Verallgemeierug vo Satz.4.7: A ; : : : ; A seie Ereigisse. A [ [ A ist das Ereigis, dass midestes eies der A i eitritt. Satz.8 (Ei- ud Ausschlussprizip) Sei 2 ud A ; : : : ; A. Da gilt P (A [ [ A ) = P (A i ) P (A i \ A i2 ) + P (A i \ A i2 \ A i3 ) i= i <i 2 i <i 2 <i 3 + ( ) P (A \ A 2 \ \ A ): Beweis. Iduktio ach : Für = 2 ist dies Satz.4.7. Iduktiosschluss: P (A [ [ A + ) = P (A [ [ A ) + P (A + ) P ((A [ [ A ) \ A + ) ud ochmals ach Satz.4.7. folgt + P (A [ [ A + ) = P (A i ) i= + i <i 2 <i 3 i <i 2 P (A i \ A i2 ) P (A i \ A i2 \ A i3 ) : : : P ((A \ A + ) [ (A 2 \ A + ) [ [ (A \ A + )) 7

8 ach Iduktiosvoraussetzug ud dem Distributivgesetz für Megeoperatioe. Wedet ma auf de letzte Summade ochmals die Iduktiosvoraussetzug a, so folgt die Behauptug. Beispiel.9 Als Awedug des Ei- ud Ausschlussprizips löse wir das folgede Problem: Ei Briefschreiber verfasst Briefe ud beschreibt auch scho Umschläge mit Aschrifte. I eiem Akt der Zerstreutheit steckt er jedoch die Briefe gaz zufällig i die Umschläge ud sedet sie ab. Mit welcher Wahrscheilichkeit kommt kei Brief richtig a? Wir umeriere sowohl Briefe wie Umschläge vo bis durch. Der Brief i gehört zum Umschlag i. sei die Mege aller Permutatioe (das heißt der bijektive Selbstabbilduge) vo f; : : : ; g. Mit (i) bezeiche wir die Nummer des Umschlages, i de Brief i gesteckt wird. Die Zerstreutheit des Abpackers kommt dari zum Ausdruck, dass wir jeder mögliche Permutatio die gleiche Wahrscheilichkeite =! zuweise. Wir iteressiere us da für P (A), A = f 2 : (i) 6= i 8 i g: Es erweist sich als zweckmäßig, das Gegeereigis A c zu utersuche: A c = [ B i ; i= wobei B i das Ereigis ist, dass der Brief i richtig eigesteckt ist: B i = f : (i) = i g. Nu verwede wir de vorherige Satz.8: P! [ B i = i= P (B i ) i= i <i 2 P (B i \ B i2 ) + + ( ) + P (B \ \ B ): Das sieht sehr kompliziert aus, ist es aber icht: Für k ud i < < i k ist B i \ \ B ik das Ereigis, dass die Briefe i ; : : : ; i k im richtige Umschlag sid. Das lässt die Zuordug der k restliche völlig o e. B i \ \ B ik ethält also ( k)! Elemetarereigisse, hat also Wahrscheilichkeit ( k)!=!. Demzufolge ist ( k)! P (B i \ \ B ik ) = = k! k! : i <<i k Daher ist P (A) = P (A c ) = = 2! Für großes ist das ' e. 2! + 3! + + ( )+! 3! + 4! + + ( )! : 8

9 Zum Abschluss des Kapitels och eiige (im Momet mehr abstrakte) Erläuteruge zum Begri des Wahrscheilichkeitsraums. Es bezeiche P() die Potezmege vo. Da ist P eie Abbildug vo P() ach [0; ], die gemäßsatz.4 de folgede Kolmogoro sche Axiome geügt. Axiom.0 P () = : Axiom. Ist I eie höchstes abzählbare Idexmege ud (A i ) i2i eie Familie vo paarweise disjukte Teilmege vo so gilt P ( [ i2i A i ) = i2i P (A i ): Für eie abhählbare Mege ist usere De itio. äquivalet zum Kolomogoro sche Zugag: Propositio.2 Sei (; p) ei Wahrscheilichkeitsraum gemäss De itio.. Da erfüllt P; das gemäss De itio.3 de iert ist, die beide Kolmogoro sche Axiome. Ist umgekehrt P : P()! [0; ] eie Abbildug, die die beide Kolmogoro sche Axiome erfüllt, so de iert p (!) := P (f!g) eie Abbildug! [0; ] gemäss De itio., ud es gilt P (A) = P!2A p (!) für jede Teilmege A : Der sehr eifache Beweis sei dem Leser überlasse. Die Bedeutug des Kolmogoro sche Aufbaus liegt dari, dass er sich auf überabzählbare Mege verallgemeier lässt. Überabzählbare Wahrscheilichkeitsräume sid für die weiterführede Theorie uerlässlich. Obwohl wir sie i dieser Vorlesug ur am Rade beötige werde, solle eiige Erkläruge dazu scho hier vorgestellt werde. Die aheliegedste Idee ist die folgede: Sei eie beliebige Mege. Da bezeiche wir eifach eie Abbildug P : P()! [0; ] mit de Axiome.0 ud. als eie Wahrscheilichkeit auf P() ud zwar gaz uabhägig davo, ob wir diese wie i De itio.3 durch Summatio über Elemetarereigisse gewie köe. Ma et P da meist ei Wahrscheilichkeitsmass. Soweit ist das gaz eifach. Die Tücke ist jedoch, dass für die meiste Situatioe eie derartiges Wahrscheilichkeitsmass gar icht existiert. Der Ausweg besteht da dari, dass ma P icht auf gaz P() de iert soder ur auf eiem kleiere Megesystem, das jedoch alle Teilmege vo ethält, die eiem verüftigerweise iteressiere. Dies führt auf die folgede abstrakte De itioe: De itio.3 Sei eie beliebige (icht leere) Mege.. Eie Teilmege F P () et ma eie -Algebra, we die folgede Bediguge erfüllt sid: 9

10 (a)?; 2 F (b) Ist A 2 F so ist auch das Komplemet A c 2 F: (c) Sid Mege A i 2 F; i 2 I; wobei I eie abzählbare Idexmege ist, so ist auch S i2i A i 2 F: Die Elemete vo F; d.h. die Teilmege vo ; die zu F gehöre, et ma die Ereigisse. 2. Sei versehe mit eier -Algebra F: Eie Abbildug P : F! [0; ] heißt ei Wahrscheilichkeitsmass auf F; we die Axiome.0 ud. erfüllt sid, wobei i Axiom. die A i i F sid. Das Tripel (; F; P ) et ma da eie Wahrscheilichkeitsraum. Diese allgemeie ud abstrakte De itio hat für us im Momet keie große Bedeutug ud wir komme für die ächste Kapitel weitgehed mit der elemetare De itio. aus. Es wird sich jedoch zeige, dass die elemetare De itio eies Wahrscheilichkeitsraumes auf die Dauer icht ausreiche wird. Es sollte betot werde, dass die Eischräkug auf Ereigisse, die i F liege aus rei mathematische Grüde erfolgt, wie wir später sehe werde. Mit de Beispiele, die wir im Momet habe, köe wir dies icht motiviere. Noch eie Bemerkug zu -Algebre: Diese sid atürlich icht ur abgeschlosse gegeüber abzählbare Vereiiguge soder auch gegeüber abzählbare Durschitte: Sid A i 2 F; i 2 I; wobei I abzählbar ist, so gilt \ [ c A i = i2i i2i Ac i 2 F (.3) ach de obige Eigeschafte eier -Algebra..A Ahag: Was sid Wahrscheilichkeite wirklich? Obwohl wir hier icht ausführlich darauf eigehe wolle, was Zufall ud Wahrscheilichkeite wirklich sid, solle hier die wichtigste Kozepte kurz dargestellt werde.. Laplace Kozept: Das ist eifach das hier scho vorgestellte Verfahre: Wahrscheilichkeit gleich Azahl güstiger Fälle dividiert durch Azahl möglicher Fälle. Die Reichweite dieser Methode, Wahrscheilichkeite festzulege, ist o esichtlich ziemlich beschräkt. 2. Frequetistische Wahrscheilichkeite: Wir gehe davo aus, dass ei Zufallsexperimet uter gleichbleibede Bediguge oft wiederholt werde ka. Wahrscheilichkeite werde da als die relative Häu gkeite de iert, mit der ei Ereigis auftritt. We Sie eie Würfel 000 mal werfe ud er fällt 400 mal auf die Drei, so setze sie mit diesem Asatz die Wahrscheilichkeit für Drei gleich 0:4; i Abweichug vom Laplacesche Asatz. Dieser frequetistische Asatz ist i de Naturwisseschafte ud der Techik sehr beliebt. Die Problematik 0

11 besteht atürlich dari, dass meist icht geau präzisiert ist, was uter gleichbleibede Bediguge geau bedeutet. 3. Subjektivistische Wahrscheilichkeite: Es ist o esichtlich, dass ma machmal vo Wahrscheilichkeite spreche möchte, we ma auf keie lage Versuchsreihe zurückblicke ka ud scho gar icht auf solche, bei dee die Eizelversuche uter gleichbleibede Bediguge stattgefude habe. Ei Krimialkommissar hat i eiem Mordfall eie Verdächtige im Auge ud sagt, dieser sei mit 60% Wahrscheilichkeit der Täter. Der Kommissar hat vielleicht viel Erfahrug ud will damit zum Ausdruck brige, dass uter vergleichbare Umstäde ei etspreched Verdächtiger i 60% der Täter war. I viele Fälle ist jedoch eie solche Auszählug der Fälle icht wirklich möglich ud sivoll. Die Aussage des Kommissars ist daher eher eie subjektive Eischätzug, die (ho etlich) auf eier gewisse Erfahrug basiert. Nachdem währed lager Zeit solche subjektive Wahrscheilichkeite als uwisseschaftlich galte, wurde sie vor allem vo de Fietti propagiert, der die Existez vo objektive Wahrscheilichkeite abstritt: Hier der Begi seies Buches Theory of Probability (974): My thesis [...] is simply this: PROBABILITY DOES NOT EIST. The abadomet of superstitious beliefs about the existece of the Phlogisto, the Cosmic Ether, Absolute Space ad Time, or Fairies ad Witches, was a essetial step alog the road to scieti c thikig. Probability, too, if regarded as somethig edowed with some kid of objective existece, is o less a misleadig miscoceptio, a illusory attempt to exteriorize or materialize our true probabilistic beliefs. Die These de Fiettis habe hitzige Debatte ausgelöst. Natürlich wollte auch de Fietti icht auf Wahrscheilichkeite verzichte. Die Wisseschaftlichkeit seier Wahrscheilichkeite bestad allerdigs dari, dass ei Subjekt die Wahrscheilichkeite auf ratioale Weise aufgrud der Erfahrug modi ziert. Für diese Modi katio spielt die Bayes-Formel, die wir im ächste Kapitel diskutiere, eie bedeutede Rolle. Wir wolle im Momet darauf icht äher eigehe; klar ist jedoch, dass we user Kommissar mit seie Progose über Täter stets zu optimistisch liegt, er seie subjektive Wahrscheilichkeite modi ziere sollte. Allerdigs hat ma i Experimete festgestellt, dass die meiste Mesche icht ach de de Fietti-Regel verfahre. Die de Fietti Kozepte hatte große Auswirkuge auf die Etwicklug der Statistik. Auch we ma de philosophische Stadpukt vo ihm icht teilt, ka ma feststelle, dass die vo ihm propagierte statistische Verfahre (die Bayes-Statistik) sich aus praktische Grüde sehr weit durchgesetzt habe. allerdigs kaum uter Mathematiker, die sich üblicherweise erst ach der Pesioierug mit solche weltaschauliche Theme auseiadersetze. de Fietti war allerdigs ei Mathematiker.

12 .B Ahag: Eiige historische Amerkuge Obwohl eigetlich kaum zweifelhaft ist, dass Überleguge zu Wahrscheilichkeite gemacht wurde, seit es Glücksspiele gibt, steht die erste wisseschaftliche Erwähug vo Wahrscheilichkeite erst i eiem Werk vo Girolamo Cardao (50-576) Liber de Ludo Aleae (565), der i der Mathematik vor allem mit seie Utersuchuge über die kubische Gleichug Ruhm erlagt hat. Das Werk über Glücksspiele wurde jedoch erst 665 publiziert. Cardao hatte i juge Jahre das Vermöge, das ihm sei Vater hiterlasse hatte, verschleudert ud bestritt daraufhi währed eier gewisse Zeit seie Lebesuterhalt mit Glücksspiele. Sei Verstädis vo Wahrscheilichkeite ermöglichte ihm, beim Spiel mehr zu gewie als zu verliere. Allerdigs geriet er auf diese Weise auch i Messerstechereie. Im allgemeie datiert ma de Begi der wisseschaftliche Beschäftigug mit Wahrscheilichkeite jedoch auf eie Briefwechsel zwische Blaise Pascal ( ) ud Pierre de Fermat (60-665) im Jahre 654. Fermat aalysiert dari ei Problem, das ihm vo eiem professioelle Glücksspieler, dem Herr de Méré gestellt wurde, wobei sich Fermat über das magelde Verstädis über Wahrscheilichkeite dieses Spielers mokiert. Nicht viel später (656) verfasste Christiaa Huyges ( ) eie Schrift über Wahrscheilichkeitsrechug, die sich im wesetliche ebefalls mit Glücksspiele beschäftigt ud die Diskussioe vo Fermat ud Pascal weiterführt. Dass Wahrscheilichkeite zur damalige Zeit fast ausschließlich im Zusammehag mit Glücksspiele gesehe wurde, braucht agesichts eies verbreitete mechaistische Weltbildes icht zu verwuder. Naturgesetze, die probabilistische Aussage machte, wie etwa heute die Quatemechaik oder die Statistische Physik, ware damals udekbar. Hier eie Galerie der wichtigste Akteure dieser frühe Periode der Wahrscheilichkeitstheorie: 2

13 Girolamo Cardao Pierre de Fermat Christiaa Huyges Blaise Pascal 3

14 2 Bedigte Wahrscheilichkeite, Uabhägigkeit Ei wichtiges Werkzeug i der Wahrscheilichkeitstheorie ist die sogeate bedigte Wahrscheilichkeit. Dazu ei Beispiel: Wir betrachte das Beispiel.2.4 aus Kapitel, wobei die Kugel der Schachtel u aber mehrere Merkmale trage köe, z.b. die Farbe rot oder schwarz ud das Material aus dem sie bestehe: die Kugel seie etweder aus Metall oder aus Holz. A sei das Ereigis, dass die gezogee Kugel rot ist, ud B sei das Ereigis, dass sie aus Holz ist. Jemad greift zufällig i die Schachtel, spürt, dass die Kugel aus Holz ist. Mit welcher Wahrscheilichkeit ist gegebe dieses Vorwisse, die gezogee Kugel rot. Ma et das die bedigte Wahrscheilichkeit für A gegebe B: Sei r die Azahl der rote, s die Azahl der schwarze Kugel. Die Gesamtzahl der Kugel sei = r + s: Ferer sei h die Azahl der hölzere Kugel ud m die Azahl der metallee Kugel, wobei wieder = m+h gilt. Da ist P (A) = r= ud P (B) = h=: Die bedigte Wahrscheilichkeit köe wir aufgrud dieser Agabe jedoch icht bestimme; es köte ja z.b. sei, dass die Kugel exakt gemäßdem Material agemalt sid. O esichtlich müsse wir die Azahl r;h der Kugel, die sowohl rot wie aus Holz sid durch die Azahl der Holzkugel dividiere. Die gesuchte bedigte Wahrscheilichkeit ist also r;h r = r;h= r= P (A \ B) = : P (B) Dies führt auf die folgede allgemeie De itio: De itio 2. Sei B ei Ereigis mit P (B) > 0. Für jedes Ereigis A heißt P (AjB) := P (A \ B)=P (B) die bedigte Wahrscheilichkeit für A gegebe B. Der achfolgede Satz gibt eiige eifache Eigeschafte a: Satz 2.2 Es seie A; B mit P (B) > 0. Da gilt:. A B ) P (AjB) =. 2. B \ A = ; ) P (AjB) = Sid die Ereigisse A i, i 2 N, paarweise disjukt, so gilt 4. P (A c jb) = P (AjB). [ P i= A i B = Beweis.. ud 2. folge sofort aus der De itio. P (A i jb): i= 4

15 3.: [ P i= A i B = P ((S i= A i) \ B) P (B) = i= P (A i \ B) P (B) = = P (S i= (A i \ B)) P (B) P (A i jb): i= 4.: Wege A \ A c = ; gilt ach 3 P (AjB) + P (A c jb) = P (A [ A c jb) = P (jb) = : Die bedigte Wahrscheilichkeite lasse sich auch als ormale Wahrscheilichkeite darstelle, idem ma die Wahrscheilichkeite der Elemetarereigisse abädert: Bei vorgegebeem Ereigis B setze wir für! 2 eifach p (!) =P (B) fur! 2 B p B (!) := 0 fur! =2 B : Da ist (; p B ) ei Wahrscheilichkeitsraum im Sie vo De itio. ud für A gilt P B (A) = P (AjB): Ist (; p) ei edlicher Wahrscheilichkeitsraum ud sid alle Elemetarereigisse gleich wahrscheilich, p (!) = = jj, so gilt für A; B ud B 6= ; P (AjB) = ja \ Bj ; jbj d.h., die bedigte Wahrscheilichkeite lasse sich i diesem Fall über die Mächtigkeite der Ereigisse bestimme. Beispiel 2.3 Wie großist die Wahrscheilichkeit, dass beim Werfe mit zwei Würfel eier der beide eie 2 zeigt, gegebe die Augesumme ist 6? Sei B das Ereigis Die Augesumme ist 6, also B = f(; 5); (2; 4); (3; 3); (4; 2); (5; )g; ud A das Ereigis Midestes eier der Würfel zeigt 2. : A = f(2; ); (2; 2); (2; 3); (2; 4); (2; 5); (2; 6); (; 2); (3; 2); (4; 2); (5; 2); (6; 2)g: Da gilt A \ B = f(2; 4); (4; 2)g ud P (AjB) = 2=5. Zum Vergleich: Die ubedigte Wahrscheilichkeit ist P (A) = =36 < P (AjB). I der bisherige Diskussio habe wir die bedigte Wahrscheilichkeite auf die ubedigte zurückgeführt. Es ist jedoch oft wichtiger, umgekehrt Wahrscheilichkeite aus gewisse bedigte Wahrscheilichkeite zu bereche. Ei Beispiel dazu: 5

16 Beispiel 2.4 Eie Leitug überträgt die zwei Sigale 0 ud. Dabei köe Übertragugsfehler auftrete, wobei die Wahrscheilichkeit dafür davo abhägt, welches Sigal gesedet wird. User mathematisches Modell für die Übertragug eies Zeiches ist ei Wahrscheilichkeitsraum mit de vier Elemete (0; 0), (0; ), (; 0), (; ), wobei a der erste Stelle des Paares das gesedete ud a der zweite Stelle das empfagee Zeiche steht. S i := f(i; 0); (i; )g ist das Ereigis, dass i gesedet wird, ud E i := f(0; i); (; i)g, dass i empfage wird. F := f(0; ); (; 0)g ist das Ereigis, dass ei Übertragugsfehler auftritt. Oft ket ma die Wahrscheilichkeit für eie Übertragugsfehler i Abhägigkeit vo de gesedete Zeiche (d.h. uter der etsprechede Bedigug). Sei f i = P (F js i ), also ud f 0 = P (f(0; ); (; 0)gjS 0 ) = P (f(0; )gjs 0 ) f = P (f(0; ); (; 0)gjS ) = P (f(; 0)gjS ): Die Agabe dieser Größe statt der totale (d.h. ubedigte) Fehlerwahrscheilichkeit ist deshalb agebracht, weil die f i im allgemeie ur vom Übertragugssystem ud icht vo der relative Häu gkeit der Nulle ud Eise i der gesedete Nachricht, d.h. vo P (S i ) abhäge. Es ist eileuchted, dass die totale Fehlerwahrscheilichkeit sich aus de f i ud P (S i ) mittels P (F ) = f 0 P (S 0 ) + f P (S ) bereche lässt. Dem liegt der folgede allgemeie Satz zugrude: Satz 2.5 (Formel vo der totale Wahrscheilichkeit) Es seie B ; : : : ; B paarweise disjukte Ereigisse. Da gilt für alle A S j= B j P (A) = P (AjB j )P (B j ): j= (Sollte P (B j ) = 0 sei, so wird der etsprechede Summad P (AjB j )P (B j ) als Null de iert.) Beweis. Wege A = S j= (A \ B j) ud der Disjuktheit der A \ B j gilt: [ P (A) = P (A \ B j) = j= P (A \ B j ) = j= P (AjB j )P (B j ): j= Eie weitere eifache Folgerug aus der De itio ist die folgede Verallgemeierug vo P (A \ B) = P (AjB) P (B) : Satz 2.6 Seie A ; : : : ; A Ereigisse mit P (A ) > 0; P (A \ A 2 ) > 0; : : : ; P (A \ : : : \ A ) > 0: Da gilt Y P (A \ : : : \ A ) = P (A jja \ : : : \ A j ) P (A ) : j=2 6

17 Beweis. 0 Y P (A \ : : : \ A ) j=2 P (A \ A 2 \ : : : \ A j ) A P (A ) P (A \ : : : \ A j ) Y = P (A jja \ : : : \ A j ) j=2 P (A ) : Die Formel besagt, dass für eie Kaskade A ; : : : ; A vo Ereigisse, die Wahrscheilichkeit dafür, dass alle eitrete aus P (A ) ud de obe agegebee bedigte Wahrscheilichkeite durch Produktbildug gewoe werde ka. Ei Beispiel. Wir iteressiere dafür, wie eie bestimmte Perso ihre Sotag verbrigt ud wolle die Wahrscheilichkeite dafür utersuche. Ihr Verhalte wird sicher vom Wetter abhäge. Sei A das Ereigis, dass schöes Wetter herrscht. Bekatlich ist die Wahrscheilichkeit dafür i der Schweiz (i ormale Sommer) icht ebe groß. Nehme wir etwa P (A ) = 0:3 a. Tritt A ei, so habe die Perso 4 Hadlugsmöglichkeite: Sie geht wader, sie legt sich is Schwimmbad, sie besucht die Tate, oder sie schaut sich das Formel Ree i Moza am Fersehe a. Sei A 2 das Ereigis, dass sie wader geht, ud wir ehme a, dass - bedigt auf schöes Wetter - jede der Möglichkeite die gleiche Wahrscheilichkeit hat, d.h. P (A 2 ja ) = 0:25: Natürlich besteht auch die Möglichkeit, dass die Perso bei schlechte Wetter wader geht, die Wahrscheilichkeit dafür ist jedoch sehr klei: P (A 2 ja c ) = 0:05: Nu iteressiere wir us dafür, mit welcher Wahrscheilichkeit die Perso de Napf besteigt. Sei A 3 dieses Ereigis. We wir P (A 3 ja \ A 2 ) kee - sei sie etwa gleich 0: - so köe wir daraus u P (A \ A 2 \ A 3 ) bereche: 0:3 0:25 0:: Vielleicht iteressiere wir us jedoch gar icht für diese Wahrscheilichkeit, soder ur dafür, die Perso schliesslich auf dem Napf zu de. Diese Möglichkeit besteht jedoch auch bei schlechtem Wetter. Higege schliesse wir die Möglichkeit icht waderd auf de Napf zu gelage aus. Somit erhalte wir P (A 3 ) = P (A \ A 2 \ A 3 ) + P (A c \ A 2 \ A 3 ) = P (A ) P (A 2 ja ) P (A 3 ja \ A 2 ) + P (A c ) P (A 2 ja c ) P (A 3 ja c \ A 2 ) : Zur Berechug dieser Grösse fehlt us jedoch och P (A 3 ja c \ A 2) : Hier stellt sich eie iteressate Frage. Es ka ja sei, dass usere Perso die Etscheidug über de zu erklimmede Berggipfel icht vom Wetter abhägig macht, dass also P (A 3 ja c \ A 2 ) = P (A 3 ja 2 ) = P (A 3 ja \ A 2 ) (2.) gilt. I diesem Fall köe wir die gewüschte Grösse u bereche: P (A 3 ) = 0:3 0:25 0: + 0:7 0:05 0:: Eie Eigeschaft vo Typus (2.) et ma auch Markov-Eigeschaft. Wir verfolge das im Momet icht weiter; Eigeschafte vo diesem Typus spiele i der Wahrscheilichkeitstheorie aber eie grosse Rolle. I userem Fall ist (2.) atürlich sehr weig plausibel. 7

18 I Lehrbücher für die Gymasie wird oft mit sogeate Wahrscheilichkeitsbäume gearbeitet, wobei ma die mögliche Verzweiguge der Ereigisse graphisch als Baum darstellte. Dabei wird jedoch automatisch davo ausgegage, dass diese Markov- Struktur der Wahrscheilichkeitsbewertuge vorliegt, was i der Tat oft weig plausibel ist. Überleguge wie die obige werde beutzt, um die Sicherheit vo techische Alage - z.b. Atomkraftwerke - zu bereche. Problematisch a solche Berechuge ist oft, dass dari uveri zierte plausible Aahme ei iesse, wie z.b. Eigeschafte vom Typ (2.). Nehme wir eimal (sehr vereifached) a, dass es i eiem Atomkraftwerk zu eier Katastrophe kommt, falls ei bestimmter Afagsstörfall A eitritt, ei erstes Sicherheitssystem S icht asprigt ud da och ei zweites S 2 : Wir iteressiere us für die Wahrscheilichkeit P (A \ S c \ Sc 2 ) ; was ach Satz 2.6 gleich P (A) P (S c j A) P (Sc 2 j A \ Sc ) ist. I Wirklichkeit sid die Verhältisse atürlich sehr viel komplexer. Ei grudlegedes Problem ist oft, dass ma solche Wahrscheilichkeite icht wirklich im Zusammewirke aller Kompoete zuverlässig schätze ka, d.h. dass ma etwa P (S c j A) ud P (Sc 2 j A) vielleicht eiigermasse zuverlässig ket, jedoch icht wirklich P (S2 c j A \ Sc ) : Dieser Aspekt wirkt jedoch i de Rechuge meist icht berücksichtigt ud ma tut so, als ob sich P (A \ S c \ Sc 2 ) aifach als P (A) P (S c j A) P (Sc 2 j A) bereche lässt.2 Wird die Wahrscheilichkeit eies Ereigisses A durch ei aderes Ereigis B mit P (B) > 0 icht beei usst, im Sie, dass P (AjB) = P (A) gilt, so heisse A ud B uabhägig. Es ist bequemer, dies symmetrisch i A ud B zu de iere ud auf die Voraussetzug P (B) > 0 zu verzichte: De itio 2.7 Zwei Ereigisse A ud B heisse uabhägig, we P (A \ B) = P (A)P (B) gilt. Diese De itio spiegelt geau usere ituitive Vorstellug vo Uabhägigkeit wider. Es gilt o esichtlich P (AjB) = P (A) da ud ur da, we A ud B uabhägig sid (vorausgesetzt, dass P (B) > 0 ist). Uabhägigkeit vo edliche viele Ereigisse wird wie folgt de iert: De itio 2.8 Die Ereigisse A ; : : : ; A heisse uabhägig, we für jede Auswahl vo Idizes fi ; : : : ; i k g f; : : : ; g gilt: P (A i \ A i2 \ \ A ik ) = P (A i )P (A i2 ) P (A ik ): Bemerkug 2.9. Sid A ; : : : ; A uabhägige Ereigisse ud ist fi ; : : : ; i m g eie Teilmege vo f; : : : ; g, so sid o esichtlich A i ; A i2 ; : : : ; A im uabhägig. 2 Ei besoders tragisches Beispiel eier Wechselwirkug vo Sicherheitssysteme war der Flugufall i Überlige 2002, der schlussedlich durch eie vorher icht i Betracht gezogee Beei ussug vo Sicherheitssysteme ausgelöst wurde. 8

19 2. Die Forderug P (A \ \ A ) = P (A ) P (A ) allei ist keie befriedigede De itio der Uabhägigkeit (für 3), de damit wäre die Eigeschaft. icht erfüllt. Dazu ei Beispiel: Es seie = f; 2g ud p() = p(2) = =2 sowie A = fg, A 2 = f2g ud A 3 = ;. Da gilt P (A \ A 2 \ A 3 ) = P (;) = 0 = P (A )P (A 2 )P (A 3 ), aber atürlich ist P (A \ A 2 ) 6= P (A )P (A 2 ). 3. Paarweise Uabhägigkeit, d.h. P (A i \ A j ) = P (A i )P (A j ) für i 6= j, impliziert icht Uabhägigkeit. Wieder ei küstliches Beispiel dazu: Es seie = f; 2; 3; 4g ud p(i) = =4 für jedes i 2 sowie A = f; 2g, A 2 = f2; 3g ud A 3 = f3; g. Da ist P (A \ A 2 \ A 3 ) = 0 6= P (A )P (A 2 )P (A 3 ); jedoch sid A ; A 2 ; A 3 paarweise uabhägig. Ma muss allerdigs bemerke, dass für viele wichtige Eigeschafte, z.b. das Gesetz der grosse Zahle, das wir später diskutiere werde, eigetlich ur die paarweise Uabhägigkeit beötigt wird. 4. Die Ausdrucksweise Die Ereigisse A ; : : : ; A sid uabhägig, die auch hier verwedet wird, ist icht gaz geau ud führt i gewisse Situatio zu Missverstädisse. Uabhägigkeit ist keie Eigeschaft vo Mege vo Ereigisse, soder eie Eigeschaft vo -Tupel vo Ereigisse, die allerdigs icht vo der Reihefolge dieser Ereigisse im Tupel abhägt. Für ei Ereigis A ist das - Tupel (A) ach userer De itio stets uabhägig, das Paar (A; A) jedoch icht. (A; A) ist geau da uabhägig, we P (A) = P (A \ A) = P (A)P (A), d.h. P (A) 2 f0; g gilt. Zur bequeme Formulierug des achfolgede Ergebisses führe wir die Bezeichug A := A für A ei, A c ist wie üblich das Komplemet. Lemma 2.0 Die Ereigisse A ; : : : ; A sid geau da uabhägig, we für alle (k ; : : : ; k ) 2 f; cg \ P j= Ak j j = Y j= P (A k j j ) (2.2) gilt. Hierbei ist f; cg die Mege der -Tupel mit de Kompoete ud c. Beweis. (I) Uter der Voraussetzug der Uabhägigkeit zeige wir die obige Gleichug mit Iduktio ach : = ist trivial. Iduktiosschluss! + : Die Ereigisse A ; : : : ; A + seie uabhägig. Wir beweise die obige Gleichug (für + ) mit Iduktio ach der Azahl m der Komplemetzeiche i (k ; : : : ; k + ). Für m = 0 folgt sie aus der Uabhägigkeit. Iduktiosschluss m! m + für 0 m < + : Es seie m + Komplemetzeiche i (k ; : : : ; k + ). Durch Permutatio der Ereigisse köe wir aehme, dass k + = c ist. P \ + \ j= Ak j \ j = P j= Ak j j \ A c + = P j= Ak j j \ P j= Ak j j \ A + : 9

20 Der erste Summad ist ach der Iduktiosvoraussetzug a gleich Q j= P (Ak j j ), der Q zweite ach der Iduktiosvoraussetzug a m gleich j= P (Ak j j ) P (A + ). Damit folgt, wie gewüscht, \ + + Y P j= Ak j j = P (A k j j ): (II) Wir zeige die Umkehrug: (2.2) gelte für alle (k ; : : : ; k ) 2 f; cg. Wir zeige die Uabhägigkeit vo A ; : : : ; A. Sei fi ; : : : ; i k g f; : : : ; g ud fj ; : : : ; j m g sei das Komplemet dieser Mege i f; : : : ; g. Da lässt sich A i \ \ A ik als Vereiigug paarweise disjukter Mege wie folgt schreibe: [ A i \ \ A ik \ A k j \ \ A km j m : (k ;:::;k m)2f;cg m Die Wahrscheilichkeit davo ist ach userer Voraussetzug gleich P (A i ) P (A ik )P (A k j ) P (A km j m ) = P (A i ) P (A ik ): (k ;:::;k m)2f;cg m j= Die Notatioe möge etwas verwirre. Schreibe Sie die Argumete für = 2 ud = 3 aus; da wird der Beweisgag klar. Der Vorteil i der Formulierug des Lemmas besteht dari, dass ma immer mit alle Ereigisse arbeitet, dass ma also icht Eigeschafte vo Teilsätze der Ereigisse betrachte muss wie i der ursprügliche De itio. Ei umittelbare Folgerug des Lemmas ist das folgede Ergebis: Korollar 2. Sid die Ereigisse A ; : : : ; A uabhägig, so sid für jede Wahl vo (k ; : : : ; k ) 2 f; cg die Ereigisse A k ; : : : ; Ak uabhägig. Als Beispiel betrachte wir das übliche Modell für das -malige Werfe eier Müze (Beispiel.6.3)Wir bezeiche mit B k das Ereigis, dass der k-te Wurf Kopf ist. Satz 2.2 Die Ereigisse B ; : : : ; B sid uabhägig. Beweis. Es gilt P (B j ) = P (Bj c ) = =2 für alle j 2 f; : : : ; g. Für jedes -Tupel (k ; : : : ; k ) 2 f; cg gilt P (B k \ \ Bk ) = 2 = Q j= P (Bk j j ). Nach Lemma 2.0 sid B ; : : : ; B uabhägig. Uabhägigkeit hägt eg mit sogeate Produkträumezusamme. Es seie ( ; p ); : : : ; ( ; p ) diskrete Wahrscheilichkeitsräume. Wir kostruiere daraus eie eue Wahrscheilichkeitsraum (; p) mit =. Für jedes! = (! ; : : : ;! ) 2 de iere wir p(!) = p (! )p 2 (! 2 ) p (! ). O esichtlich gilt P!2 p(!) =. 20

21 De itio 2.3 (; p) heisst der Produktraum der Wahrscheilichkeitsräume ( i ; p i ), i. Wir schreibe dafür auch (; p) = N i= ( i; p i ): (Das hat ichts mit Tesorprodukte zu tu). Zu A i de iere wir das Ereigis A (i) = f(! ; : : : ;! ) 2 :! i 2 Ag. Satz 2.4 Sid A i i für i, so sid die Ereigisse A () ; : : : ; A() im Wahrscheilichkeitsraum (; p) uabhägig. Beweis. Es gilt A (i)c i = f! 2 :! i 2 A c i g = Ac(i) i. Die 2 Gleichuge i Lemma 2.0 sid also achgewiese, we P A () \ \ A () = P (A () ) P (A() ) für alle mögliche A i i, i, gilt. Die like Seite dieser Gleichug ist gleich p(!) = p (! ) p (! )! 2A! 2A!2A () \\A() = Y j=! j 2A j p j (! j ) = Y j=!2a (j) j p(!) = Y j= P (A (j) j ): Der Produktraum liefert somit ei Modell für eie uabhägige Hitereiaderreihug vo eizele Zufallsexperimete. O ebar ist user Modell für eie - fache Müzwurf das -fache Produkt des Wahrscheilichkeitsraumes für eie Müzwurf. Wir köe das gleich etwas verallgemeier: Zuächst betrachte wir ei Zufallsexperimet mit zwei mögliche Ausgäge, die wir mit E (für Erfolg ) ud M (für Misserfolg ) bezeiche. Ma deke etwa a ei Spiel, das dari besteht, eie Müze zu werfe, ud bei dem der eie Spieler eie Eiheit gewit, we Kopf fällt. Wir wolle icht voraussetze, dass E ud M gleich wahrscheilich sid. Der Wahrscheilichkeitsraum ist also die zweielemetige Mege fe; M g mit de etsprechede Wahrscheilichkeite. Wir setze p := p (E) ; sodass p (M) = p ist. Der -fache Produktraum, das Modell für die uabhägige, -malige Repetitio des Spiels, ist also der Wahrscheilichkeitsraum = fe; Mg, d.h. die Mege der E-M- Folge der Läge. Die Wahrscheilichkeite der Elemetarereigisse! = (! ; : : : ;! ) 2 sid gegebe durch p(!) = p k ( p) k, wobei k die Azahl der E s i der Folge! ; : : : ;! bezeichet. De itio 2.5 Das durch diese Wahrscheilichkeitsraum beschriebee Zufallsexperimet heisst Beroulli- Experimet der Läge mit Erfolgswahrscheilichkeit p. 2

22 Wir wolle die Wahrscheilichkeit vo eiige besoders wichtige Ereigisse im Beroulli-Experimet bereche. Für k 2 f0; ; : : : ; g sei A k das Ereigis, dass isgesamt k Erfolge eitrete. I userer Beschreibug des Beroulli-Experimets ethält A k diejeige Elemetarereigisse, i dee k mal E vorkommt. Davo gibt es so viele, wie es Möglichkeite gibt, die k erfolgreich ausgegagee Experimete auszuwähle, also k. Jedes hat Wahrscheilichkeit p k ( p) k. Somit ist P (A k ) = k p k ( p) k. Diese Wahrscheilichkeit kürzt ma meist mit b(k; ; p) ab. Die b(k; ; p) sid erwartugsgemäss am grösste, we k i der Nähe vo p liegt. Für grosses sid sie jedoch klei (höchstes vo der Grösseordug = p ). Eie ausführliche Aalyse der Grösse b(k; ; p) wird später gegebe werde. Beispiel 2.6 Ei Würfel wird -mal geworfe. Die Wahrscheilichkeit dafür, dass k-mal die Sechs erscheit, ist b(k; ; =6). Eie grosse Klasse vo Beispiele et ma Uremodelle: Beispiele 2.7. Ziehug mit Zurücklege Eie Schachtel (Ure) ethält r rote ud s schwarze Kugel. Es werde Kugel acheiader zufällig etomme. Dabei wird jede sofort wieder zurückgelegt ud die Schachtel eu gemischt. Die Elemetarereigisse seie die Rot-Schwarz-Folge der Läge. Es scheit klar, dass uter ideale Bediguge die eizele Ziehuge uabhägig sid, dass dies also ei Beroulli-Experimet der Läge mit Erfolgswahrscheilichkeit p = r r+s ist. Ma ka sich das auch wie folgt überlege: Wir deke us die eizele Kugel wieder vo bis r + s durchumeriert; bis r sid rot, r + bis r + s schwarz. I der Beschreibug des Wahrscheilichkeitsraums uterscheide wir u zwische de eizele Kugel, d.h. = f; : : : ; r + sg. Die Elemetarereigisse sid also die Folge! = (! ; : : : ;! ) mit! k 2 f; : : : ; r + sg. Uter ideale Bediguge sid diese Elemetarereigisse alle gleich wahrscheilich, habe also die Wahrscheilichkeit (r + s). Das Ereigis eier spezielle Rot-Schwarz-Folge ist hier kei Elemetarereigis; ma ka die Azahl der Elemetarereigisse dari jedoch leicht abzähle: Eie spezielle Rot-Schwarz-Folge mit k-mal Rot ud ( k)-mal Schwarz wird durch r k s r r+s k Elemetarereigisse repräsetiert, hat also die Wahr- k s k. r+s Die Wahrscheilichkeit des Ereigisses Ak, geau scheilichkeit k-mal Rot zu ziehe, ist somit P (A k ) = 2. Ziehug ohe Zurücklege r k r + s k s k : r + s 22

23 Wir betrachte dieselbe Situatio mit dem Uterschied, dass die gezogee Kugel icht wieder zurückgelegt werde. Es muss u atürlich r +s sei. Die eizele Ziehuge sid icht mehr uabhägig, da ihr Ausgag die Zusammesetzug der Schachtel ud damit die achfolgede Ziehuge beei usst. Sei A k wieder das Ereigis, dass k rote Kugel gezoge werde. Wir setze voraus, dass 0 k r ud 0 k s gilt, sost ist A k das umögliche Ereigis. Um P (A k ) zu bestimme, muss ei geeigeter Wahrscheilichkeitsraum festgelegt werde. Als Elemetarereigis betrachte wir die Mege der -elemetige Teilmege der r +s Kugel. Wie viele daruter gehöre zu A k? Es gibt k r Möglichkeite, die s k Kugel aus de rote auszuwähle, ud k Möglichkeite für die schwarze Kugel, also ethält A k geau r s k k Elemetarereigisse. Es gilt also P (A k ) = r k s k o esichtlich ei aderer Wert als im Modell mit Zurücklege. Ma et dies auch die hypergeometrische Wahrscheilichkeitsverteilug. I userem Wahrscheilichkeitsraum köe wir jedoch das Ereigis, dass die erste Kugel rot ist, icht betrachte, de wir uterscheide die Reihefolge der Ziehuge icht. Um dieses Ereigis zu utersuche, brauche wir eie adere, grössere Wahrscheilichkeitsraum. Wir betrachte dazu aalog wie beim Modell mit Zurücklege die Mege 0 der Folge! = (! ;! 2 ; : : : ;! ) mit! i r + s aber mit der Eischräkug! i 6=! j für i 6= j. Da bedeutet! i r, dass die i-te Kugel rot ist, r +! i r + s, dass sie schwarz ist. 0 ethält o ebar (r + s)(r + s ) (r + s + ) Elemete. Betrachtet ma diese Elemetarereigisse als gleich wahrscheilich, so hat user obiges Ereigis A k (etspreched als Teilmege vo 0 formuliert) dieselbe Wahrscheilichkeit wie obe (achprüfe!). Im Gegesatz zu der Situatio i köe wir u jedoch die eizele Ziehuge uterscheide. Sei R i das Ereigis, dass die i-te Kugel rot ist. Jedes der R i ethält gleich viele Elemetarereigisse, ämlich r(r + s )(r + s 2) (r + s + ). Somit ist P (R i ) = r=(r + s) der gleiche Wert wie beim Modell mit Zurücklege. Deoch sid die Wahrscheilichkeite für A k i beide Modelle verschiede. Dies liegt dara, dass hier R ; : : : ; R abhägig sid: Das Ereigis R \ R 2 ethält r(r )(r + s 2) (r + s + ) Elemetarereigisse ud somit ist P (R \ R 2 ) = r+s ; r(r ) (r + s)(r + s ) 6= P (R )P (R 2 ); der Uterschied ist aber klei, sofer r ud s gross sid. Dies ist plausibel, de we die Gesamtzahl r + s der Kugel sehr gross ist, so beei usse sich die eizele Ziehuge weig. P (A k ) ka i der Tat durch die Wahrscheilichkeit der Biomialverteilug b(k; ; p) mit p = r=(r + s) ageähert werde, sofer 23

24 = r + s gross ist. Geauer: lim r;s! r=(r+s)!p r s k r+s k = p k ( p) k : (2.3) k Der Beweis ist sehr eifach: Die Grösse auf der like Seite sid gleich! r(r ) (r k + )s(s ) (s + k + ) k!( k)! (r + s)(r + s ) (r + s + )! p k ( p) k r fur r; s!, k r + s! p: Als Awedug vo Satz 2.5 betrachte wir im Beispiel 2.4 das i der Praxis wichtige Problem, die bedigte Wahrscheilichkeit für eie richtige Übertragug, gegebe das empfagee Zeiche, etwa P (S je ) zu bereche. Das lässt sich zuächst mittels P (S je ) = P (S \ E )=P (E ) umschreibe. Per De itio gilt Nach Satz 2.5 gilt also P (S \ E ) = P (E js )P (S ) = ( f )P (S ): P (E ) = P (E js )P (S ) + P (E js 0 )P (S 0 ) = ( f )P (S ) + f 0 P (S 0 ); P (S je ) = ( f )P (S ) ( f )P (S ) + f 0 P (S 0 ) : Das obige Beispiel ist ei Spezialfall der sogeate Bayes-Formel: Satz 2.8 Uter de Voraussetzuge vo Satz 2.5 ud P (A) > 0 gilt P (B i ja) = P (AjB i )P (B i ) P j= P (AjB j)p (B j ) : Beweis. P (B i ja) = P (B i \ A) P (A) = P (AjB i)p (B i ) P (A) = P (AjB i )P (B i ) P j= P (AjB j)p (B j ) ach Satz 2.5. Die Formel ist ach Thomas Bayes (702-76) beat, eiem eglische Pastor mit mathematische Neiguge. Die P (B i ) et ma oft die a priori Wahrscheilichkeite ud P (A) die a posteriori Wahrscheilichkeit. Die Formel beschreibt, wie ma die a priori Wahrscheilichkeite aufgrud des eigetretee a posteriori Ereigisses modifziere muss. Die Formel ist atürlich völlig trivial; ihre Iterpretatio hat jedoch scho zu Zeite vo Bayes Kotroverse ausgelöst, zum Teil die immer och 24

25 adauer. Sie spielt vor allem i der Theorie subjektiver Wahrscheilichkeite eie grosse Rolle (siehe Appedix.A). Die P (B i ) sid da die subjektive Wahrscheilichkeite, die eie Perso bestimmte Ereigisse zuordet. Wir ehme weiter a, dass die bedigte Wahrscheilichkeite P (AjB i ) mit der das a posteriori Ereigis A eitritt, bekat sid. Tritt da das Ereigis tatsächlich ei, so soll usere Perso ihre subjektive Wahrscheilichkeite gemäss der Bayes-Formel äder. 3 Thomas Bayes Uabhägig vo de mehr philosophische Iterpretatioe spielt die Bayes-Formel i viele Bereiche eie grosse Rolle.Wir betrachte eie typische Awedug: Wir ehme a, eie Perso werde mit eiem Bluttest auf eie seltee Krakheit utersucht. Der Test sei icht absolut zuverlässig: Krake Persoe werde mit Wahrscheilichkeit 0.8 etdeckt; der Test falle jedoch bei Gesude mit Wahrscheilichkeit 0. positiv aus. Das Problem ist geau das gleiche wie bei de i eier Leitug übertragee Sigale: Wir deklariere 0 als gesud ud als krak. Da ist also f 0 = 0:, f = 0:2. Mit welcher Wahrscheilichkeit ist u jemad mit positivem Testausgag krak? Das hägt vo der relative Häu gkeit der Krakheit ab, das heisst vo p := P (S ). Die Bayes-Formel ergibt P ( krak j Test positiv ) = 0:8 p 0:8 p + 0: ( p) : Für p = 0:0 ist das 0; 075. Derartige Betrachtuge spiele i automatisierte Expertesysteme (atürlich i viel kompliziertere Situatioe) eie grosse Rolle. Wir wolle och ei Beispiel diskutiert, das wir a eiige Stelle mathematisch och icht gaz exakt durchführe köe, zu desse Lösug us jedoch die izwische gewoee Ituitio im Umgag mit Wahrscheilichkeite befähigt: 3 I Experimete hat ma jedoch gesehe, dass sie das i der Regel icht mache. 25

26 A schlägt B das folgede Spiel vor: Sie werfe solage eie symmetrische Müze, bis zum erstemal eie vo zwei Dreiersequeze auftaucht. A gwit, we zuerst die Sequez Zahl-Kopf-Zahl (abgekürzt ZKZ) auftritt; B gewit, we zuerst die Sequez KKK vorkommt. Wie gross sid die Erfolgswahrscheilichkeite? Es ist icht gaz eifach, eie geeigete Wahrscheilichkeitsraum zur Beschreibug des Experimetes zu de. Wir werde das ute kurz diskutiere. Hier eie iutitive Methode, um die gesuchte Wahrscheilichkeit zu de. Zuächst bemerkt ma, dass vo eier Folge vo Müzwürfe ur der Teil am Ede wichtig ist, der als Afagsstück eier der Gewisequeze vorkommt, etwa bei der Folge KKZZKKZK die letzte zwei. Wir schreibe alle diese relevate Sequeze (Afäge der Gewisequeze ud die Gewisequeze selbst) auf: K K K K K K Z ZK ZK Z Die Pfeile gebe a, wie diese Sequeze ach eiem weitere Wurf verädert werde köe; z.b we i der obige Folge als ächstes Z geworfe wird, so hat B gewoe, ud sost ist ma bei KK. Mit q(k); q(kk); : : : bezeiche wir die bedigte Wahrscheilichkeit, dass A gewit, gegebe das Spiel ist i dem etsprechede Zustad. Sei q die ubedigte Wahrscheilichkeit, dass A gewit. Zuächst gilt atürlich q(kkk) = 0 ud q(zkz) =. Ist das Spiel i KK, so gelagt es mit Wahrscheilichkeit =2 ach KKK ud mit Wahrscheilichkeit =2 ach Z. Eie ugeierte Awedug der Formel über die totale Wahrscheilichkeit liefert: Aalog ud schliesslich q(kk) = 2 q(kkk) + 2 q(z) = 2 q(z): q(zk) = 2 q(kk) + 2 ; q(k) = 2 q(kk) + 2 q(z); q(z) = 2 q(z) + 2 q(zk) q = 2 q(z) + 2 q(k): Die 4. Gleichug ergibt q(z) = q(zk), also ach der zweite q(kk) = 2q(Z). I die erste eigesetzt folgt 2q(Z) = q(z)=2 oder q(z) = 2=3, also q(kk) = =3. Nach 26

27 der dritte gilt q(k) = =2 ud ach der letzte Gleichug schliesslich q = 7=2, also um =2 mehr als =2! (Wer es icht glaubt, soll es ausprobiere!) Ma ka versuche, eie optimale Dreiersequez zu de, d.h. eie, die gegeüber jeder adere eie Erfolgswahrscheilichkeit =2 hat. Es stellt sich jedoch heraus, dass es eie solche Sequez icht gibt: Zu jeder Sequez gibt es midestes eie, die sie schlägt! Die Schwierigkeit, dieses Beispiel mathematisch präzise beschreibe zu köe, liegt o ebar dari, dass wir us icht vor Begi darauf festlege köe, wie lage die Müzfolge ist, die wir betrachte müsse. Es gibt verschiedee Auswege; der brutalste besteht eifach dari, eie Wahrscheilichkeitsraum mit uedliche lage Folge vo Müzwürfe zu kostruiere. Wir wähle also = fk; Zg N : Die Elemete! 2 sid die uedlich lage Folge! = (! ;! 2 ;! 3 ; : : :) vo Elemete! k 2 fk; Zg : ist u allerdigs keie abzählbare Mege mehr. Es ist daher klar, dass wir die Wahrscheilichkeit vo Ereigisse icht mehr gemäss De itio.3 festlege köe. I köe wir atürlich alle Ereigisse eibette, die ur vo edlich viele Müzwürfe abhäge: Sid etwa i ; : : : ; i 2 fk; Zg ; so de iere wir die Teilmege A i ;:::;i := f! 2 :! = i ; : : : ;! = i g : (2.4) Wir stelle us also (geistig) de Müzwurf bis i uedlich fere Zukuft fortgesetzt. We wir us ur für die erste Millio Würfe iteressiere, so betrachte wir eifach die obe beschriebee Ereigisse mit = : Das wird i de meiste Fälle praktisch ausreiche; sollte jedoch jemad die Musse habe, eie Müze mehr als eie Millio Mal zu werfe, so ka ma eifach etspreched grösser wähle. Mathematisch bequem wäre es jedoch, ei P zu de, dass icht vo der maximal mögliche Läge des Zufallsexperimets abhägt. Wir suche da ei Wahrscheilichkeitsmass P auf ; desse Eischräkug auf die obige Ereigisse (2.4) mit de etspreched scho früher agegebee Wahrscheilichkeite übereistimmt. Formal ausgedrückt: Im symmetrische Müzwurf soll P (A i ;:::;i ) = 2 für jedes gelte. Für eie Müzwurf mit eier gezikte Müze wie im Beroulli Experimet (De itio 2.5) gilt da P (A i ;:::;i ) = p k ( p) k ; (2.5) wobei k die Azahl der K s i i ; : : : ; i ist. (Wir ideti ziere hier Kopf mit Erfolg ). Die Frage ist, ob ei derartiges P existiert. Tatsächlich weiss ma, dass es auf der Potezmege P () kei Wahrscheilichkeitsmass P gibt, das die Kolmogoro sche Axiome.0 ud. erfüllt. Es gilt jedoch der folgedes: Satz 2.9 Auf existiert eie -Algebra F P (), die alle Mege der Form (2.4) ethält, ud für jedes p 2 [0; ] gibt es auf F ei Wahrscheilichkeitsmass P : F! [0; ] im Sie vo De itio.3.2 sodass (2.5) gilt. 27

28 Wir köe de Satz hier icht beweise. Sätze vo diesem Typus sid für die weitere Etwicklug der Wahrscheilichkeitstheorie sehr wichtig; im Rahme dieser Vorlesug spiele sie jedoch keie sehr grosse Rolle. Die -Algebra F i diesem Satz ist icht eideutig; es gibt jedoch eie kleiste -Algebra, die alle Mege der Form A i ;:::;i ethält. Diese -Algebra bezeichet ma meist als die Produkt--Algebra auf ud wir setze i Zukuft stillschweiged voraus, dass F diese Produkt--Algebra ist. Sie ist durch die folgede Eigeschaft eideutig charakterisiert: Ist G eie beliebige -Algebra, die alle Mege der Form (2.4), so gilt F G: F ethält jedoch och sehr viel mehr Mege als ur diese spezielle A i ;:::;i. Eie (mehr psychologische) Schwierigkeit mit diesem Satz ist, dass ma die Elemete vo F icht kokret beschreibe ka. Dies ist jedoch icht weiter schlimm, de wichtig ist eizig, dass eigetlich alle Ereigisse, die iteressat sid, i dieser -Algebra sid. Dies beweist ma, idem ma sie mit Hilfe vo abzählbare Megeoperatioe aus de Mege der Form (2.4) gewie ka. Wir gebe eiige Beispiele dieses Sachverhaltes ute a. Ierhalb dieses Formalismus köe wir u das obige Beispiel präzise formuliere. Wir de iere die folgede Abbildug ZKZ :! N[ fg ZKZ (!) := if f 3 :! 2 = Z;! = K;! = Zg : Für ei! 2 ka es atürlich durchaus zutre e, dass die Bedigug i der Klammer für kei erfüllt ist. I diesem Falle setze wir eifach ZKZ (!) = : Aalog de iere wir KKK : Da gilt das folgede Ergebis: Propositio Die Mege f! 2 : ZKZ (!) < g ; f! 2 : KKK (!) < g ; f! 2 : ZKZ (!) < KKK (!)g sid alle i der obe eigeführte Produkt-- Algebra F: 2. Es gelte P (f! 2 : ZKZ (!) < g) = P (f! 2 : KKK (!) < g) = ; P (f! 2 : ZKZ (!) < KKK (!)g) = 7=2: Soweit habe wir weigstes de mathematische Rahme für das Beispiel geau präzisiert. Eie mathematisch präzise Formulierug des Beweises isbesodere vom 2. Teil erfordert jedoch immer och eiiges a Arbeit. Wir wolle das im Momet icht weiterverfolge; wir zeige jedoch, dass die i Propositio 2.20,. beschriebee Mege i F sid. Wir beschräke us auf f! 2 : ZKZ (!) < g ; die adere Fälle beweist ma aalog. Zuächst ist o esichtlich, dass f! 2 : ZKZ (!) < g = [ =3 f! 2 : ZKZ (!) g gilt. Das Ereigis f! 2 : ZKZ (!) g lässt sich jedoch als edliche Vereiigug vo Mege der Form (2.4) darstelle, ämlich als Vereiigug derjeige A i ;:::;i ; für die 28

29 ei m mit 3 m existiert mit i m 2 = Z; i m = K; i m = Z: Demzufolge ist f! 2 : ZKZ (!) < g eie abzählbare Vereiigug vo Mege der Form (2.4), ud ach der De itio.3. ist f! 2 : ZKZ (!) < g 2 F: Wir utersuche och ei etwas komplizierteres Beispiel, das im ächste Kapitel eie Rolle spielt. Wir betrachte die Mege der! 2 ; für die die relative Häu gkeit der Kopfwürfe i der uedliche Folge exakt gleich =2 ist. Wir präzisiere das wie folgt: Für 2 N sei K (!) die Azahl der K s i! ; : : : ;! : Da de iere wir A := K (!)! 2 : lim! existiert ud ist = 2 Wir zeige u, dass A 2 F ist. Dazu die folgede Überlegug: Sei (a ) 2N eie beliebige reelle Zahlefolge. Da gilt lim! a = =2 geau da, we für jedes m 2 N ei N 2 N existiert mit =2 =m < a < =2 + =m für alle N: Setze wir A ;m :=! 2 : 2 m < K (!) < 2 + ; m so gilt also A = \ m2n [ N2N \ :N A ;m: Nu ist jedoch o esichtlich, dass die Mege A ;m sich als edliche Vereiiguge vo Mege der Form (2.4) darstelle lasse, de ob ei! zu dieser Mege gehört, hägt ur vo! ; : : : ;! ab. Demzufolge gilt A m; 2 F: Wege der Eigeschaft (.3) gilt da für jedes N 2 N \ :N A m; 2 F: Demzufolge ist ach der De itio.3 [ \ N2N :N A m; 2 F: Nochmaliges Awede vo (.3) ergibt A 2 F: Uter Awedug des hier icht bewiesee Satzes 2.9 folgt (für jedes p 2 [0; ]); dass P (A) de iert ist. Wir werde im ächste Kapitel sehe, dass P (A) = ist falls p = =2 ist ud P (A) = 0 falls p 6= =2: 3 Zufallsgrösse, Gesetz der Grosse Zahle Wir sid scho eiige Male auf die Situatio gestosse, dass de Elemetarereigisse reelle Zahle zugeordet werde. Uter Umstäde sid die Elemetarereigisse selbst scho Zahle. Wir wolle dies u systematisch diskutiere. De itio 3. Sei (; p) ei diskreter Wahrscheilichkeitsraum. Da heisst eie Abbildug :! R eie (diskrete) Zufallsgrösse. : 29

30 Statt Zufallsgrösse wird oft auch der Begri Zufallsvariable beutzt. Für die formale De itio ist p zuächst völlig belaglos. Eie Zufallsgrösse ist eifach eie Abbildug ud keie zufällige Abbildug. Natürlich werde wir jedoch u die Eigeschafte vo im Zusammehag mit p utersuche. Es bezeiche () das Bild vo uter, d.h. die abzählbare Mege reeller Zahle f (!) :! 2 g. Für A R ist (A) := f! 2 : (!) 2 A g eie Teilmege vo, d.h. ei Ereigis. Wir ee dies das Ereigis, dass eie Wert i A aimmt. (A) ist ur eie bequeme Schreibweise; wir setze i keier Weise voraus, dass die Abbildug ivertierbar ist, d.h. dass eie Umkehrabbildug vo existiert. Wir beutze die folgede Kurzschreibweise: f 2 Ag := f! 2 : (!) 2 A g = (A); f = zg := f! 2 : (!) = z g = (fzg); f zg := f! 2 : (!) z g = (( ; z]); etc. Statt P (f 2 Ag), P (f = zg) schreibe wir eifach P ( 2 A), P ( = z), etc. Wir schreibe meistes ei Komma astelle vo ud bzw. des megetheoretische Durchschitts ierhalb der Klammer i P ( ). Sid etwa ; Y Zufallsgrösse ud A; B R, so schreibe wir P ( 2 A; Y 2 B) für P (f 2 Ag \ fy 2 Bg) oder och ausführlicher P (f! : (!) 2 A ud Y (!) 2 B g). Beispiele 3.2. Es sei die Augesumme beim zweimalige Werfe eies Würfels. Zur formale Beschreibug dieses Versuchs betrachte wir de Wahrscheilichkeitsraum (; p) mit = f; 2; 3; 4; 5; 6g 2 ud der Gleichverteilug p, also p((i; j)) = =36 für alle (i; j) 2. Die Zufallsgrösse :! R mit ((i; j)) = i + j für alle (i; j) 2 beschreibt da die Augesumme, ud es gilt z.b. P ( = 3) = P (f(; 2); (2; )g) = =8 ud P ( 4) = P (f(; ); (; 2); (2; ); (; 3); (2; 2); (3; )g) = =6: 2. Es bezeiche die Azahl der Erfolge i eiem Beroulli-Experimet der Läge ud Erfolgswahrscheilichkeit p. I diesem Fall ist = fm; Eg ud (!) := P i= E (! i ) für! = (! ; : : : ;! ) : Dabei ist E die Idikatorfuktio: falls x = E E (x) := 0 falls x = M : Beispiel 3.3 Wir wolle ei etwas komplizierteres Beispiel aus der Iformatik diskutiere, ämlich de Sortieralgorithmus Quicksort: Der Algorithmus sortiert eie Liste vo Zahle der Grösse ach. Der Bequemlichkeit halber ehme wir a, dass alle Elemete der Liste verschiede sid. Es gibt verschiedee Versioe dieses Algorithmus; wir betrachte hier 30

31 die folgede, die für die Praxis icht gaz optimal ist. 4 Im. Schritt wird das erste Elemet der Liste mit de adere vergliche ud da a die richtige Stelle gebracht. Das heisst, die Elemete, die kleier sid, werde vor dieses erste Elemete der ursprügliche Liste gebracht, ud die grössere werde hiter ihm gelasse. Dabei wird jedoch zuächst die itere Reihefolge der grössere ud der kleiere Elemete icht agetastet. Zum Beispiel wird aus ach dem erste Schritt Die kleiere Elemete (im Bsp. obe 3 5 ) ud die grössere (im Bsp. 8 7) bilde u zwei kürzere Teilliste. Die Prozedur ruft sich u rekursiv auf, um diese zu orde. Liste der Läge 0 ud brauche icht mehr geordet zu werde. Dies ist das Abbruchkriterium für de Algorithmus. Wir de iere de Aufwad für diese Algorithmus als die Azahl der Vergleiche zweier Zahle, die bis zum Schluss beötigt werde. Natürlich ist dies eie Vereifachug der reale Situatio. Der tatsächliche Aufwad hägt auch vo der verwedete Programmiersprache ab. Im. Schritt werde stets Vergleiche durchgeführt. Wie viele jedoch achher gebraucht werde, hägt davo ab, wie die Eiteilug i die Teilliste erfolgt. Im obige umerische Beispiel: Schritt 5 Vergleiche. Orde vo Vergleiche. Orde vo Vergleich. Zusamme also 8 Vergleiche. Ma ka sich leicht überlege, dass der Algorithmus im ugüstigste Fall isgesamt ( ) + ( 2) + + = ( )=2 Vergleiche beötigt (z.b. we die Liste scho geordet ist!). I der Regel braucht ma jedoch bedeuted weiger, was die Beliebtheit des Algorithmus erklärt. Was heisst i der Regel? Wir mache dazu ei wahrscheilichkeitstheoretisches Modell: Als gleich wahrscheiliche Elemetarereigisse ehme wir die mögliche Reihefolge eier Mege vo verschiedee Elemete. Wir habe also! Elemetarereigisse. sei die Azahl der beötigte Vergleiche bei Quicksort, etwa = 0 für jede eielemetige Liste. Da ist z.b. 6 ((6; 8; 3; 5; ; 7)) = 8, wie obe berechet, oder 6 ((; 3; 5; 6; 7; 8)) = 5. Wir werde eiige stochastische Aspekte dieses Beispiels weiter ute eigeheder diskutiere. 5 Sei :! R eie Zufallsgrösse. Für z 2 () sei f(z) := P ( = z). Da die Ereigisse f = zg für verschiedee z 2 () sich gegeseitig ausschliesse ud = [ z2() f = zg 4 Quicksort ist der am weiteste verbreitete Sortieralgorithmus. We Ihr Computer eie Liste sortiert, so tut er das wahrscheilich mit Quicksort. 5 Die i der Praxis verwedete Versioe vo Quicksort vermeide die uageehme Eigeheit userer Versio, dass der Aufwad für (teilweise) geordete Liste besoders hoch ist. Eie Möglichkeit dazu ist, die Liste vor der Awedug vo Quicksort gut zu mische. Der zusätzliche Aufwad dafür ist miimal. 3

32 gilt, folgt z2() f(z) = : ((); f) ist somit ei Wahrscheilichkeitsraum im Sie vo De itio.. De itio 3.4 f heisst die Verteilug der Zufallsgrösse. Aus der Verteilug eier Zufallsgrösse lässt sich P ( 2 A) für jede Teilmege A vo R bereche: P ( 2 A) = f(z): z2a\() Verteiluge sid jedoch oft kompliziert ud i viele praktisch wichtige Beispiele icht explizit berechebar (z.b. beim Quicksort-Beispiel obe). Zuächst eiige Beispiele, bei dee die Verteilug eifach agegebe werde ka: Beispiele 3.5. Sei die Augesumme bei eiem Wurf mit zwei Würfel. () = f2; 3; 4; : : : ; 2g. Die Verteilug ist gegebe durch f (2) = f (2) = 36 ; f (3) = f () = 8 ; f (4) = f (0) = 2 ; f (5) = f (9) = 5 9 ; f (6) = f (8) = 36 ; f (7) = 9 : 2. Sei die Azahl der Erfolge i eiem Beroulli-Experimet der Läge ud Erfolgswahrscheilichkeit p. Da ist, wie wir scho i Kapitel 2 berechet habe: P ( = k) = p k ( p) k = b(k; ; p) für k 2 f0; ; : : : ; g: k Eie Zufallsgrösse mit dieser Verteilug heisst biomialverteilt mit Parameter p ud. 3. Geometrisch verteilte Zufallsgrösse: I eiem Beroulli-Experimet mit Erfolgswahrscheilichkeit p führe wir das Experimet so lage fort, bis zum erstemal Erfolg eitritt. sei der Zeitpukt des erste Erfolges. Wir wähle = N, wobei 2 N das Elemetarereigis ist, dass der erste Erfolg zum Zeitpukt vorkommt. Dieses Ereigis ist auch ei Elemetarereigis im Beroulli- Experimet der feste Läge, ämlich das Ereigis, dass ach Misserfolge ei Erfolg vorkommt. Somit gilt p() = ( p) p. Tatsächlich ist P = p() = p P =0 ( p) =, womit wir achgeprüft habe, dass (; p) ei Wahrscheilichkeitsraum ist. Wir setze da eifach () = für alle 2. Eie Zufallsgrösse, die diese Verteilug hat, heisst geometrisch verteilt. Geometrisch verteilte Zufallsgrösse habe die folgede iteressate Eigeschaft: Satz 3.6 Sei geometrisch verteilt. Für k 2 N ist die bedigte Wahrscheilichkeit P ( = +k j > ) gleich P ( = k), also isbesodere uabhägig vo 2 N. 32

33 Beweis. Für alle k; 2 N gilt P ( = + k j > ) = P ( = + k) P ( > ) = p( + k) P m=+ p(m) ud m=+ p(m) = m=+ ( p) m p = p( p) ( p) m = ( p) : Somit folgt p( + k)= P m=+ p(m) = ( p)k p. Der Satz hat die folgede ituitive Iterpretatio: Die Tatsache, dass bis zu eiem Zeitpukt kei Erfolg eigetrete ist, verädert icht die bedigte Verteilug des Momets des erste Erfolges, gerechet vo diesem Zeitpukt a. (Viele Mesche sid aderer Asicht, da sie, geleitet vo der Beobachtug, dass sich Erfolge ud Misserfolge zum Beispiel bei eiem symmetrische Beroulli-Experimet ugefähr ausgleiche, dem Trugschluss erliege, dass ach eier lage Pechsträhe die Wahrscheilichkeit für eie Erfolg steigt.) Da sich die exakte Verteilug i viele Beispiele ur schwer oder gar icht explizit bereche lässt, ist es wichtig, dass es gewisse Kegrösse vo Zufallsgrösse gibt, die oft eifacher zu bereche oder abzuschätze sid, ud die wichtige Iformatioe über die Zufallsgrösse ethalte. Die wichtigste dieser Grösse ist der Erwartugswert, der agibt, wo die Zufallsgrösse im Mittel liegt. De itio 3.7 Sei eie Zufallsgrösse. Ma sagt, dass der Erwartugswert vo existiert, falls jzjp ( = z) < ist. Der Erwartugswert vo ist da de iert durch P z2() E() = z2() m=0 zp ( = z): Wir de iere also E() ur, we die Reihe absolut kovergiert. Der Wert der Reihe zp ( = z) z2() hägt da icht vo der Reihefolge der Summade ab. Es muss hervorgehobe werde, dass der Erwartugswert eier Zufallsgrösse ur vo dere Verteiluge abhägt. Zwei verschiedee Zufallsgrösse mit derselbe Verteilug habe also deselbe Erwartugswert. Wir lasse die Klammer oft weg ud schreibe E statt E(). Physikalische Iterpretatio: Die Pukte i () seie Massepukte auf der reelle Achse. z 2 () habe die Masse P ( = z). Da ist E der Schwerpukt dieser Masseverteilug. Ma ka statt über () auch über summiere: 33

34 Lemma 3.8 Der Erwartugswert vo existiert geau da, we die Reihe P!2 p(!)(!) absolut kovergiert. I diesem Falle gilt E = P!2 p(!)(!). Beweis. jzjp ( = z) = jzj p(!) z2() = z2() (z;!):(!)=z!:(!)=z jzjp(!) = j(!)jp(!):!2 Somit folgt der erste Teil der Behauptug; der zweite ergibt sich mit eier Wiederholug der obige Rechug ohe Absolutzeiche. Satz 3.9 a) Ist c 2 R ud ist die kostate Abbildug ach c (d.h. (!) = c für alle! 2 ), so gilt E = c. b) ; : : : ; seie (auf eiem gemeisame Wahrscheilichkeitsraum de ierte) Zufallsgrösse, dere Erwartugswerte existiere, ud a ; : : : ; a seie reelle Zahle. Ferer sei a +a a die Zufallsgrösse, dere Wert a der Stelle! 2 gleich a (!)+a 2 2 (!)+ +a (!) ist. Da existiert E(a + +a ) ud ist gleich a E + + a E. (Ma sagt, der Erwartugswert sei liear.) c) Sid ; Y Zufallsgrösse mit existierede Erwartugswerte, ud gilt (!) Y (!) ; 8! 2 ; so gilt E EY: Beweis. a) ist ach der De itio vo E evidet. b) Wir beutze Lemma 3.8: p(!)ja (!) + + a (!)j! ja j! p(!)j (!)j + + ja j! p(!)j (!)j < : Somit existiert der Erwartugswert ud es gilt E(a + + a ) = p(!)(a (!) + + a (!))! = a p(!) (!) + + a p(!) (!)!! = a E + + a E : c) E =! p (!) (!)! p (!) Y (!) = EY: 34

35 Die Mege aller Zufallsgrösse, die auf de iert sid, ist eifach R ud ist i atürlicher Weise ei R-Vektorraum. Die Mege der Zufallsgrösse, dere Erwartugswert existiert, ist ach dem obige Satz ei Uterraum vo R. Ma bezeichet ih oft als L (; p). Der Erwartugswert ist eie lieare Abbildug vo L (; p) ach R, also ei Elemet des Dualraumes vo L (; p). Beispiele 3.0. Ist eie Zufallsgrösse, die ur die Werte 0 oder aimmt, so gilt E = 0 P ( = 0) + P ( = ) = P ( = ) : 2. biomialverteilt mit Parameter p; : Wir schreibe als + +, wobei i = ist, we der i-te Versuch vo Erfolg gekröt war, ud aderfalls i = 0. Es gilt E( i ) = P ( i = ) = p ud somit E = p. 3. sei geometrisch verteilt mit Parameter p > 0: Es gilt E() = P k= k( p)k p. Eie Awedug des Quotietekriteriums zeigt, dass die Reihe kovergiert. Zur Berechug verwede wir de folgede Trick: Sei f(s) := P k= sk = s=( s) für alle jsj < (geometrische Reihe). Da gilt f 0 (s) = ks k = k= ( s) s( ) ( s) 2 = ( s) 2 : (Frage a de Leser: Warum darf gliedweise di ereziert werde?) Setzt ma s = p ei, so ergibt sich k( p) k = p 2 ; also E() = p : k= 4. I userem Modell eier zufällige Reihefolge eier Liste mit verschiedee Elemete (Beispiel 3.3) sei Y die Azahl der Elemete, die scho auf dem richtige Platz der geordete Liste sid. P (Y = ) ist leicht zu bereche, de das Ereigis fy = g ethält geau ei Elemetarereigis, ämlich die geordete Liste. Somit gilt P (Y = ) = =!. Für k < ist die Berechug vo P (Y = k) ei icht gaz triviales Problem. Mit eiem Trick ka ma jedoch E(Y ) = P k=0 kp (Y = k) bereche, ohe die Verteilug vo Y zu kee. Ma schreibt Y = Y + Y Y, wobei Y i = ist, we das i-te Elemet auf dem richtige Platz steht, ud Y i = 0 sost. Da gilt E(Y i ) = P (Y i = ) + 0 P (Y i = 0) = P (Y i = ). fy i = g ethält geau die ( )! Elemetarereigisse, die das i-t grösste Elemet der Liste auf dem i-te Platz habe. Somit folgt E(Y i ) = ( )!=! = =. Nu utzt ma aus, dass E(Y ) = P i= E(Y i) ist; also folgt E(Y ) =. Wir wolle die Aalyse vo Quicksort (Beispiel 3.3) etwas fortsetze: Der Erwartugswert E ist gleich P!!2 (!), da! gleich wahrscheiliche Elemetarereigisse ethält. Dieser mittlere Aufwad soll u berechet werde. 35

36 O ebar köe wir ohe Eischräkug der Allgemeiheit aehme, dass die zu ordede Liste geau die Zahle bis ethält. Die Elemetarereigisse sid die Permutatioe vo bis, d.h. die bijektive Abbilduge! : f; : : : ; g! f; : : : ; g. Ist!() = k, so hat ach dem erste Durchgag des Algorithmus die Liste die Gestalt ((); : : : ; (k ); k; 0 (k + ); : : : ; 0 ()) (3.) Dabei sid ud 0 Permutatioe der Zahle bis k bzw. k + bis. Die vordere Liste etfällt für k = ud die hitere für k =. Es gibt im allgemeie mehrere Elemetarereigisse, die ach dem erste Durchgag gleich aussehe, z.b. (3; 2; 4; ); (3; 2; ; 4); (3; 4; 2; ). Wir bezeiche mit k;; 0 die Mege der Elemetarereigisse, die ach dem erste Durchgag die obige Liste (3.) ergebe. Der erste Durchgag des Algorithmus beötigt Vergleiche. Ist!() = k, so ist demzufolge die gesamte Azahl (!) der beötigte Vergleiche (!) = ( ) + k () + 0 k ( 0 ); wobei k () ud 0 k ( 0 ) die Azahl der beötigte Vergleiche für das Orde der Liste ((); : : : ; (k )) bzw. ( 0 (k + ); : : : ; 0 ()) bezeiche. Somit gilt E = (!) =!!!2 = ( ) +! k= k=!:!()=k 0!2 k;; 0 (!) ( k () + 0 k ( 0 )): Die Summatio über geht über alle Permutatioe der Zahle bis k, ud diejeige über 0 geht über alle Permutatioe der Zahle k + bis. Zuächst müsse wir abzähle, wie viele Elemete k;; 0 ethält, d.h. wieviele Möglichkeite es gibt, die Elemete (); : : : ; (k ) uter Erhaltug ihrer Ordug i de Elemete auf de Plätze 2 bis der ursprügliche Liste eizuorde. Dies ist eifach die Azahl der Möglichkeite, k Elemete aus f2; : : : ; g auszuwähle, also k. Somit gilt E = ( ) +! = ( ) + = ( ) + = ( ) + 2 k k= k= 0 k () + 0 k ( 0 ) (k )! k () + ( k)! 0 k ( 0 ) 0 (E k + E k ) k= E k : k=! 36

37 Da E 0 ud E gleich 0 sid, köe wir die obige Gleichug wie folgt umschreibe: Dasselbe mit astelle vo : E = ( ) + 2 E k : k=2 2 ( )E = ( )( 2) + E k : Subtrahiere wir die zweite Gleichug vo der erste, so ergibt sich d.h. k=2 E ( )E = 2( ) + 2E E ( + )E = 2( ): Dividiert ma durch ( + ), so ergibt sich: E + also, da E( ) = 0 ist, E + = Ej j + j=2 0 = 2 j + j=2 0 = j=2 E = E j j j= j ( ) 2 ( + ) = 2 + = 2 j=2 2 j + j ; A (3.2) j + 0 A = 2 j + + A : + Damit habe wir E berechet, allerdigs etwas uhadlich, da wir P j= j+ icht explizit hischreibe köe. Es gelte aber die folgede Abschätzuge, bei dee log de Logarithmus zur Basis e bezeichet: Z +2 dx Z j+2 log( + ) log( + 2) log(2) = x = dx x j + ; die letzte Ugleichug gilt, da x j+ für x 2 [j + ; j + 2] ist. Ferer ist j+ x für x 2 [j; j + ], also ist Z + j + dx = log( + ): x j= 2 j= Für de hergeleitete Ausdruck für E( ) bedeutet das Wege lim! j= j+ 2( + )(log( + ) 2) E 2( + ) log( + ): + = ud lim! log log(+) = folgt 37 j=

38 Satz 3. lim! E log = 2: Der Aufwad für Quicksort ist also im Mittel etwa 2 log. Ma weiss, dass es keie Sortieralgorithmus gebe ka mit eiem Aufwad, desse Grösseordug uter log ist. Es gibt allerdigs Algorithme, die jede vorgegebee Liste i weiger als cost log Schritte orde (z.b. Mergesort), währed Quicksort i ugüstige Fälle wesetlich mehr braucht. Der mittlere Aufwad ist jedoch bei Quicksort güstiger als bei Mergesort. Der obige Satz ist ei Beispiel für eie i der Algorithmik sehr wichtige Aalyse. Viele Algorithme (z.b. bei Optimierugsprobleme) habe ei sehr schlechtes Verhalte i ugüstigste Fälle, jedoch eie gute mittlere Laufzeit. Die alleiige Ketis vo Erwartugswerte ist im allgemeie weig ützlich, we icht gleichzeitig bekat ist, dass die Zufallsgrösse mit hoher Wahrscheilichkeit ahe beim Erwartugswert liegt. Dazu ei Beispiel: Ist P ( = 0) = P ( = ) = =2, so ist E = =2, aber dies gibt im Grude weig Iformatio über. Aderseits: Sei die mittlere Azahl der Kopfwürfe bei eiem Müzwurf-Experimet der Läge 000, d.h. die Azahl der Kopfwürfe dividiert durch 000. Aus Beispiel wisse wir, dass ebefalls E = =2 gilt. Jederma ist bekat, dass mit grosser Wahrscheilichkeit ahe bei =2 liegt. Dies ist der Ihalt des Gesetzes der grosse Zahle, das wir gleich weiter ute diskutiere ud beweise werde. Die Verteilug vo ist hier ziemlich scharf um E kozetriert. Ohe solche Massekozetratiosphäomee gäbe es keie Aweduge der Wahrscheilichkeitstheorie. Ei Mass für die Abweichug, die eie Zufallsgrösse vo ihrem Erwartugswert hat, ist die sogeate Variaz: De itio 3.2 Es sei eie Zufallsgrösse mit existieredem Erwartugswert E. Da heisst var() := (z E) 2 P ( = z) (3.3) z2() die Variaz vo ud () := + p var() die Stadardabweichugvo, falls die (möglicherweise uedliche) Reihe kovergiert. Ma sagt oft auch, die Variaz sei uedlich, we die Reihe divergiert. Da die Variaz de mittlere quadratische Abstad die Zufallsgrösse vo E misst, ist es ahelieged, dass die Stadardabweichug agibt, wie weit etfert ma typischerweise die Zufallsgrösse vo ihrem Erwartugswert de wird. Diese Iterpretatio soll ma jedoch ur mit Vorsicht awede. Eie aheliegede Frage ist, wieso ma die Stadardabweichug icht eifach durch P z2() jz Ej P ( = z) de iert. Die Atwort ist, dass ma mit Summe vo Quadrate (mathematisch) besser umgehe ka als mit Summe vo Absolutbeträge. 38

39 Lemma 3.3 Es gilt var () 0 ud var () = 0 gilt geau da, we P ( = E) = ist. Beweis. Die Aussage folge umittelbar aus der De itio. Es ist ahelieged (ud richtig, wie wir gleich sehe werde), dass var () eifach der Erwartugswert der Zufallsgrösse!! ( (!) E) 2 ist. Wir fomuliere das gleich etwas allgemeier als ubedigt ötig. Sei eie Zufallsgrösse ud f : R! R: Da ist die Zusammesetzug f () :! R atürlich ebefalls eie Zufallsgrösse. Lemma 3.4 Ef () existiert geau da, we P z2() jf (z)j P ( = z) < ist, ud es gilt i diesem Fall Ef () = f (z) P ( = z) : (3.4) z2() Beweis. Das ist eie eifache Umsummierug wie i Lemma 3.8. Nach diesem Lemma existiert Ef () geau da, we P!2 jf ( (!))j p (!) < gilt. Wir spalte das ach de Werte vo auf: jf ( (!))j p (!) = jf ( (!))j p (!)!2 = z2()!:(!)=z z2() jf (z)j!:(!)=z p (!) = z2() jf (z)j P ( = z) : Im Falle der Kovergez dieser Reihe, folgt (3.4) mit derselbe Rechug ohe Absolutzeiche. Eie Awedug dieses Lemmas auf die Fuktio f (z) := (z E) 2 ergibt, dass var () der Erwartugswert der Zufallsgrösse ( E) 2 ist. Nachfolged eiige weitere eifache Eigeschafte: Lemma 3.5. var() existiert geau da, we E( 2 ) existiert. 2. Existiert var(), so gilt var() = E( 2 ) (E) 2 : (3.5) 3. Für a; b 2 R gilt var(a + b) = b 2 var(): 4. Sid ud Y Zufallsgrösse, dere Variaze existiere, so existiert die Variaz vo + Y. Beweis. ud 2.: Falls E existiert, so gilt ( E) 2 = 2 2(E) + (E) 2 : 39

40 Uter der Voraussetzug, dass E existiert, existiert var () = E(( E) 2 ) also geau da, we E 2 existiert, ud es gilt da wege der Liearität des Erwartugswertes die Formel (3.5). Es bleibt och zu zeige, dass die Existez vo E 2 die Existez vo E impliziert. Dazu: jxj P ( = x) = jxj p P ( = x) p P ( = x) x2() = x2() s x2() s x2() x 2 P ( = x) x2() x 2 P ( = x) < : P ( = x) ach Cauchy-Schwarz. 3. folgt ebefalls sofort aus der Liearität des Erwartugswerts. 4.: Es gilt ((!) + Y (!)) 2 2(!) 2 + 2Y (!) 2 für alle! 2. Nach folgt die Existez vo var( + Y ). Beispiel 3.6 Wir bereche die Variaz eier geometrisch verteilte Zufallsgrösse ud verwede dazu P deselbe Trick wie bei der Berechug des Erwartugswertes. Sei also f(s) := k= sk = s=( s) für alle jsj <. Da gilt f 00 (s) = k(k )s k 2 = k= 2 ; jsj < : ( s) 3 Da E( 2 ) = E( + ( )) = E() + E(( )) ist, folgt mit Lemma 3.4 ud der obige Formel mit s = p E(( )) = k(k )p( p) k = p( p) k(k )( p) k 2 = 2 p p 2 ; k= also E( 2 ) = =p + 2( p)=p 2 = (2 p)=p 2, wobei wir E() = =p gemäss Beispiel beützt habe. Aus var() = E( 2 ) (E) 2 ach Lemma folgt var() = ( p)=p 2. Im allgemeie gilt var( + Y ) 6= var() + var(y ). Eie eifache Rechug ergibt ämlich var( + Y ) = E(( + Y ) E( + Y )) 2 = E( E) 2 + E(Y EY ) 2 + 2E [( E)(Y EY )] (3.6) k= = var() + var(y ) + 2E [( E)(Y EY )] ; ud der letzte Summad ist i viele Fälle ugleich Null, z.b. für = Y, var() 6= 0. Deoch ist der Fall, wo für zwei Zufallsgrösse ud Y die Gleichug var( + Y ) = var()+var(y ) gilt, vo besoderem Iteresse, was wir weiter ute diskutiere werde. 40

41 De itio 3.7 Sid ud Y zwei Zufallsgrösse, so ist die Kovariaz zwische ud Y de iert durch cov(; Y ) = E [( E)(Y EY )], falls alle i diesem Ausdruck vorkommede Erwartugswerte existiere. Bemerkug 3.8 Eie aaloge Überlegug wie im Beweis vo Lemma 3.5 zeigt, dass cov(; Y ) geau da existiert, we E(), E(Y ) ud E(Y ) existiere. I diesem Fall gilt cov(; Y ) = E(Y ) E()E(Y ): Lemma 3.9 Seie ud Y Zufallsgrösse, für die cov(; Y ) existiert.. cov(; Y ) = cov(y; ): 2. Die Kovariaz ist biliear i ihre Argumete: Sid ; 2 R so gilt cov(; Y ) = cov(; Y ): Sid ; 0 ; Y Zufallsgrösse für die cov (; Y ) ud cov ( 0 ; Y ) existiere, so existiert auch cov ( + 0 ; Y ) ud es gilt cov + 0 ; Y = cov (; Y ) + cov 0 ; Y : Beweis. Die Eigeschafte folge sofort aus der De itio der Kovariaz ud der Liearität des Erwartugswertes. Die Gleichug (3.6) ka wie folgt verallgemeiert werde: Satz 3.20 Seie ; : : : ; Zufallsgrösse mit existierede Variaze ud Kovariaze. Da gilt var Beweis.! var i = E i= =! i = i= i= i = E var( i ) + i= var( i ) + 2 i=! 2 i = E i= cov( i ; j ) i;j= i6=j i<j cov( i ; j ) ( i E i ) i= (E( i E i )( j E j )) = i;j=! 2 var( i ) + i= cov( i ; j ): (Um Klammer zu spare, verstehe wir uter EY 2 stets E Y 2 ): Die zweite Gleichug folgt aus der erste wege cov (; Y ) = cov (Y; ) : 4 i;j= i6=j

42 Beispiel 3.2 Als Awedug dieser Formel bereche wir die Variaz eier hypergeometrisch verteilte Zufallsgrösse. Sei eie Schachtel mit r rote ud s schwarze Kugel gegebe. Es werde k r +s Kugel (ohe Zurücklege) gezoge. bezeiche die Azahl gezogeer rote Kugel. Wir schreibe = P k i= i; wobei i = ist, we die i-te gezogee Kugel rot ist, aderfalls i = 0: Eie eifache Rechug ergibt E i = P ( i = ) = r r + s var ( i ) = E i 2 (E i ) 2 = r s r + s r + s : Um die Kovariaze auszureche, bestimme wir E ( i j ) = P ( i = ; j = ) = P ( j = j i = ) P ( i = ) = r P ( j = j i = ) r + s : Wir argumetiere u wie folgt: Bedigt darauf, dass die i-te gezogee Kugel rot ist, etspricht der Ziehug der adere Kugel eie Ziehug aus eier um eie rote Kugel vermiderte Schachtel, d..h. P ( j = j i = ) = r r + s : Es sei dem Leser überlasse, dieses Plausibilitätsargumet mathematisch präzise zu formuliere. Aus der obige Gleichug erhalte wir u für i 6= j : cov ( i ; j ) = E ( i j ) E i E j = r r r + s r + s r r r = = r + s r + s r + s Damit erhalte wir r r + s 2 rs (r + s) 2 (r + s ) : var () = k var ( ) + k (k ) cov ( ; 2 ) = rs rs k (r + s) 2 k (k ) (r + s) 2 (r + s ) = rs k (r + s ) k (k ) (r + s) 2 = krs r + s k (r + s ) (r + s) 2 r + s : Satz 3.22 Existiere var() ud var(y ), so existiert cov(; Y ) ud es gilt (() := p var()): j cov(; Y )j ()(Y ): (3.7) 42

43 Beweis. Für alle! 2 gilt j(!)y (!)j 2 2 (!) + 2 Y 2 (!). Daraus ud aus Lemma 3.5 folgt die Existez vo E(Y ) ud ach der Bemerkug 3.8 auch die vo cov(; Y ). Für ; 2 R folgt aus Lemma ud Satz 3.20: 0 var( + Y ) = 2 var() + 2 cov(; Y ) + 2 var(y ): Als Fuktio vo (; ) 2 R 2 de iert dies also eie positiv semide ite quadratische Form. Demzufolge ist var() cov(; Y ) det 0: (3.8) cov(; Y ) var(y ) Dies impliziert die Aussage. Bemerkug Der Vollstädigkeit halber sei auf de folgede Sachverhalt higewiese. Die Existez vo cov(; Y ) setzt die Existez vo E, EY ud E(Y ) voraus ud folgt ach dem obige Satz aus der Existez vo var() ud var(y ). Letzteres ist jedoch dafür icht otwedig: Es gibt Zufallsgrösse mit existiereder Kovariaz, dere Variaze icht existiere. 2. Gleichheit i (3.7) gilt o ebar geau da, we die Determiate i (3.8) gleich 0 ist. Dies ist geau da der Fall, we die quadratische Form icht postiv de it ist, d.h. we es ; 2 R gibt, icht beide = 0; mit var( + Y ) = 0: Wie wir scho wisse, gilt diese Gleichug geau da, we P ( + Y = E + EY ) = gilt. Mit adere Worte: Gleichheit i (3.7) gilt geau da, we es reelle Zahle ; ; c gibt, sodass mit Wahrscheilichkeit die Gleichug +Y = c gilt. (Dass c i diesem Fall = E + EY sei muss, ist o esichtlich). Machmal ist es praktisch, die Kovariaz och zu ormiere: Sid (); (Y ) > 0, so setze wir cov (; Y ) ;Y := ()(Y ) ;Y bezeichet ma als de Korrelatioskoe ziete vo ud Y: Nach Satz 3.22 gilt ;Y : Nach der Bemerkug gilt ;Y = geau da, we ; ; c 2 R existiere, mit P ( + Y = c) = : De itio 3.24 Die Zufallsgrösse ud Y heisse ukorreliert, we cov(; Y ) existiert ud gleich 0 ist. Satz 3.25 Sid die Zufallsgrösse ; : : : ; ukorreliert ud existiere die Variaze, so gilt var! i = i= var( i ): i= 43

44 Beweis. Satz 3.20 ud die De itio vo ukorreliert. Die für us zuächst wichtigste Klasse vo ukorrelierte Zufallsgrösse sid uabhägige: De itio 3.26 Zufallsgrösse ; : : : ; heisse uabhägig, we P ( = z ; : : : ; = z ) = P ( = z ) P ( = z ) für alle z i 2 i (), i 2 f; : : : ; g gilt. Satz 3.27 Die folgede vier Aussage über die Zufallsgrösse ; 2 ; : : : ; sid äquivalet a) ; : : : ; sid uabhägig. b) Für alle A ; : : : ; A R gilt P ( 2 A ; 2 2 A 2 ; : : : ; 2 A ) = P ( 2 A ) P ( 2 A ): c) Für alle A ; : : : ; A R sid die Ereigisse f 2 A g; : : : ; f 2 A g uabhägig. d) Für z 2 (); : : : ; z 2 () sid die Ereigisse f = z g; : : : ; f = z g uabhägig. Beweis. a) ) b): Summatio der Gleichug i De itio 3.26 über (z ; : : : ; z ) 2 A A 2 A. b) ) c): Nach Lemma 2.0, dass für (i ; : : : ; i ) 2 f; cg die Gleichug 0 \ Y f j 2 A j g i ja = P (f j 2 A j g i j ) j= gilt, wobei f j 2 A j g := f j 2 A j g ist. Nu ist jedoch f j 2 A j g c = f j 2 A c jg. Wir köe deshalb eifach b) mit A j oder A c j astelle vo A j awede. c) ) d) ist trivial ud d) ) a) ergibt sich aus der De itio. Korollar 3.28 Sid ; 2 ; : : : ; uabhägige Zufallsgrösse ud sid f ; f 2 ; : : : ; f Fuktioe R! R; so sid f ( ) ; f 2 ( 2 ) ; : : : ; f ( ) uabhägige Zufallsgrösse. Beweis. Für A i R gilt j= f! 2 : f i ( i (!)) 2 A i g =! 2 : i (!) 2 f i (A i ) ; wobei fi (A i ) := fx 2 R : f i (x) 2 A i g ist. Aus der Äquivalez vo c) ud a) im obige Satz folgt die Behauptug. Ebefalls eie eifache Folgerug aus der De itio ist: 44

45 Propositio 3.29 Seie ; : : : ; uabhägige Zufallsgrösse, m < ; ud f : R m! R; g : R m! R: Da sid die beide Zufallsgrösse f ( ; : : : ; m ) ud g ( m+ ; : : : ; ) uabhägig. Beweis. Übugsaufgabe. Bemerkug 3.30 Sid Zufallsgrösse ; : : : ; gegebe, so fasst ma diese oft auch zu eiem Vektor = ( ; : : : ; ) zusamme. Dies ist eie Abbildug! R : Ma bezeichet eie solche Abbildug auch als Zufallsvektor. Der Wertebereich () := f (!) :! 2 g ist eie Teilmege vo () () : Für (z ; : : : ; z ) 2 () () köe wir f (z ; : : : ; z ) := P ( = z ; : : : ; = z ) de iere. Ma bezeichet f als die gemeisame Verteilug vo ; : : : ; : Die Uabhägigkeit vo ; : : : ; bedeutet da, dass diese gemeisame Verteilug die Produktverteilug der Eizelverteiluge ist: mit f (z ; : : : ; z ) = Y i= f i (z i ) ; f i (z) = P ( i = z) : Satz 3.3 Zwei uabhägige Zufallsgrösse, dere Erwartugswerte existiere, sid ukorreliert. Beweis. Seie ud Y uabhägig. Der Erwartugswert vo Y existiert ach Lemma 3.8 geau da, we j (!) Y (!)j p (!) < gilt. Nu gilt j (!) Y (!)j p (!) =!2!2 x2() y2y () jxyj!:(!)=x;y (!)=y p (!) = jxyjp ( = x; Y = y) = jxj jyjp ( = x)p (Y = y) x2() y2y () x y =!! jxjp ( = x) jyjp (Y = y) < : x y Daraus folgt die Existez vo E(Y ). Eie Repetitio der obige Rechug ohe Absolutzeiche ergibt E(Y ) = E()E(Y ). Nach Bemerkug 3.8 folgt daraus die Ukorreliertheit vo ud Y. 45

46 Bemerkug 3.32 Derselbe Beweis ergibt für Zufallsgröse ; : : : ;, die uabhägig sid ud dere Erwartugswerte existiere, dass der Erwartugswert vo Q Q i= i existiert ud gleich i= E i ist. Beispiele 3.33 a) Wir betrachte ei Beroulli-Experimet mit Parameter ; p ud setze i =, falls der i-te Versuch ei Erfolg ist, ud i = 0 sost ( i ). Da gilt var( i ) = E( 2 i ) (E i) 2 = p p 2 = p( p). Die Uabhägigkeit vo ; : : : ; folgt aus der De itio des Beroulli-Experimetes 2.5. Nach Satz 3.3 sid die i ukorreliert. Nach Satz 3.20 folgt für die Azahl = P i= i der Erfolge var() = var( i ) = p( p) i= ud somit () = p p( p). b) Um a eiem Beispiel zu zeige, dass die Umkehrug vo Satz 3.3 icht gilt, wähle wir = f ; 0; g mit der Gleichverteilug ud de iere die Zufallsgrösse durch (!) =! für alle! 2. Da gelte E() = 0, E(jj) = 2=3 ud E(jj) = 0, also sid ud jj ach Bemerkug 3.8 ukorreliert. O esichtlich sid ud jj aber abhägig, de zum Beispiel ist f = ; jj = 0g das umögliche Ereigis, aber P ( = )P (jj = 0) ist gleich /9. Die Stadardabweichug ist ei Mass dafür, wie weit vo E mit icht zu kleier Wahrscheilichkeit abweiche ka. Diese sehr vage Aussage wird durch die sogeate Tschebysche -Ugleichug präzisiert. Wir beweise zuächst eie adere Ugleichug, die später och ützlich sei wird, die ma auch die Markov-Ugleichug et: Lemma 3.34 (Marko Ugleichug) Es sei eie Zufallsgrösse, dere Erwartugswert existiert. Da gilt für jedes a > 0 Beweis. P (jj a) = P (jj a) Ejj a : x2() jxja x2() P ( = x) x2() jxja jxj Ejj P ( = x) = a a : jxj P ( = x) a 46

47 Satz 3.35 (Tschebysche -Ugleichug) Sei eie Zufallsgrösse, dere Erwartugswert E ud Variaz var() existiere. Da gilt für jedes a > 0 P (j Ej a) var() a 2 : Beweis. Mit Lemma 3.34 folgt P (j Ej a) = P (( E) 2 a 2 ) a 2 E(( E)2 ) = var() a 2 : Die Tschebysche -Ugleichug ist ach dem russische Mathematiker Pafuty Lvovich Tschebysche (82-894) beat. I Tat ud Wahrheit stammt sie jedoch vom frazözische Mathematiker Iréée-Jules Bieaymé ( ). Historische Puriste ee die Ugleichug daher Bieaymé-Tschebyche Ugleichug. Iréée-Jules Bieaymé P. L. Tschebysche Die Tschebysche -Ugleichug ist i gewisser Weise optimal: Ma ka leicht ei Beispiel agebe, bei dem die Abschätzug scharf ist: Beispiel 3.36 Sei a > 0 ud eie Zufallsgrösse, die als Werte a, +a ud 0 aimmt ud dere Verteilug gegebe ist durch P ( = a) = P ( = +a) = =(2a 2 ) ud P ( = 0) = =a 2. Wir erhalte E() = 0 ud var() = ud damit P (j E()j a) = P (jj a) = P ( = a) + P ( = +a) = a 2 : Trotz dieses Beispiels ist die Tschebysche Ugleichug i viele Fälle keie sehr gute Abschätzug. Wir werde das später och ausführlicher diskutiere. Die Tschebysche - Ugleichug ist gut geug, um das achfolgede Gesetz der grosse Zahle zu beweise. 47

48 Satz 3.37 (Schwaches Gesetz der grosse Zahle) Es seie für jedes 2 N auf eiem Wahrscheilichkeitsraum ukorrelierte Zufallsgrösse ; 2 ; : : : ; gegebe, die vo abhäge dürfe, die aber alle de gleiche Erwartugswert ud die gleiche Variaz 2 besitze. Sei S := P i= i: Da gilt für jedes " > 0 lim P S! " = 0: (3.9) Beweis. Aus Satz 3.35, Lemma ud Satz 3.25 folgt S P " " 2 var S = 2 " 2 var (S ) = 2 " 2 2 = 2! 0 fur! : " 2 Falls wir also ei Zufallsexperimet beliebig oft wiederhole ud aehme, dass die Ergebisse (Zufallsgrösse) paarweise uabhägig oder midestes ukorreliert sid, so ist die Wahrscheilichkeit für ei Abweiche der Mittelwerte der erste Experimete vom Erwartugswert schliesslich (d.h. für hireiched grosse ) beliebig klei. Das Gesetz geht für Beroulli-Variable auf Jacob Beroulli zurück ( ). Es wurde jedoch erst ach seiem Tode 73 publiziert. Die Schweizer Mathematiker betrachte das Gesetz o ebar als das bedeutedste mathematische Schweizer Produkt. Jedefalls wurde es auf eier Sodermarke der Post alässlich des Mathematische Weltkogresses 994 i Zürich dargestellt: Jacob Beroulli Die Graphik auf der Marke soll o ebar eie typische Verlauf vo S = wiedergebe. Allerdigs ist ei Verlauf wie der dargestellte extrem uwahrscheilich, da das Vorzeiche i der Darstellug praktisch bei jedem Schritt wechselt. 6 6 Die Überschrift Mathematica war icht als Werbug für das gleichamige Software-Paket gedacht. Jedefalls trat Wolfram-Research icht als Sposor des Kogresses i Erscheiug. Dass es sich bei der dargestellte Perso um Jacob Beroulli hadelt, wurde dem Publikum ebefalls vorethalte. 48

49 Die Abschätzug Beroullis für P (js = j ") ist übriges viel besser als die obe hergeleitete. Er beweist i der Tat (allerdigs ur für biomialverteilte Zufallsgrösse), dass eie positive Zahl C ("; p) > 0 existiert (p die Erfolgswahrscheilichkeit im Beroulli-Experimet), sodass für alle S P " 2 exp [ C ("; p) ] (3.0) gilt. Seie Kostate C ("; p) ist jedoch icht gaz optimal. Wir werde gleich ute (Satz 3.39) eie solche Abschätzug herleite. Ma muss dabei bedeke, dass Beroulli die sogeate Sterlig-Approximatio, die wir später diskutiere werde, icht kate, mit der eie Abschätzug vom Typ (3.0) für Beroulli-Variable leicht hergeleitet werde ka. Die Voraussetzuge des Satzes 3.37 mute etwas umstädlich a. Wieso setze wir icht eifach voraus, dass ( i ) i2n eie Folge vo ukorrelierte Zufallsgrösse ist? Die Atwort ist eifach, dass eie derartige uedliche Folge auf eiem abzählbare Wahrscheilichkeitsraum icht de iert werde ka (ausser im gaz triviale Fall, wo die i alle kostat sid). Im Satz 3.37 setze wir jedoch ur voraus, dass für jedes ei Wahrscheilichkeitsraum () existiert, auf dem die ; : : : ; existiere. We wir gaz pedatisch wäre, sollte wir deshalb () ; : : : ; () schreibe. Es macht keie Schwierigkeite, eie solche Folge vo (diskrete) Wahrscheilichkeitsräume ud die dazugehörede Zufallsgrösse als mathematisch präzis de ierte Objekte zu kostruiere. Dazu die folgede Propositio 3.38 Es sei 2 N ud f ; : : : ; f seie (diskrete) Wahrscheilichkeitsverteiluge auf R; d.h. Abbilduge f i : A i! [0; ] mit P x2a i f i (x) = ; wobei die A i abzählbare Teilmege vo R sid. Da existiert ei Wahrscheilichkeitsraum (; p) ud darauf de ierte uabhägige Zufallsgrösse ; : : : ; ; die die f i als Verteiluge habe. (sie De itio 3.4). Beweis. Sei = A A. Für! = (! ; : : : ;! ) 2 setze wir i (!) =! i für alle i i f; : : : ; g ud p(!) = f (! )f 2 (! 2 ) f (! ). Per Kostruktio sid ; : : : ; uabhägig. Ferer hat i o esichtlich die Verteilug f i : Habe die f i alle deselbe Erwartugswert ud dieselbe Variaz (z.b. we sie alle gleich sid), so habe die i alle deselbe Erwartugswert ud dieselbe Variaz. Diese Kostruktio köe wir für jedes durchführe. Wir habe somit gezeigt, dass edliche Folge vo uabhägige (ud mithi ukorrelierte) Zufallsgrösse für jede diskrete Verteilug existiere. Für die Kostruktio uedlicher Folge beötigt ma jedoch mehr Masstheorie. Wir diskutiere das i dieser Vorlesug ur adeutugsweise. (Siehe Satz 2.9). 49

50 Noch eie Bemerkug zum Spezialfall des Beroulli-Experimetes: Ist S biomialverteilt mit Erfolgswahrscheilichkeit p, so besagt Satz 3.37, dass für jedes " > 0 S P p " = P (js pj ") = P (S = k) = p k ( p) k k k:jk pj" k:jk pj" mit! gege 0 kovergiert. Ma muss sich jedoch darüber im klare sei, dass keieswegs etwa P (S 6= p) gege ull kovergiert. I der Tat kovergiert P (js pj r) gege für jede Zahl r > 0, wie wir später och sehe werde. Nicht S liegt mit grosser Wahrscheilichkeit (für grosse ) i der Nähe vo p, soder S = i der Nähe vo p. Sei S die Azahl der Erfolge i eiem Beroulli-Experimet der Läge ud mit Erfolgswahrscheilichkeit p 2 (0; ). Wie wir scho wisse, gilt ES = p ud var(s ) = p ( p). Das Gesetz der grosse Zahle besagt also i diesem Fall lim P S p! " = 0 für jedes " > 0: Die Tschebysche -Ugleichug gibt die Abschätzug S P p " p ( p) " 2 : Wir leite u eie wesetlich bessere Abschätzug her, was jedoch ei gutes Stück aufwediger ist. Es erweist sich als zweickmässig, die Abweichuge och obe ud ach ute getret abzuschätze. Wir utersuche erst S P p + ; 0 < p: (Für > p ist P (S = p + ) = 0:) Für jede Zahl > 0 ist die Fuktio R 3 x 7! e x mooto wachsed. Zusamme mit Lemma 3.34 folgt S P p = P e (S p) e e E e (S p) ; wobei der Erwartugswert existiert, da S ur edlich viele Werte aimmt. Um diese Erwartugswert auszuwerte, schreibe wir (S p) = P i= ( i p), wobei ; : : : ; die uabhägige Zufallsgrösse mit P ( i = ) = p, P ( i = 0) = p: Wir de iere die Zufallsgrösse Z i := e ( i p) für i 2 f; : : : ; g. Ma beachte EZ i = pe ( i p) + ( p) e p : Da die i uabhägig sid, folgt aus Korollar 3.28, dass auch die Z ; : : : ; Z uabhägig sid. Demach folgt E e (S =2) = E! Y Z i = i= Y EZ i = i= 50 pe ( i p) + ( p) e p :

51 Isgesamt erhalte wir für jedes > 0 S P p e pe ( i p) + ( p) e p = exp [ ( + log M())] : wobei M() := pe ( i p) + ( p) e p ist. Da diese Abschätzug für jedes > 0 gilt, folgt S P p exp if ( + log M()) : >0 Wir schreibe f() := Fuktio. + log M() ud bereche u das I mum über diese f 0 () = + M 0 () M () = + p ( p) e(i p) ( p) pe p pe ( i p) + ( p) e p = + p ( p) e pe + ( p) " # f 00 e e () = p ( p) pe + ( p) (pe + ( p)) 2 pe p ( p) h = (pe + ( p)) 2 e pe + ( p) e pe i = Demzufolge ist f 0 () streg mooto steiged. Aderseits gelte lim ()!0 = < 0; lim ()! = + p 0: p ( p) e (pe + ( p)) 2 > 0: Für = p ist if >0 ( + log M()) = lim! ( + log M()) = log p ud für 2 (0; p) existiert eie eideutige Nullstelle 0 der Fuktio! f 0 () auf R + ; a der f ihr Miimum aimmt. Eisetze i f 0 ( 0 ) = 0 ergibt mit der Abkürzuge x := + p p ( p) if f () = f ( 0) = log >0 = x log e 0 pe 0 + ( p) = ; e 0 (p ( p) p) = ( p) + p ( p) ; ( p) x 0 = log = h (p) h (x) : p ( x) ( ( p) x ( p ( x) + log p p) x p ( x) p ( + ( p) ( p) x p ( x) + log p p = ( x) log x x + x log p x Wir habe also de folgede Satz gezeigt: 5 p) x p ( x) p )

52 Satz 3.39 Sei S die Azahl der Erfolge i eiem Beroulli-Experimet der Läge mit Erfolgswahrscheilichkeit p 2 (0; ). Da gilt für p x :Da gilt S P x e Ip(x)) ; mit I p (x) := ( x) log p x wobei wir für x = ; I p () := log p de iere. Für 0 x p gilt S P x e Ip(x)) : x log p x ; (3.) Es gilt I p (x) 0 ud I p (x) ist geau da = 0 we x = p ist. Isbesodere ist I p (x) > 0 für x 6= p: Beweis. Für p < x habe wir de Satz ebe gezeigt. Für x = p ist I p (x) = 0 ud die Abschätzug trivial. Für x p folgt die Abschätzug mit eiem aaloge Argumet. Die agegebee Eigeschafte der Fuktio I p folge sofort aus der (3.) (Übugsaufgabe zu Aalysis I). Der Graph vo I p für de Fall p = 3=4 ist: Die Kurve hat übriges Tagete für x = 0 ud ; was ma auf der Gra k icht so recht sieht. Der Vorteil eier Abschätzug wie der im obige Satz besteht dari, dass sie für jedes gelte. Im Zetrale Grezwertsatz, de wir später diskutiere werde, werde asymptotische Aussage für! gemacht, was atürlich weitaus weiger ütztlich ist. Hier ei Rechebeispiel. Sie werfe eie Würfel 000 mal. Mit welcher Wahrscheilichkeit werfe Sie weiger als 00 mal eie Sechs. Die obige Abschätzug ergibt: S P (S 99) P 0:099 exp 000I =6 (0:099) = 7: : Die Abschätzug ist scho recht gut. Der wahre Wert ist jedoch ochmals um etwa eie Zeherpotez kleier. Zum Abschluss des Kapitels och eie Diskussio des sogeate starke Gesetzes der grosse Zahle Der Satz 3.37 heisst schwaches Gesetz der grosse Zahle, um es vom sogeate starke Gesetz der grosse Zahle zu uterscheide. Dieses besagt P lim! S existiert ud ist = = : (3.2) (3.2) macht jedoch ur Si, we alle i, i 2 N, auf eiemwahrscheilichkeitsraum de iert sid. Wir diskutiere das starke Gesetz der grosse Zahle im Fall vo Beroulli Variable, d.h. we die i uabhägig sid ud Werte i f0; g aehme 52

53 mit P ( i = ) = p; p 2 (0; ) : I diesem Fall ist = p: Wir verwede dabei de (icht bewiesee) Satz 2.9. Zuächst eie Vorbereitug. Im utestehede Lemma ist (; F; P ) ei beliebiger Wahrscheilichkeitsraum (gemäss der De itio.3.2. Lemma Sei fa g 2N eie Folge vo Ereigisse i F; die mooto asteiged oder absteiged ist, d.h. A A + für alle (bzw. A A + für alle ). Da gilt [ P im asteigede Fall, bzw. \ P im absteigede. A A = lim! P (A ) = lim! P (A ) 2. Sei fa g 2N eie beliebige Folge vo Ereigisse i F: Da gilt [ P A P (A ) : Beweis..: Wir zeige die Aussage im asteigede Fall. Im absteigede Fall folgt die Aussage aalog. Wir setze B : = A ; B : = A A ; 2: Die B sid i F ud paarweise disjukt. Ferer gilt S A = S B : Somit folgt [ [ P = P = P (B ) 2N A = lim B N N! = = lim N! P (A N) : [N P (B ) = lim P B N! = Die zweite Gleichug ach der -Additivität (Axiom.). 2.: Wir modi ziere die De itio der B etwas: B : = A ; B : = A /[ i= A i ; 2: 53

54 Die B sid i F ud paarweise disjukt, ud es gilt S A B A für alle : Somit folgt [ [ P = P = P (B ) 2N A B = S B. Ferer gilt = lim N! = N P (B ) lim N! N = P (A ) = P (A ) : Satz 3.4 (Starkes Gesetz der grosse Zahle) Es seie i uabhägige Zufallsgrösse mit Werte i f0; g mit P ( i = ) = p; p 2 (0; ) ; de iert auf dem Wahrscheilichkeitsraum (; F; P ) gemäss Satz 2.9. Sei ferer S := P i= i: Da gilt P lim! S existiert ud ist = p = : Beweis. Wie wir am Schluss vom 2. Kapitel gesehe habe, ist S lim existiert ud ist = p = \ [ \! m2n N2N :N A ;m; wobei d.h. lim! S A ;m :=! 2 : p m < S (!) < p + ; m c existiert ud ist = p = [ \ [ m2n N2N :N Ac ;m: lim! S Um de Satz zu zeige, müsse wir P existiert ud ist = p c = 0 achweise. Nach Lemma geügt es zu zeige, dass P T S N2N :N Ac ;m = 0 für jedes m ist. Dabei köe wir us auf m 2 N eischräke, für die 0 p m < p+ m ist. (Wir hatte 0 < p < ageomme). Nu ist die Folge S :N Ac ;m mooto falled i N ud daher gilt ach Lemma 3.40: \ P N2N [ :N Ac ;m [ = lim P N! :N Ac ;m lim sup N! P A c ;m : =N P A c S ;m = P p + S + P m p m e Ip(p+=m)) + e Ip(p =m)) : 54

55 Demzufolge ist ach Satz 3.39 uter Ausützug vo I p (p+=m)) > 0; I p (p =m)) > 0 ud der Summatio geometrischer Reihe P =N A c ;m e NIp(p+=m)) e Ip(p+=m)) + e NIp(p =m)) e Ip(p =m)) ud es gilt lim N! Damit ist der Satz gezeigt. " # e NIp(p+=m)) e Ip(p+=m)) + e NIp(p =m)) e Ip(p =m)) Bemerkug Der obige Satz gilt sehr viel allgemeier, wie wir später sehe werde. Für uabhägige Zufallsgrösse ; die alle die gleiche Verteilug besitze, geügt es, die Existez des Erwartugswertes vorauszusetze. (p muss da durch de Erwartugswert der i ersetzt werde). Allerdigs gilt uter eier solche Voraussetzug eie Abschätzug vo Typus vo Satz 3.39 icht mehr, sodass ma sehr viel subtiler argumetiere muss. sup :N = 0: 2. Wieso heisst der Satz Starkes Gesetz der grosse Zahle. Sei M N := S p : Eie geaue Aalyse des Beweises des obige Satzes zeigt (Übugsaufgabe), dass ma für die Aussage des Satzes achweise muss, dass für jedes " > 0 gilt. Wege M N S N N lim P (M N ") = 0 N! p ist dies o esichtlich eie stärkere Aussage als (3.9). 3. Ob die Aussage des starke Gesetzes der grosse Zahle oder die des schwache Gesetzes relevater ist, ist weitgehed eie Glaubesfrage. Für die Praxis relevat sid eizig kokrete Abschätzuge vo S P p " für ; "; wie etwa die Abschätzuge i Satz Allerdigs sid Beweise vo Limesaussage wie i de Gesetze der grosse Zahle typischerweise sehr viel eifacher zu beweise als gute kokrete Abschätzuge für edliches : 55

56 4 Der Poissosche Grezwertsatz Es sei dara eriert, dass eie Zufallsgrösse mit der Verteilug P ( = k) = b(k; ; p) = p k ( p) k ; k = 0; ; : : : ; k biomialverteiltheisst (mit Erfolgswahrscheilichkeit p ud Läge ). Wir wolle diese Verteilug durch eie eue approximiere, die jeder icht egative gaze Zahl ei positives Gewicht gibt, der sogeate Poissoverteilug. Für eie reelle Zahl > 0 betrachte ma die Wahrscheilichkeitsverteilug auf N 0 := N[ f0g, die durch (k) := e k! k ; k 2 N 0 ; de iert ist. Zuächst überzeugt ma sich davo, dass (k) = e k=0 k=0 k k! = e e = ist. ist also tatsächlich eie Wahrscheilichkeitsverteilug. De itio 4. Sei > 0: Eie Zufallsgrösse mit () = N 0 ud der Verteilug heisst Poissoverteilt mit Parameter Der Erwartugswert dieser Verteilug ist leicht auszureche: k (k) = e k k k! = e k=0 k=0 k= k (k )! = e k=0 Eie Poisso-verteilte Zufallsgrösse hat also Erwartugswert. Als ächstes die Variaz: E( 2 ) = k 2 (k) = e k 2 k k! k=0 = e (k(k k= k= ) + k) k k! = e k=0 k+2 k! k k! = e e + = : + = 2 + : Somit gilt var() = E( 2 ) (E) 2 = = : Lemma 4.2 Erwartugswert ud Variaz eier Poisso-verteilte Zufallsgrösse sid gleich dem Parameter. 56

57 Die Poissoverteilug ist ach Siméo Poisso (78-840) beat. Die Namesgebug ist jedoch irreführed, de Poisso hat weig zur Poisso-Verteilug beigetrage. 7 Siméo Poisso Wir zeige u, dass die Poissoverteilug eie Approximatio der Biomialverteilug ist, we gross ud p klei sid. Zuächst überlegt ma sich, i welcher Beziehug zu de Parameter, p der Biomialverteilug stehe soll. Wir wähle so, dass die Erwartugswerte übereistimme, dass also = p ist. b(k; ; p) liegt ahe bei (k) für = p. Um das zu präzisiere, leite wir eie kokrete Schrake für (; p) := jb(k; ; p) k=0 p (k)j her. Wir werde achweise, dass uter zu präzisierede Bediguge die Grösse (; p) klei ist. Wir formuliere ud beweise jedoch ei etwas allgemeieres Resultat. Dazu erier wir us, dass sich eie biomialverteilte Zufallsgrösse S als S = +: : :+ schreibe lässt, wobei die i uabhägige Zufallsgrösse mit P ( i = ) = p ud P ( i = 0) = p ist. Wir verallgemeier das u: Die i solle weiter uabhägig sei ud ur die Werte 0 oder aehme; wir setzte jedoch icht mehr voraus, dass alle dieselbe Verteilug habe, d.h. wir lasse zu, dass die Wahrscheilichkeite p i := P ( i = ) verschiede sid, d.h. dass die Erfolgswahrscheilichkeit sich im Zeitverlauf verädert. I eiem solche Fall ist es für grosse praktisch umöglich, die 7 siehe: I. J. Good, Some statistical applicatios of Poisso s work, Statistical Sciece No (986),

58 Verteilug vo S auszureche. Die exakte Formel für die Verteilug vo S ist \ P (S = k) = P f i = g \ \ f i = 0g i2a i=2a = = Af;:::;g; jaj=k Af;:::;g; jaj=k Af;:::;g; jaj=k Y i2a P ( i = ) Y i=2a " Y i2a p i# "Y i=2a ( p i ) P ( i = 0) (4.) Satz 4.3 Es seie ; : : : ; uabhägige Zufallsvariable, de iert auf eiem gemeisame Wahrscheilichkeitsraum, mit P ( i = ) = p i ud P ( i = 0) = p i (0 < p i < ) für i = ; : : : ;. Sei S := + + ud := p + + p, da gilt: jp (S = k) (k)j 2 k=0 Es folgt also im Fall p = p = = p : Korollar 4.4 Für alle 2 N ud p 2 (0; ) gilt (; p) 2p 2. # p 2 i : Bevor wir de Satz beweise, eiige Kommetare: Die Schrake ist ur für kleie p iteressat. Ma ka daraus Grezwertaussage ableite. Wir lasse dabei p vo abhäge (p := p ) ud ach uedlich strebe. Falls lim! p 2 = 0 gilt, so folgt aus Korollar 4.4, dass lim! (; p ) = 0 gilt. Isbesodere folgt der sogeate Poissosche Grezwertsatz: Korollar 4.5 (Poissoscher Grezwertsatz) Ist > 0 ud gilt p! > 0 für!, so gilt für jedes k 2 N 0 : i= lim b(k; ; p ) = (k):! Korollar 4.5 folgt sofort aus Korollar 4.4: Aus p! folgt p! 0 für! ud damit p 2! 0. Ferer ist jb(k; ; p) p (k)j (; p) für jedes k 2 N 0. Demzufolge gilt lim jb(k; ; p ) p (k)j = 0:! Wege p (k)! (k) folgt Korollar 4.5. Die Aussage vo Korollar 4.4 ist auch im Fall, wo p 2! 0, p! gelte, vo Iteresse (z.b. p = = 2=3 ). Aus der De itio der (k) ergibt sich zwar, dass lim! (k) = 0 für jedes k gilt, ud somit ergibt sich für die eizele b(k; ; p ) 58

59 ur lim! b(k; ; p ) = 0, was ohehi icht schwer zu sehe ist. Korollar 4.4 besagt jedoch wesetlich mehr, de atürlich gilt stets P k b(k; ; p ) = für alle, so dass die Aussage keiesfalls trivial ist. Der wichtigste Vorzug vo Korollar 4.4 ud Satz 4.3 im Vergleich zu Korollar 4.5 ist jedoch, dass eie gaz kokrete Approximatiosschrake vorliegt. Satz 4.3 ist viel schwieriger zu beweise als Korollar 4.5, desse Beweis ziemlich trivial ist. Hier der Stadardbeweis des Letztere: Beweis vo Korollar Setze = p. Nach Voraussetzug gilt!. b(k; ; p ) = b k; ; = = = k k! ( =) k k k ( ) ( k + ) k ( =) k! k ( =) k 2 k k : Wege!, also =! 0 folgt lim b(k; ; p ) = k lim! k!! = e : Die utestehede Tabelle gibt eiige umerisch ermittelte Ahaltspukte für de Vergleich zwische Biomial- ud Poissoverteilug (p := 0:; = 20). k b (k; 0:; 20) 2 (k) 0 0:258 0:3534 0:2707 0: :2858 0: :902 0: : : Wir komme u zum Beweis des Satzes 4.3, der eiige Vorbereituge beötigt. Wichtige ist, dass Summe vo uabhägige Poisso-verteilte Zufallsgrösse wieder Poisso-verteilt sid: Propositio 4.6 ud Y seie uabhägig ud Poisso-verteilt mit Parameter beziehugsweise > 0. Da ist + Y Poisso-verteilt mit Parameter +. 59

60 Beweis. Für 2 N 0 gilt: P ( + Y = ) = = = P ( = k; Y = k) k=0 P ( = k)p (Y = k) (Uabhagigkeit) k=0 k=0 k k! k ( k)! e e =! =! ( + ) e (+) = + (): k=0! k k e (+) k Bemerkug 4.7 Mit Iduktio folgt sofort, dass die Summe vo edlich viele uabhägige Poissoverteilte Zufallsgrösse wieder Poisso-verteilt ist, wobei der Parameter sich als Summe der Eizelparameter ergibt. Der Beweis des Satzes 4.3 verwedet eie Techik, die ma Kopplug et. Nehme wir a, f ud g seie zwei Wahrscheilichkeitsverteiluge auf N 0 : f; g : N 0! [0; ], Pk f(k) = P k g(k) =. Wir wolle zeige, dass P k=0 jf(k) g(k)j klei ist. Die Idee der Kopplugsmethode besteht dari, Zufallsgrösse, Y auf eiem gemeisame Wahrscheilichkeitsraum zu kostruiere, die die Verteilug f beziehugsweise g habe, ud die möglichst weitgehed übereistimme. Es soll also die folgede Situatio vorliege: f(k) = P ( = k); g(k) = P (Y = k); ud P ( 6= Y ) so klei wie möglich. Wir werde gleich ach dem ächste Lemma sehe, wie ma das für de us hier iteressierede Fall macht. Wir beweise zuächst ei Lemma, das us agibt, was wir ach eier solche Kopplug gewoe hat. 8 Sei A := f! : (!) = Y (!) g. Ma sagt, ud Y seie auf A gekoppelt. Lemma 4.8 Uter de obige Bediguge gilt jf(k) g(k)j 2P (A c ): k=0 8 Die Wahrscheilichkeitstheoretiker schätze de Rahme mit gaz allgemeie Wahrscheilichkeitsräume vor allem wege der Freiheit, Maipulatioe wie diese Kopplugstricke durchführe zu köe. 60

61 Beweis. Sei M := f k 2 N 0 : f(k) > g(k) g. Da ist jf(k) g(k)j = k2m(f(k) g(k)) (f(k) g(k)) k=0 = 2 k2m(f(k) g(k)) k =2M (f(k) k=0 g(k)) = 2(P ( 2 M) P (Y 2 M)) ( ) = 2(P ( 2 M; A) + P ( 2 M; A c ) P (Y 2 M)) = 2(P (Y 2 M; A) + P ( 2 M; A c ) P (Y 2 M)) 2(P (Y 2 M; A) + P (A c ) P (Y 2 M)) 2P (A c ): Wir wede u dieses Kopplugsargumet a, um usere Satz zu beweise. Beweis vo Satz 4.3. Der Hauptteil des Beweises besteht i eier geeigete Wahl des zugrudeliegee Wahrscheilichkeitsraumes. Da wir ur die Verteilug vo S bereche müsse, ist es egal, auf welchem Wahrscheilichkeitsraum die Zufallsgrösse i de iert werde: Sid die i uabhägig mit P ( i = ) = p i ; P ( i = 0) = p i ; so ist die Verteilug vo S durch (4.) gegebe. Diese Freiheit utze wir für usere Wahl so, dass eie Poisso-verteilte Zufallsgrösse zum Parameter möglichst weitgehed mit S übereistimmt. Wir wähle zuächst für jedes i eie Wahrscheilichkeitsraum ( i ; P i ) i der folgede Weise. i := f ; 0; ; 2; : : : g, P i (0) = p i ud P i (k) = e p i P k! p k i für k sowie P i ( ) = P i (0) k P i(k) = e p i ( p i ) 0. Nach Kostruktio sid somit ( i ; P i ) W.-Räume. Wir betrachte de Produktraum (; P ) der ( i ; P i ) im Sie der De itio 2.3. Wir de iere zuächst die Projektioe i :! i durch i (!) :=! i : Nach Satz 2.4 sid ; : : : ; uabhägige Zufallsgrösse. Wir setze für! 2 0 falls!i = 0 i (!) := sost ud Y i (!) := k falls!i = k; k 0 sost O esichtlich ist i = f ( i ) mit f der Idikatorfuktio auf [; ) [ f g ; ud Y i = g ( i ) mit g (x) = max (x; 0) : Nach Korollar 3.28 sid daher sowohl ; : : : ; uabhägig, wie auch Y ; : : : ; Y : (Allerdigs sid die -Grösse alles adere als uabhägig vo vo Y -Grösse, was gerade der sprigede Pukt a dem Beweis ist). Ferer habe ach De itio die Zufallsgrösse i die geforderte Verteilug: P ( i = ) = p i ud P ( i = 0) = p i ; ud die Y i sid Poisso-verteilt zum Parameter p i.. Also folgt mit Propositio 4.6, dass Y = Y + + Y Poisso-verteilt ist zum Parameter. Nu gilt i (!) = Y i (!), sofer i (!) 2 f0; g ist, oder aders (komplizierter) ausgedrückt f! : i (!) 6= Y i (!)g f! : i (!) =2 f0; gg ; 6

62 woraus P ( i 6= Y i ) P ( i =2 f0; g) = P ( i 2 f0; g) = P i (0) P i () = p i ( e p i ) folgt. Wege e x x für x 0 folgt p i ( e p i ) p 2 i, also Nach Lemma 4.8 folgt wege P ( i 6= Y i ) p 2 i : fs 6= Y g [ i= f i 6= Y i g jp (S = k) (k)j 2P (S 6= Y ) 2 k=0 Damit ist Satz 4.3 bewiese. P ( i 6= Y i ) 2 i= p 2 i : Erstaulich ist, dass viele verschiedee, atürliche oder küstlich erzeugte Zufallserscheiuge gut zum Poisso-Schema passe. Das wohl berühmteste Beispiel ist das folgede: Beispiel 4.9 Über eie Zeitraum vo 20 Jahre wurde im alte Preusse die Zahl der Tote durch Hufschlag i 0 Kavallerieregimete beobachtet. Isgesamt hatte ma also 200 Regimetsjahre beobachtet 9. Es ergab sich das folgede Bild: k Azahl Regimetsjahre mit k Tote 200 (k) ( = 06) (gerudet) ( wurde so bestimmt, dass sich die beste Übereistimmug ergibt.) Die theoretische Begrüdug für die gute Übereistimmug ist etwa die: Für de eizele Kavalleriste ist die Wahrscheilichkeit p, i eiem Jahr vom Pferd erschlage zu werde, sehr klei. Hat das Regimet Kavalleriste, so ist die Verteilug der Azahl der Tote pro Regimet ud Jahr b(k; ; p) (k). Nach dem Gesetz der grosse Zahle ist da bei 200 Repetitioe des Versuchs die Azahl der Regimetsjahre mit k Tote 200 (k). Die obige Übereistimmug ist jedoch eher ugewöhlich, was vielleicht der Diszipli Preussischer Kavallieriepferde zuzuschreibe ist. Das obige Beispiel stammt aus L. Bortkiewicz: Das Gesetz der kleie Zahle. Leipzig 898. Ladislaus J. Bortkiewicz (868-93) ist heute fast ausschliesslich wege der 9 Die Preussische Kavallerieregimeter hatte ca. 700 Ma ud ebeso viele Pferde. i= 62

63 Tote durch Hufschlag i eiem weitere Kreis bekat, jedoch völlig zu Urecht: I der Tat war er der Erste, der festgestellt hatte, dass die Azahl der Erfolge i eiem Beroulli-Experimet bei kleiem p geähert Poisso-verteilt ist (sogar, we die Erfolgswahrscheilichkeite icht alle die gleiche sid). Die Poisso-Verteilug ud der Poisso-Grezwertsatz sollte daher eigetlich ach ihm beat werde. 0 Ladislaus J: vo Bortkiewicz Die Poisso-Verteilug tritt i sehr viele Situatioe auf, auch solche, die icht direkt mit dem Beroulli-Experimet zusammehäge. 5 Der Zetrale Grezwertsatz Die Glockekurve hält Eizug! Es ist der Graph der Fuktio: ' (x) = p 2 e x2 =2 : 0 Später hat Bortkiewicz auch über politische Ökoomie gearbeitet, isbesodere über die Marxsche Preis- ud Pro ttheorie. So wies er logische Ikosisteze i de Schrifte vo Marx ach. 63

64 y Gausssche Glockekurve x Die Fuktio hat ihre Name vo Carl Friedrich Gauss ( ), eiem der bedeutedste Mathematiker überhaupt. Die Bedeutug der Fuktio i der Wahrscheilichkeitstheorie war jedoch lage vor Gauss bekat. Gauss hat sich mit wahrscheilichkeitstheoretische Frage hauptsächlich im Rahme der statistische Schätztheorie befasst. Carl Friedrich Gauss Die Glockekurve war auf dem alte Zehmarkschei i Deutschlad mit eiem Porträt vo Gauss i reifere Jahre abgebildet: 64

65 Die Fuktio ist symmetrisch i x ud fällt sehr rasch ab für x! : Zuächst beötige wir das folgede Resultat: Lemma 5. Z ' (x) dx = : Beweis. Die Existez des ueigetliche Riema-Itegrals folgt sofort aus dem rasche Abfall der Fuktio bei : Der Trick bei der Berechug besteht dari, das Quadrat des gewüschte Itegrals mit Fubii als Doppelitegral zu schreibe: Z 2 ' (x) dx = Z = 2 = 2 Z ' (x) dx Z Z Z Z 2 0 = exp r 2 =2 0 = : 0 Z Z ' (y) dy = ' (x) ' (y) dx dy exp 2 x2 + y 2 dx dy exp r 2 =2 d rdr = Z 0 r exp r 2 =2 dr Die vierte Gleichug kommt vo eier Umrechug i Polarkoordiate. (Der etwas saloppe Umgag mit ueigetliche Itegrale ist leicht zu rechtfertige. Dies sei dem Leser als Übugsaufgabe überlasse). Bemerkug 5.2 Die Stammfuktio vo ' : (x) := Z x ' (y) dy et ma die Verteilugsfuktio der Normalverteilug. Ma ka sie icht durch eifacher Fuktioe, wie eie Kombiatio vo Polyome, trigoometrische Fuktio etc ausdrücke. Die Gausssche Glockekurve ' diet us u dazu, gewisse Wahrscheilichkeite durch Itegrale zu approximiere. Wir betrachte zuächst eiige umerische Beispiele 65

66 ud utersuche die Biomialwahrscheilichkeite b (k; ; p) ; u jedoch bei festem p ud grossem : (Für festes p ud! ist die Poisso-Approximatio des letzte Kapitels icht awedbar: Die Schrake 2p 2 ist i diesem Fall o ebar völlig wertlos). Der Eifachheit halber ehme wir zuächst p = =2: Da ist b (k; ; =2) = k 2 : Es ist icht schwer zu sehe, dass für festes die grösste dieser Wahrscheilichkeite bei k = =2 ist (exakt k = =2; we gerade ist ud sost für k = ( + ) =2 ud k = ( ) =2): Die achfolgede Tabelle gibt die Wahrscheilichkeite b (k; 500; =2) als Fuktio vo k dar, wobei der Massstab auf der y-achse vo 0 bis geht. b(k;500,/2) k Natürlich sieht ma gar icht viel. Der maximale Wert ist sehr klei, ämlich (wie wir weiter ute sehe) b (500; 000; =2) 0:03568: Versuche wir eifach die y-achse zu strecke, so erhalte wir eifach folgedes Bild: b(k;500,/2) k Das ist auch och icht vielsaged, de, wie wir aus dem Gesetz der grosse Zahle scho wisse, kozetriert sich die Verteilug ziemlich stark um de Wert bei k = 250: Um ei schöes Bild zu erhalte, müsse wir de im Bild gerade och sichtbare Kubbel sowohl i der x-achse, wie i der y-achse strecke. Damit ergibt sich das folgede Bild: 66

67 b(k;500,/2) k Hier sieht ma deutlich die Glockekurve. Die richtige Skalierug ist icht schwer zu errate. Wir betrachte gleich de allgemeiere Fall mit eier beliebige Erfolgswahrscheilichkeit p 2 (0; ) : Sie S die Azahl der Erfolge i eiem Beroulli-Experimet. Wie wir scho wisse, ist der Erwartugswert ES = p ud die Variaz var (S ) = p ( p) ; d.h. die Stadardabweichug (S ) = p p ( p): We wir daher die ormierte Zufallsgrösse ^S := S p p p ( p) betrachte, so gilt E ^S = 0 ud var ^S = : Es stellt sich u raus, dass i eiem och zu präzisierede Si die Verteilug vo ^S asymptotisch (für! ) durch die Gaussche Glockekurve beschriebe wird. Es gibt verschiedee Möglickeite dies zu beschreibe. Die robusteste besteht dari, dass ma icht die Eizelwahrscheilichkeite utersucht, die ohehi ziemlich klei sid, soder grössere Ereigisse, z.b. Ereigisse der Form P ^S x : I der Tat gilt der folgede Satz 5.3 Für jedes x 2 R gilt Z x lim P ^S x = ' (y) dy = (x) :! Wir werde gleich eie allgemeiere Satz formuliere ud beweise. Komme wir jedoch für eie Momet auf user vorheriges Problem zurück, ämlich die b (k; ; p) selbst asymptotisch auszuwerte. We ma das obige Theorem akzeptiert, so ist leicht zu errate, wie das aussehe muss. Es ist ämlich b (k; ; p) = P (S = k) = P (S k) P (S k )!! = P ^S k p p P ^S k p p p : p ( p) p ( p) p ( p) 67

68 Der Satz 5.3 macht es ziemlich plausibel, dass dies ugefähr gleich!! k p k p p p p p ' p ( p) p ( p) p ( p) p ( p) sei sollte, d.h.! k p p p ( p)! p k p p ( p)b (k; ; p) ' p : (5.) p ( p) Das folgt jedoch icht direkt aus Satz 5.3. Deoch ist die Aussage im Wesetliche korrekt. Die geaue Formulierug als Limesaussage erfordert jedoch och etwas Nachdeke. Wir führe die Abkürzug k p x k; := p (5.2) p ( p) ei. Ma bemerkt zuächst, dass es o esichtlich keie Si macht, für fest k eie Grezwertsatz für! zu formuliere, p de es gilt lim! x k;! für jedes k 2 N; sodass (5.) ur lim! p ( p)b (k; ; p) = 0 ahelegt, was zwar stimmt aber icht weiter iteressat ist. Wir solle o esichtlich ur solche k betrachte, für die x k; vo der Grösseordug bleibt, da sost sehe wir die Glockekurve gar icht i der Asymptotik. Eie aheliegede Formulierug ist daher der folgede Satz: Satz 5.4 Sie A > 0 beliebig. Da gilt lim sup! k:jx k;ja p p ( p)b (k; ; p) ' (x k; ) = 0: Eie Satz vo diesem Typus bezeichet ma lokale Grezwertsatz, währed ma eie Satz, wie Satz 5.3 ei globale Grezwertsatz et. Wie scho obe bemerkt, folgt Satz 5.4 icht aus Satz 5.3 Umgekehrt folgt jedoch Satz 5.3 aus Satz 5.4 ziemlich leicht durch eie Aufsummatio der etsprechede Wahrscheilichkeite, wobei für grosse die Summe eie Riema-Approximatio des Itegrals ist, welches die Verteilugsfuktio de iert. Wir wolle das jedoch icht weiter verfolge, da wir die beide Sätze getret beweise ud zwar Satz 5.3 i eier sehr viel allgemeiere Versio ud icht ur für Beroulli-Variable. Satz 5.5 Es sei ; 2 ; : : : eie Folge vo uabhägige Zufallsgrösse, die alle dieselbe Verteilug habe (ma sagt, sie seie idetisch verteilt). Wir ehme ferer a, dass der Erwartugswert := E i ud die Variaz 2 := var ( i ) existiert. (Da wir aehme, dass die Zufallsgrösse alle dieselbe Verteilug habe, habe auch alle deselbe Erwartugswert ud dieselbe Variaz). Da gilt für jedes x 2 R lim P S p x = (x) ;! 2 wobei S := P i= i ist. 68

69 Bemerkug 5.6 Es ist i der obige Aussage gleichgültig, ob x oder < x steht, d.h. es gilt auch lim P S p < x = (x) :! 2 Dies sieht ma wie folgt: Für jedes " > 0 gilt S S P p x " P p 2 2 < x P S p 2 x : Gilt Satz 5.5, so ergibt sich (x ") = lim! P lim sup P! S p 2 S Da stetig ist, so folgt lim ""0 (x Korollar 5.7 Für a < b gilt lim P! x " p < x 2 S lim P a < S p! 2 P S! S lim if lim! P ") = (x) : Somit folgt p < x = (x) : 2 p 2 p x 2 b = (b) (a) < x = (x) : ud ach der obige Bemerkug ka ma < durch ersetze, oder umgekehrt. Beweis. P a < S p 2 b = P S p 2 b P S p 2 a : Die Aussage folgt u sofort aus Satz 5.5. Ma beachte, dass (S ) = p 2 Erwartugswert 0 ud Variaz hat. Der Satz 5.5 heisst Zetraler Grezwertsatz. Der eigetliche Clou a dem Satz ist, dass die geaue Verteilug der i für die Grezverteilug gar keie Rolle spielt; ur der Erwartugswert ud die Variaz sid relevat. Die asymptotische Verteilug vergisst quasi alle weitere Details der Verteilug. Dies erklärt das uiverselle Auftrete dieser Grezverteilug: Ma stellt sich oft vor, dass i der Natur vorkommede Zufallsgrösse (z.b. Messfehler) durch Summierug vo viele uabhägige Zufallsgrösse zustade komme ud ach dem obige Satz da asymptotisch ormalverteilt sid, wie ma sagt. (Es gibt viele Verallgemeieruge des obige Satzes, bei dee auch icht mehr vorausgesetzt werde muss, dass alle i die gleiche Verteilug habe. Sogar auf die Uabhägigkeite ka ma bis zu eiem gewisse Grad verzichte).. Hier zwei Zitate, das erste vo Fracis Galto (Natural Iheritace, 889): 69

70 Der Satz wurde erstmals vo Abraham de Moivre ( ) (im Beroulli-Fall) gezeigt. De Moivres Beweis für biomialverteilte Zufallsgrösse basiert auf eier Awedug der Stirligsche Formel. De Moivre gebührt o esichtlich auch die Priorität für die Etdeckug der ach Stirlig beate Formel. (De Moivre scheit a der fehlerhafte Namesgebug selbt icht gaz uschuldig zu sei. Stirlig hatte ämlich de Moivres erste Versio etwas verschärft; auf dieses Faktum wies de Moivre i seie spätere Publikatioe hi. Die Leserschaft scheit daraus de Schluss gezoge zu habe, dass die Formel auf Stirlig zurückgeht). De Moivres Werk wurde lage Zeit icht beachtet, bis Pierre-Simo Laplace es wieder aufgeomme hat. Abraham de Moivre Pierre-Simo Laplace Wieso tritt überhaupt die Gausssche Glockekurve auf? Es gibt eie Vielzahl vo Charakterisierug der Fuktio '; ud fast jede dieser Charakterisieruge ka verwedet werde, um de obige Satz zu beweise. Der Beweis, de wir hier vorstelle, beützt eie Charakterisierug vo ' durch eie eifache Di eretialgleichug. Leitet ma ' ab, so erhält ma ' 0 (x) = x' (x) : I kow of scarcely aythig so apt to impress the imagiatio as the woderful form of cosmic order expressed by the Law of Frequecy of Error. The law would have bee persoi ed by the Greeks ad dei ed, if they had kow of it. It reigs with sereity ad i complete self-e acemet, amidst the wildest cofusio. The huger the mob, ad the greater the apparet aarchy, the more perfect is its sway. It is the supreme law of Ureaso. Wheever a large sample of chaotic elemets are take i had ad marshaled i the order of their magitude, a ususpected ad most beautiful form of regularity proves to have bee latet all alog. Da Lippma i eiem Brief a Poicaré: Everybody believes i the expoetial law of errors; the experimeters, because they thik it ca be proved by mathematics; ad the mathematicias, because they believe it has bee established by observatio. 70

71 Es ist icht schwer zu zeige, dass ' die eizige Lösug dieser Gleichug mit ' (x) > 0 ud R ' (x) dx = ist. (Wir beütze diese Tatsache icht explizit). Diese Di eretialgleichug beutze wir u, um de Satz zu beweise. Zuächst beötige wir eie Umformulierug der Aussage des Satzes. Propositio 5.8 Es sei Y ; 2 N eie Folge vo Zufallsgrösse. Da gilt lim P (Y x) = (x) ; 8x 2 R (5.3)! geau da, we für jede stetige beschräkte Fuktio f : R! R die Beziehug gilt. lim Ef (Y ) =! Z f (y) ' (y) dy (5.4) Beweis. Wir beweise ur die Richtug, die wir zum Beweis useres Satzes beötige, ämlich dass (5.4) die Aussage (5.3) impliziert. Wir setze also (5.4) voraus. Sei x 2 R ud " > 0. Wir de iere die stetige Fuktio f x;" : R! R durch O esichtlich gilt Somit folgt d.h. Somit gilt lim sup! 8 < f x;" (y) := : fur y x y x " fur x y x + " 0 fur y x + " ( ;x] (y) f x;" (y) ( ;x+"] (y) : E ( ;x] (Y ) E (f x;" (Y )) E ( ;x+"] (Y ) ; P (Y x) E (f x;" (Y )) P (Y x + ") : (5.5) P (Y x) lim sup E (f x;" (Y )) =! Z Z ( ;x+"] (y) ' (y) dy = f x;" (y) ' (y) dy Z x+" Da eie stetige Fuktio ist, gilt lim "!0 (x + ") = (x) : Somit folgt lim sup P (Y x) (x) :! Uter Verwedug der zweite Ugleichug i (5.5) folgt aalog lim if! P (Y x) (x) 7 : ' (y) dy = (x + ") :

72 ud daher lim P (Y x) = (x) :! Wir beötige die Umkehrug, ämlich dass (5.3) die Aussage (5.4) impliziert, für de Beweis des Satzes 5.5 icht. Wir überlasse de (eher etwas mühsame aber icht sehr schwierige) Beweis daher dem Leser. R Die Idee zu userem Beweis des Satzes 5.5 besteht dari, Ef ^S f (y) ' (y) dy; ^S := (S ) = p i aderer Weise auszudrücke. Wir versuche ämlich, eie Fuktio h : R! R zu de, die die Di eretialgleichug f (x) Z f (y) ' (y) dy = h 0 (x) xh (x) (5.6) löst. Wir beötige zuächst die folgede Aussage über (x) : Lemma 5.9 a) ist stetig di erezierbar, mooto wachsed, ud es gilt lim x! (x) = 0; lim x! (x) = : b) c) Für x > 0 gilt ( x) = (x) : (5.7) (x) x ' (x) ; für x < 0 gilt (x) jxj ' (x) : Beweis. Dass stetig di erezierbar ist, folgt sofort aus der Darstellug als Itegral über eie stetige Fuktio. Mootoie folgt aus ' > 0: lim x! (x) = 0 folgt sofort aus der De itio. lim x! (x) = folgt aus Lemma 5.. (5.7) folgt aus ' (x) = ' ( x) : Wir komme zu de Abschätzuge i c). Die zweite Ugleichug folgt mit b) aus der erste. Wir beweise daher ur die erste: Für x > 0 gilt (x) = = x Z x Z x ' (y) dy Z x y' (y) dy = x ( y ' (y) dy x ' (y)) j y=x = ' (x) x : Lemma 5.0 Sei f : R! R eie stetige ud beschräkte Fuktio. Wir schreibe (f) für R f (y) ' (y) dy: Sei h : R! R de iert durch h (x) := ' (x) Z x (f (y) (f)) ' (y) dy: (5.8) 72

73 Da gelte: a) Die Di eretialgleichug (5.6) ist erfüllt. b) h ist eie stetig di erzierbare Fuktio. Ferer sid h, h 0 ud die Fuktio x! xh (x) beschräkt. Beweis. h ist o esichtlich stetig di erezierbar. Awedug vo ' 0 (x) = x' (x) liefert Z h 0 f (x) ' (x) x (x) = f (y) ' (y) dy (f) ' (x) ' 2 (x) '0 (x) Z x x' (x) = f (x) (f) + (f (y) (f)) ' (y) dy ' 2 = f (x) (f) + xh (x) ; (x) d.h. (5.6) gilt. Es bleibt zu zeige, dass sup x jh (x)j < ; sup jxh (x)j < (5.9) x gelte. Die Beschräktheit vo h 0 folgt da aus (5.6). Ma beachte zuächst, dass wege die Gleichug h (x) = Z gilt. Wir erhalte daher für x > 0 jh (x)j ' (x) Z x 2 x kfk : (f (y) (f)) ' (y) dy = 0 ' (x) Z x (f (y) (f)) ' (y) dy jf (y) (f)j ' (y) dy kf (f)k (x) ' (x) (5.0) (Für eie beschräkte Fuktio g : R! R ist die -Norm durch kgk := sup x jg (x)j de iert.) Aalog zeigt ma für x < 0 : jh (x)j 2 jxj kfk : (5.) Diese Ugleichuge sid atürlich ur für grosse jxj iteressat, z.b. für jxj : Für jxj gilt jh (x)j if y2[ ;] ' (y) kf (f)k : (5.2) Aus (5.0)-(5.2) folgt (5.9) sofort. Im Beweis des Zetrale Grezwertsatzes beötige wir och ei gaz allgemeies Resultat über itegrierbare Zufallsgrösse: 73

74 Lemma 5. Sei Z 0 eie Zufallsgrösse, dere Erwartugswert existiert. Da existiert zu jedem " > 0 ei (") > 0; sodass E (Z A ) " gilt, sofer P (A) (") ist. Beweis. Für K > 0 gilt Nu gilt E (Z A ) = E Z A\fZKg + E ZA\fZ>Kg KP (A) + E ZfZ>Kg : lim E Z fz>kg = 0; K! was eie Übugsaufgabe war. Demzufolge existiert K (") mit ud die Aussage des Lemmas folgt mit E Z fz>kg "=2; (") ; = " 2K (") : Beweis vo Satz 5.5. Wir bemerke zuächst, dass ^S = S p = p mit ^ i := ( i ) = ist. O esichtlich gilt E ^ i = 0; var ^i = ud die ^ i sid uabhägig. Wir köe daher ohe Eischräkug der Allgemeiheit aehme, dass die i Erwartugswert 0 ud Variaz habe, was wir vo u a tu werde. Ist f eie beschräkte stetige Fuktio ud h durch (5.8) de iert, so gilt S Ef p (f) = Eh 0 S S S p E p h p = Eh 0 S p i= p ^ i i= = Eh 0 S p pe h S E i h p S p : Die erste Gleichug folgt aus (5.6), die zweite aus der Liearität des Erwartugswertes. Die dritte Gleichug folgt aus der folgede Tatsache: Da die i ach Voraussetzug alle die gleiche Verteilug habe, so habe auch die Zufallsgrösse i h (S = p ) alle dieselbe Verteilug. Demzufolge sid die Erwartugswerte E ( i h (S = p )) alle gleich. 74

75 Wir schreibe u S = p als S = p + = p ud etwickel ach der Taylor- Formel: S S h p = h p + Z p h 0 S p + s p ds 0 S = h p + p h 0 S p + p R : mit R := Z 0 h 0 S p + s p h 0 S p ds: Wir argumetiere wie folgt: Da die i alle uabhägig sid, sid ach Propositio 3.29 auch ud h (S = p ) bzw. ud h 0 (S = p ) uabhägig. Damit ergibt sich ach Satz 3.3 p E h S p = p E h = p E Eh S 2 h 0 S p + E 2 R p + E S p + E 2 E h 0 S p + E 2 R = E h 0 S p + E 2 R ; die letzte Gleichug wege E = 0; E 2 = : Um de Beweis zu beede, müsse wir ur och die zwei folgede Aussage achweise: lim E! 2 R = 0: (5.3) lim Ef! lim E! h 0 S p Sid diese beide Aussage gezeigt, so folgt S p (f) = lim! h 0 S p = 0: (5.4) Eh 0 S p pe h S p = 0: Die Beweise vo (5.3) ud (5.4) sid völlig aalog; die zweite Gleichug ist etwas eifacher. Wir beweise daher die erste. Sei " > 0: hwir wähle (") gemäss Lemma 5. für Z = : 2 Mit I " bezeiche wir p2 das Itervall (") =2 ; p i 2 (") =2 + : Da die Fuktio h 0 stetig ist, ist sie gleichmässig stetig auf diesem Itervall. Demzufolge existiert = (") > 0; sodass jh 0 (x) h 0 (y)j " für x; y 2 I " ; jx yj (") gilt. Wir setze A (") :=! : S (!) p p 2 (") =2 ; (!) p (") : 75

76 Nach der Tschebysche -Ugleichug gilt S P p > p 2 (") =2 (") 2 var ud P für N (") := S p p > (") = P j j > p (") l 2 (") (") 2m : Demzufolge gilt für diese P (A (") c ) (") : = (") (") 2 2 ; (") 2 (") 2 Für! 2 A (") liege sowohl S (!) = p wie S (!) = p + s (!) = p für jedes s 2 [0; ] ; N (") im Itervall I ", ud es gilt j (!) = p j (") ist. Somit gilt für! 2 A (") ud N (") jr (!)j Z 0 S (!) h0 p + s (!) p h 0 S (!) p ds ": Demzufolge ist E R 2 E 2 jr j = E 2 jr j ; A + E 2 jr j ; A c "E h 0 E ; 2 A c " + 2 h 0 " (5.5) für N (") ; die letzte Ugleichug ach Lemma 5.. Wir verwede hier die bequeme Notatio E (; A) := E ( A ) ; we eie Zufallsgrösse ud A ei Ereigis ist. Da auch " beliebig ist, folgt lim E R 2 = 0:! Damit ist (5.3) gezeigt. (5.4) folgt aalog ud ist sogar etwas eifacher. Die Idee zu obigem Beweis stammt vo Charles Stei 2, Professor emeritus a der Staford-Uiversität. Charles Stei 2 Der Beweis ist icht der traspareteste ud auch icht der eifachste. Der übliche (kurze) Beweis verwedet charakteristische Fuktioe. Dies beötigt jedoch eiige Vorbereituge zur Fourieraalyse. Der Vorteil der Steische Methode ist, dass ma de Satz aus dem Stad beweise ka. Ei aderer klassischer Beweis stammt vo Lideberg ud ützt die Tatsache aus, dass Summe vo uabhägige Zufallsgrösse, die gemäss der Gausssche Glockekurve verteilt sid - sogeate ormalverteilte Zufallsgrösse - wieder ormalverteilt sid. Wir werde das im ächste Kapitel diskutiere. 76

77 Wir wede us u wieder dem lokale Grezwertsatz 5.4 zu, de wir ur für de Beroulli-Fall beweise. Ma beweist solche Sätze am eifachste mit de Methode der Fourier-Aalyse, die us jedoch icht zur Vefügug stehe. Hier der Beweis vo de Moivre mit Hilfe der Stirlig-Formel, der allerdigs icht sehr trasparet ist. Satz 5.2 (Stirligsche Formel) lim!!=(p 2 +=2 e ) = : Der Satz sollte aus der Aalysis-Vorlesug bekat sei. Falls icht, siehe etwa: O. Forster: Aalysis 20 Satz 6. Beweis vo Satz 5.4. Wir führe zuächst eiige Notatioe ei: Sei A > 0 eie beliebige Zahl. Wir erhalte diese Zahl für de Rest des Beweises fest. Wir verwede ebefalls die Abkürzug x k; ; die wir i (5.2) eigeführt habe. Seie a (k; ) ; b (k; ) > 0 für k; 2 N de iert. Wir schreibe kurz a (k; ) b (k; ) falls lim sup a (k; )! b (k; ) = 0 gilt. O esichtlich gilt k: Ax k; A k = p + p p ( p) x k; ; k = ( p) p p ( p) xk; ; (5.6) also mit der obige Notatio Mit Hilfe der Stirligsche Formel folgt: b(k; ; p) wobei wir k p; k ( p) : (5.7) (=e) p 2p k ( p) k r (k=e) k p 2k (( k) =e) k p 2 ( k) = '(; k) 2k( k) p '(; k); 2p ( p) '(; k) := ( p ( p) k )k ( k ) k gesetzt habe.nach der Taylorformel gilt für x > log( + x) = x x 2 x mit = (x) 2 [0; ]: 3 ( + x) 3 77

78 Nach (5.6) ergibt sich daraus log p k = k log k p p ( k p) xk; p p ( p) x 2 k; = p ( p)xk; 2k ( p) k p! p ( p) xk; log = ( k) log + k k = p p ( p) x k; p ( p) x 2 k; 2( k)! + (p ( 3k 2 ( (p ( p)) 3=2 x 3 k; ; p)xk; k ) 3 p p( p)) 3=2 x 3 k; 3( k) 2 ( + 0 p p( p)xk; k ) 3 mit ; 0 2 [0; ]. Wir addiere die beide obige Gleichuge, wobei die jeweils erste Summade auf der rechte Seite sich freudlicherweise gegeseitig aufhebe. Die Summe der beide zweite Summade ist p ( 2k p) x 2 k; p ( p) x 2 k; 2( k) = 2 p ( p) x 2 k; : 2k( k) Abhägig vo A, p gibt es eie positive Kostate C derart, dass die jeweils dritte Summade i de geschweifte Klammer auf der rechte Seite der obige Gleichug für geüged grosse vom Betrag kleier als C 3=2 sid. Dies etimmt ma sofort (5.7). Demzufolge gilt: lim sup! k:jx k; ja log '(; k) 2 p ( p) x 2 k; 2k( k) = 0: Aus (5.7) folgt 2 p( p) 2k( k) ud somit lim sup! k:jx k ja x log '(; k) 2 k; 2 = 0: Daraus folgt '(; k) e x2 k; =2 : Damit ist der Satz bewiese. (Wir sid etwas locker mit der Relatio umgegage. Der Leser möge sich die eizele Schritte selbst geau überlege.) Rechebeispiel zu Satz 5.4: Jemad wirft 200-mal eie Würfel. Mit welcher Wahrscheilichkeit hat er geau 200-mal eie 6? Mit welcher Wahrscheilichkeit 250-mal? 78

79 Wir bereche x k für k = 200; 250, = 200, p = =6. x 200 = 0; x 250 = 5p 6 p 0 = 3:873 b(200; 200; =6) = 0: b(250; 200; =6) = 0: : Wie üblich muss hier bemerkt werde, dass ei reies Limesresultat für die Güte eier Approximatio wie i obigem Rechebeispiel zuächst atürlich gar ichts aussagt. Gefragt sid kokrete Abschätzuge des Fehlers. Dies ist ei techisch aufwediges Feld, i das wir i dieser Vorlesug icht eitrete köe. Nachfolged ist eie umerische Illustratio vo Satz 5.4 für = 30 für agegebe, auf der like Seite mit p = 0:5 ud auf der rechte Seite mit p = 0:3 : y = 30; p = 0:5 y = 30; p = 0:3 Das Balkediagramm ist die Fuktio f ;p (k) = p p( p)b(k; ; p): 79

80 Darüber ist die Gausssche Glockekurve i der richtige Skalierug eigetrage: " # k! p (k p) 2 exp 2 2p ( p) Auf dem rechte Bild sieht ma och deutlich die Asymmetrie i der Treppefuktio, die atürlich für! verschwide muss. Awedugsbeispiel zu Satz 5.3: Eie Fabrik stellt ei Werkstück her mit eier Ausschussrate vo 0%. Mit welcher Wahrscheilichkeit sid uter 400 produzierte mehr als 50 defekt? = 400, p = 0;, p = 40, p p( p) = 6 P (S > 50) = P! S p p > 5 = p( p) 3 5 = 3 5 = 0; 05: 3 Mit welcher Wahrscheilichkeit sid zwische 35 ud 45 defekt?! 5 P (35 S 45) = P 6 S p p 5 p( p) = = 2 = 0; 6: Da wir keie Fehlerabschätzuge hergeleitet habe, wisse wir atürlich icht, wie geau solche Näheruge sid. Die Geauigkeit ist etwas besser, we ma die Mitte der mögliche Grezpukte immt; das heisst, im obige Beispiel schreibt ma besser: P (S > 50) = P (S 50; 5) = 2 2 P (35 S 45) = P (34; 5 S 45; 5) = 2 : 2 Für! ist die Korrektur atürlich belaglos; sie ist jedoch immerhi vo der Grösseordug = p.. 6 Zufallsgrösse mit Dichte Im Kapitel 5 sid wir auf Wahrscheilichkeite gestosse, die sich durch Itegrale approximiere lasse. Wir hatte gesehe, dass für S, die Azahl der Erfolge i eiem Beroulli-Experimet mit Erfolgswahrscheilichkeit p,! lim P a < S p p b =! p( p) Z b a p 2 e x2 =2 dx 80

81 gilt. Es ist daher ahelieged, Zufallsgrösse eizuführe, für die sich P (a < b) durch ei Itegral ausdrücke lässt. Gibt es so etwas? Zuächst sei bemerkt, dass diese Frage für die Ergebisse vo Kapitel 5 irrelevat ist, de dort ist ur vo (diskrete) Zufallsgrösse die Rede, für die sich die etsprechede Wahrscheilichkeite durch Itegrale approximiere lasse. Für die Formulierug des zetrale Grezwertsatzes besteht keie Notwedigkeit, Zufallsgrösse eizuführe, für die sich Wahrscheilichkeite als Itegrale schreibe lasse. Deoch ist es eie bequeme mathematische Idealisierug, etwa vo ormalverteilte Zufallsgrösse zu spreche, d.h. vo Zufallsgrösse mit P (a < b) = Z b a '(x) dx; '(x) := p 2 e x2 =2 : Eie derartige Zufallsgrösse hat eie erstauliche Eigeschaft: Ist a 2 R beliebig, so gilt Z a P ( = a) P a < a = '(x) dx für alle 2 N, ud die rechte Seite kovergiert gege ull für!. Somit gilt P ( = a) = 0 für jedes a 2 R. Es ist evidet, dass die i Kapitel 3, De itio 3. de ierte Zufallsgrösse diese Eigeschaft icht habe köe. Ist ämlich p(!) > 0 für ei! 2, so gilt P ( = a) p(!) > 0 für a = (!). Die Kostruktio vo ormalverteilte Zufallsgrösse setzt de allgemeiere Rahme der Wahrscheilichkeitstheorie voraus, de wir i De itio.3 eigeführt hatte. De itio 6. Sei (; F; P ) ei Wahrscheilichkeitsraum gemäss De itio.3. Eie Zufallsgrösse ist eie Abbildug :! R; die die Eigeschaft hat, dass für jedes t 2 R; die Mege (( ; t]) := f! 2 : (!) tg i F ist. Ma sagt, dass eie messbare Abbildug! R ist. Das ist eie Verallgemeierug der De itio 3.. Ist ämlich eie abzählbare Mege, so ehme wir für F stets eifach die Potezmege vo : I diesem Fall ist atürlich jede Abbildug :! R messbar. De itio 6.2. Sei eie Zufallsgrösse gemäss der obige De itio 6.. Da heisst die Fuktio F : R! R; die de iert ist durch F (t) := P ( t) = P (( ; t]) die Verteilugsfuktio vo : 2. Eie (Lebesgue)-itegrierbare Fuktio f : R! [0; ) heisst Dichtefuktio, we R f(x) dx = gilt. (R : : : dx bezeiche das Lebesgue-Itegral.) a 8

82 3. Eie Zufallsgrösse hat Dichte f; we für jedes t 2 R gilt. F (t) = Z t f (x) dx (6.) Verteilugsfuktioe habe eie Reihe vo eifache Eigeschafte: Propositio 6.3 Sei F die Verteilugsfuktio eier Zufallsgrösse : F hat die folgede Eigeschafte:. F ist icht falled, d.h. für s t gilt F (s) F (t) : 2. F ist rechtsseitig stetig. 3. lim t! F (t) = ; lim t! F (t) = 0: Beweis. Die Mootoie ist klar wege (( ; s]) (( ; t]) für s t: Um die Rechtsstetigkeit zu zeige geügt es achzuweise, dass für jedes t 2 R lim F t + = F (t)! gilt. Ma beachte u für m die Iklusio ( ; t + m ] ( ; t + ]. Ferer ist \ ( ; t + ] = (( ; t]) : 2N Uter Verwedug vo Lemma folgt daher lim F t + = lim (! P ; t + ] = P (( ; t]) = F (t) :! Um 3. zu zeige, geügt es achzuweise. Nu gelte \ lim F ( ) = 0; lim F () =!! 2N (( ; ]) =?; [ 2N (( ; ]) = : Uter ochmaliger Verwedug vo Lemma Besitzt eie Zufallsgrösse eie Dichte, so ist ihre Verteilugsfuktio atürlich stetig. Verteilugsfuktioe vo Zufallsgrösse, die auf eiem abzählbare Wahrscheilichkeitsraum de iert sid, sid jedoch ustetig. Es gilt ämlich i eiem solche Fall P ( t) = p (!) = P ( = z) :!:(!)t z2():zt Diese Fuktio hat Sprüge der Höhe P ( = z) i alle Pukte z 2 () : Ohe Beweis sei die Tatsache erwäht, dass icht alle stetige Verteilugsfuktioe eie Dichte besitze. 82

83 Beispiele 6.4. Die Dichte der Stadard-Normalverteilug(oder Stadard-Gauss-Verteilug) ist de iert durch '(x) = p e x2 =2 ; x 2 R: 2 Wir hatte scho im letzte Kapitel gesehe, dass R '(x) dx = ist. 2. Die Dichte der Normalverteilug mit Mittel 2 R ud Variaz 2 > 0 ist de iert durch '(x; ; 2 ) := p 2 e (x )2 =(2 2) ; x 2 R: Die Namesgebug für die Parameter 2 R ud > 0 wird weiter ute klar werde wird. (Beispiel 6.8 b). Durch die Trasformatio y = (x )= geht die Dichte '( ; ; 2 ) i die Dichte '( ; 0; ) der Stadard-Normalverteilug aus Beispiel a) über, ud es gilt Z '(x; ; 2 ) dx = Z p 2 e y2 =2 dy = : 3. Für a < b ist die Dichte der gleichförmige Verteilug auf [a; b] de iert durch f(x) = b a falls x 2 [a; b] 0 sost : 4. Die Dichte der Expoetialverteilug zum Parameter > 0 ist de iert durch e x falls x 0 f(x) = 0 falls x < 0 : 5. Die Dichte der Cauchy-Verteilug zum Parameter c > 0 ist de iert durch f(x) = c x 2 + c 2 ; x 2 R: Wir ee eie Zufallsgrösse stadard-ormalverteilt, we sie die Dichte gemäss Beispiel 6.4. hat. Ähliche Bezeichuge gelte für die adere Dichte. Obwohl die Dichte der Cauchy-Verteilug eie glockeförmige Graphe wie die Gausssche Glockekurve hat, gibt es sehr wesetliche Uterschiede zwische de beide Dichte, die damit zusammeäge, dass die Gausssche Glockekurve sehr viel scheller gege 0 abfällt als die Cauchy-Dichte. I der utestehede Gra k ist die durchgezogee Kurve die Cauchy-Dichte ud die gestrichelte die Gausssche Glockekurve. 83

84 y x Eie Dichte ist icht gaz eideutig durch die Zufallsgrösse bzw. dere Verteilugsfuktio bestimmt, de eie Äderug der Dichtefuktio auf eier Lebesgue-Nullmege ädert a der Darstellug (6.) atürlich gar ichts. Ohe Beweis zitiere wir das folgede Ergebis: Propositio 6.5 Hat die Zufallsgrösse die Dichte f; so gilt für jede Borel-Mege B Z P ( 2 B) = B f (x) dx: (6.2) Eie Teilmege B vo R heisst Borel-Mege, we sie i der Borel--Algebra B ist. Die Borel--Algebra B ist die kleiste -Algebra, die das Megesystem f( ; t] : t 2 Rg umfasst. Zur obige Propositio ei paar Erläuteruge: Ist M eie beliebige (icht leere) Mege ud C eie beliebige Mege vo Teilmege vo M; so existiert eie kleiste -Algebra (C) ; die C umfasst. Sie ist de iert als (C) := \ ff : F Algebra i M; C Fg : Es gibt midestes eie -Algebra, die C umfasst, ämlich die Potezmege vo M: Daher ist die Mege fg i der obige De itio icht leer. Dass ei beliebiger Durchsitt vo -Algebre wieder eie -Algebra ist, ist leicht zu sehe ud sei dem Leser als Übugsaufgabe überlasse. (C) hat o esichtlich die folgede zwei Eigeschafte: Ist F eie -Algebra mit C F; so gilt (C) F: C (C) : (C) ist daher die kleiste -Algebra, die C umfasst, wobei sich kleist auf die Iklusio bezieht. Für de Fall M = R mit C = f( ; t] : t 2 Rg bezeichet ma B = (C) als die Borel--Algebra i R; die Mege i B heisse Borel-Mege. Es ist eifach zu sehe, 84

85 dass alle o ee Mege ud alle abgeschlossee Mege Borel-Mege sid. Hier der Beweis: Für s < t ist (s; t] = ( ; t] \ (( ; t]) c 2 B; da eie -Algebra abgeschlosse gegeüber Komplemetsbildug ud Durchsittsbildug ist. Damit ist auch (s; t) 2 B; da sich dieses o ee Itervall als (s; t) = [ 2N (s; t =] darstelle lässt. Jede o ee Mege i R lässt sich jedoch als abzählbare Vereiigug vo o ee Itervalle darstelle. Damit ist jede o ee Mege eie Borel-Mege. Ist A R eie abgeschlossee Mege, so gilt A = (A c ) c ; ud A c ist o e. Somit ist jede abgeschlossee Mege eie Borel-Mege. Die Borel--Algebra ethält jedoch viele adere Mege als ur die o ee ud die abgeschlossee. I der Tat ka ma ur schwer eie Mege kostruiere, die keie Borel-Mege ist, aber es ist eifach achzweise, dass es Teilmege vo R gibt, die keie Borel-Mege sid. Ma ka ämlich achweise, dass B die Mächtigkeit vo R hat, d.h. dass es eie Bijektio zwische B ud R gibt. Aderseits hat die Mege aller Teilmege vo R eie grössere Mächtigkeit als R: Damit sid eigetlich fast alle Teilmege vo R keie Borel-Mege. ( fast alle hat hier keie präzise mathematische Si). Die Gleichug (6.2) bedarf auch eiiger Erkläruge. Obwohl wir sie hier icht beweise wolle, müsse wir us klar mache, wie die beide Seite überhaupt de iert sid. Die like Seite ist eifach P (f! : (!) 2 Bg) : Wir müsse daher ur überlege, dass (B) := f! : (!) 2 Bg 2 F für jede Borel-Mege B 2 B gilt. Das ist sehr eifach: I De itio 6. habe wir vorausgesetzt, dass (( ; t]) 2 F für jedes t 2 R gilt. Nu ist D := A : A R; (A) 2 F eie -Algebra, de aus A 2 D folgt (A c ) = (A) c 2 F; also A c 2 F; ud aus A 2 D; 2 N; folgt ( S A ) = S (A ) 2 F; d.h. S A 2 D: Ferer sid ; ud R o esichtlich i D: Damit ist D eie -Algebra mit f( ; t] : t 2 Rg D; also gilt B = (f( ; t] : t 2 Rg) D: womit getzeigt ist, dass (B) 2 F für jede Borel-Mege B gilt. Damit ist die like Seite vo (6.2) de iert. Die rechte Seite ist eifach Z A f dx: Allerdigs ist A f icht für jede Borel-Mege Riema-itegrierbar. I diesem Falle muss ma das Lebesgue-Itegral beütze, worauf wir jedoch hier icht eigehe köe. Soviel zur obige Propositio. Eie Verteilugsfuktio F, die eie Dichte hat, braucht atürlich keie stetige Dichte zu besitze. Ist jedoch eie Dichte f i eiem Pukt a stetig, so gilt ach dem Fudametalsatz der Di eretial- ud Itegralrechug f(a) = df (x) dx 85 : x=a

86 Somit hat eie Verteilugsfuktio F geau da eie stetige Dichte, we sie stetig di erezierbar ist. Diese stetige Dichte ist, we sie existiert, eideutig durch F bestimmt. Wir komme u zur De itio des Erwartugswertes ud der Variaz für Zufallsgrösse, die eie Dichte besitze. De itio 6.6 Die Zufallsgrösse habe eie Dichte f. a) Ist die Fuktio R 3 x 7! xf(x) (Lebesgue-)itegrierbar, so sage wir, dass der Erwartugswert vo existiert. Er ist da de iert durch E = Z xf(x) dx: b) Falls E existiert ud R 3 x 7! (x E) 2 f(x) (Lebesgue-)itegrierbar ist, so ist die Variaz vo de iert durch var() = Z (x E()) 2 f(x) dx: Die De itio ist atürlich völlig aalog zu de etsprechede De itioe vo Erwartugswert ud Variaz für Zufallsgrösse, die auf diskrete Wahrscheilichkeitsräume de iert sid. Bemerkug 6.7 Eie Cauchy-verteilte Zufallsgrösse hat keie Erwartugswert, de die Fuktio ist icht Lebesgue-itegrierbar. R 3 x 7! c x x 2 + c 2 Beispiele 6.8 a) Sei stadard ormalverteilt. Da ist Z jxjp e x2 =2 dx = 2 Z 2 p xe x2 =2 dx = lim p N! 2 also existiert der Erwartugswert vo, ud es gilt E = Z e x2 =2 N x p 2 e x2 =2 dx = 0; 0 = r 2 < ; 86

87 da der Itegrad eie ugerade Fuktio ist. Die Variaz berechet sich wie folgt: Es gilt var() = p Z Z x 2 e x2 =2 N dx = lim p x(xe x2 =2 ) dx; 2 N! 2 N ud mittels partieller Itegratio folgt var() = lim p xe x2 =2 N + Z N p N! 2 N 2 N e x2 =2 dx = 0 + = : b) Sei ormalverteilt mit de Parameter 2 R ud > 0. Mit der Trasformatio y = (x )= folgt uter Verwedug vo a) Z jxjp e (x )2 =2 2 dx = 2 Z jj + also existiert der Erwartugswert, ud es gilt E = Z j + yjp e y2 =2 dy 2 Z jyjp e y2 =2 dy < ; 2 x p 2 e (x )2 =2 2 dx = p 2 Z (y + )e y2 =2 dy = : Mit der gleiche Trasformatio ud dem Ergebis aus Beispiel a) folgt var() = Z Z (x ) 2 p e (x )2 =2 2 dx = p 2 y 2 e y2 =2 dy = 2 : 2 2 Bemerkug 6.9 Eie Zufallsgrösse ist geau da ormalverteilt mit Erwartugswert ud Variaz 2, we ( )= stadardormalverteilt ist. Etwas allgemeier: Ist ormalverteilt mit Erwartugswert ud Variaz 2, ud sid a; b 2 R, a 6= 0, so ist a + b ormalverteilt mit Erwartugswert a + b ud Variaz a 2 2. Dies ergibt sich im Fall a > 0 aus der Tatsache, dass sowohl P ( t) = P (a + b at + b) als auch (mittels der Trasformatio y = ax + b) Z t Z at+b p e (x )2 =2 2 dx = p e (y a b)2 =2a 2 2 dy 2 2a für alle t 2 R gelte, also '( ; a + b; a 2 2 ) eie Dichte vo a + b ist. Der Beweis für a < 0 ist aalog. Beispiel 6.0 Sei expoetialverteilt mit Parameter > 0. Partielle Itegratio ergibt Z Z E = xe x dx = xe x + e x dx = e x = ;

88 isbesodere existiert der Erwartugswert. Ausmultipliziere vo (x vo E() = = ud zweimalige partielle Itegratio liefer var() = Z 0 x 2 Z e x dx = x 2 e x dx 0 =) 2, verwede 2 E() + 2 = 2 : Als ächstes wolle wir gemeisame Eigeschafte vo mehrere Zufallsgrösse ; : : : ; betrachte. Wir ee das Tupel = ( ; : : : ; ) auch eie -dimesioale Zufallsvektor. De itio 6. a) Eie (Lebesgue-)itegrierbare Fuktio f : R! [0; ) heisst -dimesioale Dichtefuktio (oder kurz Dichte),we Z R f(x) dx = ist, wobei x das -Tupel (x ; : : : ; x ) 2 R bezeichet. b) f sei eie -dimesioale Dichtefuktio, ud = ( ; : : : ; ) ei Zufallsvektor. f heisst Dichte vo ; we Z P ( a ; 2 a 2 ; : : : ; a ) = f(x) dx (6.3) ( ;a ]( ;a ] für alle a ; : : : ; a 2 R gilt. Wir sage da auch, f sei eie gemeisame Dichte der Zufallsgrösse ; : : : ; : Die like Seite der Gleichug (6.3) ist die Wahrscheilichkeit der Mege f! : (!) 2 A (a)g ; wobei A (a) := ( ; a ] ( ; a ] R ist. Die -Algebra B := (fa (a)g : a 2 R ) heisst die Borel--Algebra i R : Die Mege i B heisse Borel-Mege. Aalog wie im eidimesioale Fall zeigt ma, dass alle o ee ud alle abgeschlossee Mege Borel-Mege sid. Es gilt auch die folgede Erweiterug vo Propositio 6.5: Propositio 6.2 Ist f eie Dichte des Zufallsvektors ; so gilt für jede Borel-Mege C R : Z P ( 2 C) = C f(x) dx: 88

89 Setzt ma speziell C = R k ( ; a] R k, so ergibt sich aus dem Satz vo Fubii: Z a Z Z P ( k a) = : : : f(x ; : : : ; x ) dx : : : dx k dx k+ : : : dx dx k mit f k (x) := Z = Z a f k (x) dx; Z : : : f(x ; : : : ; x k ; x; x k+ ; : : : ; x ) dx : : : dx k dx k+ : : : dx : (6.4) Daraus folgt, dass die Fuktio f k eie Dichte für die Zufallsgrösse k ist. f k heisst die k-te Raddichte vo f. Wir habe somit de folgede Satz gezeigt: Satz 6.3 Hat der Zufallsvektor = ( ; : : : ; ) eie Dichte f, so hat für jedes k 2 f; : : : ; g die Zufallsgrösse k die Dichte f k, die de iert ist durch (6.4). Bemerkug 6.4 a) Eie präzise Ausformulierug der obige Überleguge erfordert etwas Sorgfalt. Tatsächlich garatiert der Satz vo Fubii icht, dass für alle x 2 R die Fuktio R 3 (x ; : : : ; x k ; x k+ ; : : : ; x )! f(x ; : : : ; x k ; x; x k+ ; : : : ; x ) itegrierbar auf R ist, soder ur für alle x 2 R N, wobei N eie Nullmege ist. Die Fuktio f k ist somit im allgemeie ur auf R N de iert. Für die weitere Itegratio vo f k, zum Beispiel für R a f k(x) dx, ist diese Nullmege jedoch belaglos. Wir köe f k (x) für x 2 R N durch (6.4) de iere, ud für x 2 N köe wir f k (x) := 0 (oder irged eie adere Zahl) setze. Da ist f k auf gaz R de iert. Die Festlegug auf der Nullmege spielt keie Rolle. (Tatsächlich ist es formal besser, Dichte als Äquivalezklasse vo Fuktioe aufzufasse, wobei die Äquivalezrelatio durch die Gleichheit fast überall de iert ist). b) Satz 6.3 besagt, dass die Existez eier gemeisame Dichte die Existez der Dichte für die eizele Kompoete des Zufallsvektors impliziert. Die Umkehrug gilt jedoch icht. Dazu das folgede Beispiele: Habe die Zufallsgrösse eie Dichte. Wir setze Y := : Da hat atürlich auch Y eie Dichte (dieselbe wie ): Der Zufallsvektor (; Y ) hat jedoch keie Dichte. Ist ämlich A := (x; y) 2 R 2 : x = y ; so gilt P ((; Y ) 2 A) = : O esichtlich gilt jedoch für jede itegrierbare Fuktio f : R 2! R + : ZZ f (x; y) dxdy = 0 6= = P ((; Y ) 2 A) : A 89

90 Als Awedug vo Propositio 6.2 köe wir die Dichte vo + Y bereche, we ud Y eie gemeisame Dichte f : R 2! [0; ) besitze. Dazu bereche wir zuächst P ( + Y a) für alle a 2 R. Mit C a := f(x; y) 2 R 2 : x + y ag köe wir dies als P ((; Y ) 2 C a ) schreibe. Nach Satz 6.2 ud dem Satz vo Fubii ergibt sich P ( + Y a) = Somit gilt = Z Z a Z Z a y f(x; y) dx dy f(x y; y) dx dy = Z a Z f(x y; y) dy dx: Satz 6.5 Habe ud Y eie gemeisame Dichte f, so ist die durch g(x) = Z f(x y; y) dy für (fast alle) x 2 R de ierte Fuktio eie Dichte vo + Y. Korollar 6.6 Habe ud Y eie gemeisame Dichte f; ud existiere E, EY; so existiert auch E( + Y ) ud es gilt E( + Y ) = E + EY: Beweis. Nach dem Satz vo Fubii gilt Z jxj g(x) dx = = = Z jxj Z Z Z Z f(x y; y) dy dx jx + yj f(x; y) dy dx jxj f (x) dx + Z Z Z jyj f 2 (y) dy < ; (jxj + jyj) f(x; y) dy dx wobei f ; f 2 die beide Raddichte sid. Somit existiert der Erwartugswert vo +Y im Sie der De itio 6.6 gezeigt. Mit Fubii folgt u auch Z xg(x) dx = = = Z x Z Z Z Z f(x y; y) dy dx (x + y) f(x; y) dy dx xf (x) dx + Z yf 2 (y) dy = E + EY: 90

91 De itio 6.7 ; : : : ; seie Zufallsgrösse. Sie heisse uabhägig, we für alle a ; : : : ; a 2 R gilt. P ( a ; : : : ; a ) = P ( a ) P ( a ) Bemerkug 6.8 Ma prüft leicht ach, dass diese De itio für diskrete Zufallsgrösse äquivalet zu der i Kapitel 3 gegebee ist. Satz 6.9 ; : : : ; seie Zufallsgrösse. Jedes der j habe eie Dichte f j. (Wir setze icht voraus, dass eie gemeisame Dichte existiert.) Da sid die Zufallsgrösse ; : : : ; geau da uabhägig, we die Fuktio f de iert durch eie Dichte vo = ( ; : : : ; ) ist. R 3 x! f (x) := f (x )f 2 (x 2 ) : : : f (x ) Beweis. Ist f eie Dichte vo, so ergibt sich für alle a ; : : : ; a 2 R P ( a ; : : : ; a ) = = Z a Y j= : : : Z aj Z a f (x ) : : : f (x ) dx : : : dx f j (x j ) dx j = Y P ( j a j ): j= Somit sid ; : : : ; uabhägig. Umkehrug: Aus der Uabhägigkeit gemäss De itio 6.7 folgt P ( a ; : : : ; a ) = = = Y P ( j a j ) j= Z aj Y j= Z a f j (x j ) dx j Z a : : : f (x ) : : : f (x ) dx : : : dx ; ud somit ist f eie Dichte vo : Wir wolle u de Satz 6.5 auf de Fall, dass ; Y uabhägig sid, spezialisiere: Satz 6.20 Es seie ud Y uabhägige Zufallsgrösse; habe die Dichte f ud Y die Dichte g. Da hat + Y die Dichte h(x) = Z f(x y)g(y) dy; x 2 R: (6.5) 9

92 Beweis. Der Satz folgt umittelbar aus Satz 6.5 ud Satz 6.9. Sid f ud g zwei Dichte, so de iert (6.5) eie eue Dichte h, die ma als die Faltug vo f ud g bezeichet ud meist als f g schreibt. Dass f g wieder eie Dichte i userem Sie ist, folgt sofort aus dem Satz vo Fubii. Die Faltug ist eie kommutative ud assoziative Verküpfug auf der Mege der Dichte. Als Awedug vo Satz 6.5 köe wir die wichtigste Eigeschaft vo ormalverteilte Zufallsgrösse zeige: Satz 6.2 Es seie i, i, uabhägige ud ormalverteilte Zufallsgrösse mit Erwartugswerte i ud Variaze 2 i. Da ist P P i= i ormalverteilt mit Erwartugswert i= i ud Variaz P i= 2 i. Beweis. Sid ; : : : ; uabhägig, so sid + + ud ebefalls uabhägig, was sich der Leser als Übugsaufgabe überlege soll. Der Satz folgt somit mit Iduktio ach aus dem Fall = 2. Die Zufallsgrösse Y = ud Y 2 = 2 2 sid Nach Bemerkug 6.9 ormalverteilt mit Erwartugswert 0. Nach (6.5) ist die Dichte h vo Y + Y 2 gegebe durch Z (x y) 2 h(x) = exp y2 2 dy 2 für alle x 2 R. Schreibt ma de Term i der Klammer i der Form (x y) y2 2 2 = p y 2 2 p x ! 2 + x2 2 + : 2 2 ud beutzt die Trasformatio p 2 z(y) = y 2 2 p x; so ergibt sich h(x) = p 2( ) exp 2 x Z p 2 e z2 =2 dz = '(x; 0; ): Also ist Y + Y 2 ormalverteilt mit Erwartugswert 0 ud Variaz Demzufolge ist + 2 ormalverteilt mit Erwartugswert + 2 ud Variaz Die Normalverteilug ist die weitaus wichtigste Verteilug. Für viele statistische Aweduge wird vorausgesetzt, dass die diskutierte Grösse ormalverteilt sid (z.b. Messfehler bei astroomische Beobachtuge, Itelligezquotiete i eier Populatio etc., siehe die Vorlesuge über Statistik). Viele Grösse, die oft ud uter idetische Bediguge gemesse werde köe, sid tatsächlich weigstes geähert ormalverteilt. Eie gewisse theoretische Rechtfertigug gibt der zetrale Grezwertsatz aus Kapitel 5. Ma stellt sich etwa vor, dass Messfehler zustade komme, idem sich kleie 92

93 Fehler uabhägig überlager. Ist dies der Fall, so ist ach dem zetrale Grezwertsatz der gesamte Messfehler geähert ormalverteilt. Zufallsgrösse mit Dichte sid och zu Ede des 9. Jahrhuderts zum Teil icht richtig verstade worde. 888 publizierte Joseph Bertrad sei Buch Calcul des probabilités, wori des folgede sogeate Bertradsche Paradoxo erwäht wird. Gegebe sei ei Kreis mit Radius : I diese Kreis wird eie zufällige Sehe gezoge. Mit welcher Wahrscheilichkeit ist diese Sehe kürzer als die Seiteläge eies i de Kreis eigeschriebee gleichseitige Dreiecks? Die Frage ist, was hier zufällig bedeutet. Dafür gibt es mehrere mögliche Asätze. Ei aheliegeder ist es, zwei zufällige Pukte (; Y ) auf dem Eiheitskreis zu wähle. Wir köe ud Y mit zufällige Wikel 2 [0; 2) ideti ziere ud vorauszusetze, dass (; Y ) als gemeisame Dichte die Gleichverteilug auf dem Eiheitsquadrat [0; 2) 2 hat, d.h. die Dichtefuktio, die auf diesem Quadrat gleich = (2) 2 ist, ud 0 ausserhalb. I diesem Modell lässt sich die gesuchte Wahrscheilichkeit leicht ermittel: Sie ist eifach gegebe durch die Wahrscheilichkeit, dass ud Y sich um weiger als 2=3 uterscheide. Die gesuchte Wahrscheilichkeit ist daher o esichtlich 2=3: Wir köe jedoch auch auf adere Weise festlege, was zufällig hier heisse soll, z.b. idem wir de Mittelpukt der Sehe gemäss der Gleichverteilug auf der Kreisscheibe wähle. Bezeiche wir die Koordiate dieses Mittelpuktes der Sehe mit (U; V ) ; so lege wir also fest, dass dieser zweidimesioale Vektor eie Dichte hat, die = auf der Kreisscheibe ist ud 0 ausserhalb. Die Läge der Sehe ist geau da kürzer als die Seite des eigeschriebee Dreiecks, we der Abstad vo (U; V ) vom 0-Pukt grösser als der Radius des dem Dreieck eigeschriebee Ikreises ist, der Radius =2 hat, d.h. we p U 2 + V 2 > =2 ist, was uter dem obige Modell Wahrscheilichkeit 3=4 6= 2=3 hat. Bertrad scheit über dieses Resultat sehr verwudert gewese zu sei, aber es gibt eigetlich icht de gerigste Grud, weshalb die Gleichverteilug vo (; Y ) auf [0; 2) 2 der Gleichverteilug vo (U; V ) auf der Kreisscheibe etspreche sollte. 93

94 7 Statistische Probleme Joseph Louis Fraçois Bertrad Grudlage aller statistische Probleme sid probabilistische Modelle mit Parameter, die dem Statistiker icht oder icht vollstädig bekat sid. Aus Beobachtugsdate solle da Rückschlüsse auf diese Parameter gezoge werde, die de Grad der Usicherheit eischräke. Ei eifaches Beispiel ist eie Biomialverteilug mit Erfolgswahrscheilichkeit p; wobei p icht zum vorherei bekat ist. Sicher scho jeder beim Würfelspiele ach eie Pechsträhe auf de Gedake gekomme, ob de die Wahrscheilichkeite für die eizele Augezahle wirklich dieselbe seie. Es ist ahelieged, solche Zweifel ahad vo (lage) Versuchsreihe zu teste. Ma uterscheidet zwei Type vo statistische Probleme, die miteiader zusammehäge: Eierseits gibt es die Testprobleme. Hier geht es darum, eie Hypothese ahad vo Date zu überprüfe. Eie typische Hypothese wäre etwa, dass der Würfel o.k. ist, die der sogeate Alterative gegeüber gestellt wird, die besage würde, dass der Würfel gezikt ist. Ei aderes Beispiel: Ma iteressiert sich dafür, ob ei eues Medikamet gegeüber ältere wie ma sagt sigi kat besser ist. Ma formuliert da eie sogeate 0-Hypothese, die besagt, dass kei Uterschied besteht, bzw. dass das eue Medikamet höchstes so gut wie das alte ist. Die Hypothese wird da eiem statistische Test aufgrud vo Date uterworfe. Je ach Ausgag des Tests wird ma die 0-Hypothese verwerfe ud die Alterative akzeptiere, ämlich dass das eue 94

95 Medikamet besser ist. Ma sagt da auch, dass die Date sigi kat icht mit der 0-Hypothese i Eiklag zu brige sid. Der zweite Typus vo Probleme (die wir jedoch zuerst behadel) sid Schätzprobleme. Hier geht es darum, Parameter i eiem Modell zu schätze. Ei typisches Beispiel ist die Schätzug des Parameters p i eiem Beroulliexperimet. Das Kapitel gliedert sich i drei Uterabschitte. I eiem erste diskutiere wir Schätzprobleme, i eiem zweite Testprobleme, ud i eiem dritte komme wir auf Schätzprobleme zurück, ämlich auf sogeate Ko dezschätzuge. Noch etwas zur Notatio: I Abweichug vo frühere Gep ogeheite bezeiche wir die Wahrscheilichkeite der Elemetarereigisse mit P (!) ; hauptsächlich um P vo Parameter, wie p des Beroulli-Experimets, abzugreze. Die meiste Wahrscheilichkeite i diesem Kapitel werde och vo Parameter abhäge. wir schreibe da de Parameter als Idex, z.b. P p für das Beroulli-Experimet mit Erfolgswahrscheilichkeit p., die Läge des Experimets, ist atürlich auch ei Parameter. We wir ih betoe wolle schreibe wir P () p : 7. Eifache Schätzprobleme Schätzprobleme bestehe eifach dari, dass gewisse Parameter eies Modells aufgrud vo erhobee Date geschätzt werde solle. Betrachte wir etwa ei Beroulli-Experimet mit (ubekatem) Parameter p: Wir gehe davo aus, dass wir das Zufallsexperimet, wie im Beroulli-Experimet beschriebe, -mal uabhägig wiederhole. Bezeichet die Azahl der Erfolge, so wisse wir, dass biomialverteilt mit Parameter p ud ist. Wir setze voraus, dass wir kee. Eie aheliegede Schätzug vo p ist =: Es ist üblich, eie derartige Schätzug eies Parameters mit eiem Dach über dem zu schätzede Parameter zu bezeiche; wir schreibe also ^p := : (7.) Dies ist eie Zufallsgrösse. Nach der erfolgte Messug, d.h. der Realisierug des Zufallsexperimetes, ist ^p atürlich eifach eie Zahl. Machmal macht ma die Uterscheidug icht sehr sorgfältig. Es ist jedoch klar, dass wir us hauptsächlich für die probabilistische Aspekte iteressiere, d.h. dass wir Eigeschafte vo ^p als Zufallsgrösse diskutiere. Allerdigs habe wir us mit der Schwierigkeit auseiaderzusetze, dass die Verteilug dieser Zufallsgrösse vom Parameter p abhägt, de wir icht kee. Es ist wichtig, eiige grudlegede Aahme festzuhalte, über dere Berechtigug viel Tite verspritzt worde ist: Wir ehme i diesem Beispiel (ud hier fast durchgehed) keiesfalls a, dass p selbst zufällig ist. Im Gegeteil betrachte wir p als eie feste Zahl, die bloss dem Statistiker (zuächst) ubekat ist. Es hat daher keie Si, ach der Wahrscheilichkeit zu frage, mit der p = =6 ist. Es ist jedoch sivoll zu frage, mit welcher Wahrscheilichkeit ^p sich um weiger als 0: vo p uterscheidet. 3 3 Die philosphische Schwierigkeit mit diesem Asatz besteht dari, dass p als eie Grösse betrachtet wird, die dem Würfel quasi als physikalische Kostate ageheftet ist, wie etwa die Masse oder die 95

96 Zuächst eiige theoretische Kozepte. Wir betrachte eie Wahrscheilichkeitsraum (; F; P ) : Dabei sid die P Wahrscheilichkeitsmasse auf F, die och vo eiem Parameter abhäge, der ubekat ist. Für die meiste Beispiele, die wir diskutiere, ehme wir a, dass abzählbar ist, sodass wir de allgemeie masstheoretische Rahme icht brauche. Der Parameter ka im Prizip ziemlich beliebig sei; wir ehme jedoch a, dass = ( ; : : : ; m ) 2 R m gilt, meist sogar eifach 2 R: I letzterem Fall et ma de Parameter eidimesioal. Oft tritt jedoch die Situatio ei, dass icht jeder mögliche Vektor i R m (oder im eidimesioale Fall jede reelle Zahl) tatsächlich ei Parameter ist. Auch im Beroulli-Experimet ist ja der Parameter p auf das Itervall [0; ] eigeschräkt. Die Mege aller Parameterwerte, die vorkomme köe, bezeiche wir mit R m : Für jede mögliche Parameter 2 ist also ei Wahrscheilichkeitsmass P auf (; F) de iert. Erwartugswerte bezüglich P schreibe wir als E : Es werde i der statistische Literatur oft auch uedlichdimesioale Parametermege diskutiert. Im Jargo der Statistik et ma solche Situatioe etwas missverstädlich ichtparametrisch. Wir gehe jedoch icht auf solche Situatioe ei. De itio 7. Ei Schätzer ist eie Zufallsvektor ^ = ^ ; : : : ; ^ m :! R m : Der Schätzer heisst erwartugstreu (egl.: ubiased), we E ^i = i für i = ; : : : ; m ud für alle 2 gilt. Bemerkug 7.2 Machmal iteressiert ma sich auch ur für eie Fuktio des Parameters, d.h. es ist eie Abbildug g :! R gegebe, ud ma möchte eie Schätzer für g () gewie. Wir gehe darauf icht weiter ei. O esichtlich ist user obe de ierter Schätzer (7.) für de Parameter p des Beroulli-Experimetes erwartugstreu, de es gilt E p ^p = E p = p = p: Erwartugstreue ist o esichtlich eie wüschbare Eigeschaft eies Schätzers, es ist aber klar, dass sie icht das eizige Kriterium eies gute Schätzers sei ka. Viele gute Schätzer sid übriges auch gar icht erwartugstreu. (Ma ka leicht Beispiele agebe, bei dee die Eischräkug auf erwartugstreue Schätzer ur zu ziemlich usiige Schätzer führt). Ei wichtiges Kozept ist die sogeate Kosistez. Ma ka davo jedoch ur spreche, we eie Folge vo Schätzer betrachtet wird. I de meiste Situatioe hägt der Wahrscheilichkeitsraum vo eiem Parameter 2 N ab, der die Stichprobegrösse beschreibt, geau wie etwa im Beroulli-Experimet. Es chemische Zusammesetzug ud wir p ur och messe müsse. Bei eiem Würfel mag diese Vorstellug och gut agehe; i adere (wichtigere) Fälle ist dieser Asatz atürlich fragwürdig ud ist uter Beschuss gekomme (z.b. vo de Fietti). Im Gegesatz dazu geht die sogeate Bayessche Statistik vo eier Zufallsverteilug der Parameter aus, die durch subjektive Eischätzuge des Statistikers zustade kommt. Wir köe auf diese Auseiadersetzuge hier jedoch icht eigehe ud lasse die Bayessche Statistik hier ausser Betracht. 96

97 liege deshalb Wahrscheilichkeitsräume ; P () 2 vor, wobei die Parametermege sich jedoch icht mit ädert. Wir betrachte da Folge vo Schätzer ^ = ^; ; : : : ; ^ ;m : Natürlich wird ma vo verüftige Schätzverfahre erwarte, dass bei geüged lage Messreihe der gesuchte Parameter durch de Schätzer bestimmt ist. De itio 7.3 Eie Folge vo Schätzer heisst (schwach) kosistet, we für jedes " > 0; für jedes i 2 f; : : : ; mg ud für jede Parameter 2 gilt. lim! P ^;i i " = 0 Machmal sagt ma auch eifach, der Schätzer sei kosistet. Kosistez ist aber immer eie Eigeschaft vo Folge vo Schätzer. Der Zusatz schwach i der obige De itio, de wir jedoch icht weiter verwede werde, bezieht sich auf die Form der Limesaussage. Für eie stark kosistete Schätzer müsste lim! ^;i = i ; mit P - Wahrscheilichkeit gelte. Wir werde icht weiter auf die Uterscheidug eigehe. Schwache Kosistez ist das für die Praxis relevate Kozept, de eie uedliche lage Versuchsreihe kommt i der Praxis ohehi icht vor. Satz 7.4 I eiem Beroulli-Experimet ist (^p ) 2N, de iert durch (7.) ei kosisteter Schätzer für p. Beweis. Dies ist das (schwache) Gesetz der grosse Zahle. (Satz 3.37) Es gibt viele Methode Schätzer zu kostruiere, die alle ihre Vor- ud Nachteile habe. Eie beliebte Klasse sid die sogeate Maximum-Likelihood-Schätzer. Der Eifachheit halber ehme wir a, dass die Wahrscheilichkeite P auf eier abzählbare Mege de iert sid, ud dass wir ferer de Parameter aufgrud des Wertes eier Zufallsgrösse :! R schätze wolle (oder eies Zufallsvektors :! R k ). Jedes der Wahrscheilichkeitsmasse P de iert da eie Verteilug auf (): l (x) := P ( = x) : We eie abzählbare Mege ist, so ist atürlich auch () abzählbar. Zu x 2 () de iere wir ^ (x) so, dass l^(x) (x) maximal ist: l^(x) (x) = max 2 l (x) : Wir gehe davo aus, dass ei solcher Wert ^ (x) existiert ud eideutig ist, was atürlich icht immer der Fall zu sei braucht. ^ de iert da eie Abbildug ()! : Setze wir diese Abbildug mit der Zufallsgrösse zusamme, so erhalte wir die Abbildug ^ () :! : Dies et ma de Maximum-Likelihood-Schätzer. Es mag etwas eigeartig erscheie, dass wir de Schätzer obe über de Umweg eier Zufallsgrösse de iere wolle. Tatsächlich köe wir atürlich auch eifach 97

98 versuche, P (!) zu maximiere. I viele Fälle liege die Wahrscheilichkeitsmasse jedoch ur über die Verteiluge vo Zufallsgrösse vor, die us auch eigetlich ur iteressiere. Es ist jedoch klar, dass der Maximum-Likelihood-Schätzer da vo abhäge ka. I eiige wichtige Fälle lässt sich jedoch achweise, dass es keie Eischräkug ist, we ma sich vo vorherei auf Schätzer, die über eie (eifache) Zufallsgrösse de iert sid, beschräkt. Ei Beispiel ist das Beroulli-Experimet. Hier ka ma achweise, dass ma keie Iformatio über p erhalte ka, die ma icht via die Azahl der Erfolge gewie ka. Ma et eie Zufallsgrösse, die alle Iformatio über eie Parameter ethält, eie su ziete Statistik. De itio 7.5 sei eie abzählbare Mege ud P, 2 ; eie Familie vo Wahrscheilichkeitsmasse auf : Eie Abbildug S :! A heisst eie su ziete Statistik für fp g ; we für jedes a 2 A die bedigte Wahrscheilichkeite P (!j S = a) icht vo 2 a := 0 : P 0 (S = a) > 0 abhägt. 4 Für de Nachweis, dass eie Statistik S su ziet ist, ist das folgede Ergebis ützlich: Propositio 7.6 S ist geau da su ziet für fp g ; we Fuktioe g : A! R + ; ud h :! R + existiere, sodass P (!) = g (S (!) ; ) h (!) (7.2) für alle ud! gilt. Beweis. (I) Wir ehme a, dass eie derartige Faktorisierug existiert. Sei a 2 A: Wir köe aehme, dass a 6= ; ist, sost ist ichts zu zeige. Für 2 a ist P (S = a) = P (!) = g (S (!) ; ) h (!)!:S(!)=a = g (a; )!:S(!)=a!:S(!)=a h (!) > 0: Isbesodere folgt g (a; ) > 0: Für die bedigte Wahrscheilichkeit ergibt sich P (!j S = a) = P (!; S = a) P (S = a) was o ebar icht vo 2 a abhägt. = S(!)=a P (!) = g (a; ) P!:S(!)=a h (!) g (a; ) S(!)=a h (!) g (a; ) P!:S(!)=a h (!) = S(!)=ah (!) P!:S(!)=a h (!); 4 Ist =2 a; so ist die bedigte Wahrscheilichkeit icht de iert. Uter Umstäde ka a vo a abhäge. Beispielsweise beim Beroulli-Experimet der Läge ud S die Azahl der Erfolge, ist 0 = fp : 0 p < g ; = fp : 0 < p g ; ud für 0 < a <, a = fp : 0 < p < g : Das sid atürlich Spitz digkeite. 98

99 (II) Wir setze voraus, dass S su ziet ist. Wir köe voraussetze, dass für alle! 2 midestes ei 2 existiert mit P (!) > 0: Aderfalls lasse wir die!; für die das icht gilt, weg. Für! ud mit P (!) > 0 gilt mit a := S (!) auch P (S = a) > 0; also 2 a : Da ist wege der Su ziez P (!j S = a) icht vo 2 a abhägig. Wir de iere h (!) als diese Wert (a ist ja durch! bestimmt). Weiter de iere wir g (a; ) := P (S = a) : Seie 2 ud! 2 beliebig. Wir setze wieder a := S (!) : Ist P (S = a) = 0; so sid beide Seite vo (7.2) gleich 0: Ist P (S = a) > 0; so gilt P (!) = P (!j S = a) P (S = a) = h (!) g (a; ) = h (!) g (S (!) ; ) : Beispiel 7.7 Beroulli-Experimet der Läge : Für! 2 fe; Mg gilt P p (!) = p (!) ( p) (!) ; wobei (!) die Azahl der Erfolge i der Sequez! ist. ist ach der obige Propositio eie su ziete Statistik. Wir wolle die Theorie su zieter Statistike hier icht weiter ausbaue. Es sei ur bemerkt, dass es eie sehr allgemeie Satz gibt, der besagt, dass ma sich bei Vorliege eier su ziete Statistik für ei Modell stets auf Schätzer (ud Tests) eischräke ka, die ur vo dieser su ziete Statistik abhäge. Für Details sei auf Spezialvorlesuge über Statistik verwiese. Hier ur och die Bemerkug, dass ei Maximum-Likelihood-Schätzer für ; also ei Schätzer ^ mit P^ (!) = max P (!) weged er Faktorisierug (7.2) auch ei Wert ist, der g (S (!) ; ) maximiert, also so gewählt werde ka, dass ^ (!) ur vo S (!) abhägt. Ma ka die obige Kozepte auch auf Zufallsgrösse mit Dichte erweiter: Sei eie m-dimesioaler Zufallsvektor mit Dichte f ; 2 ; d.h. für jede Borelmege A R m gilt P ( 2 A) = R A f (x) dx: Für x 2 R m de iere wir aalog wie obe ^ (x) so, dass f (x) maximal ist. ^ () ist da wieder eie Zufallsgrösse, die ma i diesem Fall ebefalls als de Maximum-Likelihood-Schätzer bezeichet. Wie obe muss atürlich betot werde, dass dieser Schätzer icht i jeder Situatio existiert. Es ist übriges auch keiesfalls klar, dass die Maximum-Likelihood-Schätzer erwartugstreu sid (ausser i Spezialfälle sid sie es auch icht). Uter ziemlich allgemeie Bediguge ka ma jedoch achweise, dass sie kosistet sid. Über die Berechtigug des Maximum- Likelihood-Asatzes ist viel geschriebe ud gestritte worde. Die stärkste theoretische 99

100 Stütze für die Maximum-Likelihood-Methode ist ei Satz der besagt, dass (uter gewisse Bediguge), diese Schätzer i eiem asymptotische Sie (der atürlich och zu präzisiere ist) optimal sid. Für eie ausführliche Diskussio vo Maximum-Likelihood- Schätzer muss auf die Spezialvorlesuge über Statistik verwiese werde. Das Kozept eier su ziete Statistik lässt sich ebefalls sofort auf de Fall mit Dichte ausdehe. Wir diskutiere das weiter ute ahad vo Beispiele. 5 Beispiele 7.8. a) Beroulli-Experimet Der ubekate Parameter sei p: sei die Azahl der Erfolge. Ist die Azahl der Versuche (die wir als bekat voraussetze), so ist () = f0; : : : ; g : Für x 2 () ist P p ( = x) = p x ( p) x : x Um de Maximum-Liklihood-Schätzer zu de, müsse wir diese Ausdruck als Fuktio i p u maximiere. Wir köe geauso gut atürlich de Logarithmus maximiere: log P p ( = x) = log + x log p + ( x) log ( p) : x Der erste Summad hägt icht vo p ab ud ka daher aus der Betrachtug weggelasse werde. Wir de das Maximum, idem wir ach p di eretiere: d dp (x log p + ( x) log ( p)) = x p x p : Diese Ableitug ist geau da 0; we p = x= ist. User Maximum-Likelihood- Schätzer ist daher ichts aderes als (7.). b) Hypergeometrische Verteilug Wir betrachte das folgede Problem: Ei Teich ethalte eie Azahl vo Fische, wobei wir icht kee. ist der ubekate Parameter i userem Modell. Um zu schätze, etimmt jemad dem Teich m Fische, markiert sie ud setzt sie wieder aus. Aschliessed wartet er, bis sich die Fische gut durchmischt (aber icht vermehrt) habe. Da etimmt er wieder m Fische, vo dee er feststellt, dass k m markiert sid. Wir ehme a, dass k ist. Wir wolle u die Maximum-Likelihood-Schätzug für herleite. m ist bekat, icht aber : Die beobachtete Zufallsgrösse ist die Azahl der markierte Fische beim zweite Fag. Abhägig vo ; ist hypergeometrisch verteilt: P ( = k) = m m k m m k : 5 Ohehi sollte ma das besser i eiem allgemeie masstheoretische Rahme diskutiere, wo icht mehr zwische dem disrkete Fall ud dem Dichtefall uterschiede werde muss. 00

101 Für de Maximum-Likelihood-Schätzer müsse wir dies als Fuktio vo maximiere. Nu gilt P + ( = k) P ( = k) Dieser Quotiet ist geau da ; we = ( + m) 2 ( 2m + k + ) ( + ) : ( + m) 2 ( + 2m + k) ( + ) m 2 k ( + ) ; d.h. we + m 2 =k gilt. Mit adere Worte: P ( = k) ist maximal als Fuktio vo für = m 2 =k : Dies ist somit der Maximum-Likelihood Schätzer für : Ma beachte, dass der Schätzer icht für alle mögliche Realisieruge vo de iert ist. P ( = 0) ist atürlich positiv. Aderseits ist i diesem Fall der Schätzer icht de iert (oder we ma will = ): Nach welche Kriterie soll ma zwische gute ud weiger gute Schätzer uterscheide? Ei aheliegedes Kriterium ist die Variaz var ^ des Schätzers ud ma wird eie Schätzer mit kleierer Variaz vorziehe. Das Problem ist allerdigs, dass diese Variaz vo abhägt. Wir köe ho e, dass wir eie Schätzer de, der erstes erwartugstreu ist ud zweites miimale Variaz uter alle mögliche Schätzer ud für jede mögliche Parameter hat. Leider gibt es derartige Schätzer ur i weige sehr eifache Fälle. Wir köe jedoch achweise, dass user Schätzer (7.) diese Eigeschaft hat. Dazu leite wir i eiem Spezialfall eie wichtige Ugleichug her, ämlich die sogeate Cramer-Rao-Schrake. Der Eifachheit halber betrachte wir eie edliche Mege : Für 2 seie Wahrscheilichkeite P auf gegebe. Wir ehme a, dass der Parameter eidimesioal ist, ud dass ferer für jedes! 2 die Abbildug 3! P (!) di erezierbar i ud überall postiv ist. Ferer sei ei Schätzer ^ :! gegebe. Wir ehme im Momet icht a, dass der Schätzer erwartugstreu ist. Der Fehler zum Erwartugswert ist da b () := E ^ : (7.3) Diese Abweichug bezeichet ma auch als de Bias. Propositio 7.9 (Cramer-Rao Schrake) Uter de obige Bediguge gilt für die Variaz var ^ des Schätzers die Ugleichug: 2 db() d + var ^ ; I () wobei I () die sogeate Fisher-Iformatio ist:! d log 2 p I () := E : d 0

102 Für eie uverfälschte Schätzer (d.h. b () = 0) gilt isbesodere var ^ I () : Beweis. Di ereziere der Gleichug (7.3) ach ergibt db () de ^ = = dp (!) ^ (!) d d d!2 = d log p (!) d log p ^ (!) p (!) = E ^ d d!2 ; wobei d log p d als Zufallsgrösse aufgefasst wird. Aderseits gilt wege = P! p (!) auch 0 =!2 dp (!) d d log p = E : d Aus de beide Gleichuge erhalte wir db () d log p + = E ^ b () d d v u! t d log 2 p r E var ^ = I () var ^ : d Vo besoderem Iteresse sid atürlich uverfälschte Schätzer, für die var ^ = =I () gilt. Diese habe miimale Variaz uter alle mögliche uverfälschte Schätzer. Beispiel 7.0 Wir ehme user Stadardbeispiel: De Parameter p bei der Biomialverteilug. Ist! 2 := f0; g ; so ist P p (!) = p (!) ( p) (!) ; wobei (!) wieder die Azahl der Erfolge bezeichet. Es gilt da d log P p (!) dp = (!) p (!) p = (!) p : p ( p) Demzufolge ist die Fisher-Iformatio I (p) = E ( (!) p) 2 p 2 ( p) 2 = var ( ) p 2 ( p) 2 = p ( p) : =I (p) = p ( p) = ist aber gerade die Variaz vo ^p = =: Demzufolge ist ^p ei uverfälschter Schätzer mit miimaler Variaz. 02

103 Es muss betot werde, dass i kompliziertere Situatio solche uverfälschte Schätzer mit miimaler Variaz ur selte existiere. Uter relative schwache Regularitätsaahme ka ma jedoch achweise, dass die Maximum-Likelihood-Schätzer diese Eigeschaft i eiem gewisse asymptotische Si (für! ) habe. Ei wichtiges Beispiel ist die Familie der Normalverteilug mit Mittel 2 R ud Variaz 2 > 0: Der Parameter ist da zweidimesioal: ; 2 2 := R R + R 2 : Wir betrachte uabhägige Zufallsgrösse ; : : : ; mit dieser Verteilug. Die Dichte des Zufallsvektors ( ; : : : ; ) ist f ; 2 (x) = 2 2 =2 exp 2 2 (x i ) 2 : (7.4) i= Zuächst bemerke wir, dass wir diese -dimesioale Dichte als 2 2 =2 2 exp 2 2 exp 2 2 i= x2 i + 2 x i : i= Aus P eier Propositio für Dichte, die aalog zur Propositio 7.6 ist, folgt, dass S := i= i; P i= 2 i eie su ziete Statistik für ; 2 ist. Die Aufgabe ist u, die Parameter aus diese Zufallsgrösse zu schätze. Eie aheliegede Schätzug vo ist P i= ^ := i : (7.5) Wie wir scho wisse, ist ^ selbst wieder ormalverteilt mit Erwartugswert P i= E (; 2 )^ = E (; 2 ) i = = ud Variaz var (; 2 ) ^ = 2 Daraus folgt sehr leicht, dass für jedes " > 0 2 = 2 : lim P (;! 2 ) (j^ j ") = 0 gilt. ^ ist also ei erwartugstreuer ud kosisteter Schätzer für : Was tu mit 2? Ei aheliegeder Schätzer für 2 wäre ( i ) 2 : i= Aus der Liearität des Erwartugswertes folgt sofort: E (; 2 ) ( i ) 2 = i= i= E (; 2 ) ( i ) 2 = 2 : 03

104 Das Problem dabei ist ur, dass wir ja icht kee ud deshalb icht im Schätzer verwede köe. Es ist ahelieged, de ubekate Parameter durch seie Schätzer ^ zu ersetze ud deshalb de Schätzer ( i ^ ) 2 = i= i= i P j= j! 2 zu versuche. Hier ergibt sich jedoch eie kleie Überraschug bei der Berechug des Erwartugswertes: 0 P j=! 2 j i A = E! 2 i= i= 2 i i i= = E 2! 2 E i i= E 2 = : Ferer ist P i= i ormalverteilt mit Mittel ud Variaz 2 =: Demzufolge gilt 0 P j=! 2 j i A = ( ) 2 2 = ; i= ud user is Auge gefasster Schätzer ist icht erwartugstreu. Ma ka das jedoch behebe, idem ma de Schätzer leicht modi ziert ud ^ 2 := ( i ^ ) 2 (7.6) i= setzt. Dieser Schätzer ist da evideterweise erwartugstreu. Er ist auch kosistet. Der Beweis dafür sei dem Leser als Übugsaufgabe überlasse. Was ist der Maximum-Likelihood-Schätzer für ; 2? Dazu müsse wir (7.4) als Fuktio vo ; 2 maximiere. Es ist oft güstiger, de Logarithmus zu maximiere, was auf dasselbe hiausläuft. log f ; 2 (x) = 2 log (2) 2 log (x i ) 2 : Die partielle Ableituge log f ; log f ; 2 ( 2 ) = 2 (x i ) ; = i= i= (x i ) 2 : i= 04

105 Ma überzeugt sich leicht davo, dass die Lösug vo r log f ; 2 (x) = 0 ei eideutiges Maximum ist. Daraus folgt, dass der Maximum-Likelihood-Schätzer vo ; 2 durch ^ ;ML = ^ = ^ 2 ;ML := i= x i ; i= x i ^ ;ML 2 : Will ma de Schätzer als Zufallsgrösse iterpretiere, so muss ma die x i atürlich wieder durch die Zufallsgrösse i ersetze. Wie ma sieht, ist das für derselbe Schätzer wie obe; für 2 erhält ma aber de mit dem falsche Erwartugswert. Für! verschwider der Fehler atürlich. Es muss betot werde, dass es adere Schätzer vo ud 2 gibt, die gegeüber ^ ud ^ 2 gewichtige Vorteile habe. Das Hauptproblem z.b. mit ^ ist, dass der Schätzer sehr emp dlich auf auch ur gerigfügige Verletzuge der grudlegede Normalverteilheitsaahme ist. Ist diese icht richtig, so ka die Variaz des Schätzers massiv asteige. Der Schätzer ist, wie ma sagt, icht robust. Eie alte Bauerregel verwedet das folgede Verfahre: We der mittlere Jahresertrag (z.b. vo Getreide) aus eier Messreihe vo 0 Jahre bestimmt werde soll, so lässt ma das beste ud das schlechteste Ergebis weg ud mittelt die acht verbleibede Werte. Solche Schätzer et ma abgeschittee Mittel ( trimmed meas auf Eglisch). Hier die formale De itio: Sei 2 (0; =2) : Sid ; : : : ; die Zufallsgrösse, so ordet ma sie erst der Grösse ach a. Die etspreched der Grösse ach geordete Grösse bezeiche wir mit ; ;2 : : : ; : (Falls der Vektor ( ; : : : ; ) eie Dichte besitzt, so folgt übriges sofort, dass alle i verschiede sid, mit Wahrscheilichkeit ): Aschliessed bildet ma ^ ; := 2 [] [] i=[]+ ;i : Ma ka leicht achweise, dass diese Schätzer ebefalls erwartugstreu sid. Sid die i exakt ormalverteilt, so ist die Variaz vo ^ ; grösser als die vo ^ ; we jedoch icht zu gross ist ( = 0: oder daruter sid typische Werte), so ist der Uterschied jedoch icht sehr gross. (Die Berechug der Variaz vo ^ ; ist allerdigs icht gaz eifach). Auf der adere Seite hat ^ ; wesetlich bessere Robustheitseigeschafte. Ei gaz primitives aber praktisch stets präsetes Problem ist etwa, dass vielleicht eiige der erhobee Date gäzlich schlecht sid, weil etwa das Messgerät gerade ausgefalle ist, der Laborat die Messug verpatzt, oder beim Eitrag der Date ei Kommafehler passiert. Auf das arithmetische Mittel hat das eie eorme Ei uss; das abgeschittee Mittel ^ ; spürt es jedoch kaum, falls icht zuviele der Messwerte verdorbe sid. Diese 05

106 Gesichtspukte sid i de vergagee Jahre itesiv utersucht worde ud für fast alle Schätzer sid robuste Versioe etwickelt worde. 6 Für spätere Zwecke wolle wir och die gemeisame Verteilug userer beide Schätzer (7.5) ud (7.6) bereche. Wir köe dabei = 0 ud 2 = aehme; die adere Fälle ergebe sich sofort durch eie Skalierug. Wir betrachte zuächst eie etwas eifachere Situatio: Seie ; : : : ; uabhägige stadard-ormalverteilte Zufallsgrösse. Wir betrachte die Zufallsgrösse 2 := 2 i : i= De itio 7. Die Verteilug vo 2 et ma die 2 -Verteilug mit Freiheitsgrade. Die Dichte der Chi-Quadrat-Verteilug köe wir sehr eifach bereche: P 2 x Z Z " # = (2) =2 exp x 2 i dx dx 2 P i= x2 i x = Z p x 0 (2) =2 s r e r2 =2 dr wobei s die Ober äche der Eiheitskugel mit Radius ist, die bekatlich durch i= s = 2=2 (=2) gegebe ist, mit als der Gamma-Fuktio: () := Z 0 e x x dx; ( () = ( )! für gazzahliges :) Di eretiatio liefert us die Dichte der 2 - Verteilug: d dx Z p x 0 (2) =2 s r e r2 =2 dr = (2) =2 s x 2 e x=2 2 p x : Propositio 7.2 Die 2 -Verteilug mit Freiheitsgrade hat die Dichte c (x) = (=2) 2 =2 x=2 e x=2 ; x 0: (7.7) Für x < 0 ist die Dichte gleich 0: 6 Zürich war übriges ei Zetrum der Forschug i robuster Statistik, vor allem mit Peter Huber ud Frak Hampel vo der ETH. 06

107 Es ist plausibel, dass die Verteilug vo ^ 2 etwas mit der 2 -Verteilug zu tu hat. Ei Problem besteht o ebar dari, dass wir die ormalverteilte Zufallsgrösse erst ach eier Zetrierug durch die Zufallsgrösse ^ quadriere. Diese zufällige Zetrierug führt jedoch ur zu eier Reduktio der Zahl der Freiheitsgrade, wie wir gleich zeige werde. p ^ = P i i= p ist o ebar stadard ormalverteilt, we die i es sid. Damit habe wir scho Teil a) des folgede Satzes eigesehe (wir beweise es jedoch gleich ochmals). Satz 7.3 Seie ; : : : ; uabhägige ud stadard-ormalverteilte Zufallsgrösse. Da gilt a) b) ist stadard ormalverteilt. ist 2 -verteilt mit p ^ = p ( ) ^ 2 = Freiheitsgrade. i= i ( i ^ ) 2 c) ^ ud ^ 2 sid uabhägig. Beweis. Wir beweise a), b) ud c) zusamme. Sie e := p ; : : : ; p : Dieser Vektor hat Euklidsche Läge : Wir köe diese Vektor zu eier orthoormierte Basis e 2 ; : : : ; e i R ergäze, ud zwar so, dass die orthogoale Matrix der Basistrasformatio Determiate hat. Wir betrachte die Variabletrasformatio y (x) = (y (x) ; : : : ; y (x)) ; die durch y i (x) := hx; e i i gegebe ist. Wege y (x) = P i= x i/ p folgt mit x := P i= x i/ = y (x) = p : (x i x) 2 = x 2 i x 2 i= = i= i= y i (x) 2 y (x) 2 = i= y i (x) 2 : Daraus folgt für die gemeisame Verteilug vo p ^ ud ( ) ^ 2 : P p ^ a; ( ) ^ 2 r Z Z = p P exp xa; i= (x i x) 2 =2 r (2) 2 i= x2 i dx dx Z Z = y a; P exp i=2 y2 2 r =2 (2) 2 i= y2 i dy dy Z a Z Z = p e y2 =2 dy 2 P i=2 y2 2 r (2) ( exp )=2 2 i=2 y2 i dy 2 dy : 07 i=2

108 Daraus ergibt sich, dass p ^ ud ( ) ^ 2 uabhägig sid, dass die Verteilug vo p ^ die Stadard-Normalverteilug ist (was wir scho wusste), ud dass die Verteilug vo ( ) ^ 2 die 2 -Verteilug mit Freiheitsgrade ist. 7.2 Testprobleme Die Testtheorie ist eie kozeptioell etwas verwirrede Agelegeheit, weiger i mathematische Hisicht, soder vo de (ho etlich existierede) Beziehuge zur reale Welt. Die sich heutezutage weitgehed durchgesetzte Kozepte stamme aus dem Afag des 20. Jahrhuderts ud basiere auf de Idee zweier eglische Wisseschaftler, Pearso ud Fisher, die sich allerdigs spiefeid ware ud sich bekämpfte. Auf de (mehr philosophische) Hitergrud der Auseiadersetzuge köe wir hier icht eigehe. 7 Karl Pearso Sir Roald A. Fisher Ei Stadarproblem ist zu etscheide, ob z.b. ei eues Medikamet eie positive Wirkug hat, oder keie bzw. eie egative. Nehme wir a, dass sich die möglicherweise existierede Wirkug auf eie eifach zu messede eidimesioale Grösse bezieht, 7 Oft wird die Meiug vertrete, Pearso (zusamme mit Neyma) habe die grudlegede Eisichte vo Fisher auf eie mathematisch saubere Basis gestellt. Fisher ud Pearso hatte jedoch auch grudsätzlich uterschiedliche Asichte über die Rolle mathematischer Modellieruge i de Naturwisseschafte. 08