Einführung in die Stochastik. Vorlesungsskript

Transkript

1 Eiführug i die Stochastik Vorlesugsskript Peter Mörters Uiversität zu Köl Mathematisches Istitut Witersemester 217/18

2 2

3 Ihaltsverzeichis 1 Wahrscheilichkeitsräume als stochastische Modelle für Zufallsexperimete Ei eiführedes Beispiel Defiitio eies Wahrscheilichkeitsraums Defiitio eier Zufallsvariable Beispiele Verteilugsfuktioe Bedigte Wahrscheilichkeite ud stochastische Uabhägigkeit Eileitedes Beispiel Defiitioe, Folgeruge ud Beispiele Uabhägigkeit ud Produktexperimete Mehr über Verteiluge mit Dichte Erwartugswerte, Variaze ud das schwache Gesetz der große Zahle Erwartugswerte: Defiitio ud Eigeschafte Variaze ud die Chebyshevsche Ugleichug Nochmal: Verteiluge mit Dichte Kovariaz ud Uabhägigkeit Das schwache Gesetz der große Zahle Der zetrale Grezwertsatz ud die Normalverteilug Biomial- ud Poissoapproximatio Der zetrale Grezwertsatz Die Normalverteilug Kovergez vo Verteiluge Der Satz vo de Moivre Laplace Der Beweis des zetrale Grezwertsatzes

4 Eileitede Bemerkuge Stochastik ist die Mathematik des Zufalls. Stochastische Methode werde also da agewadt, we der zu beschreibede Sachverhalt oder das zu beschreibede Experimet ei zufälliges oder uvorhersehbares Elemet ethält. Der Ausgag eies solche Zufallsexperimets ist icht durch logische oder adere durchschaubare Grüde durch die Versuchsbediguge determiiert. Damit die Usicherheit über de Ausgag quatifiziert werde ka, muß ma sich etweder auf eie subjektive Eischätzug verlasse oder die Experimete sollte (zumidest gedaklich wiederholbar sei ud zwar so, daß der Versuchsausgag bei uabhägig agestellte Wiederholuge icht stets der gleiche ist, soder ur statistische Regelmäßigkeite folgt. Um Zufallsexperimete mathematisch utersuche zu köe, muß ma mathematische Modelle dafür bilde. Eie solche mathematische Modellbildug liegt jeder Awedug vo Mathematik zugrude, sie ist atürlich icht mathematisch zwiged begrüdbar. Im erste Kapitel werde wir eiige typische Beispiele sehe, wie Zufallsexperimete durch mathematische Modelle, so geate Wahrscheilichkeitsräume, modelliert werde köe. I de folgede Kapitel werde wir da die Mathematik dieser Modelle weiteretwickel. Natürlich gelte für de Umgag mit diese Modelle dieselbe Gebote der mathematische Strege wie i adere Disziplie der Mathematik, wie der Aalysis, der Geometrie, etc. Die Stochastik läßt sich i zwei Hauptgebiete uterteile: I der Wahrscheilichkeitstheorie utersucht ma Zufallsexperimete auf der Basis eies als bekat ageommee mathematische Modells. Ma iteressiert sich für das Verhalte vo Größe, die aus dem Modell abgeleitet werde. I der (schließede Statistik utersucht ma Date, idem ma sie als Ausgag eies Zufallsexperimetes auffaßt. Das geschieht, idem ma ei stochastisches Modell i geeigeter Weise a die Date apasst. Wir wolle i dieser Vorlesug die Grudlage beider Gebiete lege, um sowohl die Awedug eifacher stochastischer Methode zu ermögliche, als auch eie Eistieg i weiterführede Vorlesuge über Wahrscheilichkeitstheorie oder Statistik zu biete. 4

5 Kapitel 1 Wahrscheilichkeitsräume als stochastische Modelle für Zufallsexperimete 1.1 Ei eiführedes Beispiel Wir begie mit eiem eifache Beispiel; die Begriffe, die wir später och präzise defiiere werde, sid fett gedruckt: Ei roter ud ei schwarzer Würfel werde geworfe. Zwar ka ma die Asicht vertrete, daß der Ausgag dieses Experimets durch die Gegebeheite des Experimets, wie Hadhaltug des Würfelde, Beschaffeheit der Würfel ud der Oberfläche des Spieltisches, etc. determiiert sid, aber der Zusammehag zwische diese Gegebeheite ud dem Ausgag des Experimets ist sicher icht durchschaubar, sodaß eie stochastische Modellierug agemesse erscheit. Idem ma etwa die gewürfelte Augezahl des rote Würfels als erste ud die gewürfelte Augezahl des schwarze Würfels als zweite Kompoete schreibt, ka ma die mögliche Ausgäge des Würfelexperimetes durch die folgede Mege vo Paare beschreibe: Ω = {1,..., 6} 2 = {(1, 1,..., (1, 6, (2, 1,..., (2, 6,..., (6, 1,..., (6, 6}. Dies ist die Grud- oder Ergebismege useres Experimets. Die Elemete vo Ω sid die mögliche Elemetarereigisse ( elemetary evets des Experimets ud werde auch als Ausgäge ( outcomes oder Realisieruge ( realizatio bezeichet. Wir wolle mit A das System aller mögliche beobachtbare Ereigisse ( evets bezeiche. Dies ist eie Mege vo Teilmege vo Ω, ei so geates Megesystem. I userem Beispiel ist A das Megesystem P(Ω aller Teilmege vo Ω, auch Potezmege vo Ω geat. So etspricht zum Beispiel der Beobachtug es wurde ei Pasch gewürfelt das Ereigis {(1, 1, (2, 2, (3, 3, (4, 4, (5, 5, (6, 6}. Zwar muß A icht immer, wie i diesem Modell, die gesamte Potezmege sei, aber wir wolle doch 5

6 gewisse, später geauer ausgeführte, Forderuge a die Reichhaltigkeit vo A stelle. So wird ma zum Beispiel verlage, daß die Mege Ω selbst zu A gehört, sie stellt das so geate sichere Ereigis ( sure evet dar. Ist A A ei Ereigis, so soll auch A trifft icht ei ei Ereigis sei, das so geate Komplemetärereigis ( opposite evet. Dies ist die Mege aller Ausgäge ω, die icht i A liege, also der Mege Ω \ A. Außerdem soll zu zwei gegebee Ereigisse A 1, A 2 A auch A 1 oder A 2 trifft ei, also die Mege A 1 A 2, ud auch A 1 ud A 2 treffe ei, also die Mege A 1 A 2, ei Ereigis, also i A ethalte sei. Diese Reichhaltigkeitsforderuge bilde eie Teil des Begriffs meßbarer Raum ( measurable space oder Stichproberaum ( sample space (siehe ächster Abschitt. Eie Wahrscheilichkeitsverteilug ( probability distributio ordet jedem Ereigis seie Wahrscheilichkeit, also eie Zahl aus [, 1] zu. Wahrscheilichkeitsverteiluge sid also Abbilduge P : A [, 1]. Auch hier müsse atürlich eiige och zu spezifizierede formale Regel eigehalte werde. Zum Beispiel soll das sichere Ereigis mit Wahrscheilichkeit 1 eitrete: P (Ω = 1, ud we ei Ereigis A 1 ei aderes Ereigis A 2 impliziert, also A 1 A 2 gilt, so soll das letztere Ereigis wahrscheilicher sei, also P (A 1 P (A 2 gelte. Außerdem soll die Wahrscheilichkeit, daß midestes eies vo zwei Ereigisse A 1 ud A 2, die sich ausschließe, eitritt, die Summe ihrer Wahrscheilichkeite sei. We also für A 1 ud A 2 gilt A 1 A 2 =, so muß P (A 1 A 2 = P (A 1 + P (A 2 gelte. I diesem Beispiel wolle wir, geleitet durch usere Erfahrug ud der Beobachtug, daß bei lage Reihe vo Würfelwürfe jedes Elemetarereigis etwa mit der Häufigkeit 1/36 auftritt, eie Wahrscheilichkeitsverteilug P : A [, 1] durch P (A = A (i, j für A A j=1 erkläre, wobei 1 A, erklärt durch 1 A (i, j = { 1 falls (i, j A sost die Idikatorfuktio vo A ist. Die Abbildug P erfüllt auf jede Fall die obe gestellte Forderuge. User Zufallsexperimet wird u durch das Tripel (Ω, A, P beschriebe, de Wahrscheilichkeitsraum ( probability space. Ageomme, ei Beobachter erfährt vo dem obe beschriebee Experimet ur die Summe aus de Auge der beide Würfel. Wir modelliere diese Beobachter durch eie Abbildug, eie Zufallsvariable ( radom variable : Statt des Ausgages ω Ω wird dem Beobachter also ur das Bild X(ω uter eier Abbildug X : Ω Ω mitgeteilt. Hier ist Ω = {2,..., 12} ud X(i, j = i + j. We wir mit A die Potezmege vo Ω bezeiche, mache wir (Ω, A zu eiem meßbare Raum. Wir köe für jedes B A das Ereigis betrachte, das aus alle Ausgäge ω besteht, die ach B abgebildet werde, also das Urbild X 1 (B A. Dieses Ereigis, für das wir kurz {X B} schreibe, hat die Wahrscheilichkeit P (X 1 (B. Ma ka so eie 6,

7 Wahrscheilichkeitverteilug P auf dem meßbare Raum (Ω, A eiführe, idem ma setzt P (B = P ({X B} = P (X 1 (B = P ({ω Ω : X(ω B}. P heißt die Verteilug vo X ( law of X. Der Wahrscheilichkeitsraum (Ω, A, P beschreibt de vom Beobachter wahrgeommee Teil des Experimets ud ist der vo X iduzierte Wahrscheilichkeitsraum. Ma ka P i userem Beispiel kokret ausreche. So ergibt sich ach userem Modell zum Beispiel die Wahrscheilichkeit für die Augesumme 4 durch P ({4} = P ({(1, 3, (2, 2, (3, 1} = 3/36 = 1/12 ud die Wahrscheilichkeit für die Augesumme 5 ist P ({5} = P ({(1, 4, (2, 3, (3, 2, (4, 1} = 4/36 = 1/9. Weitere iteressate Zufallsvariable auf userem Wahrscheilichkeitsraum (Ω, A, P sid die Abbilduge X 1 ud X 2 mit Wertebereich Ω 1 = {1,..., 6}, die durch die Projektio auf die beide Kompoete X 1 (i, j = i ud X 2 (i, j = j defiiert sid. Dies etspricht der Beobachtug vo ur eiem der beide Würfel. Bezeichet ma mit A 1 die Potezmege vo Ω 1, mit P 1 die Verteilug vo X 1 ud mit P 2 die Verteilug vo X 2, so stimme die vo X 1 ud X 2 iduzierte Wahrscheilichkeitsräume (Ω 1, A 1, P 1 ud (Ω 1, A 1, P 2 überei. Es gilt ämlich P 1 ({i} = P ({(i, 1,..., (i, 6} = 6/36 = 1/6 ud P 2 ({i} = P ({(1, i,..., (6, i} = 6/36 = 1/6 für alle i {1,..., 6}. We Zufallsvariable auf demselbe Wahrscheilichkeitsraum defiiert sid, ka ma zahlreiche Operatioe mit ihe durchführe. So ka ma zum Beispiel die Zufallsvariable X 1 ud X 2 addiere. Es ergibt sich X 1 + X 2 = X, wobei X die obe betrachtete Zufallsvariable ist. Es ist typisch für die Modellbildug, daß ma Ω zuächst sehr reichhaltig wählt, so dass sich viele verschiedee Phäomee durch Ereigisse A Ω beschreibe lasse, ma sich da aber ur mit eier oder mehrere auf Ω defiierte Zufallsvariable ud dere Verteilug beschäftigt. Mit diesem Beispiel im Hitergrud köe wir us jetzt a die formale Defiitio wage, die wir daach gleich wieder durch Beispiele beleuchte wolle. Wir begie mit der Defiitio eies meßbare Raumes. 7

8 1.2 Defiitio eies Wahrscheilichkeitsraums Defiitio 1.1. Sei Ω eie Mege ud P(Ω das System aller Teilmege vo Ω, die Potezmege vo Ω ( power set. Eie Teilmege A P(Ω heißt Megesystem auf Ω. Ei Megesystem A auf Ω heißt σ Algebra auf Ω ( σ algebra o Ω, we gilt 1. Ω A; 2. ist A A, so ist auch das Komplemet ( complemet A c = Ω \ A A; 3. sid A 1, A 2, A 3,... A, so ist auch die Vereiigug A i A. Ei Paar (Ω, A aus eie Mege Ω ud eier σ Algebra A auf Ω heißt meßbarer Raum ( measurable space oder Stichproberaum ( sample space. Ma et Ω auch das sichere Ereigis ( sure evet. Die Elemete vo Ω heiße Ausgäge, Ergebisse, Stichprobe, Realisieruge ( outcomes, results, samples, realisatios oder Elemetarereigisse. Die Elemete der σ-algebra A heiße meßbare Mege ( measurable sets oder Ereigisse ( evets. Bemerkug 1(a Für beliebiges Ω ist zum Beispiel das Megesystem P(Ω aller Teilmege stets eie σ Algebra, ebeso wie das Megesystem {, Ω}. Bemerkug 1(b Ist S P(Ω ei Megesystem, so existiert ach Übugsaufgabe 1.1 eie miimale σ Algebra, die S ethält. Sie heißt die vo S erzeugte σ-algebra über Ω ud wird mit σ(s bezeichet. Bemerkug 1(c Ist Ω = R, so gibt es eie miimale σ Algebra, die alle offee Mege ethält. Diese heißt Borel σ Algebra 1 B(R. Ihre Elemete heiße Borel- Mege. Bemerkug 2: Aus 1. ud 2. folgt sofort, daß auch immer ei Ereigis ist, das umögliche Ereigis ( impossible evet. Sid A 1,..., A Ereigisse, so erhält ma aus 3., durch Betrachtug der ergäzte Folge (A i mit A i = für alle i >, daß A 1... A = Da ach der de Morgasche Regel gilt A i A. [ c, A i = Ai] c folgt (mit Hilfe vo 2. ud 3. aus A 1, A 2, A 3,... A, daß auch für die Schittmege gilt A i A. 1 Émile Borel (

9 Für edlich viele Ereigisse A 1,... A erhält ma, idem ma die Folge durch A i = Ω für i > ergäzt, daß A 1... A = A i A. Schließlich gilt für zwei Ereigisse A 1 ud A 2 auch, daß A 1 \ A 2 = A 1 A c 2 A. Es ist wichtig zu beobachte, daß wir icht forder, daß Vereiiguge vo beliebig viele Ereigisse ei Ereigis sid, soder ur abzählbare Vereiiguge zulasse. Wir wolle u die Regel aufstelle, die eie Wahrscheilichkeitsverteilug erfülle muß. Defiitio 1.2. Sei (Ω, A ei meßbarer Raum. Eie Abbildug P : A [, 1] heißt Wahrscheilichkeitsverteilug ( probability distributio oder ei Wahrscheilichkeitsmaß ( probability measure auf (Ω, A, we gilt: 1. P (Ω = 1, das sichere Ereigis hat die Wahrscheilichkeit Ist eie Folge vo Ereigisse A 1, A 2, A 3,... paarweise uvereibar, gilt also A i A j = für i j, so gilt ( P A i = P (A i. Diese Eigeschaft heißt σ Additivität vo P. Da heißt das Tripel (Ω, A, P Wahrscheilichkeitsraum ( probability space. A.N. Kolmogorov 2 hat viele fudametale Beiträge zur Wahrscheilichkeitstheorie geleistet. Er veröffetlichte 1933 das Buch Grudbegriffe der Wahrscheilichkeitsrechug ud wird seitdem allgemei als der Begrüder der auf dieser formale Defiitio beruhede modere Wahrscheilichkeitstheorie agesehe. Er war der erste, der diese maßtheoretische Asatz zur Wahrscheilichkeitsrechug zum Alaß eier systematische mathematische Theorie mit spezifische Fragestelluge ahm. Wie Sie scho a de Lebesdate der adere Mathematiker sehe, die i userem Text erwäht werde, ist aber dieser Formalismus ur ei Schritt i eier lage Etwicklug. Eie frühe Vorschlag zu diesem Asatz machte isbesodere F. Hausdorff 3 i seie Grudzüge der Megelehre. Bemerkug: Aus 2. folgt durch Wahl vo A i = für alle i sofort, daß P ( =, das umögliche Ereigis hat also Wahrscheilichkeit. Damit erhält ma auch die edliche Additivität vo P : Sid A 1,..., A paarweise uvereibar, so gilt das auch für die ergäzte Folge (A i mit A i = für alle i >, ud es folgt ( ( P A i = P A i = 2 Adrej Nikolaevič Kolmogorov ( Felix Hausdorff ( P (A i = P (A i. 9

10 Ma erhält so auch die Eigeschaft der Mootoie ( mootoicity vo P. Gilt ämlich für zwei Ereigisse A B, so ist P (A P (B wege P (A P (A + P (B \ A = P (A (B \ A = P (B. (1.1 Wichtig ist der folgede Satz, der die so geate Stetigkeitseigeschafte vo Wahrscheilichkeitsverteiluge schildert. Satz 1.3. (Stetigkeitssatz (a Ist A 1 A 2 A 3... eie fallede Folge vo Ereigisse, so gilt ( P A i = lim P (A i. i (b Ist A 1 A 2 A 3... eie wachsede Folge vo Ereigisse, so gilt ( P A i = lim i P (A i. Beweis. Wir beweise zuächst (a. Es ist für jedes i A i = A j j=1 ( A i \ ( A j = A j j=1 j=1 j=i+1 A j 1 \ A j, wobei rechts lauter disjukte Mege vereiigt werde, de für jede Pukt i A i der icht i alle A j liegt ist, gibt es geau eie erste Idex j > i, für de der Pukt icht mehr i A j liegt. Die Ereigisse auf der rechte Seite sid disjukt, ud aufgrud der σ-additivität vo P ergibt sich ( P (A i = P j=1 A j + j=i+1 P (A j 1 \ A j. Für i strebt die Restsumme gege, da die Reihe wege der Edlichkeit der like Seite kovergiert. Dies beweist (a. Teil (b folgt aus (a. Ist ämlich A 1 A 2 A 3... eie wachsede Folge vo Ereigisse, so ist A c 1 A c 2 A c 3... eie fallede Folge vo Ereigisse. Da liefert (a dass ( P A c i = lim i P (A c i. Nach de Morga ud der edliche Additiviät ist die like Seite ud die rechte ist woraus die Behauptug folgt. (( c ( = P A i = 1 P A i, = 1 lim i P (A i, 1

11 Eie weitere ützliche Eigeschaft vo P ist die so geate Subadditivität ( subadditivity bei icht otwedig disjukte Ereigisse. Satz 1.4. Ist (Ω, A, P ei Wahrscheilichkeitsraum ud A 1, A 2, A 3,... eie beliebige Folge vo Ereigisse, so gilt stets ( P A i P (A i. Beweis. Für zwei Ereigisse A, B ist (B \ A B ud daher wege der Mootoie P (A B = P ( A (B \ A = P (A + P (B \ A P (A + P (B. Hieraus folgt für jedes 2, dass ( ( 1 P A i = P ud per Iduktio schließlich A i A P ( 1 A i + P (A ( P A i P (A i. Schließlich ka ma mit Hilfe des Stetigkeitsatzes agewadt auf die wachsede Folge A 1, A 1 A 2, A 1 A 2 A 3,... de Grezübergag für durchführe ud erhält die Behauptug. Bemerkug: Der Beweis zeigt isbesodere auch die Subadditivität für edliche Folge vo Ereigisse. 1.3 Defiitio eier Zufallsvariable Meistes betrachtet ma icht das vollstädig präzisierte Ergebis eies Zufallsexperimetes ω Ω, soder ur eie jeweils relevate durch ω bestimmte Größe X(ω. Defiitio 1.5. Eie Abbildug X : Ω Ω, die eie Stichproberaum (Ω, A i eie adere Stichproberaum (Ω, A abbildet, heißt meßbar ( measurable, we mit jedem A A auch das Urbild X 1 (A i A liegt. Ist (Ω, A, P sogar ei Wahrscheilichkeitsraum, da heißt eie solche meßbare Abbildug auch Zufallsvariable ( radom variable. Für jede Zufallsvariable X : Ω Ω ud jedes A A ist also durch ei Ereigis defiiert. {X A} := {ω : X(ω A} = X 1 (A 11

12 Satz 1.6. (ud Defiitio Ist X : Ω Ω eie Zufallsvariable, die eie Wahrscheilichkeitsraum (Ω, A, P i eie meßbare Raum (Ω, A abbildet, so ist durch P X (A := P (X A := P ({X A} = P (X 1 (A eie Wahrscheilichkeitsverteilug P X auf (Ω, A defiiert. Diese heißt Verteilug vo X ( law of X oder Bildverteilug vo P uter X. Der eue Wahrscheilichkeitsraum (Ω, A, P X heißt vo X iduzierter Wahrscheilichkeitsraum. Beweis. P X ist eie Abbildug vo A ach [, 1] ud besitzt die Eigeschaft 1. aus Defiitio 1.2, de P X (Ω = P (X 1 (Ω = P (Ω = 1. Um die Eigeschaft 2. achzuweise, betrachte eie Folge A 1, A 2,... vo paarweise uvereibare Ereigisse aus A. Die Folge X 1 (A 1, X 1 (A 2,... besteht da ebefalls aus paarweise uvereibare Ereigisse ud folglich gilt ( ( ( P X A i = P (X 1 A i = P X 1 (A i = P (X 1 (A i = P X (A i. Bemerkug: Wir habe i Bemerkug 1b bzw. Aufgabe?? gesehe, daß es zu eiem beliebige Teilmegesystem S vo Ω immer eie kleiste σ Algebra gibt, die S ethält; die vo S erzeugte σ-algebra, geschriebe σ(s. Ageomme für die Auswertug eies Zufallsexperimets ist lediglich die Kegrösse bzw. Zufallsvariable X : Ω Ω erforderlich. Da beötige wir ur die Wahrscheilichkeite der Form P ({X B}, wir müsse also ur die Eischräkug vo P auf das Megesytem σ(x := {X 1 (B : B A } kee. Ma ka sich überlege, dass σ(x die kleiste σ Algebra auf Ω ist derart, daß X : Ω Ω och messbar ist. Ma et sie auch die vo X erzeugte σ-algebra. 1.4 Beispiele Wir wolle jetzt die abstrakte Defiitio durch eiige Beispiele verdeutliche, die größteteils i de Aweduge häufig verwedete Modelle darstelle. 1. Die Laplace Verteilug Dieses Modell verallgemeiert user eileitedes Beispiel. Ist Ω eie (zuächst abstrakte edliche Mege, etwa mit Elemete, so wählt ma als Ereigissystem A = P(Ω. Auf userem Stichproberaum (Ω, A köe wir geau eie Wahrscheilichkeitsverteilug P erkläre, die jedem Elemetarereigis die gleiche Wahrscheilichkeit zuweist. Dies ist die Laplaceverteilug auf Ω, ud ist durch 4 P (A = Azahl der Elemete vo A Azahl der Elemete vo Ω = A 4 Pierre-Simo (Marquis de Laplace, ( für A A. 12

13 gegebe. Es ist icht schwer eizusehe, daß das so defiierte Tripel (Ω, A, P ei Wahrscheilichkeitsraum, der so geate Laplacesche Wahrscheilichkeitsraum, ist. Ma spricht auch vo eiem Laplace Modell oder Laplace Experimet. User Wurf mit zwei Würfel war ei solches Laplace Experimet. Wir habe dabei scho gesehe, daß ma kompliziertere Modelle ableite ka, idem ma Zufallsvariable auf Laplacesche Wahrscheilichkeitsräume betrachtet. 2. Uremodell Ia. Ziehe mit Zurücklege uter Berücksichtigug der Reihefolge Viele praktische Situatioe gleiche i ihrer Struktur der folgede: I eier Ure befide sich s schwarze ud w weiße, asoste gleichartige Kugel. Aus dieser Ure werde u acheiader Kugel blid gezoge, ihre Farbe otiert ud jeweils sofort wieder zurückgelegt. Das Ergebis dieses Experimets läßt sich als Tupel aus de Ziffer für schwarz ud 1 für weiß kodiere. Als Stichproberaum wäre Ω = {, 1} mit dem Ereigissystem A = P(Ω eie atürliche Wahl. Es ist aber icht gaz klar, wie ma die Wahrscheilichkeite zu wähle hat. Eie Laplaceverteilug über diesem Stichproberaum kommt icht i Frage, da etwa im Falle s > w Stichprobe mit mehr schwarze als weiße Kugel wahrscheilicher sei müßte. Wir gehe daher eie kleie Umweg ud leite usere gesuchte Wahrscheilichkeitsverteilug her als Verteilug eier geeigete Zufallsvariable auf eiem größere Stichproberaum, auf welchem der Laplace-Asatz gerechtfertigt ist. Dazu ehme wir a, daß die Kugel uterscheidbar sid ud bezeiche sie mit Nummer vo 1 bis N, wobei atürlich N = s + w. Jetzt wähle wir Ω = {1,..., N} ud betrachte de Laplacesche Wahrscheilichkeitsraum (Ω, A, P. Wir otiere also icht ur die Farbe, soder sogar die Nummer der gezogee Kugel. Da alle Kugel gleichberechtigt sid, gibt es u keie Grud, warum ma ei bestimmtes Tupel vo Kugel mit größerer Wahrscheilichkeit zieht als ei aderes. Also ist hier das Laplace Modell agemesse. Nu betrachte wir die Abbildug X : Ω Ω gegebe durch X(ω 1,..., ω = (1 W (ω 1,..., 1 W (ω mit 1 W (i = 1, 1 i N, we die Kugel mit Nummer i weiß ist ud 1 W (i = we sie schwarz ist. X ist eie Zufallsvariable, die eie Beobachter modelliert, der vo de gezogee Kugel die Nummer igoriert ud ur die Farbe registriert. Der vo X iduzierte Wahrscheilichkeitsraum (Ω, A, P mit P = P X beschreibt gerade user Ziehe mit Zurücklege. Es bleibt us ur och, die Verteilug P X zu beschreibe. Dazu bereche wir zuächst ihre Werte für alle eielemetige Mege. Ist ω {, 1}, so gilt ach Defiitio des Laplacesche Wahrscheilichkeitsraums P X ({ω } = P ({ω Ω : X(ω = ω } = Azahl der ω Ω mit X(ω = ω Azahl der Elemete i Ω Der Neer ist hier N. Bei der Bestimmug des Zählers hat ma für die Auswahl der j-te Kugel, dh. für die j-te Kompoete vo ω jeweils w Möglichkeite, falls ω j = 1 ist, ud s Möglichkeite, falls ω j =. Diese Auswahle köe frei kombiiert werde, 13.

14 also ist der Zähler gleich wˆ s ˆ, wobei ˆ = ˆ(ω die Azahl der Eise im Tupel ω ist, also ˆ(ω = j=1 ω j. Also ergibt sich für eie beliebige Mege A A, we ma p = w/n ud q = s/n (= 1 p setzt, P (A = ω A wˆ(ω s ˆ(ω N = ω A pˆ(ω q ˆ(ω = q ω A[p/q]ˆ(ω. Bemerkuge: (a Für de ächste Abschitt merke wir us, daß bei feste p der Wert P X ({ω } ur vo ˆ(ω abhägt. (b We s = w, so ist p = q = 1/2 ud (Ω, A, P wieder ei Laplace-Experimet. (c Es ist übriges eie aheliegede Frage, ob ma auch ei Modell für uedlich viele Züge (mit Zurücklege aus userer Ure kostruiere ka. Dies würde da das Studium gewisser Grezwertaussage erlaube. Die Ergebismege dieses Experimets wäre atürlicherweise die Mege aller Folge i {, 1}. Wir werde us der Frage ach dem geeigete A ud P später zuwede ud damit die Tür zu viele adere iteressate Beispiele öffe. 3. Uremodell Ib: Die Biomial-Verteilug. Ziehe mit Zurücklege ohe Berücksichtigug der Reihefolge Wir wolle u die Reihefolge der gezogee Kugel außer acht lasse. Wir stelle us also auf de Stadpukt eies Beobachters, der ach der Ziehug der Kugel ur die Azahl der gezogee weiße Kugel otiert. Dies modelliere wir durch eie Zufallsvariable Y auf (Ω, A, P mit Werte i Ω = {,..., }. Wir versehe Ω mit dem Ereigissystem A = P(Ω ud defiiere eie Zufallsvariable Y durch Y (ω = ωj = ˆ(ω. j=1 wobei ˆ scho im Beispiel 2 eigeführt wurde. Also ergibt sich für j {,..., }, wieder mit p = w/(w + s ud q = s/(w + s, P Y ({j} = P ({ω : ˆ(ω = j} = (Azahl der Tupel i {, 1} mit geau j Eise p j q j. Die Azahl der Tupel i {, 1} mit geau j Eise ( ist gleich der Azahl der j elemetige Teilmege vo {1,..., }, die ma mit bezeichet. Eie Formel zur j Berechug dieser so geate Biomialkoeffiziete ergibt sich iduktiv: Lemma 1.7. Die Azahl der j-elemetige Teilmege eier ichtleere Mege mit Elemete ist im Fall 1 j ( ( 1 ( j + 1! = j! ( j! j! =:. (1.2 j 14

15 Ferer gilt für 1 j die Pascalsche Formel ( ( ( + 1 = + j + 1 j j + 1 Beweis. Für das erste Elemet der zu bildede j-elemetige Teilmege eier - elemetige Mege, stehe Kadidate zur Auswahl. Für das zweite 1 usw. Isgesamt hat ma also ( 1 ( j + 1 Möglichkeite eie geordete j- elemetige Teilmege auszuwähle. Da es aber j! Möglichkeite gibt eie Mege mit j Elemete zu orde erhalte wir für die gesuchte Azahl gerade die Formel (1.2. Nu zum Beweis der Pascalsche Rekursiosformel. Durch eifaches Nachreche ergibt sich ( ( ( 1 ( j + 1 ( 1 ( j + = + j j + 1 j! (j + 1! ( 1 ( j + 1(j ( 1 ( j = (j + 1! ( 1 ( j + 1(j j = (j + 1! ( ( + 1 ( j = = (j + 1! j + 1. Setzt ma p = w/n, so erhält ma für die Verteilug P Y folgede Ausdruck P Y (A = ( p j (1 p j für A {,..., }. j j A Die Wahrscheilichkeitsverteilug P Y ist ei Spezialfall der folgede Situatio: Sei p [, 1] eie beliebige Zahl, die so geate Erfolgswahrscheilichkeit ( success probability. Da modelliert ma die Azahl der Erfolge bei uabhägige Versuche durch de Wahrscheilichkeitsraum (Ω, A, P, wobei Ω = {,..., } mit A = P(Ω ud P (A = ( p j (1 p j. j j A Dies ist die so geate Biomial-Verteilug mit de Parameter p ud, eies der wichtigste stochastische Modelle. Wir habe dieses Modell für de Fall eier ratioale Erfolswahrscheilichkeit p = w/n aus userem Uremodell ud damit aus dem Laplacesche Modell hergeleitet. Zur Wiederholug sei empfohle, für ei vorgegebees beliebiges ratioales p [, 1] ud beliebiges eie Zufallsvariable auf eiem geeigete Laplacesche Wahrscheilichkeitsraum zu defiiere, die zu de Parameter p ud biomialverteilt ist. 15

16 4. Wartezeite: Die geometrische Verteilug. Wir betrachte wieder usere Ure mit w weiße ud s schwarze Kugel ud ehme a, daß es midestes eie weiße Kugel i userer Ure gibt. Wir betrachte das i Beispiel 2 eigeführte zugehörige Modell für Züge mit Zurücklege, de Wahrscheilichkeitsraum (Ω, A, P mit Ω = {, 1}. Wir frage u ach der Wartezeit, bis die erste weiße Kugel gezoge wurde. Das modelliere wir atürlich wieder durch eie Zufallsvariable X mit Werte i {1,...,, }, wobei für das Elemetarereigis steht, daß keie weiße Kugel gezoge wurde, so daß X (ω = mi{i : ω i = 1}. Für die Verteilug vo X bestimme wir die Wahrscheilichkeit des Ereigisses {X = i}. We ma wieder p = w/(s + w ud q = s/(s + w setzt, erhält ma ({ P X ({i} = P (,...,, 1, a }{{} 1,..., a i {, 1} : a {, 1} i}. i 1 Nulle Ist k die Azahl der Nulle i dem i-tupel a, so ist P ({(,...,, 1, a }{{} 1,..., a i } = q i 1+k p 1+ i k. i 1 Nulle Uter Berücksichtigug der Azahl der Möglichkeite folgt P X ({i} = = a {,1} i P k= ({ (,...,, 1, a1,..., a i } i ( i q i 1+k p 1+ i k k = q i 1 p für i, da ach der biomische Formel i ( i k= k q k p i k = (q + p i = 1. Außerdem ist atürlich P X ({ } = 1 (1 p i 1 p = 1 p 1 q 1 q = q. We wir u gege uedlich gehe lasse, kovergiert P X ({ } gege, da q < 1, währed P X ({i} für i icht vo abhägt, was us dazu eilädt das folgede Modell für die Wartezeit auf die erste weiße Kugel bei (potetiell uedlich viele Züge aufzustelle: Sei p (, 1] eie (beliebige Erfolgswahrscheilichkeit ud q = 1 p, Ω = {1, 2,...} die Mege der atürliche Zahle ud A die Potezmege vo Ω. Da ist durch P (A = i A q i 1 p für A A geometrische Vertei- eie Wahrscheilichkeitsverteilug gegebe, die so geate lug ( geometric distributio zum Parameter p. 16

17 5. Uremodell IIa. Ziehe ohe Zurücklege uter Berücksichtigug der Reihefolge. I eier Ure befide sich wieder s schwarze ud w weiße, asoste gleichartige Kugel. Aus dieser Ure werde jetzt Kugel acheiader gezoge ud icht wieder zurückgelegt (dazu muß atürlich s + w sei. Das Ergebis dieses Experimets läßt sich wieder als Tupel aus de Ziffer für schwarz ud 1 für weiß kodiere, wir wolle also als Stichproberaum wieder Ω = {, 1} mit dem Ereigissystem A = P(Ω wähle. Allerdigs müsse wir für das veräderte Modell eie adere Wahrscheilichkeitsverteilug P defiiere, die wir wieder aus eiem Laplace Modell herleite wolle. Wir ehme also wieder a, daß die Kugel uterscheidbar wäre ud bezeiche sie mit Nummer vo 1 bis N = s + w. Die mögliche Ausgäge beim Ziehe ohe Zurücklege lasse sich damit durch die Mege Ω = {ω = (ω 1,..., ω : ω i {1,..., N} ud ω i ω j für i j} beschreibe ud es ist ahelieged azuehme, daß keier dieser Ausgäge bevorzugt ist. Wir betrachte also de Laplacesche Wahrscheilichkeitsraum (Ω, A, P. Wir bezeiche die Mege der weiße Kugel mit W ud die Mege der schwarze Kugel mit S. Nu betrachte wir die Abbildug X : Ω Ω, die durch X(ω 1,..., ω = (1 W (ω 1,..., 1 W (ω gegebe ist. Wieder ist X eie Zufallsvariable, die de Ketisstad eies Beobachters modelliert, der vo de gezogee Kugel die Nummer igoriert ud ur die Farbe registriert. Der vo X iduzierte Wahrscheilichkeitsraum (Ω, A, P mit P = P X beschreibt jetzt user Ziehe ohe Zurücklege. Für jedes ω Ω = {, 1} erhält ma P ({ω Azahl der ω Ω mit X(ω = ω } =. (1.3 Azahl der Elemete i Ω Der Neer ist die Azahl der geordete -elemetige Teilmege vo {1,..., N}, dh. die Zahl der Möglichkeite, eie elemetige Teilmege vo {1,..., N} auszuwähle ud da azuorde. Diese Zahl heißt utere Faktorielle vo N der Läge, wir schreibe (N. Eie eifache Iduktio ach liefert de Wert (N = N (N 1 (N + 1. Bezeiche wir jetzt wieder mit ˆ = ˆ(ω die Azahl der Eise i ω. We der Zähler i (1.3 icht verschwidet, dh. we es ei ω Ω gibt mit X(ω = ω, da muss w ˆ ud s ˆ sei. I diesem Fall ist dieser Zähler das Produkt der Azahl aller geordete ˆ elemetige Teilmege vo W mit der Azahl aller geordete ( ˆ elemetige Teilmege vo S, ud es folgt für alle ω {, 1} P ({ω } = (wˆ(ω (s ˆ(ω (N, falls w ˆ(ω, s ˆ(ω (1.4 ud P ({ω } = sost. 17

18 6. Uremodell IIb. Die hypergeometrische Verteilug. Ziehe ohe Zurücklege ohe Berücksichtigug der Reihefolge Ählich wie wir es i Beispiel 3 beim Ziehe mit Zurücklege gemacht habe, wolle wir beim Ziehe vo Kugel ohe Zurücklege aus eier Mege vo N = s+w Kugel die Reihefolge außer acht lasse ud die Verteilug der Azahl der gezogee weiße Kugel bestimme. Wir betrachte also wieder die Zufallsvariable Y auf Ω = {, 1} mit Werte i {,..., } mit Y (ω = ωj = ˆ(ω j=1 wobei Ω aber jetzt wie im voragegagee Beispiel mit der durch (1.4 gegebee Wahrscheilichkeitsverteilug P versehe ist. Zur Bestimmug der Verteilug vo Y sei i {,..., }. Alle ω mit Y (ω = i habe gemäß (1.4 uter P das gleiche Wahrscheilichkeitsgewicht. Für die Verteilug P Y dieser Zufallsvariable erhalte wir also P Y ({i} = (Azahl der ω {, 1} mit Y (ω = i (w i (s i. (N Die gesuchte Azahl wird bestimmt durch die Möglichkeite, die i Eise auf Plätze zu verteile, ist also ( i. Also ist für A {,..., } P Y (A = i A (w i i! (s i! = ( i! (s + w i A ( w i ( s i. ( s+w Diese Verteilug heißt hypergeometrische Verteilug ( hyper-geometric distributio zu de Parameter s, w,. Wir beschreibe u eie Gemeisamkeit der bisher studierte Beispiele: 7. Diskrete Verteiluge. Die Ergebismege Ω = {ω 1, ω 2,...} ist edlich oder abzählbar uedlich, das Ereigissystem A ist die Potezmege vo Ω. Die Wahrscheilichkeitverteilug P ist durch eie edliche oder uedliche Folge p 1, p 2,... gegebe, so daß i p i = 1 ud P ({ω i } = p i ud daher P (A = ω i A p i. Ma et eie solche Wahrscheilichkeitsraum (Ω, A, P eie diskrete Wahrscheilichkeitsraum ( discrete probability space. Er ist durch die Agabe der Folge p 1, p 2,... (im wesetliche vollstädig beschriebe ud zu jeder edliche oder uedliche Folge p 1, p 2,... mit i p i = 1 gibt es eie solche Wahrscheilichkeitsraum. Ma et (p 1,..., p bzw. (p 1,..., p,... eie (edliche bzw. uedliche Wahrscheilichkeitsvektor ( probability vector. 18

19 Für < q < 1 kovergiert zum Beispiel die geometrische Reihe qi gege q/(1 q, so daß durch p i = (1 qq i 1 eie Wahrscheilichkeitsfolge gegebe ist. Diese liefert atürlich die geometrische Verteilug mit Parameter p = 1 q, ud daher bezieht die geometrische Verteilug ihre Name. Wir wolle u Beispiele betrachte, die icht i die Klasse der diskrete Verteiluge gehöre. 8. Die uiforme Verteilug. Die Berechug vo Wahrscheilichkeite läßt sich oft auf Volume-Berechuge zurückführe. Dazu zuächst ei eifaches Beispiel: Eie Zahärzti erwartet am Freitagachmittag zwei Patiete, mit dee ur vereibart wurde, daß sie zwische 3 ud 5 Uhr komme solle, die Behadlug jedes dieser Patiete dauert 3 Miute. Wie groß ist die Wahrscheilichkeit, daß eier der Patiete warte muß, we sost kei Patiet kommt ud beide Patiete uabhägig voeieader zu eiem zufällige Zeitpukt im agegebee Zeititervall komme? Die Ausgäge des Experimetes lasse sich - i Aalogie zu userem eileitede Beispiel mit zwei Würfel - als Pukt i dem Rechteck Ω = [3, 5] [3, 5] beschreibe, wobei die erste Kompoete die Eitreffeszeit vo Patiet A ud die zweite Kompoete die Eitreffeszeit vo Patiet B sei. We keier der Patiete eie Zeitraum bevorzugt, ist es agemesse, eie Wahrscheilichkeitsverteilug auf Ω zu defiiere idem ma für jedes A Ω setzt P (A = Vol(A Vol(Ω, wobei Vol(A das Volume eier Mege A R 2 bezeichet. Usere gesuchte Wahrscheilichkeit ergibt sich da als (1/4Vol({(x, y Ω : x y < 1 2 }, wobei die gesuchte Fläche aus eiem Rechteck der Höhe 2 ud Breite 3 2 ud zwei 2 2 rechtwiklige Dreiecke mit Katheteläge jeweils 1/2 besteht. Die gesuchte Wahrscheilichkeit ist also 7/16. Um dieses Beispiel mathematisch rigoros zu mache müsse wir das Volume für ei geeiget großes Megesystem auf R erkläre. Ei Asatz hierfür ist für Rechtecke A = [a 1, b 1 ] [a, b ] mit a i < b i das Volume auf atürliche Art als Vol(A = (b i a i eizuführe ud da für beliebiges A zu setze { Vol(A = if Vol(A i : A i Rechtecke mit A A i }. 19

20 Ma ka da (mit eiigem Aufwad zeige, daß für eie beliebige Borelmege Ω R mit < Vol(Ω < eie Wahrscheilichkeitsverteilug defiiert ist, idem wir für jedes A aus der σ Algebra A = B(R P(Ω setze P (A = Vol(A Vol(Ω. P heißt Gleichverteilug ( equi-distributio oder besser uiforme Verteilug ( uiform distributio auf Ω. 9. Die Expoetialverteilug. Wir suche ei geeigetes Modell für die Lebeszeit eies verschleißfreie elektroische Bauteils. Als Ergebismege bietet sich atürlich das Itervall Ω = [, a. Auf ei Ereigissystem eiige wir us später, aber auf jede Fall solle alle Itervalle der Gestalt (x,, x [,, die der Beobachtug das Bauteil überlebt x Zeiteiheite etspreche, Ereigisse sei, damit wir ei Miimum a sivolle Aussage über user Modell mache köe. Versuche wir also zuächst diese Ereigisse Wahrscheilichkeite zuzuorde. Dabei wolle wir die folgede Heuristik umsetze: Wir deke us de dem Experimet zugrudeliegede Zufallsmechaismus als das Ziehe eies zufällige Bauteils aus der gesamte Produktiosreihe. Da etspricht P ((x, dem Ateil der Bauteile mit eier Lebesdauer läger als x i der Baureihe. Da usere Bauteile keie Verschleiß aufweise, soll der Ateil der Bauteile, die t + x Zeiteiheite überlebe, uter de Bauteile, die t Zeiteiheite überlebt habe, gleich dem Ateil der Bauteile i der Gesamtserie sei, die x Zeiteiheite überlebe. I Formel P ((t + x, = P ((x, für alle t, x. P ((t, Setzt ma U(x = P ((x,, so muß U : [, [, 1] also der Fuktioalgleichug U(x + t = U(xU(t mit U( = 1 geüge. Die Fuktioe U(x = exp( λx für beliebiges λ löse diese Fuktioalgleichug. Es ist icht schwer zu zeige, daß dies auch die eizige mootoe Lösuge sid. Gibt es u eie σ Algebra A, die alle Itervalle (x, ethält ud eie Wahrscheilichkeitverteilug P : A [, 1] mit P ((x, = U(x? Wir werde im ächste Abschitt Sätze beweise, die diese Frage i eiem allgemeiere Zusammehag beatworte. Für usere Zwecke hier geügt die Agabe eier Lösug. Fixiere λ > ud setze für A [, P (A = λ ( Vol A (, 1 λ log(t/λ dt. Da der Itegrad mooto falled ist, ist der obige Ausdruck als (möglicherweise ueigetliches Riema Itegral wohldefiiert. Ma ka zeige, dass P ei Wahrscheilichkeitsmaß auf der Borel σ-algebra B = B(R P([, defiiert. Itegratio zeigt, 2

21 dass P ((x, = λ ( (x, 1 λe λx Vol λ log(t/λ ( 1 dt = λ log(t/λ x dt = e λx. Also habe wir eie Wahrscheilichkeitsraum (Ω, B, P kostruiert mit der Eigeschaft, daß P ((x, = exp( λx = U(x für alle x ud durch Ableite erhält ma, dass diese Verteilug für Itervalle gegebe ist durch P ((a, b = b a λ exp( λx dx für alle a < b was sich mit Hilfe der Lebesgue Itegratio auf beliebige Borel Mege A [, ausdehe lässt, das heißt P (A = λ exp( λx dx für alle A B. A Diese Wahrscheilichkeitverteilug heißt Expoetialverteilug ( expoetial distributio zum Parameter λ >. Aus userer heuristische Herleitug wird deutlich, warum die Expoetialverteilug gere als Modell für die Lebesdauer verschleißfreier Teile beutzt wird. Bleibt eie wichtige Frage: We wir eie Serie vo Bauteile habe ud aehme, daß die Lebzeite dieser Bauteile expoetialverteilt sid, wie köe wir de Parameter λ i userem Modell geschickt wähle? Ma wird de Parameter mit Hilfe der Lebzeite eier aus der Serie etommee Stichprobe schätze. Wie das geht ud wie groß ma diese Stichprobe wähle muß, um eie Schätzug vo eier bestimmte Qualität zu erhalte, werde wir i Kapitel 4 erfahre. 1. Verteiluge mit Dichte. Hier wolle wir, wie i Beispiel 7, das gemeisame eier Beispielklasse och eimal hervorhebe. I Beispiel 8 ud 9 habe wir als Ergebismege eie Borelmege Ω R gewählt, die wir mit der σ Algebra A = B(R P(Ω versehe habe. Wir habe da eie meßbare Fuktio f : Ω [, ] gefude mit f(x dx = 1. (Im Fall Ω der uiforme Verteilug wäre diese f(x = 1, im Falle der Expoetialverteilug Vol(Ω f(x = λ exp( λx. Eie solche Fuktio ee wir Wahrscheilichkeitsdichte ( probability desity. Usere Wahrscheilichkeitsverteilug P : A [, ist da durch P (A = f(x dx defiiert. Für schöe Mege A (etwa kompakte Itervalle ka diese Itegratio als Riema Itegratio verstade werde, im allgemeie beötigt ma aber das Lebesgue Itegral. Steht das Lebesgue Itegral icht zur Verfügug, ka P formal auch mit Hilfe des (möglicherwiese ueigetliche Riema Itegrals als P (A = A Vol({x A: f(x > t} dt 21

22 für alle A B erklärt werde. (Die Gleichheit dieser Begriffe folgt aus dem Satz vo Fubii, idem ma f(x = f(x dt schreibt ud die Itegratioe vertauscht. Ei solcher Wahrscheilichkeitsraum (Ω, A, P heißt Wahrscheilichkeitsraum mit Dichte, P heißt Verteilug mit Dichte. Eie abschließede Bemerkug zu diesem Abschitt: Wir habe die hier eigeführte Modelle mit heuristische Argumete begrüdet (dies wurde i Beispiel 4 oder Beispiel 8 besoders deutlich. Dies tut aber der Tatsache keie Abbruch, daß wir, we wir us eimal für ei stochastisches Modell etschiede habe uabhägig davo, wie befriediged oder ubefriediged die Begrüdug für die Wahl dieses Modells auch sei mag, bei der mathematische Behadlug des Modells die gewohte mathematische Strege walte lasse. 1.5 Verteilugsfuktioe Wir wolle us i diesem Abschitt speziell mit Wahrscheilichkeitsverteiluge über dem Ergebisraum R beschäftige, also Zufallsexperimete, bei dee etweder Ω = R ist oder X eie reellwertige Zufallsvariable ist, dere Verteilug P X us iteressiert. Usere etscheidede Frage ist i ählicher Form bereits im Zusammehag mit Beispiel 9 gestellt worde: Wa ka ma zu eier Fuktio F : R [, 1] eie Wahrscheilichkeitsverteilug P auf eier hireiched große σ Algebra defiiere mit P ((, x] = F (x für alle halboffee Itervalle (, x] ud wie sieht ei solcher Wahrscheilichkeitsraum aus? Außerdem werde wir auch die Frage beatworte, wie ma solche Zufallsexperimete auf Computer simuliere ka. Um otwedige Kriterie für die Existez eier solche Verteilug herzuleite, müsse wir zuächst de umgekehrte Weg gehe ud zu gegebeem Wahrscheilichkeitsraum (R, B, P die Fuktio F (x = P ((, x] betrachte. Dazu muß die σ Algebra B atürlich alle Itervalle (, x] ethalte. Da ethält sie aber auch otwedigerweise alle komplemetäre Itervalle (x,, alle halboffee Itervalle (a, b], alle offee Itervalle (a, b = (a, b 1/] ud schließlich alle offee Mege, de jede offee Mege ist ja darstellbar als die Vereiigug ihrer abzählbar viele offee Teil- Itervalle mit ratioale Edpukte. Also muß B auch die Borel σ Algebra ethalte, die ja die kleiste σ Algebra ist, die alle offee Mege ethält. Defiitio 1.8. (a Zu eiem Wahrscheilichkeitsraum (R, B, P, wobei B die Borel σ Algebra ethalte, defiiere wir die Verteilugsfuktio ( distributio fuctio F : R [, 1] der Verteilug P durch für alle x R. F (x = P ((, x] (1.5 22

23 (b We X eie reellwertige Zufallsvariable vo irgedeiem adere Wahrscheilichkeitsraum ach (R, B mit Verteilug P X = P ist, da heißt die Fuktio F aus (a die Verteilugsfuktio vo X ud wird mit F X bezeichet. Wir ermittel folgede Eigeschafte vo F. Satz 1.9. Sei F : R [, 1] eie Verteilugsfuktio. Da ist F mooto wachsed, rechtsstetig ud es gilt lim F (x = ud lim x F (x = 1. x Beweis. Die Mootoie ist klar, vgl. (1.1. Zum Nachweis der Rechtstetigkeit ehme wir a x x, dh. dass x vo rechts gege x strebt. Da gilt für jedes F (x = P ((, x ] = P ((, x] + P ((x, x ] = F (x + P ((x, x ]. Da ach Satz 1.3 lim P ((x, x ] = P ( =1 (x, x ] = P ( =, folgt F (x F (x, also die Rechtsstetigkeit. Der Grezwert für eie Folge x folgt ach Satz 1.3 durch lim F (x = lim P ((, x ] = P ( =1 ud für eie Folge x folgt ach Satz 1.3 auch lim F (x = lim P ((, x ] = P ( =1 (, x ] = P (R = 1, (, x ] = P ( =. Diese Eigeschafte stelle sich u auch als hireiched für die Existez eies Wahrscheilichkeitsraums, desse Wahrscheilichkeitsverteilug die Verteilugsfuktio F hat, heraus. Satz 1.1. Sei F : R [, 1] eie mooto wachsede, rechtsstetige Fuktio mit lim F (x = ud lim x F (x = 1. x Da gibt es eie Wahrscheilichkeitsverteilug P auf der Borel σ Algebra B(R mit der Eigeschaft, daß P ((, x] = F (x für alle x R. Bemerkug (ohe Beweis: P ist durch seie Verteilugsfuktio F eideutig bestimmt. 23

24 Beweis. Wir defiiere P mithilfe eier Zufallsvariable auf dem Wahrscheilichkeitsraum ((, 1, B, Vol, wobei Vol de Begriff der Läge eies Itervalls auf Borelmege erweitert (siehe Beispiel 8 ud die σ Algebra B = B((, 1 = B(R P(, 1 alle Borelsche Teilmege vo (, 1bezeichet. Wie i Beispiel 8 gesehe defiiert dies die uiforme Verteilug auf dem Eiheitsitervall. Wir wolle die gesuchte Verteilug als Verteilug P X der Zufallsvariable X : (, 1 R kostruiere, die gebe ist durch X(t = if{x : F (x t} = mi{x : F (x t}. Die Grezwerteigeschafte vo F sicher, daß X eie wohldefiierte Abbildug ist. Mootoie ud Rechtsstetigkeit sicher, daß dieses Ifimum auch ageomme wird. Um zu zeige, daß X meßbar ist, geügt es zu zeige, daß die Mege X 1 ((, a] i B liege. Es gilt aber, uter Ausutzug der Rechtsstetigkeit vo F, X 1 ((, a] = {t (, 1 : X(t a} = {t (, 1 : F (a t} = (, F (a] B. Das liefert icht ur die Meßbarkeit vo X, soder auch folgede Gleichug für die Verteilug P X vo X P X ((, a] = Vol(X 1 ((, a] = Vol((, F (a] = F (a, (1.6 die geau besagt, daß die Verteilugsfuktio vo P X gerade F ist. Vo ebeso großer Wichtigkeit wie der Satz ist die im Beweis agegebee Kostruktio, die wir ocheimal heraushebe wolle. Da viele Computerprogramme eie Fuktio bereitstelle, die eie auf (, 1 uiform verteilte Zufallsvariable simuliere, ermöglicht us diese Kostruktio ud isbesodere die Gleichug (1.6 die Simulatio beliebiger reellwertiger Zufallsexperimete. Korollar Ist ((, 1, B, Vol der uiforme Wahrscheilichkeitsraum auf (, 1 ud die Zufallsvariable X : (, 1 R gegebe als sogeate verallgemeierte Umkehrfuktio vo F, das heißt X(t = mi{x : F (x t}, so hat der vo X iduzierte Wahrscheilichkeitsraum (R, B(R, P X die Verteilugsfuktio F. Schließlich betrachte wir och eie Spezialfall, ämlich de Fall eier differezierbare Fuktio. Satz Ist F wie im Satz zuvor ud außerdem stückweise stetig differezierbar mit f(x = F (x, so ist durch P (A = f(x dx für jede Borelmege A R, A eie Wahrscheilichkeitsverteilug auf (R, B(R mit Verteilugsfuktio F gegebe. 24

25 Beweis. (R, B(R, P ist ei Wahrscheilichkeitsraum. Ist f(x = F (x, so gilt ach dem Hauptsatz der Differetialrechug P ((, x] = x Also ist F die Verteilugsfuktio vo P. F (t dt = F (x lim F (y = F (x. y 25

26 26

27 Kapitel 2 Bedigte Wahrscheilichkeite ud stochastische Uabhägigkeit 2.1 Eileitedes Beispiel Wir wolle die Begriffe der bedigte Wahrscheilichkeite ud der Uabhägigkeit durch ei Beispiel motiviere. Betrachte wir dazu och eimal das Ziehe ohe Zurücklege aus eier Ure aus Beispiel 5. Der zugehörige Wahrscheilichkeitsraum ist durch Ω = {, 1}, A = P(Ω ud P (A = ω A (wˆ(ω (s ˆ(ω (s + w gegebe, wobei ˆ(ω die Azahl der Eise ud ˆ(ω die Zahl der Nulle im Tupel ω ist. Wie groß ist u die Wahrscheilichkeit im erste, zweite, dritte, etc. Zug eie weiße Kugel zu ziehe? Da ma die erste beide gezogee Kugel miteiader vertausche ka, ohe de Rest des Experimets zu beeiflusse, ist es eileuchted, dass die Wahrscheilichkeit dafür, im zweite Zug eie weiße Kugel zu ziehe, geau so groß ist wie dafür, im erste Zug eie weiße Kugel zu ziehe. Aaloges sollte für die spätere Kugel gelte. Um dies Argumet i usere Formalismus zu übersetze, betrachte wir die Zufallsvariable X 1,..., X, die durch X k (ω = ω k wobei ω = (ω 1,..., ω gegebe sid. Da etspricht der Beobachtug, im k te Zug eie weiße Kugel zu ziehe, das Ereigis {X k = 1}. Um die Wahrscheilichkeit dieses Ereigisses zu bereche, uterscheide wir die Tupel ω ach der Azahl ˆ(ω der auftretede Eise 27

28 ud beobachte, dass es geau ( 1 i 1 Tupel mit Xk (ω = 1 ud ˆ(ω = i. Also gilt ( P (X k = 1 = P {X k (ω = 1, ˆ(ω = i} = P ( {X k (ω = 1, ˆ(ω = i} ( 1 (wi (s i = i 1 (s + w = w ( 1 (w 1i 1 (s 1 (i 1 s + w i 1 (s + w 1 1 = w 1 ( 1 (w 1i (s 1 i s + w i (s + w 1 i= 1 = w s + w, da die letzte Summe über alle Wahrscheilichkeitsgewichte beim Ziehe mit zurücklege aus eier Ure mit w 1 weiße ud s schwarze Kugel geht ud daher gleich eis ist. Die Wahrscheilichkeit, eie weiße Kugel zu ziehe ist also bei jedem Zug die gleiche ud etspricht dem Ateil der weiße Kugel, die sich am Afag i der Ure befide. Das setzt aber voraus, dass wir über de Ausgag der voragegagee Züge keie Ketis habe. We wir aber über das Eitrete eies Ereigisses B Ketis erhalte, verädert dies user Wisse über das Experimet ud damit auch usere beschreibede Wahrscheilichkeitsraum. Diese Veräderug äußert sich i eier Veräderug der zugrudeliegede Wahrscheilichkeitsverteilug, die eue zu betrachtede Wahrscheilichkeitsverteilug ist die bedigte Verteilug gegebe B. 2.2 Defiitioe, Folgeruge ud Beispiele Defiitio 2.1. Sei (Ω, A, P ei Wahrscheilichkeitsraum ud B A ei Ereigis mit P (B >. Für A A sei P (A B, gegebe durch P (A B = P (A B. P (B Die Zahl P (A B heißt bedigte Wahrscheilichkeit vo A gegebe B ( coditioal probability of A give B. Die Fuktio P ( B : A [, 1], A P (A B ist eie Wahrscheilichkeitsverteilug auf Ω, die bedigte Wahrscheilichkeitverteilug gegebe B. Beispiel: We wir i userem Urebeispiel (ohe Zurücklege wisse, daß im erste Zug eie weiße Kugel gezoge wurde, so ädert sich user Modell. Statt P müsse 28

29 wir jetzt die bedigte Wahrscheilichkeitsverteilug gegebe das Ereigis {X 1 = 1} usere Rechuge zugrudelege. Als eue Wahrscheilichkeit für eie weiße Kugel im zweite Zug erhält ma Dabei habe wir P (X 2 = 1 X 1 = 1 = P (X 1 = 1 ud X 2 = 1 P (X 1 = 1 = = P (X 1 = 1 ud X 2 = 1 = w(w 1 (s + w(s + w 1 w 1 s + w 1. ( w 1 s + w w(w 1 (s + w(s + w 1 geutzt, was ma etweder aus dem zugrudeligede Laplace- Experimet oder durch Sumamtio auf ähliche Weise wie bei P (X 1 = 1 erhält. We wir also darüber iformiert sid, daß im erste Zug eie weiße Kugel gezoge wurde, etspreche die Wahrscheilichkeite im zweite Zug dejeige bei eiem Zug aus eier Ure mit w 1 weiße ud s schwarze Kugel. We das Eitrete eies Ereigisses B die Wahrscheilichkeit eies Ereigisses A icht beeiflußt, so heiße die Ereigisse A ud B uabhägig. Da gilt also P (A = P (A B = P (A B P (B ud wir erhalte die folgede Formulierug, i der P (B > icht mehr vorausgesetzt werde muß: Defiitio 2.2. Sei (Ω, A, P ei Wahrscheilichkeitsraum ud A, B A Ereigisse. A ud B heiße stochastisch uabhägig oder eifach uabhägig, we gilt P (A B = P (A P (B. Allgemeier heißt eie Familie (A λ λ Λ vo Ereigisse uabhägig, we für jede edliche Teilmege {A i : i I} die folgede Produktformel gilt ( P A i = P (A i. i I i I Bemerkug: Es geügt icht, i der Defiitio der Uabhägigkeit eier Familie vo Ereigisse die Produktformel ur für zwei Ereigisse zu forder: Betrachte dazu auf dem Laplacesche Wahrscheilichkeitsraum auf Ω = {, 1, 1, 11} die Ereigisse A = {1, 11}, B = {1, 11} ud C = {, 11}. Da ist P (A B = P (A C = P (B C = 1/4 ud P (A = P (B = P (C = 1/2, die Produktformel gilt also für alle Paare vo Ereigisse, aber A, B ud C sid abhägig, da P (A B C = 1/4 1/8. 29

30 Hier ist eie ützliche Folgerug aus der Defiitio 2.1.: Satz 2.3. (Bayessche Formel Sei {B 1, B 2,...} eie Zerlegug vo Ω i paarweise disjukte Ereigisse vo positiver Wahrscheilichkeit. Da gilt für jedes Ereigis A A die Formel vo der totale Wahrscheilichkeit P (A = P (B k P (A B k k ud falls P (A > die Bayessche Formel 1 P (B i A = P (B i P (A B i k P (B kp (A B k. Beweis. Wir habe P (A = k P (A B k = k P (B k P (A B k. ud P (B i A = P (B i A P (A = P (B i P (A B i k P (B kp (A B k. Bemerkug: Die Bayessche Formel gibt eie Vorschrift, wie sich durch die Beobachtug eies Ereigisses A (etwa das Erfasse vo Date die a priori Wahrscheilichkeite ( prior probabilities P (B k vor der Beobachtug zu a posteriori Wahrscheilichkeite ( posterior probability P (B k A ach der Beobachtug äder. Der folgede ützliche Satz ethält usere erste Awedug des Uabhägigkeitsbegriffs. Satz 2.4. (Lemma vo Borel Catelli 2 Seie A 1, A 2,... eie Folge vo Ereigisse ud A das Ereigis, daß uedlich viele dieser Ereigisse eitrete, also A = {ω Ω : ω A k für uedlich viele k}. (i (Erstes Lemma vo BC Ist P (A i <, so ist P (A =. (ii (Zweites Lemma vo BC Ist die Folge A 1, A 2,... uabhägig ud gilt P (A i =, so ist P (A = 1. Zum Beweis beötige wir das folgede Lemma. Lemma 2.5. Sid {A λ : λ Λ} uabhägige Ereigisse, so sid auch die Komplemetärereigisse {A c λ : λ Λ} uabhägig. 1 Revered Thomas Bayes ( Fracesco Paolo Catelli, (

31 Beweis: Wir zeige, daß aus der Uabhägigkeit eier beliebige edliche Mege vo Ereigisse {A 1,..., A k } {A λ : λ Λ} die Produktformel für die Ereigisse {A c 1, A 2,..., A k } folgt: P (A c 1 A 2... A k = P (A 2... A k P (A 1... A k = k k k P (A i P (A i = (1 P (A 1 P (A i i=2 = P (A c 1 Daraus folgt die Behauptug iduktiv. i=2 k P (A i. i=2 Beweis des Borel Catelli Lemmas: I Übugsaufgabe 1.2 habe wir bereits gesehe, daß A = =1 k ei Ereigis ist. Für jedes gilt u ( P (A P A k k= A k P (A k ud we P (A k kovergiert, geht die Restsumme gege, woraus P (A = folgt. Dies beweist (i. Für a i 1 gilt log(1 a i a i. Damit folgt für < N ( N N N log (1 a k = log(1 a k a k. k= k= We die Folge der Ereigisse (A i uabhägig sid, so gilt ach dem letzte Lemma ( N ( N N P = (1 P (A i exp P (A i. i= A c i i= Für N kovergiert die rechte Seite gege ud somit ist ach dem Stetigkeitssatz ( ( ( N P (A c = P A c = lim P A c k = lim lim A c k =. =1 k= k= k= i= k= N P Defiitio 2.6. Sei (Ω, A, P ei Wahrscheilichkeitsraum. Ma sagt, ei Ereigis A tritt fast sicher oder fast immer ei, falls P (A = 1 ud es tritt fast sicher icht oder fast ie ei, falls P (A =. I letzterem Fall et ma A auch eie P Nullmege. 31 k=

32 Der erste Teil des Borel Catelli Lemmas sagt also, daß im Falle der Kovergez vo P (Ai fast sicher ur edlich viele der Ereigisse A i eitrete. Der zweite Teil sagt, daß die Mege der Ausgäge, für die ur edlich viele der uabhägige Ereigisse A i eitrete eie P Nullmege ist, falls P (A i =. Korollar 2.7. ( 1 Gesetz Sid A 1, A 2,... uabhägige Ereigisse ud A das Ereigis, daß uedlich viele dieser Ereigisse eitrete, so ist P (A {, 1}. Der Uabhägigkeitsbegriff ist vo zetraler Bedeutug, er läßt sich leicht vo Ereigisse auf Zufallsvariable erweiter: Zufallsvariable sid uabhägig, we alle Ereigisse, die vo de Zufallsvariable iduziert werde, uabhägig sid. Geau gesagt: Defiitio 2.8. Sei (Ω, A, P ei Wahrscheilichkeitsraum. Eie edliche oder uedliche Mege vo Zufallsvariable X λ : Ω Ω λ, λ Λ, heißt uabhägig, we für jede edliche Idexmege I Λ ud jede Wahl vo meßbare Mege A i Ω i die Ereigisse {X i A i } für i I uabhägig sid, das heißt we P ({X i A i für alle i I} = i I P ({X i A i }. Asoste heiße die Zufallsvariable abhägig. Beispiel: Beim Ziehe ohe Zurücklege sid die Zufallsvariable X 1,... X k, die das Ergebis des erste bis k-te Zuges beschreibe, abhägig. Es gilt ämlich P (X 1 = 1, X 2 = 1 = w(w 1 (s + w(s + w 1 w w s + w s + w = P (X 1 = 1P (X 2 = 1. Betrachte wir u das Ziehe mit Zurücklege aus eier Ure wie i Beispiel 2, d.h. de Wahrscheilichkeitsraum, der durch Ω = {, 1}, A = P(Ω ud P (A = ω A pˆ(ω q ˆ(ω gegebe ist, wobei ˆ(ω die Azahl der Eise ud ˆ(ω die Zahl der Nulle im Tupel ω ist ud p = w/(w+s bzw. q = s/(w+s die Ateile der weiße bzw. schwarze Kugel i der Ure bezeiche. Wir wolle zeige, daß die X 1,..., X, aders als im Falle des Ziehes ohe Zurücklege zuvor, uabhägig sid. Zuächst gilt wieder wie dort P {X 1 = 1} = p ud P {X 1 = } = q (aschaulich: beim erste Zug gibt es och keie Uterschied zwische Ziehe mit ud Ziehe ohe Zurücklege. Ferer habe wieder alle X k die gleiche Verteilug. Für jedes ω = (ω 1,..., ω {, 1} gilt also P ({X k = ω k für alle k } = pˆ(ω q ˆ(ω = 32 P ({X k = ω k }. (2.1 k=1