Mathematische Statistik

Mathematische Statistik Dr. Mauel Stadlbauer, 9. Februar 008 Vorläufiges Skript zur Vorlesug im WS 007/008 Ihaltsverzeichis Eileitug 3. Beispiel eier statistische Aalyse....................... 4. Deskriptive Statistik............................... 5.3 Iduktive Statistik................................ 7 Itegratios- ud Maßtheorie 8. Das Riema-Stieltjes-Itegral......................... 9. Positive Liearforme ud Rado-Maße...................... Riema-Stieltjes Itegratio ud positive Liearforme......... Rado-Maße.............................. 3.3 Der Satz vo Daiell-Stoe........................... 5.4 Kovergezsätze................................ 9.5 Eiige wichtige Verteiluge.......................... 3.5. Beispiele stetiger Verteiluge..................... 3.5. Beispiele diskreter Verteiluge.................... 6 3 Grezwertsätze für Folge vo uabhägige Zufallsvariable. 7 3. Zufallsvariable ud Uabhägigkeit...................... 7 3. Kovergezbegriffe............................... 8 3.3 Kovergezsätze für Folge vo uabhägige Zufallsvariable....... 9 4 Schätze vo Verteiluge 33 4. VC-Theorie (Vapik-Chervoekis-Theorie).................. 35 4.. Awedug i der statistische Lertheorie.............. 40 4.. Der Apassugstest vo Kolmogoroff-Smiroff............ 43 4. Dichteschätzug................................. 46 5 Verteiluge im Zusammehag mit der Normalverteilug 5 5. Geometrische Charakterisierug der multivariate Normalverteilug..... 5 5. Die χk -, t k- ud F k,k -Verteilug........................ 53 5.. Die Trasformatiosformel für Dichte................ 54 5.. Verteiluge i Zusammehag mit der Normalverteilug...... 55

6 Puktschätzug 58 6. Optimalitätskriterie.............................. 60 6. Die Ugleichug vo Cramér ud Rao..................... 64 6.3 Statistische Aspekte vo π (Weihachtsvorlesug)............... 67 6.3. Approximatio vo π durch ei Mote-Carlo-Verfahre....... 68 6.3. Ei Test auf Gleichverteilug der Dezimalstelle vo π........ 69 6.4 Maximum-Likelihood-Schätzug........................ 7 6.5 Bedigte Erwartug............................... 74 6.6 Suffiziez.................................... 77 6.6. Der Satz vo Rao-Blackwell...................... 80 7 Itervallschätzug 8 8 Statistische Tests 87 8. Etscheidugstheorie.............................. 89 8. Neyma-Pearso-Theorie............................ 93 8.. Tests mit mootoem Likelihood-Ratio................ 96 8.. Likelihood-Ratio-Tests......................... 97 8.3 Eiige Tests................................... 97 8.3. Ei-Stichprobe-Tests (mit mehrere Beobachtuge)........ 00 8.3. Zwei-Stichprobe-Tests (mit mehrere Beobachtuge)....... 0 8.3.3 Tests uter Normalverteilug für uverbudee Stichprobe..... 0 8.3.4 Das Behres-Fisher-Problem...................... 04 8.3.5 Tests uter Biomialverteilug für uverbudee Stichprobe.... 06 8.4 Macht ud beötigter Stichprobeumfag................... 08 8.4. Eistichprobetests........................... 09 8.4. Zweistichprobetests.......................... 8.5 Der χ -Test auf Uabhägigkeit........................ 8.5. Die Multiomialverteilug....................... 9 Literaturhiweise

Eileitug Die Etwicklug der Statistik ist durch die Fragestellug motiviert, ahad vo Beobachtuge, die eiem Zufallsgesetz folge, Rückschlüsse auf die zugrude liegede Gesetzmäßigkeit oder Vorhersage zu treffe. Historische Beispiele für dieses Vorgehe: (i) Gauß Vorhersage der Bah vo Ceres: Der italieische Astroom Giuseppe Piazzi etdeckte zufällig i der Neujahrsacht 800 eie bis dahi ubekate Asteroide (heute Kleiplaet), verlor i aber schell wieder aus de Auge (er beobachtete ih über drei Tage). Um ih wiederzufide, etwickelt Gauß die Methode der kleiste Quadrate. Mit Erfolg: Ceres wurde am 7..80 geau a der vo ihm vorhergesagte Positio wiederetdeckt. (ii) Die Medelsche Vererbugslehre: Medel führte i de 860er Kreuzugsversuche a Erbse (Pisum sativum) durch ud schloss hierdurch auf die izwische ach ihm beate Vererbugslehre. Jedoch ist davo auszugehe, dass er die Beobachtuge, die er zum Nachweis seier These veröffetlichte, achträglich a sei Modell apasste - dies ka ma heute mit großer Sicherheit mit Hilfe eies statistische Tests schließe. Allerdigs ist es zu diesem Zeitpukt weig erstaulich, dass Medel ei determiistisches Weltbild vertrat. (iii) Felix Bersteis Etdeckug der Vererbug vo Blutgruppe (94) mittels statistischer Verfahre. Aktuelle Aweduge: (i) Biometrie: Für die Neuzulassug eies Medikamets muss per Gesetz ahad zahlreicher Studie (das Verfahre dauert ca. 0 Jahre) achgewiese werde, dass das Medikamet eie therapeutische Wirkug ud vertretbare Nebewirkuge hat. Bei der Neuzulassug eies Präparats, dass eie zu eiem bereits zugelasse Präparat vergleichbare Struktur hat, tritt eie verkürztes Zulassugsverfahre i Kraft. Hier muss ur über eie kliische Studie achgewiese werde, dass die Wirkug vergleichbar ist. Iteressater oder auch bedeklicher Pukt hierbei: das statistische Verfahre ist per Gesetz vorgeschriebe (isbesodere wird festgelegt, dass die gewoe Date ormalverteilt sid). Bei kliische Studie tritt zudem das Problem auf, dass viel Aufwad i der Versuchsplaug steckt (Schlagworte: radomisierte Auswahl der Patiete, Doppelblidstudie). (ii) Mustererkeug: I der Spracherkeug werde Hidde-Markov-Modelle verwedet, um aus der gesprochee Eigabe auf de Ihalt zu Schließe. (iii) Bestimmug der Positio mittels GPS: Um de Eifluss der Messstöruge zu berücksichtige, wird über die Iformatioe mehrerer Satellite gemittelt. Zudem trete hier je ach Awedug uterschiedliche Probleme auf - bei Navigatiossysteme ist die Geauigkeit icht ausschlaggebed, die Positio muss jedoch i Echtzeit mit Hilfe eies icht sehr leistugsfähige Computers ermittelt werde. I der (Lad-)Vermessug 3

hat ma eie etgegegesetzte Problemstellug - hier wird große Geauigkeit bei Vorhadeseis ausreicheder Rechekapazitäte verlagt (Positioierug des primäre Empfägers dauert ca. h). Im Folgede werde wir eie statistische Aalyse vo echte Date durchführe, um so die i der Vorlesug zu besprechede Theme aus der Mathematische Statistik zu motiviere. Klassisch geht ma hier wie folgt vor: (i) Versuchsplaug ud (erste) Modellwahl. (ii) Methode der deskriptive Statistik (iii) Methode der iduktive Statistik. Beispiel eier statistische Aalyse Bei der Produktio vo Schrotmehl muss die Kozetratio vo CaCO 3 kotrolliert werde. Hierzu stehe zwei Labore zur Verfügug, die diese Kozetratio messe. Versuchsplaug ud (erste) Modellwahl Es werde 30 Stichprobe zufällig etomme, halbiert ud zur Aalyse a die jeweilige Labore geschickt. Es ergebe sich folgede Messuge: Labor Labor Differez 75,68 75,58 0,0 76,68 76,58,0 3 74,93 74,98-0,05 4 76,3 76,45-0, 5 76,50 76,8 0, 6 76,48 76,5 0,3 7 76,43 76,48-0,05 8 77,0 76,48 0,7 9 76,45 76,60-0,5 0 76,38 76,73-0,35 76,5 76,50-0,5 76,55 76,35 0,0 3 76,65 76,30 0,35 4 76,55 76,40 0,5 5 76,5 76,38-0,3 Labor Labor Differez 6 76,35 76,3 0, 7 76,33 76,30 0,03 8 76,45 76,33 0, 9 76,40 76,33 0,07 0 76,68 76,8 0,40 76,33 76,45-0, 76,40 76,38 0,0 3 76,8 76,43-0,5 4 76,58 76,45 0,3 5 76,65 76,60 0,05 6 76,40 76,40 0,00 7 77,03 76,80 0,3 8 76,90 76,95-0,05 9 74,83 74,88-0,05 30 75,8 75,5 0,03 Sei u X i j die j-te Messug des Labors i (i =,, j =,,...30). Weiterhi sei C j ( j =,...30) die wahre (aber leider ubekate) Kozetratio der j-te Messug, ud ε i j der Messfehler vo Labor i bei der j-te Messug. Das führt zu der Modellierug X i j := C j + ε i j. 4

Weiter wird ageomme, dass die ε i j uabhägig idetisch verteilt (im Folgede u.i.v. ) sid, über die C j werde keie weitere Aahme getroffe. Da der wahre Wert icht bekat ist, bietet es sich a, ur die Differez Y := X X zu betrachte (diese Reduktio der Date sollte ur bei verbudee Stichprobe verwedet werde):. Deskriptive Statistik Y j = X j X j = ε j ε j, (i =,, j =,...30). Die historisch älteste Methode zur Utersuchug dieser Date ist die deskriptive Statistik. Die Methode der deskriptive Statistik ziele u darauf ab, das zugrude liegede Modell durch Parameter etc. zu beschreibe (was atürlich ur approximativ möglich ist). Als erster Hiweis auf die Verteilug der Y j diee die leicht zu berechede Kegröße Mittelwert Y ud empirische Variaz ˆσ. Um die folgede Defiitio icht abhägig vo der Zahl der Beobachtuge im Beispiel zu mache, werde diese bezüglich eier beliebige Azahl vo Beobachtuge N formuliert (für das Beispiel ist = 30): Y := Y i, ˆσ := 30 (Y i Y ). Im Beispiel ergibt sich für diese Werte Y = 0.03933333 ud ˆσ = 0.0498956. Das besodere a diese Werte ist, dass sie kosistete Schätzer für Erwartugswert ud Variaz vo Y sid. Dies zeigt das folgede Lemma. Lemma.. Sei (Z i : i N) eie Folge u.i.v. reellwertiger Zufallsvariable mit E Z < ud E(Z ) <. Da gilt fast sicher, dass lim Z i = E(Z ) ud lim ( Zi ( i= j Z j ) ) = Var(Z ). Beweis. Direkte Folgerug aus dem starke Gesetz der große Zahl (Übug). Als kosistete Schätzer deute Y ud ˆσ folglich auf die Form der Verteilug vo Y hi. So weist zum Beispiel ei Wert vo ˆσ ahe (das ist atürlich och äher zu spezifiziere) bei Null darauf hi, dass die Differez der Messuge im Wesetliche immer Y beträgt. Umgekehrt ist eie große empirische Variaz ud Y ahe bei Null ei Zeiche dafür, dass es keie sigifikate Uterschiede der Größe der Messuge gibt, jedoch beide Labore sigifikate Messfehler produziere. Darüber hiaus gibt es och zahlreiche graphische Methode, vo dee eiige kurz vorgestellt werde solle. So gibt es zum Beispiel de Scatterplot (Graph der Zuweisug X j X j, für j =,...30, siehe Abb. ) ud de Boxplot (siehe Abb. ). Hier werde die empirische, 0.75, 0.5, 0.5 ud 0-Quatile dargestellt (für eie präzise Defiitio der empirische Quatile siehe z.b. [6, S. 8]). Ei etwas elaborierteres Vorgehe ist das Erstelle eies Histogramms (siehe Abb. ) - hier etspricht die Höhe der Balke der Azahl der Beobachtuge im daruter liegede Itervall. Allerdigs ist hier bei der Wahl der Badbreite etwas Vorsicht agebracht, da bei eier zu gerige Badbreite viele Details 5

Scatterplot Boxplot der Differez Kozetratio Labor 75.0 75.5 76.0 76.5 77.0 0. 0.0 0. 0.4 0.6 75.0 75.5 76.0 76.5 77.0 Kozetratio Labor Abbildug : Scatterplot der Date der beide Labore ud Boxplot der Differez Histogramm der Differez (9 Klasse) Histogramm der Differez (6 Klasse) Frequecy 0 3 4 5 6 Frequecy 0 3 4 0.4 0. 0.0 0. 0.4 0.6 0.8 Differez 0. 0.0 0. 0.4 0.6 Differez Abbildug : Histogramme der Differez bez. 9 ud 6 Klasse icht mehr sichtbar werde, bei eier zu hohe aber der sogeate Skylie-Effekt eitritt). Histogramme sid eifache Beispiele sogeater Dichteschätzer, die versuche die Dichte der zugrude liegede Verteilug zu approximiere (i welchem Sie dies geschieht, wird i Kapitel 4 behadelt werde). Die folgede alterative, zuächst etwas komplizierte erscheiede Defiitio eies Histogramms hat de Vorteil, sehr schell auf adere Dichteschätzer verallgemeiert werde zu köe. Wähle a,b R mit a Y,...Y b, ud für k N, wähle t 0,t,...t k R mit a = t 0 < t... < t k = b. Sei { [t g j := j,t j )/(t j t j ) j =,...k [t j,t j ]/(t j t j ) j = k, wobei A die Idikatorfuktio vo A R bezeiche. Dies führt zu eier Abbildug { g j x [t j,t j ) Ψ : [a,b] {g,...g k },x g k x = b. 6

Das Histogramm der Beobachtuge Y,...Y ist da defiiert als h : R R, x Ψ(Y j ). j= Der Vorteil dieser Defiitio ist, dass er sich leicht verallgemeier lässt - ma muss ur {g,...g k } durch eie geeigete Fuktioeraum (eier Teilmege des Raums der ichtegative Fuktioe, dere Itegral bezüglich des Lebesguemaßes gleich ist) ersetze, ud eie sivolle Abbildug Ψ vo R i diese Raum defiiere. Bei dem i Abbildug 3 dargestellte Dichteschätzer wurde der Gauß-Ker beutzt, i.e. Ψ(x) := ϕ x,σb, wobei ϕ x,σb die Dichte der N(x,σ b )-Verteilug bezeiche. Der och zu wählede Parameter σ b wird ebefalls als Badbreite bezeichet (im Beispiel ist σ = 0,084). Dieses Verfahre der Dichteschätzug ist heute vo großer Bedeutug i der statistische Lertheorie ud bei Mote-Carlo-Methode: der Schätzer ka z.b. verwedet werde, um mit Hilfe eies Zufallsgeerators etspreched verteilte Zufallswerte zu geeriere (wie das geau fuktioiert, wird Thema eier Übug sei). Dichteschätzer der Differez Desity 0.0 0.5.0.5 0.5 0.0 0.5.0 Differez Abbildug 3: Dichteschätzer mit Gauß-Ker.3 Iduktive Statistik Das Ziel der iduktive Statistik ist, ahad der beobachtete Date zu eiem vorgegebe Fehleriveau Schlüsse zu ziehe (i etwa: die beide Laboratorie messe im Mittel das Gleiche). Für user Beispiel werde wir hier uterschiedliche Aahme a die Verteiluge treffe, die z.t. icht verifizierbar sid, aber die Darstellug der Idee deutlich vereifache. (i) Seie Y,...Y u.i.v. ormalverteilt mit bekater Stadardabweichug σ. So wird zum Beispiel meist gefordert, dass x = yψ(x)dy, was jedoch im Falle eies Histogramms icht erfüllt ist. 7

Wir ehme u a, dass E(Y ) = 0. Uter dieser Hypothese ist die Verteilug vo Y ebefalls bekat, da Y Summe vo uabhägige, ormalverteilte Zufallsvariable ist: Y N(0,σ/ ). Wir wähle u ei Niveau vo 0.9 ud erhalte uter Aahme der Hypothese (ud für user Beispiel σ = ˆσ = 0.309), dass P( Y < 0.36736) = 0.90. Ageomme Y > 0.36736. Da folgt mit Wahrscheilichkeit 0.9, dass E(Y ) 0, ud folglich, dass die Labore sigifikat uterschiedlich messe. Aderfalls ka kei sigifikater Schluss gezoge werde (wie im Beispiel). (ii) Seie Y,...Y u.i.v. ormalverteilt mit ubekater Stadardabweichug σ. Die Schlussweise verläuft völlig aalog, jedoch verwedet ma hier die Tatsache, dass T = Y i (Y i Y ) uter Aahme der Hypothese t -verteilt ist. Hierbei hadelt es sich um de sogeate t-test. Für das Beispiel ergibt sich T = 0.949, ud P( T <.6997) = 0.9. (iii) Falls keie Aahme a die Verteilug der Y,...Y getroffe werde ka, verwedet ma ichtparametrische Verfahre wie z.b, de Wilcoxo-Vorzeiche-Test (für das Beispiel wird auch dieser Test icht zu eiem Verwerfe der Hypothese führe). Für eie statistische Aalyse der Date aus dem Beispiel wäre das Verfahre i (iii) vorzuziehe, da hier keie Normalverteilug ageomme werde muss. Da dieses Verfahre aber keie sigifikate Werte liefert, müsste mehr Date erhobe werde, um hier eie Uterschied aufdecke zu köe. Ziel der Vorlesug ist es u, die mathematische Grudlage vo Tests, Dichte- ud Puktschätzer zu diskutiere. Itegratios- ud Maßtheorie Sei [a,b] R ei abgeschlossees ud beschräktes Itervall, ud F : [a,b] R eie mooto steigede Fuktio. Ziel ist es, für eie beliebige halbstetige Futio f : [a, b] R, das Itegral b f df. a sivoll zu kostruiere. Die Fuktio F wird im Folgede auch als Verteilugsfuktio bezeichet. 8

. Das Riema-Stieltjes-Itegral Defiitio.. Eie Partitio vo [a, b] ist eie edliche, ageordete Familie vo Elemete aus [a,b], die a ud b ethält. Das bedeutet, dass für eie Partitio ei N ud t i [a,b] für i = 0 existiere, so dass = {a = t 0 < t <... < t = b.} Die Mege aller Partitioe werde mit D([a,b]) (oder vereifacht D) bezeichet. Aalog zur Defiitio des Riema-Itegrals ergibt sich folgede Defiitio. Defiitio.. Sei f : [a, b] R eie beschräkte Fuktio, D([a, b]), = {a = t 0 < t <... < t = b.} ud F : [a, b] R eie mooto steigede Fuktio. Die utere Darboux-Summe (bezüglich,f) ist defiiert als L( f,f, ) := bzw. die obere Darboux-Summe mittels U( f,f, ) := if{ f (x) : x [t j,t j ]} (F(t j ) F(t j ), j= sup{ f (x) : x [t j,t j ]} (F(t j ) F(t j )). j= Die Fuktio f wird Riema-Stieltjes itegrabel bez. F auf [a, b] geat, falls für jedes ε > 0 ei D([a,b]) existiert, so dass U( f,f, ) L( f,f, ) < ε. Um die Eideutigkeit des Itegralbegriffs zu zeige, geht ma u wie folgt vor. Lemma.3. Sei,, D([a,b]), ud f : [a,b] R eie beschräkte Fuktio. Da gilt: L( f,f, ) L( f,f, ) U( f,f, ) U( f,f, ). Beweis. Die Behauptug folgt aus der folgede Beobachtug für Mege A B [a,b]: if{ f (x) : x B} if{ f (x) : x A} sup{ f (x) : x A} sup{ f (x) : x B}. Satz.4. Sei f : [a, b] R Riema-Stieltjes-itegrabel. Da existiert ei eideutiges Elemet I( f ) R, so dass L( f,f, ) I( f ) U( f,f, ) für alle D([a,b]). 9

Da I( f ) eideutig bestimmt ist, setze wir b a f df = b a f (x)df(x) := I( f ). Da im ächste Abschitt gezeigt wird, dass f I( f ) eie Liearform defiiert, ist diese Schreibweise gerechtfertigt. Beweis. Sei I ( f ) := sup{l( f,f, ) : D} ud I + ( f ) := if{u( f,f, ) : D}. Da gibt es für ε > 0 Partitioe, + D([a,b]), so dass I ( f ) L( f,f, ) < ε, U( f,f, + ) I + ( f ) < ε. Da gilt für die gemeisame Verfeierug D([a,b]) (i.e. ist die geordete Familie der Elemete aus ) ach Lemma.3, dass I ( f ) L( f,f, ) < ε, U( f,f, ) I + ( f ) < ε. Wähle u D([a,b]), so dass U( f,f, ) L( f,f, ) < ε ( existiert, da f RS-itegrabel ist). Durch ereute Übergag zur Verfeierug folgt, dass I + ( f ) I ( f ) < ε. Satz.5. Sei f : [a, b] R stetig. Da ist f Riema-Stieltjes itegrabel bezüglich jeder mooto wachsede Fuktio F. Beweis. Übug (Hiweis: Eie stetige Fuktio auf eier kompakte Mege ist gleichmäßig stetig). Satz.6. Sei a < c < b, f : [a,b] R beschräkt, ud F : [a,b] R mooto wachsed. Da ist f Riema-Stieltjes-itegrabel auf [a, b] bez. F geau da we f Riema-Stieltjesitegrabel auf [a,c] bez. F [a,c] ud auf [c,b] bez. F [c,b] ist. I diesem Fall ist b a f df = c a b f df + f df. c Beweis. Dies ist ebefalls eie Folgerug aus Lemma.3. Das RS-Itegral ka i Spezialfälle auf ei Riema-Itegral zurückgeführt werde. Das eifachste Beispiel hierfür wäre F = id, da ma für diese Wahl geau das Riema-Itegral erhält. Ei weiteres Beispiel liefert der folgede Satz. Satz.7. Sei F : [a, b] stetig differezierbar, ud f : [a, b] R RS-itegrabel. Da ist b a f df = b a f (x)f (x)dx. Beweis. Die Behauptug wird zuächst für de Fall f 0 gezeigt. Sei δ > 0 beliebig. Da F ach Vorraussetzug stetig ist, ist F gleichmäßig stetig. Folglich existiert ε > 0, so dass F (x) F (y) δ für alle x,y [a,b], x y < ε. 0

Wähle u eie Partitio = {t 0 < t < < t } D, so dass t i t i < ε für i =,,... Nach dem Mittelwertsatz der Differetialrechug existiert für jedes i =,,... ei ξ i [t i,t i ] mit F (ξ i ) = (F(t i ) F(t i ))/(t i t i ). Ma erhält u L( f F,id, ) = if{ f (x)f (x) : x [t i,t i ]}(t i t i ) if{ f (x) : x [t i,t i ]}if{f (x) : x [t i,t i ]}(t i t i ) if{ f (x) : x [t i,t i ]}(F (ξ i ) δ)(t i t i ) = L( f,f, ) δ Da δ beliebig gewählt war, folgt if{ f (x) : x [t i,t i ]}(t i t i ) L( f,f, ) δ sup{ f (x) : x [a,b]}(b a). sup L( f F,id, ) sup L( f,f, ). D D Wedet ma ei aaloges Argumet auf die Obersumme a, so folgt aus der RS-Itegrierbarkeit vo f, dass f F auf [a,b] Riema-itegrierbar ist, ud isbesodere b a f df = b a f (x)f (x)dx. Um das Resultat auf beliebige f awede zu köe, wähle M R, so dass f + M 0. Es folgt mit dem Hauptsatz der Diff.-ud It.rechug, dass b a f df = b a ( f + M)dF M b a df = b a ( f + M)F dx M(F(b) F(a)) = b a f F dx. Eie Aussage der Struktur eier beliebige mooto wachsede Fuktio F gibt der folgede Satz. Satz.8. Eie mooto wachsede Fuktio F : R R ist bis auf maximal abzählbar viele Pukte stetig. Beweis. Übug. Beispiel (Empirische Verteilugsfuktio). Seie x,...x Elemete aus R. Da wird die Fuktio F := [xi, )

Empirische Verteilugsfuktio für die Differez 0.0 0. 0.4 0.6 0.8.0 0.5 0.0 0.5 Abbildug 4: Graph eier empirische Verteilugsfuktio (rechtsstetige) empirische Verteilugsfuktio oder empirical distributio fuctio, cumulative distributio fuctio geat. Der Graph der empirische Verteilugsfuktio für das Beispiel aus Kapitel ist i Abbildug 4 zu sehe. Die Verteilugsfuktio ud die RS-Itegratio fide i der Schätztheorie eie erste Awedug. Ageomme es liege uabhägige Beobachtuge eies Wertes vor. Das Modell hierzu sieht wie folgt aus: X,...,X u.i.v. reellwertige Zufallsvariable, X i P. Falls das. Momet existiert ist ( Var(X) = x dp xdp). Um u eie Schätzer für die Variaz zu erhalte, gibt es die sogeate Plug-i Methode - die Verteilug P wird i de Itegrale durch die empirische Verteilugsfuktio F ersetzt: = = = ( ) x d F(x) xd F(x) x d [Xi, )(x) ( ( ) Xi X i = ( X i X i ) X j + j= xd [Xi, )(x) Xi ( ) ( ) X i + ) X i =. Positive Liearforme ud Rado-Maße.. Riema-Stieltjes Itegratio ud positive Liearforme ( X i ) ( Xi X ). Sei im Folgede F : R R wieder eie mooto wachsede Fuktio. Nach Satz.5 ist jede stetige Fuktio auf eier kompakte Teilmege vo R RS-itegrabel. Das führt zu der

folgede, kaoische Erweiterug auf de Raum der stetige Fuktioe mit kompaktem Träger C c (R;R) := { f : R R supp( f ) kompakt}. Sei u f C c (R : R) ud a,b R, so dass f (x) = 0 für alle x / [a,b], ud defiiere f df = f df := b a f df. Wie leicht zu verifiziere ist, ist C c (R;R) ei reeller Vektorraum, ud die Abbildug C c (R;R) R; f ist positiv (siehe (i)) ud liear (siehe (ii)), i.e. (i) aus f 0, f C c (R;R) folgt f df 0, f df (ii) für f,g C c (R;R), λ R: λ( f + g)df = λ f df + λ gdf. Eie Abbildug mit diese Eigeschafte wird auch kurz positive Liearform geat. Auf de C-Vektorraum der komplexwertige Fuktioe mit kompaktem Träger C c (R) = C c (R;C) := { f : R R supp( f ) kompakt} lässt sich das RS-Itegral u mittels f df := R( f )df + i I( f )df defiiere. Wie zuvor ist f f df wieder eie Liearform (diesmal liear bezüglich C). Um positive Elemete i diesem Zusammehag defiiere zu köe, wird folgede Sprechweise verwedet. Sei x R. Da wird z C größer als x bezeichet (z > x) geau da we z R ud z > x (etspreched für,<, ). Isbesodere folgt i dieser Notatio, dass f f df eie positive Liearform ist... Rado-Maße Die zuvor gemachte Beobachtug, dass bei fixierter, mooto wachseder Fuktio F das RS-Itegral eie positive Liearform ist, diet als Motivatio, dieses Kozept allgemei auf R d zu utersuche. Dies führt zur folgede Defiitio eies Rado-Maßes (eie adere, äquivalete Zugag fidet ma z.b. i [8, Kapitel 8]). Defiitio.9. Eie positive Liearform I : C c (R d ) C wird Rado-Maß geat. Das bedeutet (i) aus f 0, f C c (R d ) folgt I( f ) 0, Der Träger supp( f ) vo f ist defiiert als der Abschluss vo {x : f (x) = 0}. 3

(ii) für f,g C c (R d ), λ C: I(λ( f + g)) = λi( f ) + λi(g). Lemma.0. Für ei Rado-Maß I gilt: (i) Falls f C c (R d ;R), so ist I( f ) R. (ii) Falls f,g C c (R d ;R) mit f g, so ist I( f ) I(g). (iii) I( f ) I( f ) für f C c (R d ). (iv) Für K R d kompakt existiert ei β > 0, so dass Beweis. I( f ) β f für alle f C c (R d ) mit supp( f ) K ( bezeichet hier die Supremumsorm). (i) Zerlege f i Positiv- ud Negativteil: Setze f + := max{ f,0}, f := mi{ f,0}. Da sid f +, f C c (R d ;R), ud aus f = f + f folgt I( f ) = I( f + ) I( f ). Da f +, f 0 folgt I( f + ),I( f ) 0, ud isbesodere I( f ) R. (ii) Folgt umittelbar aus g l 0. (iii) Wähle ρ R,θ [ π,π], so dass I( f ) = ρe iθ, ud sei Es folgt g := R(e iθ f ),g := I(e iθ f ). ρ = e iθ I( f ) = I(e iθ f ) = I(g ) + ii(g ). Folglich ist I(g ) = ρ, I(g ) = 0. Die Behauptug folgt u mittels ρ = I( f ) = I(g ) I( g + ig ) = I( e iθ f ) = I( f ). (iv) Nach dem Lemma vo Urysoh (hier verwedet ma die Normalität vo R d ) existiert zu vorgegebeem ε > 0 ei ω C c (R d ;R) mit { x K ω(x) = 0 d(x,k) > ε. Es folgt I( f ) I( f ) I(ω f ) = I(ω) f. Setze u β = I(ω). Das folgede Theorem ist als Stetigkeitsaussage i Hisicht auf die Liearform zu versteh. Theorem. (Satz vo Dii). Sei L C c (R d ;R) eie Familie vo Fuktioe mit de Eigeschafte, so dass 4

(i) für alle f, f L existiert f mi L, so dass f mi mi{ f, f }, ud (ii) if{ f (x) : x R d } = 0, für alle x R d. Da folgt für jedes Rado Maß I, dass if{i( f ) : f L } = 0, ud dass zu jedem ε > 0 ei f L existiert mit f < ε. Beweis. Für f 0 L ist die Mege kompakt. Sei u ε > 0 ud f L. Mit K := {x : f 0 (x) > 0} A f := {x K : f (x) ε}. folgt ach Defiitio (Eigeschaft (ii)) vo L, dass A f = /0, f L Daher existiert eie edliche Mege { f i L :,,...,} so dass A fi = /0. Nach Voraussetzug (Eigeschaft (i)) existiert aber f L, s.d. f mi{ f 0,..., f }. Isbesodere ist K f = f, ud es folgt, dass f < ε, ud 0 I( f ) βε, wobei β die Kostate aus dem letzte Lemma, Teil (iv) bezüglich der kompakte Mege K bezeiche. Beispiel. Durch jede mooto wachsede Fuktio F : R R wird ach Abschitt.. eie positive Liearform auf C c (R d ) durch f f df defiiert..3 Der Satz vo Daiell-Stoe Der Satz vo Daiell-Stoe stellt u eie Verbidug zwische Rado-Maße ud dem klassische Maßbegriff her. Der Satz vo Daiell-Stoe wird hier ur für de reelle Fall bewiese - die Erweiterug auf C ist ohe Probleme durch die Zerlegug eier komplexwertige Fuktio i Real- ud Imagiärteil möglich. Sei P(R d ) die Potezmege vo R d. Theorem. (Satz vo Daiell-Stoe). Sei I ei Rado-Maß auf C c (R d ;R), ud V := {( f : R d R) : f 0, f C c (R d ;R), f f }. Teil A. Es existiert eie Erweiterug I vo I auf V, so dass 5

(i) I( f ) 0 für alle f V, (ii) I(α( f + f )) = αi( f ) + αi( f ) für alle f, f V ud α 0, (iii) U V für alle offee Mege U P(R d ). Teil B. Sei µ : P(R d ) ud B defiiert durch { µ if{i(b) : B A, µ (B) <,B offe} (A) := Für B folgt, dass falls solche B existiere sost B := {A P(R d ) : B R d ist µ (B) µ (B A) + µ (B A c )}. (i) die Mege der offee Mege i B ethalte ist, (ii) isbesodere ist R d B, (iii) mit F B ist auch F c B, ud (iv) für eie Folge (F B : N) folgt, dass = F B. Teil C. Sei µ := µ B Da ist (i) µ(a) 0 für alle A B, (ii) µ(/0) = 0, ud (iii) für eie Folge (F B : N) mit F F m = /0 für alle m folgt, dass µ ( = F ) = µ(f ). = Aus der Maßtheorie sid die Objekte aus de Teile B ud C des Theorems wohlbekat - µ ist ei Beispiel für ei äußeres Maß, eie Teilmege F vo P(Ω) für eie beliebige Mege Ω mit de Eigeschafte B(ii) - B(iv) wird σ-algebra geat, ud eie Megefuktio µ : F R vo eier σ-algebra ach R wird Maß geat, falls C(i) - C(iii) erfüllt sid. Ist µ(ω) =, so spricht ma vo eiem Wahrscheilichkeitsmaß (oder kürzer W-Maß). Darüber hiaus immt dieser Satz die Charakterisierug itegrabler Fuktioe vorweg: ei ichtegative Fuktio ist geau da itegrabel (i.e. das Itegral ist defiiert, ka aber auch de Wert aehme) falls sie ei mootoer Limes vo stetige Fuktioe mit kompaktem Träger ist. Eie Beweismethode des zetrale beruht zum Beispiel auf der Verschärfug dieser Aussage, i dem ma zeigt, dass itegrable Fuktioe als mootoe Limite zweifach stetig differezierbarer Fuktioe sid. Beispiel 3. Falls F : R R,x x ist, so ist die Erweiterug des durch das Riema-Stieltjes- Itegral gegebee Rado Maßes das Lebesgue Maß. Für höhere Dimesioe führt die Erweiterug des Riema-Itegrals ebefalls zum etsprechede Lebesgue-Maß. 6

Beweis vo Teil A. Sei ( f : N) eie Folge i C c (R d ;R) mit f f für ei f C c (R d ;R). Isbesodere ist f f 0 ud f f C c (R d ;R). Nach Diis Satz folgt, dass limi( f f ) = 0, oder mit adere Worte, I( f ) = sup{i(g) : g f,g C c (R d ;R)}. Wählt ma u f V ud Folge ( f ), (g ) aus C c (R d ;R) mit f f, g f, so ist wobei f g m := mi f,g m. Es folgt, dass lim ( f g m ) = g m, I(g m ) = lim I( f g m ) sup I( f ). Daher ist sup m I(g m ) sup I( f ), ud aus Symmetrie folglich Isbesodere ist sup I(g m ) = sup I( f ). m I( f ) := sup{i(g) : g f,g C c (R d ;R)} wohldefiiert, ud I( f ) = lim I( f ). Mit Hilfe dieser Darstellug ist es u leicht zu zeige, dass I eie positive Liearform ist. Um zu zeige, dass U V für offee Mege U, wählt ma eie Ausschöpfug vo U durch eie Folge offeer, beschräkter Mege (U ), so dass U U ud U U +. Nach dem Lemma vo Urysoh existiert für jedes N ei ω C c (R d ;R), so dass x U ω (x) = 0 x / U + [0, ] sost. Da f U, ist U V. Beweis vo Teil B. Aus der Defiitio erhält ma sofort: (i) Da /0 eie offee Mege ist, ud /0 = 0, folgt, dass µ (/0) = 0. (ii) µ ist mooto, i.e. µ (A) > µ (B) für alle A B. (iii) Ist A B, so auch A c. Isbesodere ist R d B. Wir zeige u, dass jede offee Mege U i B liegt. Sei B R d beliebig. Ist µ (B) =, so folgt sofort, dass µ (B) µ (B U) + µ (B U c ). Sei also µ (B) <. Für ε > 0 gibt es folglich eie offee Mege G B, so dass µ (B) Ī( G ) ε. 7

Wahle u eie offee Mege V U c. Es folgt, dass µ (B U) + µ (B U c ) Ī( G U ) + Ī( G V ) = Ī( G ( U + V )) = Ī( G ( U V + U V )) = Ī( G + G U V ) Ī( G + U V ) µ (B) + ε + Ī( U V ). Da ε > 0 beliebig gewählt war, folgt µ (B)+Ī( U V ) µ (B U)+ µ (B U c ). Wählt ma u eie Folge offeer Mege V mit V U c, so ist lim U V = 0. Approximiert ma U V mittels eier Folge (ω m : m N) vo Fuktioe wie im Beweis vo A.iv, so folgt ach dem Satz vo Dii agewadt auf {ω m } ud der Defiitio vo Ī, dass lim Ī( U V ) = 0. Folglich ist U B. Es bleibt Aussage B.iv zu zeige. Dafür beötigt ma folgede Lemmata: Lemma.3. Für eie Folge (F ) paarweise disjukter Mege gilt µ ( =(F )) µ (F ). = Beweis. Sei o.e. µ (F ) < für alle N. Sei ε > 0. Wähle G offe, so dass G F ud Da = G eie offee Mege ist, folgt I( G ) µ (F ) + ε/. µ ( = F ) I( = G ) = lim I( k= G k ) lim I k= Gk = lim µ (F ) + ε. = k= Da ε > 0 beliebig gewählt war, folgt die Behauptug. I( Gk ) lim k= (µ (F k ) + ε/ k ) Als eifaches Korollar zu diesem Lemma folgt, dass für A B ud B R d das folgede gilt: µ (B) µ (B A) + µ (B A c ) µ ((B A) (B A c )) = µ (B). Lemma.4. Seie U,V B, U V = /0. Da gilt für alle B R d, dass Beweis. Da V B, folgt, dass µ (B) µ (B U) + µ (B V ) + µ (B (U V ) c ). µ (B) µ (B V ) + µ (B V c ). Ersetzt ma B durch B U, B U c ud addiert die etsprechede Ugleichuge, so folgt µ (B) µ (B U) + µ (B U c ) µ (B U V ) + µ (B U V c ) + µ (B U c V ) + µ (B U c V c ) = µ (B U) + µ (B V ) + µ (B (U V ) c ). 8

Aus dem zweite Lemma ergibt sich für eie Folge (F k ) paarweise disjukter Mege aus B, dass, für alle N ud B R d, µ (B) Mit Hilfe des erste Lemmas folgt daher, dass µ (B F k ) + µ (B ( k= F k ) c ). k= µ (B) µ (B k= F k ) + µ (B ( k= F k ) c ). Aussage B.iv folgt da mittels Grezübergag Beweis vo Teil C. Es bleibt C.iii zu zeige. Wie bereits gezeigt, gilt für eie Folge (F k ) paarweise disjukter Mege aus B ud B R d, dass µ (B) µ (B F k ) + µ (B ( k= F k ) c ) µ (B k= F k ) + µ ((B k= F k ) c ). k= Die Aussage folgt u mit B := k= F k B ud der Bemerkug ach Lemma.3. Bemerkug: Die durch de Satz vo Daiell-Stoe gegebee Erweiterug I des Rado-Maßes I ka u wie folgt fortgesetzt werde. Sei f : R d R eie Fuktio mit f + := f 0 V ud f := f 0 V. Falls I( f + ),I( f ) <, so ist I( f ) := I( f + ) I( f ). Falls I( f + ) =, I( f ) <, da ist I( f ) :=, ud falls I( f + ) <, I( f ) =, da ist I( f ) :=..4 Kovergezsätze Sei im folgede µ ei Wahrscheilichkeitsmaß auf (R d,b). Defiitio.5. Eie Fuktio f wird Elemetarfuktio geat, falls f eie Darstellug f (x) := a k Bk (x), k= mit N, α k R,B k B (k =,...) besitzt. Die Mege der Elemetarfuktioe wird mit E bezeichet. Das Itegral vo f ist defiiert durch Bemerkuge. f (x)µ(dx) := α k µ(b k ). k= (i) Das Itegral eier Elemetarfuktio ist uabhägig vo der Darstellug. Dies zeigt ma durch de Übergag zu eier gemeisame Verfeierug. 9

(ii) Die Mege E ei Vektorraum. Sie ist abgeschlosse bezüglich edlicher Maxima ud Miima, i.e. mit f,g E sid f g, f g E. (iii) Aalog zur Defiitio der Erweiterug des Rado-Maßes, sei V := { f : f E,0 f f, f f } Lemma.6. Sei f V ud ( f ) eie Folge i E mit f f. Da ist f (x)µ(dx) uabhägig vo der Wahl der Folge f. lim Beweis. Die Schlussweise verläuft u aalog zum Beweis vo Daiell-Stoe. Sei zuächst f E. Da ist lim f dµ f dµ. Um u Gleichheit zu zeige, wähle ε > 0 ud betrachte A := {x : f (x) f (x) > ε}. Es folgt f dµ f dµ = ( E + E c )( f f )dµ = f f dµ + f f dµ E E c ( f f ) µ(e ) + ε. Da ach Vorraussetzug A /0, folgt lim µ(a ) = 0. Da ε beliebig gewählt war, folgt lim f dµ = f dµ. Sei u f V ud ( f ),(g m ) Folge vo Elemetarfuktioe mit f f ud g m f. Da lim ( f g m ) = g m, folgt mit der obere Idetität, dass f dµ = lim ( f g m )dµ sup g m dµ. m m Defiitio.7. Sei f : R d R eie Fuktio mit f + := f 0 V ud f := f 0 V. Falls f + dµ, f dµ <, so ist f dµ := f + dµ f dµ. Falls f + dµ =, f dµ <, da ist f dµ :=, ud falls f + dµ <, f dµ =, da ist f dµ :=. Die Mege der Fuktioe mit edlichem Itegral wird mit { } L (µ) := f : f +, f V, f dµ < 0

bezeichet. Falls für f : R d R {± }, gilt, dass f +, f V, so spricht ma vo eier meßbare, umerische Fuktio. Ist f (x) ±, so spricht ma ur vo eier meßbare Fuktio. Bemerkuge. (i) Da die Zerlegug eier Fuktio f i f + ud f eideutig ist, ist das Itegral wohldefiiert. (ii) L (µ) ist ei Vektorraum, ud f f dµ ist eie positive Liearform. Wir komme u zum wesetliche Teil dieses Abschitts - im Uterschied zum Riema- Itegral existiere für diese Itegralbegriff deutlich stärkere Kovergezaussage. Theorem.8 (Mootoe Kovergez (Beppo Levi)). Sei ( f : N) eie Folge i V, so dass 0 f f + für alle N. Da existiert f (x) := lim f (x) V, ud lim f dµ = lim f dµ = f dµ. Beweis. Für N ist f V. Folglich gibt es eie Folge ( f (m) für m. Sei : m N) i E mit f (m) f h m := max( f (m),..., f (m) m ). Da h m das Maximum edlich vieler Elemetarfuktioe ist, folgt h m E. Nach Defiitio ist h m max( f,..., f m ) f, ud folglich Adererseits ist f (m) lim m h m f. h m für alle m, ud folglich lim m h m f. Daher folgt lim m h m = f, ud folglich f V. Für die Gleichheit der Itegrale beobachte wir zuächst, dass aus f f für alle N f d µ f d µ lim folgt. Adererseits ist (h m ) m N eie Folge i E, die gege f aufsteigt, also gilt f d µ = lim h m d µ lim f m d µ, m m da f m h m für jedes m N. Es folgt u eie leichte Verschärfug des Satzes vo Beppo-Levi. Theorem.9 (Satz vo der mootoe Kovergez). Sei ( f : N) eie mooto wachsede Folge aus meßbarer, umerischer Fuktioe, ud g L (µ), so dass f g für alle. Da gilt lim f dµ = lim f dµ.

Beweis. Im Wesetliche folgt die Behautpug sofort aus der Awedug des Satzes vo Beppo-Levi auf die Folge ( f g : N). Es muss ur gezeigt werde, dass die etsprechede Itegrale defiiert sid. Da ( f ) = ( f 0) (g 0) = g, folgt dass mit g L (µ) auch ( f ),lim ( f ) L (µ) ist. Folglich sid die Itegrale defiiert. f dµ, lim f dµ, ud lim f gdµ Theorem.0 (Lemma vo Fatou). Sei ( f : N) eie Folge meßbarer, umerischer Fuktioe, ud g L (µ) mit f g für alle N. Da gilt lim if f dµ limif f dµ. Beweis. Sei f := limif f ud g m := if m f. Es folgt, dass g m f ud g m g. Nach Theorem.9 folgt daher, dass f dµ = lim g m dµ. m Da g m dµ f dµ für alle m, muss ur och gezeigt werde, dass die Itegrale defiiert sid. Dies folgt aber wie im Beweis vo Theorem.9. Bemerkug. Falls ( f ) eie Folge umerischer Fuktioe mit f g L (µ), so folgt durch Awedug des Lemmas vo Fatou auf die Folge ( f ), dass lim sup f dµ limsup f dµ. Theorem. (Satz vo der majorisierte Kovergez vo H. Lebesgue). Sei ( f : N) eie Folge i L (µ), die gege f : R d R kovergiere, ud sei h L (µ) mit f h für alle N. Da gilt lim f dµ = lim f dµ. Beweis. Durch zweimaliges Awede des Lemmas vo Fatou (auf f h ud f h, i de Ugleichuge mit gekezeichet) ergibt sich sofort, dass lim if f dµ limsup f dµ lim sup f dµ = lim if f dµ limif f A cdµ = limif f dµ.

.5 Eiige wichtige Verteiluge Bevor eiige Beispiele vorgestellt werde, soll a folgede Begriffe eriert werde, wobei µ ei Wahrscheilichkeitsmaß bezeiche. (i) f : R d R wird Dichte geat, falls f 0 ud f dx =. (ii) Falls das Wahrscheilichkeitsmaß µ eie Darstellug f dµ = f df besitzt, so wird F Verteilugsfuktio geat. Im Falle eies Maßes auf R fuktioiert das atürlich immer (F(α) := µ{x : x α}). (iii) Der Erwartugswert E(µ) der Verteilug ist gegebe durch, sofer existet, E(µ) := xdµ. (iv) Das k-te Momet der Verteilug ist gegebe durch, sofer existet, x k dµ. (v) Das k-te zetrierte Momet der Verteilug ist gegebe durch, sofer existet, (x xdµ) k dµ. (vi) Die Variaz Var(µ) ist das zweite zetrierte Momet, ud es gilt Var(µ) := (x ( xdµ) dµ = x dµ xdµ) dµ. (vii) Die Stadardabweichug ist gleich Var(µ). Weiterhi uterscheidet ma zwische stetige ud diskrete Verteiluge. Ma spricht vo eier stetige Verteilug µ, falls µ eie stetige Dichte besitzt, ud vo eier diskrete Verteilug, falls es eie abzählbare Mege vo vollem Maß gibt..5. Beispiele stetiger Verteiluge Beispiel 4 (Gleichverteilug). Sei µ die Gleichverteilug auf [a, b]. Da sid Dichte f ud Verteilugsfuktio F vo µ gegebe durch f (x) := 0 x a b a [a,b], F(x) = x a b a a x b x b. Weiterhi ergibt sich durch direktes achreche, dass E(µ) = a + b (b a), Var(µ) =. 3

Beispiel 5 (Γ-Verteilug). Seie α,β > 0, ud f (x) := xα e x β Γ(α)β α [0, ), Γ(x) := x α e x dx. 0 Durch Substitutio ergibt sich, dass x α e x β = β α x α e x dx = β α Γ(α). 0 0 Isbesodere ist f eie Dichte, ud die so defiierte Verteilug µ wird Γ-Verteilug geat. Um u E(µ), Var(µ) zu bestimme beötigt ma och die folgede Idetitäte für die Γ- Fuktio, wobei i (3) der Satz vo Fubii ud die Substitutio mit Polarkoordiate verwedet wird. Γ(α + ) = x α e x dx = [ x α e x] x α ( e x )dx 0 Γ() = = α 0 0 0 0 x α ( e x )dx = αγ(α), () e x dx =, () Es folgt, dass x f (x)dx = Γ(/) = = = 4 = 4 0 x e x dx 0 0 0 0 π 0 Γ(α + )β α+ Γ(α)β α 0 = αβ, 0 y e y dy xy e (x+y) dxdy e (u +v ) dudv re r dφdr = π (3) x f (x)dx = (α + )αβ. Für Erwartugswert ud Variaz erhalte wir also, dass E(µ) = αβ, Var(µ) = αβ. Beispiel 6 (Expoetialverteilug). Betrachtet ma eie Γ-Verteilug mit α = ud β = λ, so erhält ma eie Expoetialverteilug mit Parameter λ. Für Dichte, Erwartugswert ud Variaz gilt folglich, dass f (x) = λ exp( x/λ) [0, )(x), E(µ) = Var(µ) = λ. 4

Beispiel 7 (Normalverteilug). Die Dichte der Normalverteilug N(µ,σ ) mit Parameter µ R, σ > 0 ist defiiert durch f (x) = πσ e ( x µ σ ). Die Verteilug vo N(µ,σ ) ist eie Wahrscheilichkeitsverteilug, da πσ e ( x µ σ ) y dx = e σ dy = πσ π = e y / dy = π π 0 = π Γ(/) = 0 e y / dy e z z dz = z e z dz π 0 Der Erwartugswert ergibt sich mittels der Substitutio y = x µ σ zu x πσ e ( x µ σ ) σy + µ dx = e y / dy = µ. π Das. Momet berechet sich aalog zu x πσ e ( x µ σ ) dx = =σ =σ π y π e y / dy + 0 z z e z dz + µ = σ π Γ(3/) + µ = σ π Γ(/) + µ, (σy + µ) e y / dy π (σ yµ) e y / dy + π µ π e y / dy wobei im letzte Schritt verwedet wurde, dass Γ(3/) = (/)Γ(/) = (/) (π). Es folgt, dass die Variaz der N(µ,σ)-Verteilug gleich σ ist. Beispiel 8 (Cauchy-Verteilug). Vo eiem Pukt (0, ν) werde Partikel im Wikel θ, θ [ π/, π/] emittiert. Ei Partikel, das mit eiem Wikel θ emittiert wird, trifft auf eie Schirm, der parallel zur y-achse steht, ud der die x-achse i (τ,0) mit τ > 0 scheidet (siehe Abbildug 5). Der Pukt, a dem das Partikel de Schirm trifft, werde mit (τ,g(θ)) bezeichet. Es folgt, dass g(θ) = τ ta(θ) + ν. Isbesodere ist g (x) = arcta((x ν)/τ). Nimmt ma u, dass die Emissio der Partikel der Gleichverteilug µ auf [ π/, π/] folge, so ist die Verteilugsfuktio F vo g(θ) wie folgt gegebe: F(x) = µ({θ : g(θ) x}) = π g (x) π/ dx = arcta((x ν)/τ). π 5

y! " # x g( ) " Abbildug 5: Kostruktio der Cauchy-Verteilug Die durch F gegebee Verteilug wird Cauchy-Verteilug geat. Da lim x F(x) = /, lim x F(x) = /, wird als Verteilugsfuktio oft auch F + / agegebe. Die Dichte ergibt sich u durch das Differeziere vo F: f (x) = F (x) = d dx ( π arcta x ν τ ) = π + ( x ν τ ) τ = π τ + ( x ν τ Der Erwartugswert der Cauchy-Verteilug ist jedoch icht defiiert, obwohl die Dichte symmetrisch zu ν ist: für x ± verhält sich x f (x) wie /x, ud folglich ist das Itegral icht defiiert..5. Beispiele diskreter Verteiluge Beispiel 9 (Beroulli-Verteilug). Die Verteilugsfuktio der Beroulli-Verteilug B(p) mit Erfolgswahrscheilichkeit p [0, ] ist gegebe durch 0 x 0; F(x) := p 0 x < x. ). Erwartugswert,. Momet ud Variaz: xf(dx) = 0 + p = p, x F(dx) = p, x F(dx) p = p( p). Beispiel 0 (Biomialverteilug). Die Verteilugsfuktio der Biomial-Verteilug B(, p) mit Erfolgswahrscheilichkeit p [0,] ud Versuche ist gegebe durch F(x) = [x] k=0 ( ) p k ( p) k. k 6

Erwartugswert,. Momet ud Variaz: ( ) xf(dx) = k p k ( p) k = p k=0 k x F(dx) = p( p) + p x F(dx) p = p( p). Beispiel (Poisso-Verteilug). Die Poisso-Verteilig mit Parameter λ ist defiiert durch Erwartugswert ud. Momet: xf(dx) = x F(dx) = = k=0 k=0 F(x) = [x] exp( λ) λ k k=0 k!. exp( λ)k λ k exp( λ)k λ k k! = λ exp( λ) k=0 k! λ k k! = λ, exp( λ)k(k ) λ k k=0 k! + exp( λ)k λ k k=0 k! = λ + λ. Erwartugswert ud Variaz sid also gleich λ. 3 Grezwertsätze für Folge vo uabhägige Zufallsvariable. 3. Zufallsvariable ud Uabhägigkeit Defiitio 3.. Seie (Ω,F ),(Ω,F ) zwei Messräume. Eie Abbildug X : Ω Ω mit X (F ) heißt meßbar. Ist (Ω,F, µ) ei Maßraum mit eiem Wahrscheilichkeitsmaß µ, so wird eie meßbare Abbildug vo (Ω,F ) ach (R,B) (bzw. (R d,b)) Zufallsvariable (bzw. Zufallsvektor) geat. Die Uabhägigkeit vo Zufallsvariable ist im allgemeie Fall wie folgt defiiert: Defiitio 3.. Ei Zufallsvektor X = (X,...,X d ) (für d N) wird uabhägig geat, (bzw. die Zufallsvariable X,...,X d werde uabhägig geat, falls für jedes d-tupel messbarer ud beschräkter Fuktioe h,...,h d gilt, dass ) ( d E h i (X i ) = d E (h i (X i )). (4) 7

Eie Folge vo Zufallsvariable wird uabhägig geat, falls jede edliche Teilfamilie uabhägig ist. Als direkte Folgerug aus der Defiitio ergibt sich zum Beispiel, dass für (X,...,X d ) uabhägig gilt, dass E(X X X d ) = E(X )E(X ) E(X d ), ud dass (h (X ),...,h d (X d )) uabhägig ist. Der folgede Satz stellt uabhägige Zufallsvariable i Beziehug zu Produkträume - isbesodere wird a diesem eifache Beispiel klar, warum der Kolmogoroffsche Existezbeweis vo abzählbare W-Räume vo so großer Bedeutug ist. Satz 3.3. Sei X = (X,...,X d ) ei Zufallsvektor. (i) Sei X uabhägig, ud jede Zufallsvariable X i habe die Dichte f i. Da ist die Dichte vo X gegebe durch f X (x,...,x d ) = f (x ) f d (x d ). (5) (ii) Ageomme es existiere für alle i =,...,d ei Fuktio f i : R d R, so dass P(X i t) = {Xi t i } für alle t R. Falls für alle t i R gilt, dass ( d ) P {X i t i } = da ist X uabhägig. d {X i t i } f (x ) f d (x d )dx dx d, (6) Beweis. Teil (i): ( ) d P {X i t i } = d {X i t i } f (x)dx d = ( {Xi t i }(x i ) f (x i ))dx dx d = d ( {Xi ti} f (x i )dx i ). Teil (ii): Die Idetität (6) gilt auch für beliebige Mege der Form π i (a i,b i ]. Mit dem Satz vo Daiell-Stoe folgt, dass die Verteilug dadurch eideutig bestimmt ist, ud daher gilt isbesodere auch die Idetität i der Defiitio der Uabhägigkeit. 3. Kovergezbegriffe Defiitio 3.4. Sei (X : N) eie Folge vo Zufallsvariable. Da existiere die folgede Kovergezbegriffe X X, für eie Zufallsvariable X. 8

P (i) X X (Kovergez i Wahrscheilichkeit): (ii) X für alle ε > 0. f.s. X (fast sichere Kovergez): lim P({ X (ω) X(ω) > ε}) = 0 P({ω : lim X (ω) X(ω) = 0}) =. (iii) Sei p <. X L L p X (L p -Kovergez): lim E( X X p ) = 0; (iv) X X bzw. w-limfx = F X (Kovergez i Verteilug oder schwache Kovergez): lim f df X f df X, für alle stetige ud beschräkte Fuktioe f : R R. 3.3 Kovergezsätze für Folge vo uabhägige Zufallsvariable Im folgede werde die drei bedeutedste Grezwertsätze der Stochastik ud Statistik vorgestellt ud zum Teil bewiese. Theorem 3.5 (Starkes Gesetz der große Zahl). Sei (X i : i N) eie Folge vo u.i.v. Zufallsvariable mit E X <. Da ist lim X i = EX fast sicher. Beweisskizze. Awedug des Lemmas vo Borel-Catelli (siehe z.b. [3, S. 85], [, S. 76]). Theorem 3.6 (Theorem vo Gliveko-Catelli, Hauptsatz der mathematische Statistik). Sei (X i : i N) eie Folge vo u.i.v. Zufallsvariable mit E X <, ud Da gilt ˆF (t) := {Xi t}. sup ˆF (t) P(X t) 0. t Beweis. Wird im Kapitel VC-Theorie bewiese werde. 9

Theorem 3.7 (Zetraler Grezwertsatz (Lideberg-Lévy)). Sei (X i : i N) ei Folge vo uabhägige Zufallsvariable, ud sei µ i := EX i, σi := Var(X i ), C := σ i > 0. Da sid (i) ud (ii) äquivalet. (i) Es gilt: C lim sup k (X i µ i ) L N(0,), P( X k µ k /C ε) = 0. (ii) Die Lideberg-Bedigug ist erfüllt: Für alle ε > 0 gilt: L := C E((X i µ i ) { Xi µ i εc })) 0 k= Im Beweis des zetrale Grezwertsatzes soll die Taylorsche Etwicklug verwedet werde. Hierzu beötigt ma das folgede, eifache Lemma. Lemma 3.8. Sei E die Mege der stetige, beschräkte, zweimal differezierbare Fuktioe Fuktioe vo R ach R mit gleichmäßig stetiger ud beschräkter zweiter Ableitug. Sei (P : N) eie Folge vo W-maße ud P ei W-maß. Da impliziert dass w-limp = P. lim f dp f dp für alle f E, Beweis des Lemmas. Durch geeigete Wahl köe Idikatorfuktioe offeer Mege vo ute ud obe durch Elemete aus E approximiert werde (siehe Beweis vo Theorem.). Es folgt, dass die Verteilugsfuktioe a Stetigkeitsstelle kovergiere. Nach Aufgabe 8 der Übuge folgt hiermit die Behauptug. Beweis (ii) = (i) des zetrale Grezwertsatzes. Durch Stadardisierug der Zufallsvariable (i dem ma X i durch X i µ i σ i ) erhält ma ohe Eischräkug, dass µ i = 0, σi = für alle i N, ud dass C =. Der ächste Schritt ist das Eiführe eier Schattestichprobe: Sei (Xi ) eie Folge vo uabhägig N(0,) verteilte Zufallsvariable. Isbesodere ist X i N(0,), X i N(0,). Ohe Eischräkug ehme wir u a, dass (X i ), (Xi ) auf eiem gemeisame W-Raum defiiert sid, ud betrachte für k =,..., Z := X + + X, Z := X + + X, U k := X + + X k + X k+ + + X. 30

Es bleibt also ach dem obige Lemma zu zeige, dass für beliebiges f E, lim E f (Z ) E f (Z ) = 0. Hier köe wir u die Taylorsche Etwicklug is Spiel brige (θ k, θk demetspreched gewählt): [,] werde f (Z ) f (Z ) = = = k= k= f (U k + X k ) f (U k + X k ) ( f (U k ) + f (U k ) Xk + ( f U k + θ ) kx k X k f (U k ) f (U k ) X k (U f k + θ k X k ) X k k= f (U k ) X k Xk ( + f U k + θ ) kx k X k f ) ( U k + θ k X k ) X k Da U k,x k,x k uabhägig sid, folgt, dass E( f (U k )X k ) = E( f (U k )(X k ) = 0, E( f (U k )X k ) = E( f (U k )X k ) = E( f (U k ). Es folgt also, dass E( f (Z ) f (Z )) = k= + E ( E f (U k + θ kx k ) f (U k ) X k ( ) f (U k + θ kxk ) f (U k ) θ k X k Sei u δ(h) := sup x,y: x y h f (x) f (y). Es folgt, dass E f (Z ) E f (Z ) ( E X ( ) k k= δ Xk + E X k ( X ) ) δ k. Nu zerlegt ma die Itegratio i { X k µ k > εc } ud { X k µ k εc }. Es folgt, dass E X k ( ) ( δ Xk X ( ) = E k δ Xk ) { Xk µ k >εc } + X k ( δ Xk ) X { k. <ε} Wählt ma u für η > 0 ei ε > 0, so dass δ(h) η für alle h < ε, so folgt E X k ( ) ( δ Xk X f ) E k C { Xk µ k >εc } + η ). 3

ud ( ( )) Xk E k= δ Xk f C EXk { X k µ k >εc } + η k=. Das ist aber ichts aderes als die Lideberg-Bedigug. Da diese Bedigug ebefalls für die Xk gilt, folgt die Kovergez gege eie Normalverteilug. Es bleibt also die. Eigeschaft vo (i) zu zeige: P( X k µ k /C > ε) = k= k= E( Xk µ k /C >ε) E((X k µ k ) /(εc ) Xk µ k /C >ε) k= (εc ) E((X k µ k ) Xk µ k /C >ε). k= Beweis (i) = (ii). Für de Beweis dieser Richtug sei z.b. auf [, S. 66 74] verwiese. Theorem 3.9 (Zetraler Grezwertsatz vo Lyapuov). Sei (X i : i N) ei Folge vo uabhägige Zufallsvariable, ud sei µ i := EX i, σi := Var(X i ), β i := E( X i µ i 3 ) < ud C := σ i > 0, so dass supβ i <. Falls da gilt, dass Beweis. L (ε) = C C ( lim β i) /3 = 0, C (X i µ i ) L U N(0,). E ( (X i µ i ) ) { Xi µ i >εc } = ε E ε E ( (Xi ) µ i { Xi µi >εc}) ε C ( ) Xi µ 3 i ε ε C C 3 E(X i µ i ) 3 = ε β i C 3 0. Theorem 3.0 (Zetraler Grezwertsatz vo Lévy). Sei (X ) eie Folge vo u.i.v. Zufallsvariable mit 0 < σ := X <. Da gilt, dass σ (X i µ) L U N(0,). 3

Beweis. L (ε) = σ ( ) E (X i µ) { Xi µ >εσ } = σ E(X µ) { X µ >εσ} 0 Im Sie der Vollstädigkeit wird u och der weitere, wichtige Grezwertsatz der W- Theorie formuliert. Nebe der Normierug mit / ud / erhält ma auch für / loglog eie Grezwertsatz. Dieser Grezwertsatz geht auf Khitchi zurück, ud wurde zuerst für die Eiträge der Kettebruchetwicklug bewiese. Theorem 3. (Gesetz des iterierte Logarithmus). Sei (X : N) eie Folge vo u.i.v. Zufallsvariable mit EX = µ ud 0 < σ := E(X µ ) <. Da gilt, dass lim sup i (X µ) = fast sicher. σ loglog 4 Schätze vo Verteiluge Im Folgede soll ahad vo Beobachtuge X,X,...X R d Rückschlüsse auf die zugrudeliegede Verteilug geschlosse werde. Um die Notatio zu vereifache, sei im folgede B d := B(R d ), ud für a = (a,...a d ), b = (b,...b d ) R d sei a < b : a i b i für alle i =,...,d, (a,b] := {x = (x,...,x d ) : x i (a i,b i ]}. Defiitio 4.. Sei u µ ei W-Maß auf B d. Da wird die Fuktio Verteilugsfuktio vo µ geat. Bemerkuge. F µ (x) := µ((,x]) (i) Sei d =. Das Maß eies halboffee, beschräkte Quaders (a,b] R, a = (a,a ), b = (b,b ) R, lässt sich mit der Verteilugsfuktio F wie folgt ausdrücke: µ((a,b]) = F µ (a) F µ (a,b ) F µ (a,b ) + F µ (b). Eie aaloge Darstellug lässt sich für bel. d fide, die etsprechede alterierede Summe hat da d Terme. (ii) Ma ka zeige, dass sich W-Maße auf B d ud Fuktioe F : R d [0,] mit de Eigeschafte, dass 33

(a) für alle k {,...,d} ud y,...,y k,y k+,...y d die Zuordug F k,y,...,y k,y k+,...y d (x) F(y,...,y k,x,y k+,...y d ) eie mooto wachsede Fuktio mit lim x F k,y,...,y k,y k+,...y d (x) = 0 defiiert, (b) die Fuktio F rechtsstetig (i.e. lim x>x0 F(x) = F(x 0 )) ist, (c) ud lim x F(x) = (x im Sie der Relatio < auf R d ), etspreche (siehe z.b. [8, S. 6]). (iii) Ist µ das Produktmaß vo µ auf B d ud µ auf B d, so ist F µ = F µ F µ (iv) Die Defiitio des Riema-Stieltjes Itegral ka aalog zum Riema-Itegral (i R d ) mit Hilfe dieser Defiitio auf R d erweitert werde. (v) Dieser verallgemeierte Itegralbegriff defiiert ei Rado-Maß. Isbesodere gelte die Aussage des Satzes vo Daiell-Stoe. Defiitio 4.. Seie x,...,x R d. Die Fuktio F (x) := (,x] (x i ) = {i : x i x} = [xi, )(x) wird empirische Verteilugsfuktio der Werte x,...,x R d geat. Sei u A B d, ud µ (A) := df = A (x i ). A Das durch µ gegebee Maß auf B d wird empirisches Maß geat. Falls u (X i : i N) eie Folge vo u.i.v. Zufallsvariable mit Werte i R ud E X <, ud A B ist, so folgt mit dem starke Gesetz der große Zahl, dass µ (A) = A (x i ) µ(a) f.s., wobei µ die Verteilug vo X bezeiche. Für diese Beobachtug gilt u folgede, weitreichede Verschärfug. Theorem 4.3 (Satz vo Gliveko-Catelli). Sei (X i : i N) eie Folge vo u.i.v. Zufallsvektore mit Werte i R d, ud sei F die Verteilugsfuktio vo X. Da gilt lim sup x R d F (x) F(x) = 0. Der Beweis dieses Theorems (siehe Korollar 4.7) wird u über Resultate aus der statistische Lertheorie geführt, die auf Vapik ud Chervoekis zurückgehe. Sie habe zudem fudametale Bedeutug i der statistische Lertheorie, da ma durch sie verteilugsuabhägige Abschätzuge für die Fehlerwahrscheilichkeit eies bestimmte Klassifikators erhält (vgl. [6, Kapitel ]). 34

4. VC-Theorie (Vapik-Chervoekis-Theorie) Defiitio 4.4. Sei A eie Familie messbarer Mege aus B d ud N. Da ist der -te Zerlegugskoeffiziet s(a, ) der Familie A wie folgt defiiert ( bezeiche die Kardialität eier Mege): s(a,) := max {A {x,...,x } : A A }. x,...,x R d Bemerkuge. (i) Da eie Mege mit Elemete maximal Teilmege hat, folgt, dass s(a,) für alle N ud Familie messbarer Mege A. (ii) Das Wachstumsverhalte des Zerlegugskoeffiziete bezüglich beschreibt die Komplexität des Megesystems A. Beispiel. Sei r > 0 ud A die Mege aller offee Bälle i R d mit ach ute durch r beschräktem Durchmesser. Da ist s(a,) =. Beispiel 3. Sei A := {(,x] R : x R}. Da ist s(a,) = +. Das sieht ma wie folgt. Seie x,...,x R d, so dass x < x <... < x. Da ist (,x] {x,...,x } = {x,...,x k(x) }, wobei x k(x) := max{x l {x,...,x } : x l x}. Es folgt, dass {A {x,...,x } : A A } = {/0,{x },{x,x },...,{x,...,x }} = +. Beispiel 4. Sei A := {(,x] R : x R d }. Da ist s(a,) ( + ) d. Das lässt sich wie folgt zeige: Seie x,...x R d, ud x i = (x () i,...x (d) i ). Ma ka u o.e. aehme, dass die x i i allgemeier Lage sid, i.e. die j-te Koordiate (x ( j) i ) der x i sid paarweise verschiede. Für j =,...d, wähle eie Permutatio τ j aus der symmetrische Gruppe über Elemete, so dass x ( j) j) j) τ j < x( (0) τ j < < x( () τ j (). Isbesodere folgt wie obe, dass { } { } {y R d : y ( j) α} {x,x,...x } : α R = /0,{x τ j (0)},...,{x τ j (0),...,x τ j ()}. Da sich ei Quader (,x] R d als Schitt vo Halbräume darstelle lässt, folgt {(,x] {x,x,...x } : x R} = = d j= d j= Hiermit folgt sofort, dass s(a,) ( + ) d. { } {y R d : y ( j) x ( j) } {x,x,...x } : x ( j) R { } /0,{x τ j (0)},...,{x τ j (0),...,x τ j ()}. 35