Angewandte Stochastik II

Vorlesugsskript Agewadte Stochastik II Dr. Katharia Best Witersemester 2010/2011

Ihaltsverzeichis 1 Grudidee der statistische Dateaalyse 5 1.1 Stichprobe.............................................. 5 1.2 Beispiele für Stichprobefuktioe................................ 7 1.2.1 Stichprobemittel....................................... 7 1.2.2 Stichprobevariaz...................................... 8 1.2.3 Empirische Verteilugsfuktio.............................. 9 2 Parameterschätzug 11 2.1 Puktschätzug............................................ 11 2.1.1 Eigeschafte vo Schätzer................................ 11 2.1.2 Methode der Puktschätzug............................... 13 2.2 Prüfverteiluge........................................... 22 2.2.1 χ 2 -Verteilug......................................... 23 2.2.2 t-verteilug.......................................... 23 2.2.3 F-Verteilug.......................................... 24 2.3 Itervallschätzug.......................................... 25 2.3.1 Eie-Stichprobe-Probleme.................................. 26 2.3.2 Asymptotische Kofidezitervalle............................ 33 3 Statistische Tests 35 3.1 Prizipie des Testes........................................ 35 3.2 Aufbau eies statistische Tests................................... 35 3.3 Parametertests bei Normalverteilug................................ 38 3.4 Äquivaleztest............................................ 44 3.5 p-wert versus Kofideziveau................................... 46 3.6 Asymptotische Tests......................................... 46 3.6.1 χ 2 -Apassugstest...................................... 46 3.6.2 χ 2 -Uabhägigkeitstest................................... 48 4 Lieare Regressio 51 Versio 20. Februar 2011 3

Ihaltsverzeichis 4 Versio 20. Februar 2011

1 Grudidee der statistische Dateaalyse Im alltägliche Sprachgebrauch versteht ma uter Statistik eie Darstellug bzw. Beschreibug vo Ergebisse zusammegestellter Date ud Fakte uterschiedlichster Art, wie z. B. politische Umfrage, ökoomische Kegröße, Marktforschugsumfrage, kliische Studie, Eiwoherdate, usw. Das hägt mit dem Ursprug des Wortes Statistik zusamme, das vom lateiische statisticum, de Staat betreffed, abstammt. Isofer war die amtliche Statistik die erste beschreibede Statistik. Gegestad der mathematische Statistik higege sid die Beschreibug ud Utersuchug der Eigeschafte ud Gesetzmäßigkeite vo Datesätze. Dabei werde aus mehr oder weiger große Stichprobe Aussage über die Grudgesamtheit gewoe. Die utersuchte Date sid dabei eierseits reale Date, wie sie sich aus der Beobachtug vo z. B. Vorgäge bzw. Strukture i der Natur, Techik oder Wirtschaft ergebe, oder adererseits sythetische Date, die bei der Simulatio solcher Vorgäge bzw. Strukture durch Algorithme erzeugt werde. Die grudlegede Idee der Statistik ist die stochastische Modellierug der Date ud Fragestelluge. Dabei utzt die Statistik Begriffe ud Ergebisse der Wahrscheilichkeitsrechug, wie sie i der Verastaltug Agewadte Statistik I im Sommersemester 2010 behadelt wurde. Dazu zähle Ereigisse ud Wahrscheilichkeit, Zufallsvariable ud Verteilug, stochastische Uabhägigkeit, Gesetz der große Zahle, zetraler Grezwertsatz, als wichtigste geat. 1.1 Stichprobe Die geaueste ud eifachste Atwort auf statistische Frage erhält ma, we ma alle Elemete der Grudgesamtheit auf die iteressierede Größe, das Merkmal utersucht, also eie Vollerhebug durchführt. Das ist jedoch meist icht praktikabel ud auch icht ötig. Oft reicht es, aus eier Grudgesamtheit eie Stichprobe zu ziehe. Versio 20. Februar 2011 5

1 Grudidee der statistische Dateaalyse Im Hiblick auf die Aussagekraft der mathematische Statistik, ist es erforderlich, dass diese Stichprobe hisichtlich des Utersuchugsmerkmals möglichst repräsetativ ist ud keierlei Tedeze aufzeigt. So ist z. B. zur Utersuchug der Lebesverhältisse vo Persoe mit eiem Haushaltseikomme vo uter 1000 e die eiseitige Befragug i eiem Studetewohheim icht geeiget. Diese Eigeschaft der Repräsetativität ist keie, die die eizele Stichprobe auszeichet, de da müsste ma die Grudgesamtheit kee, soder eie Eigeschaft des Verfahres zur Auswahl der Stichprobeelemete. Zufallsstichprobe Ageomme, wir habe Date x 1, x 2,..., x. Dabei muss x i icht eie Zahl ethalte, soder ka ei Vektor sei mit beispielsweise de Eiträge für Alter, Eikomme, Wohort, Haushaltsgröße bei Eiwoherdate. I dieser Vorlesug behadel wir jedoch hauptsächlich eidimesioale Merkmale, also x i R für alle 1 i. Wir ehme a, dass de Date ei stochastisches Modell X = X 1,..., X zu Grude liegt. Dabei ist X eie Zufallsvariable auf eiem Wahrscheilichkeitsraum Ω, F, P, also X = X 1,..., X : Ω X. Defiitio 1.1 Stichprobe: a X = X 1,..., X heißt Zufallsstichprobe. b Der Bildbereich X heißt Stichproberaum. c Jede Realisierug Xω = x 1,..., x der Zufallsvariable X heißt kokrete Stichprobe. d Die Dimesio vo X wird Stichprobeumfag geat. Amerkug: Oft sid X 1,..., X uabhägige, idetisch verteilte Zufallsvariable. Um vo Variaz spreche zu köe, setze wir EXi 2 < für 1 i voraus. Gegeüber der Wahrscheilichkeitsrechug ist jetzt i der Statistik eu, dass das zu Grude liegede Wahrscheilichkeitsmaß P icht gegebe ist. Vielmehr ist es Aufgabe der Statistik, das Wahrscheilichkeitsmaß P bzw. die Verteilug vo X über ihre Verteilugsfuktio F zu bestimme, schätze geat. Amerkug: Statt eier Wahrscheilichkeitsverteilug ist eie Familie P vo Wahrscheilichkeitsverteiluge gegebe. Diese lässt sich oft parametrisiere, d. h. P = {P θ : θ Θ}, wobei Θ der Parameterraum ist. Beispiel 1.2: Vo eiige Schraubeschachtel habe sich die Aufkleber abgelöst. Ma geht davo aus, dass die Schraubebreite i jeder Schachtel ormalverteilt ist ud die Variaz gleich ist, sage wir σ 2. I diesem Fall ist P = {N µ, σ 2 : µ R} mit dem freie Parameter µ. Amerkug: Zur Beschreibug vo Verteiluge werde charakteristische Eigeschafte der Lage ud Form der Häufigkeitsverteiluge verwedet. Dazu gehöre verschiedee Mittel, wie das arithmetische oder das geometrische Mittel, empirische Streuug, oder auch die Schiefe der Häufigkeitsverteilug, um ur eiige zu ee. Um diese Aufgabe zu begege, beötige wir Fuktioe auf dem Stichproberaum, die us die Bewertuge der Stichprobe liefer. 6 Versio 20. Februar 2011

1.2 Beispiele für Stichprobefuktioe Defiitio 1.3 Stichprobefuktio ud Statistik: Eie messbare Abbildug ϕ : X R m heißt Stichprobefuktio. Auf die Zufallsstichprobe X = X 1,..., X agewedet, wird die Zufallsvariable ϕx 1,..., X betrachtet ud eie Statistik geat. Amerkug: I der Schätztheorie wird eie Statistik Schätzer geat, bei statistische Tests spricht ma vo Teststatistik. Im Folgede wolle wir us zuerst zwei Beispiele vo Stichprobefuktioe asehe, das Stichprobemittel ud die Stichprobevariaz. Seie vo u a falls icht aders agegebe X 1,..., X uabhägige, idetisch verteilte Zufallsvariable auf R ud X = X 1,..., X die Zufallsstichprobe. 1.2 Beispiele für Stichprobefuktioe 1.2.1 Stichprobemittel Zuächst beschäftigt us die Frage ach der Bestimmug des Erwartugswertes µ = EX 1 der Stichprobevariable aus der Stichprobe. Sei σ 2 = VarX 1. Defiitio 1.4 Stichprobemittel: Sei ϕ : R R mit ϕx 1,..., x = 1 x i die Stichprobefuktio, die eier Stichprobe ihr arithmetisches Mittel zuweist. Die Zufallsvariable X = ϕx = 1 heißt Stichprobemittel der Zufallsstichprobe X 1,..., X. X i 1.1 Aus dem Gesetz der große Zahle köe wir de folgede Satz über das Stichprobemittel formuliere. Satz 1.5: I Abhägigkeit des Erwartugswertes µ ud der Variaz σ 2 der Stichprobevariable X 1 lasse sich ud der Erwartugswert ud die Variaz vo X, agebe. EX = µ 1.2 VarX = σ2, 1.3 Wie wir sehe, ist X also ei geeigeter Schätzer für de Erwartugswert, der keie systematische Fehler macht. Er ka jedoch och recht ugeau sei; über die Schätzgeauigkeit gibt us die Variaz Auskuft. Wir köe a dieser auch ablese, dass die Schätzgeauigkeit mit wachsedem verbessert wird. Über die Verteilug vo X lasse sich aus dem zetrale Grezwertsatz Schlüsse ziehe. Versio 20. Februar 2011 7

1 Grudidee der statistische Dateaalyse Satz 1.6: Für alle z R gilt lim P X µ σ/ z = Φz 1.4 wobei Φ die Verteilugsfuktio der Stadardormalverteilug ist. Damit köe wir durch Betragsbildug die Wahrscheilichkeit für die Abweichug des Stichprobemittels X vo µ um eie bestimmte Wert ε > 0 agebe. 1.2.2 Stichprobevariaz Als ächstes widme wir us der Frage ach der Bestimmug der Variaz VarX 1 der Stichprobevariable aus der Stichprobe. Defiitio 1.7 Stichprobevariaz: Wir betrachte die Stichprobefuktio ϕ : R R gegebe durch ϕx 1,..., x = 1 1 x i x 2. Die Zufallsvariable S 2 = ϕx = 1 1 heißt Stichprobevariaz der Zufallsstichprobe X 1,..., X. X i X 2 1.5 Wir gehe aalog zum Stichprobemittel vor ud gebe de Erwartugswert ud die Variaz vo S 2 a. Satz 1.8: I Abhägigkeit des Erwartugswertes µ ud der Variaz σ 2 der Stichprobevariable X 1 erreche sich der Erwartugswert ud die Variaz vo S 2 als ES 2 = σ 2 1.6 ud VarS 2 = 1 µ 4 3 1 σ4 1.7 wobei µ 4 = EX 4 1 das vierte Momet ud σ4 = σ 2 2 die quadrierte Variaz der Stichprobevariable X 1 bezeiche. Auch hier mache wir demach keie systematische Fehler. Ebefalls aalog erhalte wir Satz 1.9: Falls EX1 4 < ist, gilt für alle z R. lim P S 2 σ 2 µ4 σ 4 / z = Φz 1.8 8 Versio 20. Februar 2011

1.2 Beispiele für Stichprobefuktioe 1.2.3 Empirische Verteilugsfuktio Auch die Verteilugsfuktio F der Stichprobevariable X 1 lässt sich aus der Stichprobe schätze. Der Fall ist ur isofer komplizierter, als wir eie Zufallsvariable für alle Werte y R defiiere, d. h. eie Familie vo Zufallsvariable habe. Notatio: Für eie Mege A gibt A die Mächtigkeit vo A a, d. h. die Azahl der Elemete der Mege A. Defiitio 1.10 Empirische Verteilugsfuktio: Wir betrachte für alle y R die Stichprobefuktio ϕ : R R [0, 1] gegebe durch ϕx 1,..., x y = 1 { i : 1 i mit x i y }, die die relative Häufigkeit der Stichprobewerte { } agibt, welche de betrachtete Wert y icht überschreite. Wir erhalte die Familie ˆF y : y R vo Zufallsvariabe ˆF y : Ω [0, 1] mit ˆF y = ϕxy = 1 { i : 1 i mit X i y } 1.9 ud ee sie die empirische Verteilugsfuktio der Zufallsstichprobe X 1,..., X. Amerkug: Eie solche Familie vo Zufallsvariable ist ei empirischer Prozess ud ist eie Klasse stochastischer Prozesse. Auch bei der empirische Verteilugsfuktio köe wir Aussage über Erwartugswert, Variaz ud Verteilug treffe. Satz 1.11: Für alle y R gelte folgede Eigeschafte: i Die Zufallsvariable ˆF y ist biomialverteilt mit de Parameter ud p = Fy, d. h. für k = 0, 1,..., gilt P ˆF y = k = ii isbesodere erhalte wir damit de Erwartugswert ud die Variaz Fy k k 1 Fy, 1.10 k E ˆF y = Fy 1.11 Var ˆF y = 1 Fy 1 Fy. 1.12 iii Falls 0 < Fy < 1, so gilt für alle z R außerdem lim P ˆF y Fy Fy 1 Fy / z = Φz. 1.13 BEWEIS Die Zufallsvariable ˆF ka als die Azahl der Erfolge beim -malige Müzwurf mit idetische Erfolgswahrscheilichkeite p = Fx aufgefasst werde. Daraus ergebe sich die Eigeschafte i ud ii, für iii wird da der zetrale Grezwertsatz für biomialverteilte Zufallsvariable beötigt. Wir sehe, dass auch hier kei systematischer Fehler gemacht wird. Versio 20. Februar 2011 9

1 Grudidee der statistische Dateaalyse 10 Versio 20. Februar 2011

2 Parameterschätzug Im folgede wolle wir die Schätzug der Parameter systematischer betrachte. Dabei wolle wir sowohl utersuche, wie gut der Schätzer a de wahre Wert herareicht, also seie Güte beurteile, als auch Methode zur Kostruktio eies Schätzers keelere. 2.1 Puktschätzug Wir gehe vo eier parametrische Familie P = {P θ : θ Θ} aus, die idetifizierbar ist, d. h. die Abbildug θ P θ ist bijektiv, also aus θ 1 = θ 2 folgt, dass P θ1 = P θ2, ud umgekehrt. Sei dabei Θ R m der Parameterraum ud θ = θ 1,..., θ m der Parametervektor des Wahrscheilichkeitsmaßes P θ mit der Verteilugsfuktio F θ. Sei X = X 1,..., X die Zufallsstichprobe ud seie X 1,..., X uabhägig, idetisch verteilt i.i.d. auf R mit der Verteilugsfuktio F θ, die vo dem ubekate Parameter θ abhägt. Das Wahrscheilichkeitsmaß P ist da gegebe durch P {ω : X1 ω y 1,..., X ω y } = F θ y 1... F θ y 2.1 für y 1,..., y R. Damit habe wir auch sofort über Grezwertbildug i 1 Dimesioe eie Aussage für die eizele Stichprobevariable X i der Zufallsstichprobe lim y j für j =i mit y i R für alle 1 i. P {ω : X1 ω y 1,..., X ω y } = P {ω : Xi ω y i } = F θ y i 2.2 Notatio: Damit köe wir, um zu betoe, dass P kaoisch vo dem Parameter θ abhägt, ud sich des Uterschiedes zwische P θ ud P bewusst seied, die Notatio P = P θ eiführe, aalog für de Erwartugswert ud die Variaz bezüglich P θ die Bezeichuge E θ resp. Var θ. Wir wolle aus eier Stichprobe de Parametervektor θ schätze. Ma et da die Stichprobefuktio ˆθ : R R m eie Puktschätzer. Bevor wir us damit beschäftige, lere wir och eiige Eigeschafte vo Schätzer kee. 2.1.1 Eigeschafte vo Schätzer Ei Schätzer soll keie systematische Fehler mache, d. h. weder über- och uterschätze. Versio 20. Februar 2011 11

2 Parameterschätzug Defiitio 2.1 Erwartugstreue ud Bias: Ei Schätzer ˆθX 1,..., X für de Parameter θ, für de E θ ˆθX 1,... X < für alle θ Θ gilt, heißt erwartugstreu, falls E θ ˆθ = θ 2.3 für alle θ Θ. Er heißt asymptotisch erwartugstreu, falls für alle θ Θ. lim E θ ˆθ = θ 2.4 Der Bias oder die Verzerrug des Schätzers ist gegebe durch streggeomme Bias θ ˆθ. Ist ˆθ erwartugstreu, so gilt Bias ˆθ = 0. Bias ˆθ = E θ ˆθ θ, 2.5 Beispiel 2.2: Seie die Stichprobevariable X i ormalverteilt ud sei { } P = N µ, σ 2 : µ R, σ 2 > 0 die parametrisierte Familie. Da ist θ = µ, σ 2, also m = 2, ud aus 1.2 ud 1.6 folgt, dass der Schätzer ˆθ = X, S 2 für θ erwartugstreu ist. Amerkug: A dieser Stelle verstehe wir auch, wieso für die Variaz die Stichprobevariaz S 2 dem kaoischer erscheiede Schätzer 1 X i X 2 gegeüber bevorzugt verwedet wird. Defiitio 2.3 Erwartete mittlere quadratische Abweichug: Der mittlere quadratische Fehler, eglisch mea squared error, eies Schätzers ˆθX 1,..., X für θ, für de E θ ˆθX 1,... X 2 < für alle θ Θ gilt, ist gegebe durch ud lässt sich für m = 1 i der Form ausdrücke. Ist ˆθ erwartugstreu, so gilt MSE ˆθ = Var θ ˆθ. MSE ˆθ := E θ ˆθ θ 2 2.6 MSE ˆθ = Var θ ˆθ + Bias θ ˆθ 2 2.7 Defiitio 2.4: Seie ˆθ 1 X 1,..., X ud ˆθ 2 X 1,..., X zwei Schätzer für θ, für die für alle θ Θ gilt E θ ˆθX 1,... X 2 < ud E θ ˆθX 1,... X 2 <. Da sagt ma, dass ˆθ 1 effizieter ist als ˆθ 2, falls MSE ˆθ 1 MSE ˆθ 2 für alle θ Θ 2.8 gilt. Sid die Schätzer erwartugstreu, ist im Fall m = 1 der Schätzer ˆθ 1 effizieter als ˆθ 2, falls gilt. Var θ ˆθ 1 Var θ ˆθ 2 für alle θ Θ 2.9 12 Versio 20. Februar 2011

2.1 Puktschätzug Statt effizieter werde auch die Bezeichuge besser oder wirksamer verwedet. Defiitio 2.5 Bester erwartugstreuer Schätzer: Ei erwartugstreuer Schätzer ˆθX 1,..., X für θ, für de E θ ˆθX 1,... X 2 < für alle θ Θ gilt, ist der beste erwartugstreue Schätzer oder effizieteste Schätzer, falls er i der Klasse der erwartugstreue Schätzer die kleiste erwartete mittlere quadratische Abweichug besitzt. Für m = 1 ist der Schätzer ˆθX 1,..., X der beste erwartugstreue Schätzer, falls für jede erwartugstreue Schätzer θx 1,..., X gilt, dass Var θ ˆθ Var θ θ für alle θ Θ 2.10 d. h. ˆθ hat i der Klasse aller erwartugstreue Schätzer für θ die miimale Variaz. Defiitio 2.6 Kosistez: Ei Schätzer ˆθX 1,..., X für θ heißt P i schwach kosistet, falls ˆθ θ für, d. h. ˆθ stochastisch gege θ kovergiert, d. h. lim P θ ˆθX 1,..., X θ > ɛ = 0 für alle θ Θ. 2.11 f. s. ii stark kosistet, falls ˆθ θ für, d. h. ˆθ fast sicher gege θ kovergiert, d. h. P θ lim ˆθX 1,..., X = θ = 1 für alle θ Θ. 2.12 Defiitio 2.7 Asymptotische Normalverteilug: Sei ˆθX 1,..., X ei Schätzer für θ. i Der Fall m = 1. Falls 0 < Var θ ˆθ < für alle θ Θ ud ˆθX 1,..., X E θ ˆθX 1,..., X Var θ ˆθX 1,..., X d Y N 0, 1 2.13 da ist ˆθ asymptotisch ormalverteilt. ii Der Fall m > 1. Die Kovariazmatrix Cov θ ˆθ des Schätzers ˆθ sei für alle N ud für alle 1/2 θ Θ positiv defiit. Bezeiche mit Cov θ ˆθ die positiv defiite Matrix L, für die L L = Covθ ˆθ gilt. Sei weiterhi 1/2 Cov θ ˆθX 1,..., X d ˆθX 1,..., X E θ ˆθX 1,..., X Y N 0, I m 2.14 wobei I m die m-dimesioale Eiheitsmatrix ist ud 0 de m-dimesioale Nullvektor bezeichet, da ist ˆθ asymptotisch ormalverteilt. Amerkug: Das Stichprobemittel ud die Stichprobevariaz sid ach 1.4 ud 1.8 asymptotisch ormalverteilt. Außerdem sid sie sowohl schwach als auch stark kosistet, was wir icht gezeigt habe. 2.1.2 Methode der Puktschätzug Mometemethode Bevor wir us der Kostruktio des Schätzers widme, müsse wir och eiige Bezeichuge defiiere. Versio 20. Februar 2011 13

2 Parameterschätzug Defiitio 2.8 Momet ud Stichprobemomet: Seie X, X 1,..., X i. i. d. Zufallsvariable ud gelte E X i k < für k N. Da ist das k-te Momet vo X ud µ k := EX k 2.15 ˆµ k := 1 Xi k 2.16 das k-te Stichprobemomet oder das k-te empirische Momet der Stichprobe X = X 1,..., X. Wir gehe vo eier Zufallsstichprobe X = X 1,..., X mit X 1,..., X i. i. d. aus. Defiitio 2.9 Mometemethode-Schätzer: Es gelte E θ X i r für ei r m ud seie die Momete µ 1,..., µ r als Fuktioe des Parametervektors θ = θ 1,..., θ m Θ gegebe, d. h. es existiere für 1 k m Borel-messbare Fuktioe g k so dass µ k = g k θ 1,..., θ m. Falls das Momete- Gleichugssystem ˆµ k = g k θ, für 1 k r 2.17 eideutig lösbar bezüglich θ ist, so heißt die Lösug Mometeschätzer oder M-Schätzer vo θ. ˆθX 1,..., X 2.18 Beispiel 2.10 Mometeschätzer bei der Normalverteilug: Seie X 1,..., X ormalverteilt mit Erwartugswert µ ud Variaz σ 2, sei θ = µ, σ 2 der Parametervektor, für de wir eie M-Schätzer suche. Für die Momete gelte folgede Gleichuge g 1 µ, σ 2 = E θ X 1 = µ, g 2 µ, σ 2 = E θ X 2 1 = Var θx 1 + E θ X 1 2 = σ 2 + µ 2. 2.19 Damit ergibt sich das Gleichugssystem 1 1 X i = ˆµ 2.20 Xi 2 = ˆσ 2 + ˆµ 2 womit wir de Schätzer ˆµ, ˆσ 2 mit ˆµ = 1 ˆσ 2 = 1 X i = X, Xi 2 ˆµ 2 = 1 Xi 2 1 2 X i = 1 2 X i X 2 = 1 S2 2.21 erhalte. Wir wisse scho, dass ˆµ erwartugstreu ist. Weiterhi gilt weswege ˆσ 2 icht erwartugstreu ist. E θ ˆσ 2 = 1 E θs 2 = 1 σ2, 14 Versio 20. Februar 2011

2.1 Puktschätzug Amerkug: a Bei mache Verteilugsfamilie besitzt das Gleichugssystem 2.18 für r = m keie eideutige Lösug us es sid r > m Gleichuge otwedig. Das ist z. B. der Fall, we eiige Fuktioe ϕ i kostat sid. b Die i Abschitt 2.1.1 keegelerte Eigeschafte gelte icht allgemei, isbesodere sid die M-Schätzer icht immer erwartugstreu. c Die Mometemethode liefert oft icht de beste Schätzer, lässt sich aber im Allgemeie gut bereche ud ist uiversell awedbar. d Uter gewisse Regularitätsbediguge ist der M-Schätzer asymptotisch ormalverteilt. Maximum-Likelihood Schätzer Eie weitere Methode der Parameterschätzug ist die Maximum-Likelihood-Methode. Amerkug: Ziel ist es, die Parameter so zu bestimme, dass eie möglichst gute Apassug des Modells a die beobachtete Date erreicht wird. Aders gesagt gehe wir davo aus, dass die beobachtete Date wahrscheilich ware ud maximiere bei der Maximum-Likelihood-Methode die Wahrscheilichkeit für das Eitrete des Ereigisses. Wir suche de Parameter des parametrische Modells, der die höchste Wahrscheilichkeit für die beobachtete Date liefert. Im Folgede beschräke wir us auf die Fälle, bei dee die Stichprobevariable etweder diskret sid, da existiert eie Zähldichte p θ, oder absolut stetig, da existiert eie Dichtefuktio f θ. Amerkug: Zur Erierug sei festgehalte, dass eie Zufallsvariable X diskret ist, we PX C = 1 für eie abzählbare Mege C R gilt. Die Zähldichte { py : y C } ist defiiert durch py = PX = y für y C. Eie Zufallsvariable ist absolut stetig, we die Verteilugsfuktio F X eie Itegraldarstellug besitzt, i. e. F X y = y f Xxdx für alle y R gilt. Die Fuktio f X ist die Dichte der Verteilug. Defiitio 2.11 Likelihood-Fuktio: i Seie die Stichprobevariable X 1,..., X diskret, sei p θ x die Zähldichte ud sei x = x 1,..., x X gegebe. Da ist die Likelihoodfuktio L x : Θ R gegebe durch L x θ := P θ x = p θ x 1... p θ x. 2.22 ii Seie die Stichprobevariable X 1,..., X absolut stetig, sei f θ x die Dichtefuktio ud sei die Stichprobe x = x 1,..., x X gegebe. Da ist die Likelihoodfuktio L x : Θ R gegebe durch L x θ := P θ x = f θ x 1... f θ x. 2.23 Wir wolle de Wert der Likelihood-Fuktio maximiere, um eie Parameter zu erhalte, so dass die Stichprobe mit möglichst großer Wahrscheilichkeit auftrete ka. Defiitio 2.12 Maximum-Likelihood-Schätzer: Sei ˆθ : R Θ R m eie Stichprobefuktio mit L x ˆθ = max θ Θ L xθ für alle x X. 2.24 Da wird ˆθX der Maximum-Likelihood-Schätzer oder ML-Schätzer vo θ geat. Wir verdeutliche das Prizip a eiem Beispiel. Versio 20. Februar 2011 15

2 Parameterschätzug Beispiel 2.13: Wir betrachte eie Warelieferug vo 12 Exemplare eies Artikels, bei der wir de Hersteller icht kee. Wir wisse, dass ur drei potetiell mögliche Hersteller i Frage komme. Dere Lieferuge weise folgede Ausschussateile aus: θ 1 = 0, 05 erster Hersteller, θ 2 = 0, 10 zweiter Hersteller ud θ 3 = 0, 15 dritter Hersteller. Bei der Prüfug der Lieferug wird festgestellt, dass der Ausschuss geau ei Exemplar ist. Wir wolle jetzt de vermutliche Hersteller der vorliegede Warelieferug ermittel. Dazu betrachte wir die Stichprobe X = X 1,..., X 12 mit { 1, falls das i-te Exemplar Ausschuss ist, X i ω = 0 falls das i-te Exemplar i Ordug ist. ud die parametrische Familie P := { Bi1, η : η {θ 1, θ 2, θ 3 } } mit de drei Beroulli-Verteiluge zu de Parameter θ 1, θ 2 ud θ 3. Der Schätzer ist die Stichprobefuktio ˆθ : {0, 1} 12 Θ, die so gewählt ist, dass für alle Stichprobe x = x 1,..., x 12 mit {i : x i = 1} = 1 die Likelihoodfuktio maximal ist. Dazu betrachte wir die Tabelle L x θ = P θ {X = x} = θ1 θ 11 θ L x θ 0, 05 0, 028 0, 10 0, 031 0, 15 0, 025 aus der folgt, dass das Maximum bei 0, 031 liegt ud somit ˆθx = θ 2 ist, d. h. vermutlich war der zweite Hersteller mit dem Ausschussateil 0, 10 der Lieferat. Amerkug: a Bei mache parametrische Verteilugsfamilie ist der Maximum-Likelihood- Schätzer icht eideutig bestimmt. b Erster Asatz für das Optimierugsproblem ist Differetiatio, die bereits oft zum Erfolg führt. c Häufig gibt es keie aalytische Lösug. Da werde umerische Verfahre, z. B. die Newto- Raphso Methode verwedet. Als Startpukt der Iteratio eiget sich der Mometemethode-Schätzer. Oft ist vorteilhafter, sich statt der Likelihoodfuktio die Loglikelihoodfuktio azusehe. Defiitio 2.14: Sei x = x 1,..., x X gegebe ud L x : Θ R die Likelihoodfuktio. Da ist log L x θ die Loglikelihoodfuktio der Stichprobe x. Amerkug: a Da der Logarithmus mooto ist, gilt argmax L x θ = argmax log L x θ 2.25 die Likelihoodfuktio ud die Loglikelihoodfuktio ehme ihr Maximum a selber Stelle a. b Der Vorteil ist, dass das Produkt i der Likelihoodfuktio i eie Summe i der Loglikelihoodfuktio übergeführt wird, die oft eifacher hadhabbar ist. Dies gilt isbesodere bei umerische Betrachtuge. 16 Versio 20. Februar 2011

2.1 Puktschätzug Im Folgede betrachte wir eiige parametrische Familie ud die etsprechede ML-Schätzer. Beispiel 2.15 Beroulli-Verteilug: Die parametrische Familie der Beroulli-Verteiluge ist P = { Bi1, η : η [0, 1] }. Für die Zähldichte gilt p η y = η y 1 η 1 y für y {0, 1} ud die Likelihoodfuktio ist defiiert als L x η = η x i1 η 1 x i für x = x 1,..., x X = {0, 1} Wir wolle jetzt das Maximum bestimme: Falls x = 0,..., 0, so hat L }{{} x η bei η = 0 ei Maximum. mal Aalog ist bei x = 1,..., 1 der Wert η = 1 das Maximum. }{{} mal Aderfalls köe wir die Loglikelihoodfuktio betrachte, log L x η = x i log η + x i log1 η die im Itervall 0, 1 stetig ist mit de Grezwerte lim log L xη = ud lim log L x η =, η 0 η 1 woraus folgt, dass L x η i dem Itervall 0, 1 ei Maximum besitzt. Um das Maximum zu bereche, differeziere wir ach η ud erhalte die Gleichug 1 x i 1 η = 0, η log L 1 xη = x i η welche die eideutig bestimmte Lösug ˆηx = 1 x i besitzt. Der ML-Schätzer für de Parameter η ist gegebe durch ˆηX = 1 X i = X Aalog gehe wir bei der Biomialverteilug vor. Beispiel 2.16 Biomialverteilug: Sei m N gegebe. Die parametrische Familie der Biomialverteiluge mit eiem Umfag vo m ist P = { Bim, η : η [0, 1] }. Für die Zähldichte gilt p η y = m η y 1 η m y für y {0, 1,..., m} y Versio 20. Februar 2011 17

2 Parameterschätzug ud die Likelihoodfuktio ist defiiert als m L x η = x i η x i1 η m x i für x = x 1,..., x X = {0, 1,..., m}. Nach ähliche Vorüberleguge wie im Beispiel 2.15, differeziere wir ach η ud erhalte die Gleichug 1 m x i 1 η = 0, ud somit de ML-Schätzer η log L 1 xη = x i η ˆηX = 1 X i m = X m. Beispiel { 2.17 Normalverteilug: } Wir betrachte die parametrische Familie der Normalverteiluge P = N µ, σ 2 : µ R, σ 2 > 0. Für die Dichtefuktio gilt f µ,σ 2y = 1 exp 1 2πσ 2 y µ 2 σ für y R ud die Likelihoodfuktio ist defiiert als L x µ, σ 2 1 = exp 2πσ 1 2σ 2 xi µ 2 für x R ud die Loglikelihoodfuktio ist log L x µ, σ 2 = log 2πσ 1 2σ xi 2 µ 2 für x R Wir widme us zuerst dem Parameter µ. Die Abbildug µ log L x µ, σ 2 ist stetig. Außerdem gilt lim log L xµ, σ 2 = ud lim log L x µ, σ 2 =, µ µ woraus folgt, dass µ L x µ, σ 2 i R ei Maximum besitzt. Differetiatio ach µ liefert die Gleichug µ log L xµ, σ 2 = 1 σ 2 x i µ = 0, welche die Lösug ˆµx = 1 x i = x besitzt. Da 2 µ 2 log L x µ, σ 2 = σ 2 < 0 ist, ist die gefudee Lösug auch wirklich das Maximum, ud zwar für jedes fest vorgegebee σ 2 > 0. Jetzt utersuche wir de Parameter σ 2. Die Abbildug σ 2 log L x x, σ 2 ist stetig für σ 2 > 0. Da für absolut stetige Zufallsvariable PX 1 =... = X = 0 ist, gilt weiter lim log L x x, σ 2 = ud lim log L x x, σ 2 =, σ 2 0 σ 2 woraus folgt, dass σ 2 L x x, σ 2 i 0, ei Maximum besitzt. Differetiatio ach σ 2 liefert die Gleichug σ 2 log L xx, σ 2 = 2σ 2 + 1 2σ 4 x i x 2 = 0, 18 Versio 20. Februar 2011

2.1 Puktschätzug welche wege der absolute Stetigkeit die eideutig bestimmte Lösug ˆσ 2 x = 1 besitzt. Die berechete ML-Schätzer für die Parameter µ ud σ 2 sid ˆµX = X resp. ˆσ 2 X = 1 X i X 2. x i x 2 I de bisher betrachtete Beispiele erhielte wir mittels der Maximum-Likelihood-Methode Schätzer, die wir bereits vo früher kate. Dass die Methode auch eue Schätzer zur Verfügug stellt, sehe wir a der Verteilugsfamilie der Gamma-Verteiluge siehe Übugsaufgabe. Methode der kleiste Quadrate Die Methode der kleiste Quadrate ist ei wichtiges Verfahre der Parameterschätzug, dem das folgede Szeario zu Grude liegt: Eie Zufallsvariable Y setzt sich aus eier Fuktio h, welche vo eier icht zufällige Größe x z. B. auf R abhägig ist, ud zufällige Schwakuge Z zusamme Yx, ω := hx + Zω für alle x R ud alle ω Ω, 2.26 wobei Ω der Grudraum des Wahrscheilichkeitsraums ist, auf dem Z defiiert ist. Aahme Wir gehe vo folgede Bediguge aus: EZ = 0, d. h. EY = h, 2.27 VarZ = σ 2 uabhägig vo x 2.28 Zu de Werte x 1,..., x werde die Werte y 1 := Y 1 x 1,..., y := Y x beobachtet; diese immer auch mit de zufällige Schwakuge. Defiiere die Vektore x = x 1,..., x ud y = y 1,..., y. Dabei ist zu beachte, dass im Gegesatz zu de bisherige Modellaahme, hier Y i sowohl uterschiedliche Verteiluge habe köe ud im Allgemeie auch icht uabhägig sid. Zu schätze ist die Fuktio h. Diese wird häufig als eie aus der Fuktioeschar F Θ = { f θ : θ Θ} modelliert, weswege wir es ereut mit eier Parameterschätzug zu tu habe. Deswege betrachte h θ. Beispiel 2.18: Betrachte ei Bremsexperimet, bei dem x die Geschwidigkeit ud Y de Bremsweg darstellt. Da ist h θ die Fuktio für de mittlere Bremsweg i Abhägigkeit vo der Geschwidigkeit ud F θ ist die Mege aller Polyome. Vorgehe: für h F Θ. Defiiere die Summe der quadratische Abweichuge Q h := y i hx 2 i 2.29 Versio 20. Februar 2011 19

2 Parameterschätzug Kleiste-Quadrate Schätzer ist die Fuktio ĥ := h x, ˆθ F Θ, für die Qĥ miimal ist, also ˆθ = argmi θ Θ Qh θ = argmi θ Θ yi h θ x i 2 2.30 Amerkug: a Oft ist h liear. Da ist der Kleiste-Quadrate-Schätzer der beste uter alle lieare erwartugstreue Schätzer. b Häufig werde die Z i als ormalverteilt modelliert, somit sid auch Y i ormalverteilt. Da stimme die Kleiste-Quadrate-Schätzuge mit der ML-Schätzug überei. c Wir werde im Rahme der Regressio auf die Kleiste-Quadrate-Schätzer och eimal eigehe. Bayes Schätzer Motivatio ist i der subjektivistische Wahrscheilichkeitsauffassug begrüdet, d. h. i die Wahrscheilichkeit ist ei Maß für die Usicherheit ud hägt vom Ketisstad des Betrachters ab; ii es gibt keie Treug vo zufällige Größe Zufallsvariable ud icht zufällige Größe Parameter. Vorgehe Der ubekate Parameterwert θ wird als Realisatio eier Zufallsvariable Z aufgefasst. Die Verteilug vo Z stellt de jeweilige Ketisstad des Betrachters über de Parameter dar. Die Wertemege vo Z ist Θ. Wir habe es mit zwei Verteiluge für Z zu tu: a priori Verteilug P pri etspricht de Vorketisse des Beobachters über die Verteilug vo Z vor der Beobachtug der Stichprobe. a posteriori Verteilug P post etspricht dem eue Kketisstad des Beobachters über die Verteilug vo Z ach der Beobachtug der Stichprobe. Das Vorgehe etspricht dem Lere aus Beobachtuge. Die Verbidug zwische der a priori Verteilug ud der Verteilug der Stichprobe eierseits ud der a postieriori Verteilug adererseits liefert die Formel vo Bayes. Satz 2.19 Satz vo Bayes: Es sei Ω, F, P ei Wahrscheilichkeitsraum ud es seie B 1,..., B k F eie Partitio vo Ω. Weiterhi gelte PB i > 0 für alle 1 i. Da gilt für alle A F mit PA > 0 ud alle 1 k. PB k A = PA B kpb k PA B ipb i Zur Schätzug des Parameters wird da eie Verlustfuktio für de erwartete Verlust, dass der Parameter eie bestimmte Wert aimmt, defiiert. Defiitio 2.20: Eie messbare Fuktio l : Θ 2 R + ist eie Verlustfuktio. 20 Versio 20. Februar 2011

2.1 Puktschätzug Defiitio 2.21: Ei Schätzer ˆθ heißt Bayes-Schätzer des Parameters θ, falls existiert ud eideutig ist. ˆθx, y = argmi E post lz, θ 2.31 θ Θ Beispiel 2.22 Quadratische Verlustfuktio: I diesem Fall ist lz, θ := Z θ 2, da gilt mi E postlz, θ = mi E postz θ 2 θ Θ θ Θ Da ist also ˆθ = argmi E post Z θ 2 = E post Z. θ Θ = mi E postz 2 + θ 2 2θ E post Z θ Θ }{{} Parabel mit Miimum bei E post Z Vorgehe bei diskrete Zufallsvariable Seie die Stichprobevariable X 1,..., X diskret, Z ebefalls. Die Versio des Satzes vo Bayes für diskrete Zufallsvariable liefert die a posteriori Verteilug P post durch die Zähldichte P post Z = θ = PZ = θ X 1 = x 1,..., X = x = PX 1 = x 1,..., X = x Z = θ P pri Z = θ PX 1 = x 1,..., X = x Z = z P pri Z = z. z Θ Beispiel 2.23: Es seie N Kugel i eier Ure, davo M eier ausgewiesee Eigeschaft, sage wir rot, wobei M ubekat ist. Wir betrachte Ziehe mit Zurücklege. Da ka der Parameter η dafür eie rote Kugel zu ziehe die Werte 0, 1/N, 2/N,..., 1 aehme. Da sost keie Iformatio über η vorhade ist, wird Gleichverteilug als a priori Verteilug ageomme, also P pri Z = η = 1 N+1 für alle η = 0, 1/N,..., 1. Nu ziehe wir -mal. Da sid X i Bi1, η Beroulli-verteilt, falls Z = η ist. Der Wertebereich vo X i ist {0, 1} ud es gilt PX i = x i Z = η = η x i1 η 1 x i für alle i = 1,...,. Da X i uabhägig sid, habe wir PX 1 = x 1,..., X = x Z = η = als gemeisame Verteilug vo X 1,..., X falls Z de Wert η hat. Die a posteriori Verteilug ist da P post Z = η = PZ = η X 1 = x 1,..., X = x PX i = x i Z = η = η x i1 η x i PX 1 = x 1,..., X = x Z = η P pri Z = η = PX 1 = x 1,..., X = x Z = z P pri Z = z z {0,1/N,...,1} = = η x i1 η x i 1 N+1 z {0,1/N,...,1} z x i1 z x i 1 N+1 η x i1 η x i z x i1 z x, i z {0,1/N,...,1} Versio 20. Februar 2011 21

2 Parameterschätzug wobei sich auf Grud der Gleichverteilug als a posteriori Verteilug der Term N+1 1 kürze lässt. Beobachtug: Die a posteriori Verteilug hägt icht vo de eizele X i soder ur vo der Fuktio gx 1,..., X = i X i ab. Zur Komplexitätsreduktio wird da die a posteriori Verteilug bezüglich eier Fuktio der Stichprobe berechet. Beispiel 2.24: Wir kokretisiere das vorherige Beispiel. Sei N = 8, = 4 ud x i = 3. Da ist P post Z = η = Das liefert us die folgede Werte: η 3 1 η 8 i/8 3 1 i/8 i=0 = 1024 399 η3 1 η η 0 1/8 2/8 3/8 4/8 5/8 6/8 7/8 8/8 P pri 1/9 1/9 1/9 1/9 1/9 1/9 1/9 1/9 1/9 P post 0 0, 004 0, 030 0, 085 0, 160 0, 235 0, 271 0, 215 0 ud wähle deswege ˆη = 6/8 als das η mit der höchste a posteriori Wahrscheilichkeit für de Bayes-Schätzer. Vorgehe bei stetige Zufallsvariable Hier seie die Stichprobevariable X 1,..., X stetig, Z ebefalls. Die Versio des Satzes vo Bayes für stetige Zufallsvariable liefert die a posteriori Verteilug P post mit der Dichte f post θ = f θ x 1,..., x = f x 1,..., x θ f pri θ f x 1,..., x z f pri z. z Θ 2.2 Prüfverteiluge Aus der Normalverteilug lasse sich weitere wichtige Verteiluge gewie. Da diese sowohl für die Itervallschätzug als auch später für die Testverfahre beötigt werde, seie sie hier eigefügt. Bevor wir begie, defiiere wir de Begriff der Quatilfuktio. Defiitio 2.25: Sei F : R [0, 1] eie Verteilugsfuktio. Da ist die Umkehrabbildug F 1 : [0, 1] R mit F 1 y = if { x : Fx y } 2.32 die Quatilfuktio vo F. Sei weiter α 0, 1. Da bezeichet ma die Zahl F 1 α als das α- Quatil vo F. Amerkug: Die Quatilfuktio existiert, da die Verteilugsfuktio F mooto wachsed ud rechststetig ist. 22 Versio 20. Februar 2011

2.2 Prüfverteiluge Beispiel 2.26 Quatilfuktio der Normalverteilug: Bezeiche Φ die Verteilugsfuktio der Stadardormalverteilug. Da wird das α-quatil mit z α für alle α 0, 1 otiert. Es gilt Φz α = α. Wege der Symmetrieeigeschaft der Stadardormalverteilug ist für alle x R ud somit für alle α 0, 1. Φ x = 1 Φx z α = z 1 α 2.33 2.2.1 χ 2 -Verteilug Defiitio 2.27: Seie X 1,..., X uabhägige ud idetisch N 0, 1 verteilte Zufallsvariable. Da wird die Verteilug der Summe ihrer Quadrate Z = Xi 2 als Chi-Quadrat-verteilt mit Freiheitsgrade bezeichet, kurz χ 2 -verteilt. Amerkug: Eie χ 2 -verteilte Zufallsvariable ist icht symmetrisch. Für kleie ist die Dichte deutlich liksteil. Für wachsedes ähert sich die χ 2 -Verteilug als Folge des zetrale Grezwertsatzes der Normalverteilug a. Satz 2.28: Sei Z eie χ 2 -verteilte Zufallsvariable mit Freiheitsgrade, sei F Z ihre Verteilugsfuktio. Da ist EZ =, VarZ = 2, außerdem gilt für große > 30 ud alle α 0, 1 die folgede Approximatio der Quatilfuktio FZ 1 α = 1 z α + 2 2 1, 2 wobei z α die Quatilfuktio N 0, 1-Verteilug ist. Satz 2.29 Additiossatz: Die Summe zweier uabhägiger Zufallsvariable, die χ 2 -verteilt resp. χ 2 m- verteilt sid, ist χ 2 +m -verteilt. 2.2.2 t-verteilug Defiitio 2.30: Seie X eie N 0, 1-verteilte ud Z eie vo X uabhägige χ 2 -verteilte Zufallsvariable. Da wird die Verteilug der Zufallsvariable T := als t-verteilug mit Freiheitsgrade bezeichet. X 1 Z Versio 20. Februar 2011 23

2 Parameterschätzug Satz 2.31: Sei T eie t-verteilte Zufallsvariable mit Freiheitsgrade, sei F T ihre Verteilugsfuktio. Da ist für 3 ud es gilt für alle α 0, 1 ET = 0 VarT = 2 F 1 T α = 1 F 1 1 α, was der Symmetrie der Verteilug geschuldet ist. T 2.2.3 F-Verteilug Defiitio 2.32: Seie X ud Y zwei uabhägige Zufallsvariable, die χ 2 m-verteilt resp. χ 2 -verteilt sid. Da wird die Verteilug der Zufallsvariable Z := 1 m X 1 Y als F-Verteilug mit de Freiheitsgrade m ud bezeichet. Satz 2.33: Sei Z eie F-verteilte Zufallsvariable mit de Freiheitsgrade m ud. Da gilt EZ = 2, VarZ = 22 + m 2 m 4 2 2. Falls F m, die Verteilugsfuktio vo Z ist ud F,m die Verteilugsfuktio eier F-verteilte Zufallsvariable mit de Freiheitsgrade ud m, so lasse sich die Quatilfuktioe über F 1 m,α = für alle 0 < α < 1 miteiader i Bezug setze. 1 F,m1 1 α Das wichtigste Beispiel zur Verwedug der Prüfverteiluge sei a dieser Stelle als Satz formuliert. Satz 2.34: Seie X 1,..., X uabhägige ud idetisch N µ, σ 2 -verteilte Zufallsvariable, z. B. eie Zufallsstichprobe. Da sid X = 1 X i ud S 2 = 1 1 voeiader stochastisch uabhägig ud es gilt X i X 2 X N µ, σ 2 / ud 1 σ 2 S 2 χ 2 1. 24 Versio 20. Februar 2011

2.3 Itervallschätzug BEWEIS Wir zeige ur die Verteilugsaussage. Der erste Teil gilt wege der Liearität des Erwartugswertes ud der Uabhägigkeit der Zufallsvariable, da 1 VarX = Var X i = 1 2 Var X i = 1 2 VarX i = 1 2 σ2 = σ2. Der zweite Teil folgt aus folgeder Überlegug: Es gilt Xi µ 2 = 1 σ σ 2 X i X 2 + ach Teilug durch σ 2 der Idetität X i µ 2 = = = = 2 X i X + X µ 1 2 σ/ X µ 2.34 X i X 2 + 2X i X X µ + X µ 2 X i X 2 + 2X µ X i X 2 + X µ 2 X i X + X µ 2 Der Term auf der like Seite vo 2.34 ist als Summe vo Quadrate N 0, 1 verteilter Zufallsvariable χ 2 -verteilt. Der zweite Summad des rechte Terms ist aus dem gleiche Grud χ 2 1 -verteilt. Nu gilt, dass 1 σ 2 X i X 2 wege des Additiossatzes 2.29 χ 2 1-verteilt ist. 2.3 Itervallschätzug Der Puktschätzer ˆθ eies Parameters, ist ormalerweise icht mit diesem idetisch. Zu dem Schätzer selbst ist es otwedig zu wisse, welche Präzisio das Schätzverfahre mitbrigt. Bei erwartugstreue Schätzer ist die Variaz des Schätzers ei Maß für die Präzisio. Eie adere Asatz verfolgt die Itervallschätzug. Statt eies eizele Wertes ist das Ergebis der Schätzug ei Itervall. Dabei wird die Wahrscheilichkeit, dass das Itervall de Parameter icht ethält kotrolliert. Amerkug Aahme i diesem Abschitt: Wir gehe vo eier parametrische Verteilugsfamilie P = { P θ : θ Θ R m} mit de Verteilugsfuktioe F θ aus. Wir wolle vorerst ur die j-te Kompoete des Parameters θ = θ 1,..., θ m bestimme. Für die Itervallschätzug beötige wir zwei Stichprobefuktioe, θ u X 1,..., X für die utere ud θ o X 1,..., X für die obere Itervallgreze. Defiitio 2.35 Kofidezitervall: Sei α 0, 1 beliebig, aber fest gewählt. Da heißt das zufällige Itervall θ u X 1,..., X, θ o X 1,..., X ei Kofidezitervall zum Niveau 1 α für die Parameterkompoete θ j, falls P θ θu X 1,..., X θ o X 1,..., X = 1, 2.35 P θ θ u X 1,..., X θ j θ o X 1,..., X 1 α 2.36 Versio 20. Februar 2011 25

2 Parameterschätzug gelte. Alterativ zu 2.50 ka die Bedigug oder if P θ θ u X 1,..., X θ j θ o X 1,..., X = 1 α 2.37 θ Θ lim P θ θ u X 1,..., X θ j θ o X 1,..., X 1 α 2.38 betrachtet werde, wobei ma im letztere Fall vom asymptotische Kofidezitervall spricht. Damit habe wir ei zweiseitiges Kofidezitervall. Amerkug Irrtumswahrscheilichkeit: Das Kofideziveau 1 α bestimmt, mit welcher Wahrscheilichkeit ei Itervall etsteht, das de ubekate Parameter θ j ethält. Umgekehrt ist α die Wahrscheilichkeit ei Itervall zu ethalte, das θ j icht ethält. Deswege wird α auch Irrtumswahrscheilichkeit geat. Amerkug Vorgehe: Zur Bestimmug des Kofidezitervalls i gibt ma sich ei α vor, ii wählt ma zwei Stichprobefuktioe θ u ud θ o, die die Bedigug 2.49 ud eie der Bediguge 2.50 2.38 erfülle, iii berechet die Werte θ u X 1,..., X ud θ o X 1,..., X Amerkug: Wir werde us im folgede auf symmetrische Kofidezitervalle beschräke. Damit ist die Wahrscheilichkeit, dass θ uterhalb der utere Greze θ u liegt, dieselbe wie die Wahrscheilichkeit, dass θ oberhalb der obere Greze θ o liegt. Amerkug: Will ma die Abweichug der Schätzug vom wahre Wert ur i eie Richtug kotrolliere, so ka ma eie der Greze durch bzw. ersetze. Da erhält ma ei eiseitiges Kofidezitervall. Das weitere Vorgehe ist aalog. Ob ei zweiseitiges oder ei eiseitiges Kofidezitervall agebracht ist, hägt vo der Fragestellug ab. Beispiel 2.36: a These: Fraue sid itelligeter als Mäer. Hier ist ei eiseitiges Kofidezitervall zu verwede. b These: Fraue sid geauso itelliget wie Mäer. Hier wird ei zweiseitiges Kofidezitervall berechet. 2.3.1 Eie-Stichprobe-Probleme Kofidezitervall für de Erwartugswert µ bei bekater Variaz σ 2 Sei X = X 1,..., X die Zufallsstichprobe mit iid Stichprobevariable ud sei X 1 N µ, σ 2, wobei µ ubekat ud σ 2 bekat ist. Da besitzt X µ σ eie N 0, 1-Verteilug. Sei α die vorgegebee Irrtumswahrscheilichkeit. Da ergibt sich, dass P z α/2 X µ z1 α/2 = 1 α. 2.39 σ 26 Versio 20. Februar 2011

2.3 Itervallschätzug ud mit 2.33 folgt P z 1 α/2 X µ σ z1 α/2 = 1 α, was umgeformt wird P z 1 α/2 σ σ X µ z 1 α/2 = 1 α, ud weiter zu σ σ P X z 1 α/2 µ X + z 1 α/2 = 1 α. Damit sid mit de Stichprobefuktioe σ σ θ u X 1,..., X = X z 1 α/2 ud θ o X 1,..., X = X + z 1 α/2 2.40 die Gleichuge 2.37 ud 2.39 äquivalet. Da die Stadardabweichug bekat ist, sid θ u ud θ o kokret berechebar. Die Läge des Zufallsitervalls [θ u, θ o ] ist σ LX 1,..., X = θ o X 1,..., X θ u X 1,..., X = 2 z 1 α/2 2.41 ud damit icht zufällig. Zu eier vorgegebee Läge l ist da 2 = 2σz1 α/2 l 2.42 der beötigte Stichprobeumfag bei festem σ 2 ud fester Irrtumswahrscheilichkeit α. Beispiel 2.37: Mittels eies Scheidegerätes wird ei Papierbad i Stücke eier bestimmte Läge µ geschitte, die stufelos eigestellt werde ka. Dabei ist die Lägeugeauigkeit uabhägig vo der eigestellte Läge. Die geschittee Papierläge wird als ormalverteilt mit dem Erwartugswert µ ud der Stadardabweichug σ = 2, 4 i mm agesehe. Es werde = 9 Stücke geschitte ud ihre Läge achgemesse. Die Werte sid 184, 2 182, 6 185, 3 184, 5 186, 2 183, 9 185, 0 187, 1 184, 4 Zur Irrtumswahrscheilichkeit α = 0, 01 soll eie Itervall-Schätzug durchgeführt werde. Aus de Gleichuge 2.40 ergibt sich die Realisierug [182, 74; 186, 86] des Zufallsitervalls. Dieses hat die Läge 4, 12. Um eie Läge vo höchstes 3 zu erhalte, beötige wir ach 2.42 eie Stichprobe der Läge midestes 17. Versio 20. Februar 2011 27

2 Parameterschätzug Kofidezitervall für de Erwartugswert µ bei ubekater Variaz σ 2 Sei X = X 1,..., X die Zufallsstichprobe mit iid Stichprobevariable ud sei X 1 N µ, σ 2, wobei µ ud σ 2 beide ubekat sid. Da wir jetzt σ icht kee, köe wir das Kofidezitervall aus 2.40 icht verwede. Wir utze deswege aus, dass X µ S t-verteilt mit 1 Freiheitsgrade ist. Bezeiche mit t 1, α/2 das α/2-quatil der t-verteilug, t 1,1 α/2 etspreched. Da gilt P t 1, α/2 X µ t 1,1 α/2 = 1 α S ud wege der Symmetrie P t 1,1 α/2 X µ t 1,1 α/2 S = 1 α, was umgeformt P S X t 1,1 α/2 µ X + t 1,1 α/2 = 1 α S ergibt. Die Stichprobefuktioe S θ u X 1,..., X = X t 1,1 α/2 ud θ o X 1,..., X = X + t 1,1 α/2 2.43 liefer ei symmetrisches Kofidezitervall zum Niveau 1 α. Im Gegesatz zu 2.41 gilt hier für die Läge LX 1,..., X = θ o X 1,..., X θ u X 1,..., X = 2 t 1,1 α/2 icht, dass sie vom Zufall uabhägig wäre. Deswege habe die Realisieruge des Kofidezitervalls uterschiedliche Läge. Ei asymmetrisches Kofidezitervall für µ zum Niveau 1 α erhalte wir, we wir P t 1,α2 X µ t 1,1 α1 = 1 α S für α 1 + α 2 = α betrachte. Die Stichprobefuktioe sid da θ u X 1,..., X = X t 1,1 α1 S ud θ o X 1,..., X = X + t 1,1 α2 S. 2.44 Isbesodere ergibt sich daraus mit α 1 = 0 das eiseitige Kofidezitervall, θ o X 1,..., X zum Niveau 1 α mit S θ o X 1,..., X = X + t 1,1 α. S S 28 Versio 20. Februar 2011

2.3 Itervallschätzug Kofidezitervall für die Variaz σ 2 bei bekatem Erwartugswert µ Sei X = X 1,..., X die Zufallsstichprobe mit iid Stichprobevariable ud sei X 1 N µ, σ 2, wobei µ bekat ud σ 2 diesmal ubekat sid. Wir wolle σ 2 schätze. Dazu verwede wir die Zufallsvariable S 2 = X i µ 2 mit der Eigeschaft σ 2 S2 χ 2 ud köe das asymmetrische Kofidezitervall mit α 1 + α 2 = α 0, 1 asetze mit P χ 2,α2 σ 2 S2 χ 2,1 α1 = 1 α 2.45 ud erhalte die Stichprobefuktioe θ u X 1,..., X = S2 χ 2 ud θ o X 1,..., X = S χ,1 α 2. 2.46 1,α 2 2 Kofidezitervall für die Variaz σ 2 bei ubekatem Erwartugswert µ Sei X = X 1,..., X die Zufallsstichprobe mit iid Stichprobevariable ud sei X 1 N µ, σ 2, wobei µ ud σ 2 > 0 ubekat sid. Wir wolle σ 2 schätze. Wir wisse, dass 1 σ 2 S 2 χ 2 1 ist ud deswege köe wir für das asymmetrische Kofidezitervall mit α 1 + α 2 = α 0, 1 die Gleichug P χ 2 1,α 2 1 σ 2 S 2 χ 2 1,1 α 1 = 1 α 2.47 asetze, wobei χ 2 1,α 2 das α 2 -Quatil der χ 2 -Verteilug mit 1 Freiheitsgrade bezeichet. Damit ergebe sich die Stichprobefuktioe θ u X 1,..., X = 1S2 χ 2 1,1 α 1 ud θ o X 1,..., X = 1S2 χ 2 1,α 2. 2.48 Wähle wir α 1 = α 2 = α 2, so erhalte wir wieder ei symmetrisches Kofidezitervall. Zwei-Stichprobe-Probleme Wir köe das Szeario verallgemeier, we wir gleichzeitig zwei Stichprobe X 11,..., X 11 ud X 21,..., X 22 betrachte. Versio 20. Februar 2011 29

2 Parameterschätzug Aahme Geerell gibt es da zwei mögliche Fälle a Die Stichprobe sid utereiader uabhägig. Da müsse die Läge 1, 2 icht gleich sei. b Die Stichprobe häge voeiader ab. Da gilt 1 = 2 ud wir defiiere X i := X 1i, X 2i. Es stellt sich die Frage, wie wir die Defiitio 2.35 für das eue Szeario erweiter köe: Wir gehe davo aus, dass X 11,..., X 11 uabhägig ud idetisch verteilt sid, das Gleiche gilt für X 21,..., X 22. Zu schätze ist ei Fuktioswert gθ des Parameters θ = θ 1,..., θ m, wobei g : Θ : R eie eidimesioale messbare Abbildug des Parameterwertes ist. Amerkug: Im letzte Abschitt hatte wir de Fall betrachtet, bei dem g die Projektio auf eie Koordiate ist, also gθ = θ j für ei 1 j. Dazu betrachte wir die Stichprobefuktioe θ u : R 1+ 2 R ud θ o : R 1+ 2 R. Defiitio 2.38: Sei α 0, 1 beliebig, aber fest gewählt. Da defiiere die Stichprobefuktioe θ u ud θ o das zufällige Itervall θ u X 1,..., X, θ o X 1,..., X. Dieses heißt ei Kofidezitervall zum Niveau 1 α für gθ, falls für alle θ Θ gilt. P θ θu X 1,..., X θ o X 1,..., X = 1, 2.49 P θ θu X 1,..., X gθ θ o X 1,..., X 1 α 2.50 Kofidezitervall für die Differez zweier Erwartugswerte bei bekate Variaze Aahme a Seie 1, 2 beliebig, jedoch fest vorgegebe, d. h. wir betrachte die Zufallsstichprobe X 11,..., X 11 ud X 21,..., X 22. b Seie X i = X i1, X i2 ormalverteilte Zufallsvariable ud die Kompoete X i1 ud X i2 uabhägig, jedoch icht otwedigerweise idetisch verteilt, d. h. X 11 N µ 1, σ1 2 ud X 21 N µ 2, σ2 2, wobei µ 1, µ 2 R ubekat sid, σ1 2, σ2 2 > 0 bekat. c Daraus folgt isbesodere, dass X 11 := 1 1 1 X 1i ud X 21 := 1 2 1 X 2i uabhägig sid. d Damit ist der ubekate Parametervektor θ = µ 1, µ 2 ud gθ = µ 1 µ 2. Wir wisse, dass X 11 N µ 1, σ1/ 2 1 ud X 21 N µ 2, σ2/ 2 2, woraus wir mit der Uabhägigkeit auf X 11 X 21 N µ 1 µ 2, σ2 1 1 + σ2 2 2 schließe. Damit köe wir für das Kofidezitervall für jedes α 0, 1 ach Normierug P zα /2 X 1 1 X 21 µ 1 µ 2 z 1 α/2 σ1 2 = 1 α 2.51 1 + σ2 2 2 30 Versio 20. Februar 2011

2.3 Itervallschätzug asetze. Nach Umformug habe wir P X 11 X 21 z 1 α/2 σ 2 1 1 + σ2 2 2 µ 1 µ 2 X 11 X 21 + z 1 α/2 σ 2 1 1 + σ2 2 2 = 1 α bzw. die Stichprobefuktioe σ1 2 θ u X 1,..., X := X 11 X 21 z 1 α/2 + σ2 2 σ1 2 ud θ o X 1 1,..., X := X 11 X 21 + z 1 α/2 + σ2 2 2 1 2 2.52 ud damit ei Kofidezitervall für µ 1 µ 2 zum Niveau 1 α. Beispiel 2.39 Lasermessug: Zwei Laser solle auf gleich Welleläge überprüft werde. Siehe hierzu die Simulatio ud de Test der Laser im R-Dokumet, welches sich auf der Website befidet. Kofidezitervall für de Quotiete zweier Variaze bei ubekate Erwartugswerte Aahme Wir gehe aalog zu obe vor. a Seie 1, 2 wieder beliebig, jedoch fest vorgegebe, d. h. wir betrachte die Zufallsstichprobe X 11,..., X 11 ud X 21,..., X 22. b Seie X i = X i1, X i2 ormalverteilte Zufallsvariable ud die Kompoete X i1 ud X i2 uabhägig, jedoch icht otwedigerweise idetisch verteilt, d. h. X 11 N µ 1, σ1 2 ud X 21 N µ 2, σ2 2, wobei µ 1, µ 2 R wie auch σ1 2, σ2 2 > 0 ubekat sid. c Daraus folgt i diesem Fall, dass S1 2 1 := 1 1 1 1 X 1i X 11 2 ud S2 2 2 := 1 2 1 2 X 2i X 22 2 uabhägig sid. d Damit ist der ubekate Parametervektor θ = σ1 2, σ2 2 ud gθ = σ1/σ 2 2 2. Auch hier köe wir beim Bekate asetze, ud zwar ist 1 1S 2 1 1 σ 2 1 χ 2 1 1 ud 2 1S 2 2 2 σ 2 2 χ 2 2 1 weswege mit der Uabhägigkeit S 2 2 2 /σ 2 2 S 2 1 1 /σ 2 1 F 2 1, 1 1 gilt. Für jedes α 0, 1 gilt da ud ach Umformug P P F 2 1, 1 1,α/2 S2 2 2 /σ 2 2 S 2 1 1 /σ 2 1 S2 1 1 S 2 2 2 F 2 1, 1 1,α/2 σ2 1 σ 2 2 woraus wir die Stichprobefuktioe F 2 1, 1 1,1 α/2 S2 1 1 = 1 α, S2 2 F 2 1, 1 1,1 α/2 = 1 α, 2 θ u X 1,..., X := S2 1 1 S 2 2 2 F 2 1, 1 1,α/2 ud θ o X 1,..., X := S2 11 S 2 2 2 F 2 1, 1 1,1 α/2 2.53 ablese ud damit ei Kofidezitervall für σ1/σ 2 2 2 zum Niveau 1 α erhalte. Versio 20. Februar 2011 31

2 Parameterschätzug Kofidezitervall für die Differez der Erwartugswerte bei verbudee Stichprobe Problemstellug Hier betrachte wir de Fall, bei dem die Zufallsstichprobe X 1 = X 11,..., X 11 ud X 2 = X 21,..., X 22 icht voeiader uabhägig sid. Das ist immer da der Fall, we wir eie Vorher-Nachher-Observatio habe. Allgemeier immer da, we X 1i ud X 2i auch stochastisch abhägig sid. Aahme a Im Gegesatz zu de vorherige Beispiele ist hier 1 = 2. b Sei beliebig, jedoch fest vorgegebe, d. h. wir betrachte die Zufallsstichprobe X 11,..., X 1 ud X 21,..., X 2. c Die Kompoete X i1 ud X i2 müsse icht uabhägig sei. d Sei EX 11 = µ 1 ud EX 21 = µ 2, wobei µ 1, µ 2 R ubekat sid. e Des weitere seie die Differeze Y i := X 1i X 2i uabhägig ud idetisch ormalverteilt mit Y 1 N µ 1 µ 2, σ 2 mit σ 2 > 0 ubekat. Mit de Eigeschafte des Satzes 2.34 für die Zufallsstichprobe Y 1,..., Y wisse wir, dass Y N µ 1 µ 2, σ 2 / ud 1 σ 2 S 2 Y, χ2 1 ud ud köe für das Kofidezitervall zum Niveau α 0, 1 die Gleichug asetze, die umgeformt P P t 1, α/2 Y t 1,1 α/2 ist ud die Stichprobefuktioe Y µ 1 µ 2 t S 1,1 α/2 = 1 α Y, S Y, S µ 1 µ 2 Y + Y, t 1,1 α/2 = 1 α Y µ 1 µ 2 t S 1, Y, S θ u Y 1,..., Y = Y Y, S t 1,1 α/2 ud θ o Y 1,..., Y = Y + t 1,1 α/2 Y, 2.54 liefert. Beispiel 2.40: Wir wolle feststelle, ob sich der Luftdruck mit der Höhe ädert. Dazu müsse wir mehrmals Messuge durchführe. Wir messe eie Moat lag jede Tag am Müsterplatz i Ulm wie auch auf der Besucherplattform des Müsterturms. Da sich das Wetter i dieser Zeit ädert, was wir icht beeiflusse köe, ud dies de Luftdruck verädert, habe wir es mit verbudee Stichprobe zu tu. Amerkug: Das Szeario der verbudee Stichprobe wird immer da eigesetzt, we die Grudbediguge icht beeiflussbar sid ud wir somit für die Zufallsstichprobe keie idetische Verteilug aehme köe. Die Idee ist, eie kotrollierte Veräderug eies adere Aspektes zu erzeuge, um eie Effekt festzustelle. 32 Versio 20. Februar 2011

2.3 Itervallschätzug 2.3.2 Asymptotische Kofidezitervalle Wir gehe vo eier Zufallsstichprobe aus ud zeige, wie mittels des zetrale Grezwertsatzes ud des starke Gesetzes der große Zahle asymptotische Kofidezitervalle aufgestellt werde köe. Kofidezitervall für de Parameter η bei der Beroulli-Verteilug Seie X 1,..., X Bi1, η, wobei η 0, 1 ubekat ud zu schätze ist. Wir wisse, dass EX 1 = η ud VarX 1 = η1 η. Mit dem zetrale Grezwertsatz folgt daraus für alle α 0, 1, dass lim P z α/2 X η z 1 α/2 = 1 α. η1 η Wir betrachte die doppelte Ugleichug geauer ud erhalte mit z := z 1 α/2 die äquivalete Bedigug X η z η1 η 2 z X 2 η η1 η η 2 2η X + X 2 z2 η z2 η 2 1 + z2 η 2X + z2 + X 2 0 + z 2 η 2 2η X + 2 z2 + X2 +z 2 + z 2 0 aus welcher die Stichprobefuktioe η2 η 2 2η X + z 2 /2 + z 2 + X2 + z 2 0 2 2 η X + z 2 /2 X + z 2 /2 + z 2 + z 2 X2 + z 2 2 η X + z 2 /2 + z 2 2 X 2 + z 4 /4 + X z 2 + z 2 2 2 X 2 + X 2 z 2 + z 2 2 η X + z2 /2 + z 2 z z 2 /4 + X 1 X + z 2, 1 θ u X 1,..., X := + z 2 1 α/2 1 θ u X 1,..., X := + z 2 1 α/2 X + z2 1 α/2 z 2 1 α/2 X + z2 1 α/2 + z 2 1 α/2 z 2 1 α/2 4 z 2 1 α/2 4 + X 1 X 2.55 + X 1 X 2.56 Versio 20. Februar 2011 33