Mathematische Statistik

Transkript

1 Skript Mathematische Statistik Max v. Reesse Aufgezeichet vo Tobias Weihrauch Sommersemester 202 Uiversität Leipzig

2

3 INHALTSVERZEICHNIS Ihaltsverzeichis Eiführug 3. Statistik als Teil der Stochastik Stadardfrage der Statistik i Beispiele Parameterschätzug 4 2. Puktschätzer Beispiele vo (parametrische) statistische Modelle Kosistez vo Schätzer Maximum-Likelihood-Schätzer Mittlerer quadratischer Fehler Fisher-Iformatio ud Cramer-Rao Ugleichug Suffiziez ud Satz vo Rao-Blackwell Vollstädigkeit ud der Satz vo Lehma-Scheffé Der optimale Variazschätzer im -fache Gaußmodell bei ubekatem Erwartugswert Bayes sche Schätzer Bereichsschätzer (Kofidezmege) Kofidezbereiche im Biomialmodell Pivotstatistike Verteiluge rud um die Normalverteilug 42 4 Teste Eiführug i die Testproblematik Gleichmäßig beste Tests Das Neyma-Pearso Lemma Likelihood-Quotiete-Tests Nichtparametrische Modelle Der Satz vo Gliveko-Catelli Eie Quatitative Versio vo Gliveko-Catelli Kozetratiosugleichuge Beweis vo Satz Der Kolmogorov-Smirov-Apassugstest χ 2 -Apassugstest Lieare Modelle Der Satz vo Gauß-Markov Kofidezbereiche ud Tests i lieare Gauß-Modelle Awedug: Eiweg-Klassifizierug ud ANOVA-Methode

4 2 INHALTSVERZEICHNIS Vorwort Dies ist eie redigierte Mitschrift der Vorlesug Mathematische Statistik, die ich i de Sommersemester 20 ud 202 im Bachelor-Studiegag Mathematik a der TU Berli bzw. im Diplomstudiegag Mathematik a der Uiversität Leipzig gehalte habe. Etspreched folgt die Gliederug de für diese Kurs typische Modulvorgabe a deutsche Uiversitäte. Bei der Vorbereitug habe ich besoders vom zweite Teil des wuderbare Lehrbuchs Stochastik des Mücher Kollege H.-O. Georgii profitiert, das beim de Gruyter-Verlag i dritter Auflage vorliegt. Daher stellt die Vorlesug im wesetliche eie gewichtete Auswahl der im Georgii sche Buch behadelte Theme dar. Als Exkurs gegeüber dieser Hauptquelle ist ei lägerer Abschitt über eie quatitative Versio des Satzes vo Gliveko-Catelli eigefügt, der eie Eiblick i fortgeschritteere Frage der ichtparametrische Statistik mit dem Thema Kozetratiosugleichuge verbidet. Herzlichster Dak gilt Herr Tobias Weihrauch aus Leipzig, der die Vorlesug aufmerksam verfolgt ud dabei i Echtzeit de Latex-Grudstock für dieses Skript gelegt hat. M. v. Reesse Als Vorlage diete hier eie Vorlesug über maschielles Lere vo Peter Bartlett (Berkeley)

5 3 Eiführug. Statistik als Teil der Stochastik Die Stochastik (Griechisch Kust des Rates ) gliedert sich i zwei Teile: Wahrscheilichkeitstheorie ud Statistik. I der Wahrscheilichkeitstheorie kostruiert ud aalysiert ma abstrakte mathematische Modelle des Zufalls. I der Statistik higege wedet ma diese Modelle auf kokrete Sachverhalte a. Dabei besteht der erste ud wichtigste Schritt der Statistik dari, zu de beobachtete Realisieruge eies kokrete Zufallsmechaismus aus der Mege vo theoretische Modelle ei möglichst passgeaues zu fide. Im zweite Schritt ka das ausgewählte Modell da für Progose ud weitere Aalyse geutzt werde. Umgekehrt sid theoretische Frage im Bereich Modellbildug häufig vo empirische Beobachtuge ud Experimete motiviert. Eie strikte Treug zwische der Wahrscheilichkeitstheorie ud der Statistik ist daher umöglich. Als Begriffe stehe sie jedoch für die iduktive bzw. empirische Seite der Lehre vom Zufall. Beispiel. Wir wolle das ahad des Zufallsmechaismus Müzwurf illustriere. Am Afag steht die Beobachtug, dass der Ausgag eies Müzwurfes zufällig ist i dem Sie, dass es keie logische Regel zur geaue Vorhersage des Eizelexperimets zu gebe scheit. ) Der erste Schritt zum Verstehe dieses Phäomes besteht i der Etwicklug eies geeigete mathematische Rahmes, i welchem der Vorgag Zufälliger Müzwurf beschriebe werde soll. Das führt da z.b. auf das eifache Beroulli- Modell eies 0--Experimetes Ω = {, 0}, P () = p, P (0) = p. 2) Damit ist die Klasse der Modelle zur Beschreibug des Müzwurfes festgelegt, es fehlt die Festlegug des Parameters p. Hierzu wird die Müze z.b. dreimal geworfe ud die Folge der Ausgäge, 0, beobachtet. Hieraus leite wir die Aahme ab dass p 2 3. I diesem Beispiel wäre der. Aalyseschritt (Modelletwicklug) also der iduktive Seite ud der 2. Aalyseschritt (Modellauswahl: p = 2 ) der empirische Seite zuzuorde. 3 Letztere steht im Mittelpukt dieser Vorlesug. Literatur zur Vorlesug:. Has-Otto Georgii, Stochastik, de Gruyter (2. Auflage) 2. Vorlesugsskript Mathematische Statistik vo Prof. Matthias Löwe, Uiv. Müster 3. Vorlesugsskript Statistik vo Prof. Volker Schmidt, Uiv. Ulm 4. Achim Kleke Wahrscheilichkeitstheorie, Spriger, 2. Auflage (als Hitergudreferez)

6 4 2 PARAMETERSCHÄTZUNG.2 Stadardfrage der Statistik i Beispiele Beispiele.. Schätze. Ei Zufallsgeerator produziert Zufallszahle gleichverteilt aus {, 2,, M}. M ist dabei ubekat. Der Apparat wird u 0 mal betätigt mit dem Resultat 3, 32, 98, 9, 29, 4, 2, 67, 6, 44 Gesucht ist u ei Schätzwert für de Parameter M (Puktschätze) bzw. ei Itervall I = [α, β], welches mit sehr großer Wahrscheilichkeit de Parameter M ethält (Bereichsschätze). 2. Teste. Sid die i. protokollierte Beobachtuge verträglich mit der Aahme, dass der Apparat jede der Zahle {,, M} gleich wahrscheilich geeriert? 3. Etscheide. 70 Patiete mit eier bestimmte Krakheit werde mit zwei verschiedee Medikamete behadelt, mit dem folgede Resultat Verlauf \Medikamet A B schwer 20 8 leicht 22 0 Hat die Wahl des Medikametes eie sigifikate Eifluss auf de Krakheitsverlauf? 4. Regrediere. Die Patietedatei eier Krakekasse ethält 20 Patietedate als Paare der Form (Kudealter, Koste p.a). Welcher quatitative Zusammehag besteht zwische Alter & Koste? 2 Parameterschätzug 2. Puktschätzer Beispiel (Qualitätskotrolle bei der Glühbirefabrikatio). Die Lebesdauer eier eizele Glühbire X i : Ω R 0 ist zufällig. Die Aahme der Gedächtislosigkeit 2 erzwigt die Modellierug der Lebesdauer X i als expoetiell verteilte Zufallsvariable P (X i t) = exp ϑt, wobei ϑ 0 ei Parameter ist, der (z.b. vom Produzete) festgelegt werde ka. Als Empfäger eier Lieferug vo Glühbire dieser Fabrikatio wolle wir u ϑ experimetell bestimme. ž Wir lasse u 00 Glühbire dieser Sorte abbree ud protokolliere die Bredauer (X,..., X 00 ) = (2h, 3d 7h,..., 0.3h) 2 Gedächtislosigkeit heißt hier z.b. P (X > t + s X > t)! = P (X > s).

7 2. Puktschätzer 5 ž (X,..., X 00 ) stellt das Protokoll eier 00-fache Ziehug vo expoetiell verteilte Zufallsvariable dar. Das starke Gesetz der große Zahle besagt X i E(X) fast sicher, wobei die (X i ) uabhägig idetisch verteilt sid. Für de Parameter ϑ fide wir somit asymptotisch fast sicher X i E ϑ (X) mit dem Erwartugswert E ϑ (X) eier expoetiell verteilte Zufallsvariable mit Parameter ϑ, d.h. E ϑ (X) = 0 x ϑ e ϑ x dx = [ x e ϑ x] ž Somit ist eie erste (icht gaz aive) Atwort, dass ϑ = X i e ϑ x dx = ϑ. Die Vorschrift ϑ = ϑ(x,..., X 00 ) R ist eie Abbildug vo dem Raum der Beobachtuge i de Raum der Parameter. Ma spricht vo eiem Schätzer für ϑ (siehe ute). Da die kokrete Realisierug (X,..., X 00 ) der 00 Stichprobe vom Zufall abhägt, ist auch ϑ = ϑ(x) eie Zufallsgröße. Das Gesetz der große Zahle ährt jedoch die Hoffug, dass ϑ(x) für große mit hoher Wahrscheilichkeit ahe beim fixe aber ubekate Parameter ϑ liegt. Das hier gegebee Beispiel wird im Rahme der Statistik wie folgt systematisiert. Defiitio 2. (Statistisches Modell). ž Ei statistisches Modell ist ei Tripel M = (X, F, (P ϑ ; ϑ Θ)) bestehed aus eier Mege X als Stichproberaum eier Sigma-Algebra F auf X als Algebra der Beobachtuge ud eier Familie vo Wahrscheilichkeitsmaße (P ϑ ; ϑ Θ) auf (X, F). ž Falls M = (E, E, (Q ϑ ; ϑ Θ)) ei statistisches Modell ist, heißt das Modell (X, F, (P ϑ ; ϑ Θ)) X = E F = E (-fache Produkt-σ-Algebra)

8 6 2 PARAMETERSCHÄTZUNG P ϑ = k= Q ϑ (Produkt-Wahrscheilichkeitsmaß) das zugehörige -fache Produktmodell (Notatio M ). ž Falls (Σ, S) ei weiterer messbarer Raum ist, so heißt eie messbare Abbildug S : (X, F) (Σ, S) eie Statistik. ž Eie Abbildug τ : Θ Σ i eie Mege Σ heißt Kegröße. Eie Statistik T : X Σ heißt ei Schätzer für τ. (Häufige Notatio T = τ) ž Falls Σ ei Vektorraum ist, heißt ei Schätzer T : X Σ für die Kegröße τ : Θ Σ erwartugstreu für τ, falls E ϑ (T ) := X T (x) P ϑ (dx) = τ(ϑ) ϑ Θ. Vereibaruge zur Notatio Wir werde wir ferer vo de folgede Schreibweise Gebrauch mache. ž x bezeichet ei kokretes Elemet x X. ž X steht für die idetische Zufallsvariable auf X, d.h. X : X X, X(x) = x. ž X=x ist die charakteristische Fuktio der Mege {X = x}. ž Für T : X R beutze wir die folgede äquivalete Schreibweise für de Erwartugswert E ϑ (T ) = E ϑ (T (X)) = T (x) P ϑ (dx). X ž Für eie Zufallsvariable Y mit Werte i X ud eiem Wahrscheilichkeitsmaß ν auf X schreibe wir Y ν, falls ν die Verteilug vo Y ist. Aalog schreibe wir Y Z, falls die Zufallsvariable Y ud Z dieselbe Verteilug habe. Etspreched schreibe sich etwa bedigte Wahrscheilichkeite wie folgt P ϑ (X = x S(X) = s) = P ϑ({x = x} {S(X) = s}). P ϑ (S(X) = s)

9 2. Puktschätzer Beispiele vo (parametrische) statistische Modelle Falls die Parametermege Θ eie Teilmege des R d ist, spricht ma vo eiem parametrische Modell. Wir wolle u eiige Exemplare vorstelle. Beispiel (Müzwurf). Wie gesehe, wird der eimalige Wurf eier Müze mit de Seite ud 0 durch das statistische Modell (X, F, (P ϑ ; ϑ Θ)) = ( {0, }, P({0, }), (P ϑ ) ϑ [0,] ) beschriebe, wobei P({0, }) die Potezmege vo {0, } ud P ϑ das Beroulli-Wahrscheilichkeitsmaß auf {0, } mit P ϑ = B ϑ, d.h. B ϑ () = ϑ ud B ϑ (0) = p bezeiche. Dieses Modell wird auch Beroulli-Modell geat. Beispiel (Verlauf des -fache Müzwurfs). Die Müze aus dem vorige Beispiel wird u mal geworfe ud wir halte die Folge der Ausgäge X,, X mit X i {0,, } fest. Das zugehörige statistische Modell wäre i diesem Fall (X, F, (P ϑ ; ϑ Θ)) = ({0, }, P({0, }, (P ϑ ) ϑ [0,]), also eifach das -fache Produkt des obige Beroulli- Modells. Etspreched ee wir es das -fache Beroulli-Produktmodell. Beispiel (Azahl der Erfolge beim -fache Müzwurf). We beim -fache Wurf der Müze mit ubekatem Erfolgsparameter ϑ lediglich die Gesamtazahl der -e als Beobachtug festhalte, köe wir mit dem statistische Modell (X, F, (P ϑ ; ϑ Θ)) arbeite, wobei X = {0,..., }, F = P(X) ud (P ϑ ) ϑ [0,] als Familie der Biomialverteiluge (bei festgehalteem für die Azahl der Versuche), d.h. ( ) P ϑ (k) = ϑ k ( ϑ) k. k Im folgede wolle wir dieses Modell Biomialmodell ee. Wie i jedem statistische Modell ist auch hier die idetische Kegröße τ : Θ = [0, ] R, τ(ϑ) = ϑ, d.h. der Parameter ϑ selbst, vo besoderem Iteresse. Im Biomalmodell ist die Statistik T : X R, T (x) = x ei atürlicher Schätzer für τ(ϑ) = ϑ. T ist erwartugstreu, de ( E ϑ (T ) = T (k) P ϑ (k) = ( ) ) k ϑ k ( ϑ) k = ( ϑ) = ϑ = τ(ϑ). k k=0 k=0 Zuletzt bemerke wir, dass das Biomialmodell (für -Versuche) aus dem -fache Beroulli- Modell hervorgeht durch Awedug der Statistik S : {0, } {0,,, }, S(x,..., x ) := x i. I diesem Sie ist das Biomialmodell das Bildmodell des -fache Beroulli-Modells uter der Statistik S.

10 8 2 PARAMETERSCHÄTZUNG Beispiel (Glühbire, Forts.). Hier köe wir mit dem 00-fache Produkt (X, F, (P ϑ ; ϑ Θ)) = M des statistische Modells M = (R 0, B(R 0 ), ( ϑ e ϑx dx) ϑ 0 ) für die Familie der Expoeetialverteiluge arbeite, d.h. ž X = (R 0 ) 00, F = B((R 0 ) 00 ) ist die Borel sche Sigma-Algebra auf R 0 ud P ϑ ist die 00-fache Produktverteilug der Expoetial-ϑ-verteilug, d.h. P ϑ (X > t,..., X 00 > t 00 ) = e ϑ t... e ϑ t 00. ž Wir iteressiere us z.b. für die Kegröße ž für welche die Statistik τ : R >0 R >0 τ(ϑ) = ϑ, S : X Σ = R 0 S(t,..., t 00 ) = t i wie bereits gesehe ei erwartugstreuer Schätzer ist. Beispiel (Apfelsielieferug). Jemad schekt us N Apfelsie, ϑ davo sid faul. Wir ziehe zufällig N Apfelsie, k sei die Azahl der gezogee faule. ž X = {0,..., }, F = P(X), (P ϑ ; ϑ {0,..., N}) mit { ( ϑ k) ( N ϑ k) falls k ϑ P ϑ (k) = ( N ) 0 sost. ž Die Statistik T : X R, T (x) = x ist ei erawrtugstreuer Schätzer für ϑ (Übug). Beispiel (Game-Show). I eier TV-Sedug mit zwei Kadidate liefert ei Apparat zeh Zufallszahle x,..., x 0 aus eiem Itervall [0, L]. Der Parameter L ist ur dem Moderator bekat. Die Kadidate solle u L möglichst gut rate. Das statistische Modell für die eifache Ziehug eier auf [0, L] uiform verteilte Zufallszahl ist X = R 0, F = B(R 0 ), P L = U [0,L], L 0, wobei U [0,L] die Gleichverteilug auf [0, L] bezeichet ( ) t U [0,L] (X < t) = mi M,. Somit lautet das Modell für die 0-fache Wiederholug (R 0 0, B(R 0 0), (U [0,L] ) L [0,+ )).

11 2. Puktschätzer 9 Gefragt ist ach der Kegröße τ : R 0 R, L L. Die beide Kadidate habe u verschiedee Ratestrategie/Schätzer. verwedet de Schätzer L( x ) = 2 0 x i, Kadidat A ud Kadidat B beutzt M( x ) = max(x,..., x 0 ). Die Frage, welcher vo beide die bessere Strategie hat, beatworte wir i Abschitt Kosistez vo Schätzer Die Erwartugstreue vo Schätzer ist eie wüscheswerte Eigeschaft isofer als der vorgeschlagee Schätzwert τ im Mittel der gesuchte Kegröße etspricht. Das Gesetz der große Zahle sagt da, dass der Mittelwert der Schätzwerte k k τ(x i) vo k uabhägige Wiederholuge desselbe Schätzvorgages mit k fast sicher gege de gesuchte Wert τ(ϑ) kovergiert. We der eizele Schätzvorgag dabei jedoch sehr aufwedig ist, ka es aber ieffiziet sei, davo viele uabhägig voeiader durchzuführe ud allei de Mittelwert der Eizelschätzuge zu bilde. Beispiel (Game-Show, Forts.). Der Schätzer L des Kadidate A ist der Mittelwert der Eizelschätzer L i = 2X i ud ist offesichtlich erwartugstreu. M = M köte auch rekursiv auf der Folge der Modelle defiert werde als M = L ud M + = max( M, X ). Die Struktur vo M ist also komplizierter als die vo L als Mittelwert vo uabhägige Eizelschätzer. I Abschitt 2..4 werde wir sehe, dass M i der Tat besser abscheidet als L. Zugleich ist M icht erwartugstreu. Hierzu bereche wir zuächst seie Verteilug gemäß { P L( M < t) = P L(X i t) = ( L ) t falls t L sost. Etspreched fide wir für de Erwartugswert (mit G(t) := P L ( M t)) E L ( M) = 0 G(x)dx = L 0 ( ( t L ) ) dt = + L L. Die Mege M = M, N aufgefasst als Folge vo Schätzer, kosistet für die Kegröße L i dem Sie, dass die Wahrscheilichkeit für eie Schätzfehler mit asymptotisch verschwidet.

12 0 2 PARAMETERSCHÄTZUNG Defiitio 2.2. Sei M := (X, F, (P ϑ ; ϑ Θ)) eie Folge vo statistische Modelle ud τ : Θ R eie Kegröße, sowie T : X R. Da heißt die Folge (T ) eie kosistete Schätzfolge für τ, falls ε > 0 ϑ Θ : P ϑ( T (X) τ(ϑ) > ε) 0 Beispiel (Forts.). Die Folge der Schätzer M := max(x,..., X ) defiiert auf der Folge der Modelle M = (R 0, B(R 0), (P L ) l 0) ist kosistet, de für ɛ > 0 fide wir P L( M L > ɛ) = P L( M < L ɛ) = ( L ɛ L ) 0. Das folgede Lemma gibt ei eifaches Kriterium für die Kosistez eier Folge vo Schätzer. Satz 2.3. Falls i der Situatio aus Defiitio 2.2 für alle ϑ Θ ) E P ϑ (T (X)) τ(ϑ) 2) sup V P ϑ (T (X)) 0, 0 so ist bildet (T ) eie kosistete Folge vo Schätzer. Beweis. Setze τ (ϑ) := E P ϑ (T (X)). Zu ε > 0 gilt ( P ϑ( T (X) τ(ϑ) > ε) P ϑ T (X) τ (ϑ) > ε ) ( + P ϑ τ (ϑ) τ(ϑ) > ɛ ) ( 2 2 = P ϑ T (X) τ (ϑ > ε ) + τ 2 (ϑ) τ(ϑ) > ε 2 (ε/2) V 2 P (T (X)) + ϑ τ (ϑ) τ(ϑ) > ε. 2 } {{ } } {{ } 0, ach ) 0, ach 2) 2..3 Maximum-Likelihood-Schätzer Defiitio 2.4 (Stadardmodell). Das Modell (X, F, (P ϑ ; ϑ Θ)) heißt ei Stadardmodell, falls ei domiieredes Maß µ 0 auf (X, F) existiert, so dass P ϑ (dx) µ 0 (dx) für alle ϑ Θ. Die zugehörige Rado-Nikodym-Dichte ϱ(ϑ,.) = dp ϑ dµ 0 : X R, d.h. mit heiße Likelihood-Fuktioe. P ϑ (dx) = ϱ(ϑ, x) µ 0 (dx) Bemerkug. ϱ(ϑ, x) ist also die Wahrscheilichkeit(-sdichte relativ µ 0 ), die Stichprobe x uter dem Wahrscheilichkeitsmaß P ϑ zu beobachte. Bemerkug (Ivariaz gegeüber der Wahl eies domiierede Maßes). Jedes adere zu µ 0 äquivalete Maß µ (d.h. mit µ µ 0 ud µ 0 µ) ist ebefalls ei domiieredes Maß, ud mit der relative Dichte h = dµ 0 /d µ gilt da offesichtlich, dass P ϑ (dx) = ρ(ϑ, x) µ(dx) mit ρ(ϑ, x) = ρ(ϑ, x) h(x). Alle i dieser Vorlesug geate Resultate für Stadardmodele sid uabhägig vo der geaue Wahl eies domiierede Maßes µ 0.

13 2. Puktschätzer Beispiele. ž Game-Show: ž Biomialmodell: P ϑ (, ϑ, k) = P ϑ (dx) = ϑ [0,ϑ](x) λ(dx) } {{ } =ϱ(ϑ,x) ( ) ϑ k ( ϑ) k = ϱ(ϑ, k), k d.h. P ϑ (dx) = ϱ(ϑ, x) µ 0 (dx), wobei µ 0 (dx) das Zählmaß auf N 0 ist. Für die Kostruktio eies Schätzers vo ϑ selbst (d.h. τ(ϑ) = ϑ) i eiem reguläre Modell besteht ei ituitiver Asatz dari, bei gegebeer Stichprobe x ei ϑ = ϑ(x) als Schätzwert vorzuschlage, für welches die Wahrscheilichkeit(sdichte) ρ(ϑ, x) für die Beobachtug x uter alle ϑ Θ maximiert wird. Defiitio 2.5. Es sei (X, F, (P ϑ )) ei Stadardmodell mit Likelihood-Fuktio ϱ : Θ X R. Ei Schätzer T : X (Θ, G) für de Parameter ϑ heißt Maximum-Likelihood- Schätzer, falls ϱ(t (x), x) = sup ϱ(ϑ, x) x X. ϑ Θ Beispiel (Biomialmodell). Hier ist die Likelihood-Fuktio ( ) ϱ(ϑ, x) = ϑ x ( ϑ) x x T (x) = x. Aufgrud der Mootoie des atürliche Logarithmus log köe wir geauso ach Maximalstelle der log-likelihood Fuktio log ϱ suche, die sich im aktuelle Fall schreibt als ( ) log(ϱ(ϑ, x)) = log + x log ϑ + ( x) log( ϑ). x Ableite ach ϑ ergibt ϑ (log ϱ) = x ϑ + x ϑ ϑ = x = T (x).! = 0 Somit ist der zuvor bereits gefudee Schätzer T ei Maximum-Likelihood-Schätzer. Beispiel (-faches Gauß-Produktmodell). Im statistische Modell (R, B, (νm,v; m R, v 0)) mit ν m,v (dx) = e (x m)2 2v dx 2πv Θ = R R 0

14 2 2 PARAMETERSCHÄTZUNG der -fache Wiederholug eies Gauß sche Experimets mit ubekate Parameter m ud v für Erwartugswert ud Variaz ist die likelihood-fuktio ϱ((m, v), (x,..., x )) = 2πv e (x i m)2 2v. Also ergibt sich die log-likelihood-fuktio 2 log(2πv) (x i m) 2 2v =: η(m, v). Der ML-Schätzer für ϑ = (m, v) etspricht der Maximalstelle ( m, v) der obige loglikelihood-fuktio bei festem x = (x,..., x ). Hierzu suche wir die Nullstelle ( m, v) vo η = ( η, ) η m v ud erhalte m = x i = m(x) = x, v = (x i x) 2 = v(x). Ma überzeugt sich leicht, dass dies i der Tat eie Maximalstelle ist, d.h. ( m, v) ist ei ML-Schätzer für de ubekate Parameter (m, v). Satz 2.6. Im -fache Gauß-Produktmodell ist ei ML-Schätzer für m ud (R, B(R ), (ν m,v; m R, v 0)) m(x) = v(x) = x i = x (x i x) 2 ei ML-Schätzer für v. Der Schätzer m ist erwartugstreu, der Schätzer v icht, de E (m,v) ( v) = v ( v). Beweis. Es wurde bereits gezeigt, dass ( m, v) =: ϑ ei ML-Schätzer für ϑ = (m, v) ist. Bleibt die Erwartugstreue zu utersuche. Für (m, v) beliebig ist ( ) E (m,v) ( m) = E (m,v) x i = E (m,v) (x i ) = m = m. Ebeso reche wir de Erwartugswert vo v ( ) E (m,v) ( v) = E (m,v) (x i x) 2 = E (m,v) ((x i x) 2 ).

15 2. Puktschätzer 3 Mit gilt ud E (m,v) ((x i m) (x m) } {{ } } {{ } =:z i =:z ) 2 = E (m,v) ((z i ) 2 2 z i z + (z) 2 ) E (m,v) ((z i ) 2 ) = E (m,v) ((x i m) 2 ) = v, ( ) E (m,v) (z i z) = E (m,v) z i z j = E (m,v) (z i z j ) = v } {{ }, j= j= =0 für i j ( ) E (m,v) ((z) 2 ) = E 2 (m,v) z j z j = E 2 (m,v) ((z i ) 2 ) = v = v 2. i,j Damit folgt Bemerkug. Durch Reskaliere E (m,v) ((x i x) 2 ) = v 2v + v ( = ) v, E (m,v) ( v) = ( ) v = v. ṽ(x) := v(x) erhalte wir eie eue, erwartugstreue Schätzer ṽ für v Mittlerer quadratischer Fehler Zum Vergleich vo Schätzer führt ma Geauigkeits- bzw. Fehlermaße ei. Defiitio 2.7. Seie (X, F, (P ϑ ; ϑ Θ)) ei statistisches Modell, τ : Θ R eie Kegröße ud T : X R ei Schätzer für τ.. Da heißt B ϑ (T ) := E ϑ (T ) τ(ϑ) systematischer Fehler des Schätzers T (egl. Bias). 2. Die Größe ist die Variaz (bzw. Streuug) vo T. 3. ud V ϑ (T ) := E ϑ ((T E ϑ (T )) 2 ) F ϑ (T ) := E ϑ ((T τ(ϑ)) 2 ) heißt (mittlerer quadratischer) Fehler vo T. Bemerkug.

16 4 2 PARAMETERSCHÄTZUNG. Gelegetlich werde auch adere Fehlermaße studiert, etwa vo der Form F Ψ ϑ (T ) = E ϑ [ Ψ ( τ(ϑ) T (X) )] mit eier gewisse Fehlerfuktio Ψ : R R Der mittlere quadratische Fehler spielt (ählich wie die verwadte Fehlermaße F Ψ ϑ (T ) mit Ψ(t) = tp ) eie wichtige Rolle bei der Awedug der Tschebyschev- Ugleichug i der Form P ϑ ( T (X) τ(ϑ) ɛ) ɛ 2 F θ(t ). D.h. je kleier F ϑ (T ) umso höher ist die Wahrscheilichkeit, dass der Schätzwert T (x) ahe bei τ(ϑ) liegt. 3. Offesichtlich gilt Allgemei fide wir die Zerlegug T erwartugstreu B ϑ (T ) = 0 ϑ Θ. F ϑ (T ) = (B ϑ (T )) 2 + V ϑ (T ) Demach etspricht der Fehler vo T der Summe aus dem quadrierte systematische Fehlers ud der Streuug. Beispiel. Im Biomialmodell ({0,..., }, P({0,..., }), (B(, ϑ); ϑ [0, ])) ist die Statistik T (x) := x ei erwartugstreuer (ML-)Schätzer für τ(ϑ) = ϑ, de E ϑ (T ) = ϑ ϑ [0, ]. Für de quadratische Fehler erhalte wir somit folglich ( x ) F ϑ (T ) = (B ϑ (T )) 2 + V } {{ } ϑ (T ) = V ar ϑ = V ar ϑ(x) 2 =0, = ϑ ( ϑ) ϑ ( ϑ) = 2 F ϑ 4 ϑ [0, ]. Wir wolle u als alterative Schätzer betrachte S(x) = x + + 2,

17 2. Puktschätzer 5 desse systematischer Fehler ( ) x + B ϑ (S) = E ϑ ϑ = E ϑ(x) + ϑ = ϑ ϑ = 2ϑ + 2 beträgt (isbesodere ist S also icht erwartugstreu). Seie Variaz lässt sich ebefalls leicht ausreche ( ) x + V ϑ (S) = V ar ϑ = ϑ ( ϑ) + 2 ( + 2) 2 Für de mittlere quadratische Fehler erhalte wir also F ϑ (S) = (B ϑ (S)) 2 + V ϑ = mittlerer quadratischer Fehler ( ) 2 2ϑ ϑ( ϑ) ( + 2). 2 Fehlervergleich F ϑ (T ) F ϑ (S) ϑ { ϑ Im Vergleich ergibt sich, dass für de Parameterbereich ( ) } + 2 ϑ( + ϑ) im Sie des mittlere quadratische Fehlers S ei besserer Schätzer ist als T. Grud hierfür ist die große Streuug des Schätzers T, die ih ugeachtet seier Erwartugstreue ugeau macht. Beispiel (Game-Show, Forts.). Wir wolle zeige, dass der Schätzer M = max(x,..., X ) für de ubekate Parameter L besser ist als L = 2 X i. Der Schätzer L ist erwartugstreu. Also stimme Variaz ud mittlerer quadratischer Fehler überei. Die Variaz eier auf [0, L] geichverteilte Zufallsgröße ist V L (X ) = E L X 2 (E(X )) 2 = L L 0 x 2 dx ( L 2 )2 = L2 2. Somit ist F L ( L) = 4 L 2 2 = L2 3.

18 6 2 PARAMETERSCHÄTZUNG ist De Erwartugswert vo M hatte wir bereits bestimmt als E L ( M) = (B L ( M)) 2 = L 2 ( + ) 2. Zur Berechug der Variaz beutze wir die Formel E(X p ) = p 0 t p P(X t)dt L, somit + für die Berechug des p-te Momets eier ichtegative Zufallsvariable. Wir hatte bereits gesehe, dass G(t) := P L ( M t) = ( t L ), folglich E L ( M 2 ) = 2 0 t G(t) dt = 2 Für de Fehler vo M erhalte wir damit L 0 t( ( t L ) ) dt = + 2 L2. F L ( M) = V L ( M) + [B L ( M)] 2 = E L ( M 2 ) [E L ( M)] 2 + [B L ( M)] 2 ( ) = L ( + ) + 2 = 2 ( + ) 2 ( + 2)( + ) L2. Der mittlere quadratische Fehler vo M fällt im Gegesatz zu L sogar quadratisch i Fisher-Iformatio ud Cramer-Rao Ugleichug Defiitio 2.8. Seie (X, F, (P ϑ ; ϑ Θ)) ei statistisches Modell ud T ei erwartugstreuer Schätzer für eie Kegröße τ : Θ R. Da heißt T variazmiimiered (bzw. gleichmäßig bester Schätzer (oder UMV für uiformly miimizig variace ), we für alle erwartugstreue Schätzer S : X R gilt: ϑ Θ : V ϑ (T ) V ϑ (S). Uter de erwartugstreue Schätzer für eie Kegröße sid also die mit miimaler Variaz vorzuziehe. Die u folgede Cramer-Rao-Schrake gibt eie allgemeie (aber i viele Fälle och immer zu optimistische) Abschätzug, wie klei die Variaz bestefalls sei ka. Defiitio 2.9. Sei (X, F, (P ϑ ; ϑ Θ)) ei Stadardmodell. Da heißt (X, F, (P ϑ ; ϑ Θ)) regulär, falls folgede Bediguge gelte: i) Θ R ist ei offees Itervall. ii) ϱ(ϑ,.) : X R ist strikt positiv auf spt(µ 0 ) für alle ϑ Θ. iii) Falls S : X R mit E ϑ0 (S 2 (X)) < für ei ϑ 0 Θ, so gilt d S(x)ϱ(ϑ, x) µ 0 (dx) = S(x) ϱ(ϑ, x) µ 0 (dx). ϑ ϑ=ϑ 0 dϑ ϑ=ϑ 0 X X

19 2. Puktschätzer 7 Satz 2.0 (Cramer-Rao Iformatiosugleichug). I eiem reguläre statistische Modell (X, F, (P ϑ ; ϑ Θ)) sei τ : Θ R eie C -Kegröße ud T : X R ei erwartugstreuer Schätzer für τ, da gilt wobei I(ϑ) = V ϑ (T ) τ (ϑ) 2 I(ϑ) X ϑ Θ, ( ϑ log ϱ(ϑ, x) ) 2ϱ(ϑ, x) µ0 (dx). Beweis. O.B.d.A. sei V ϑ (T ) <, de aderefalls ist ichts zu beweise. Wir defiiere die Statistik X u ϑ (x) := log(ϱ(ϑ, x)), da liefert die Awedug der Regularitätseigeschaft iii) auf die kostate Statistik X x S(x) =, dass ϑ E ϑ (u ϑ ) = ϑ log(ϱ(ϑ, x)) ϱ(ϑ, x)µ 0(dx) X = Somit erhalte wir Cov ϑ (T, u ϑ ) = E ϑ (T u ϑ ) = X = ϑ X ϱ(ϑ, x) ϑ ϱ(ϑ, x) ϱ(ϑ, x)µ 0(dx) = ϑ ϱ(ϑ, x)µ 0 (dx) X } {{ } = ϑ Θ X T (x) ϑ ϱ(ϑ, x)µ 0(dx) = 0 T (x) ϱ(ϑ, x)µ 0 (dx) = ϑ E ϑ(t ) = ϑ τ(ϑ), = τ (ϑ) wobei wir beim drittletzte Schritt wieder die Regularitätseigeschaft iii) mit S = T ausgeutzt habe. Adererseits gilt mit der Cauchy-Schwarz-Ugleichug, dass Cov(T, u ϑ ) V ϑ (T ) V ϑ (u ϑ ) = V ϑ (T ) I(ϑ). Die Behauptug ergibt sich u durch Quadriere ud Umstelle ach V ϑ (T ). Bemerkug. Die Fuktio u : Θ X R u(ϑ, x) = ϑ log(ϱ(ϑ, x)) = ϱ(ϑ, x) ϑ ϱ(ϑ, x) wird auch Score-Fuktio geat, die Fuktio Θ ϑ I(ϑ) 0 heißt Fischer- Iformatio. I(.) hägt ur vom statistische Model (X, F, (P ϑ ; ϑ Θ)) ab (ud icht vo τ oder T ). Defiitio 2.. Sei (X, F, (P ϑ ; ϑ Θ)) ei reguläres statistisches Modell, τ : Θ R eie Kegröße ud T : X R ei erwartugstreuer Schätzer für τ. Da heißt T Cramer-Rao optimal, falls V ϑ (T ) = τ (ϑ) 2 ϑ Θ I(ϑ)

20 8 2 PARAMETERSCHÄTZUNG Bemerkug. Ei Cramer-Rao optimaler Schätzer ist somit isbesodere UMV. Lemma 2.2 (Recheregel). ( ) I(ϑ) = E ϑ 2 log(ϱ(ϑ, )). ϑ2 Beweis. Übugsaufgabe. Lemma 2.3 (Additivität der Fischer-Iformatio). Es sei M = (X, F, (P ϑ ; ϑ Θ)) ei reguläres statistisches Modell mit Fischer-Iformatio I M : Θ R 0. Da gilt für das Produktmodell M : I M (ϑ) = I M (ϑ). Beweis. Übugsaufgabe. Beispiel. Im -fache Gauß-Produkmodell mit ubekatem Parameter v ist M = (R, B, (ν 0,v ; v (0, + ))) T := π 2 x i ei erwartugstreuer Schätzer für die Kegröße τ(v) = v = σ (also die Stadardabweichug). I der Tat gilt (Übug) E (0,v) (T ) = v = τ(v) v > 0 ud ferer V (0,v) (T ) = ( π 2 ) v. Wir bestimme u die Cramer-Rao Schrake für τ. Im eifache Gauß-Modell ist ϱ(v, x) = 2πv e x2 2v, mit de Ableituge Daher woraus wir I(ϑ) = Cramer-Rao Schrake fide wir log(ϱ(v, x)) = 2 log(2πv) x2 2v, log(ϱ(v, x)) = v 2v + x2 2v, 2 2 log(ϱ(v, x)) = v2 2v x2 v. 3 ( ) E v 2 log(ϱ(v, x)) = v2 2v, 2 für das -fache Produktmodell erhalte. Für de Zähler der 2v 2 τ (v) = 2 v,

21 2. Puktschätzer 9 woraus wir wir für eie beliebige erwartugstreue Schätzer T vo v die Schrake erhalte V v ( T 4v ) = v 2. 2v 2 Für de aktuelle Schätzer T fide wir d.h. T ist icht Cramer-Rao optimal. ( π ) v V v (T ) = 2 > v 2, Satz 2.4 (Cramer-Rao, scharfe Versio). Sei (X, F, (P ϑ ; ϑ Θ)) ei reguläres statistisches Modell mit τ : Θ R ud T : X R ei erwartugstreuer Schätzer für τ. Da ist die Eigeschaft V ϑ (T ) = τ (ϑ) 2 ϑ Θ I(ϑ) äquivalet dazu, dass sich die Likelihood-Fuktio des Modells i der Form ϱ(ϑ, x) = e a(ϑ) T (x) b(ϑ) h(x) ( ) darstelle lässt mit gewisse Fuktioe a, b : Θ R ud messbarem h : X R. Beweis. Im Beweis der Cramer-Rao Schrake tauchte ur bei der Verwedug vo Cauchy-Schwarz ei Ugleichheitszeiche auf. Es gilt also geau da Gleichheit, we i der Cauchy-Schwarz-Ugleichug Gleichheit gilt. Das ist aber gleichbedeuted mit (T (x) τ(ϑ)) = c(ϑ) u ϑ (ϑ, x) für P ϑ -fast alle x X ud eie gewisse Kostate c = c(ϑ), d.h. T (x) c(ϑ) τ(ϑ) c(ϑ) = log(ϱ(ϑ, x)), ϑ ϑ T (x) c(s) ds ϑ } 0 {{ } =:a(ϑ) ϑ ϑ 0 τ(s) c(s) ds } {{ } =:b(ϑ) = log(ϱ(ϑ, x)) log(ϱ(ϑ 0, x)), e T (x)a(ϑ) b(ϑ) = ϱ(ϑ, x)/ ϱ(ϑ 0, x). } {{ } =:h(x) Bemerkug. Wolle wir etwa davo ausgehe, dass h, wähle wir als domiieredes Maß µ 0 (dx) = h(x)µ 0 (dx) ud schreibe P ϑ (dx) = ρ(ϑ, x) µ 0 (dx) = ϱ(ϑ, x)/h(x) h(x) µ } {{ } 0 (dx) } {{ } =: ϱ(ϑ,x) =: µ 0 (dx) Die Fisher-Iformatio bleibt vo diesem Wechsel der Darstellug des Modells uberührt. (Übug).

22 20 2 PARAMETERSCHÄTZUNG Defiitio 2.5 (Expoetielle Familie). Ei reguläres statistisches Modell heißt eie expoetielle Familie, we die Likelihood-Fuktio vo der Gestalt ( ) ist, bzw. äquivalet hierzu ach Wahl eies geeigete domiierede Maßes µ 0 gilt P ϑ (dx) = z(ϑ) ea(ϑ) T (x) µ 0 (dx), mit gewisse Fuktioe a, z : Θ R ud eier Statistik T : X R. Bemerkug. I der obige Darstellug vo P ϑ ist z(ϑ) als Normierugskostate durch a(ϑ), T (.), µ 0 ud die Bedigug X P ϑ(dx) = eideutig bestimmt, d.h. z(ϑ) = X e a(ϑ) T (x) µ 0 (dx). Korollar 2.6. I eiem expoetielle Modell mit ϱ(ϑ, x) = e a(ϑ)t (x) b(ϑ) h(x) ist T : X R ei (erwartugstreuer) Cramer-Rao optimaler Schätzer für die Kegröße τ(ϑ) = b (ϑ) a (ϑ), ud i diesem Fall gilt: da I(ϑ) = a (ϑ) τ (ϑ). V ϑ (T ) = τ (ϑ) a (ϑ) Beweis. Übug. Beispiele expoetieller Familie.. Normalverteilug mit bekatem Erwartugswert m: ϱ(v, x) = e (x m)2 2v 2πv 2. Normalverteilug mit bekater Variaz v: ϱ(m, x) = e (x m)2 2v = e x2 2v 2πv 2πv } {{ } =:h(x) e m2 2v } {{ } =: z(m) e xm v }{{} =:ea(m) T (x) 3. Poisso-Verteilug mit dem Zählmaß µ 0 auf N 0 ϱ(ϑ, x) = e ϑ ϑx x! = e(log ϑ)x ϑ x!

23 2. Puktschätzer 2 4. Biomialverteilug mit fest ud Parameter ϑ [0, ], µ 0 (dx) Zählmaß auf {0,..., }. ( ) ( ) ϱ(ϑ, x) = ϑ x ( ϑ) x = e x(log ϑ log( ϑ)) ( ϑ) x x Bemerkug. Alterativ ist eie expoetielle Familie dadurch gekezeichet, dass sich ach geeigeter Wahl vo µ 0 so dass h(.) die log-likelihood Fuktioe darstelle lasse als eie durch ϑ Θ parametrisierte Familie vo affie Trasformatioe eier gewisse Statistik T : X R. Im Fall des eifache Gaußmodells mit ubekate Parameter m ud v erhalte wir µ 0 (dx) = dx ud log ρ((m, v), x) = log( ) + 2πv (x m)2 2v Somit ist das eifache Gaußmodell mit ubekatem Parameter ϑ = (m, v) keie expoetielle Familie, da es eie Darstellug der Form 2v (x m)2 = α(ϑ)t (x) + β(ϑ) x, m R, v 0 gewisse Fuktioe α, β ud T icht gebe ka (Übug). Zusammefassug ž Uter alle erwartugstreue Schätzer sid diejeige mit miimaler Variaz vorzuziehe (bzw. aderfalls die mit miimalem quadratische Fehler). ž Die Cramer-Rao Schrake ist eie utere Schrake für de miimal mögliche mittlere quadratische Fehler eies erwartugstreue Schätzers. ž Ei statistisches Modell ist geau da eie expoetielle Familie, we i der Cramer-Rao Abschätzug für alle ϑ Θ Gleichheit gilt. ž Im icht-expoetielle Fall ist die Cramer-Rao Schrake i.a. zu optimistisch. Deoch ka ma ach variazoptimale erwartugstreue Schätzer frage. Eie Atwort hierauf gibt der Satz vo Rao-Blackwell, de wir als ächstes bespreche werde Suffiziez ud Satz vo Rao-Blackwell Defiitio 2.7. Sei (X, F, (P ϑ ; ϑ Θ)) ei statistisches Modell ud S : (X, F) (Σ, G) eie Statistik. Da heißt S suffiziet, falls für alle messbare, beschräkte Fuktioe die bedigte Erwartug f : X R E ϑ (f( ) σ(s)) icht mehr vo ϑ Θ abhägt. Dabei bezeichet σ(s) die vo S erzeugte σ-algebra σ ( {S (G) G G} ).

24 22 2 PARAMETERSCHÄTZUNG Bemerkug (Diskreter Spezialfall). Im Falle, dass S eie diskrete Abbildug (also mit diskretem Wertebereich) ist, ist die obige Bedigug äquivalet dazu, dass für alle beschräkt messbare f ud s Σ E ϑ (f(x) S(X) = s) icht vo ϑ abhägt. Beispiel. Im -fache Beroulli-Modell ({0, }, P({0, } ), B ϑ ) mit der Beroulli- Verteilug B ϑ auf {0, } zum Erfolgsparameter ϑ [0, ] ist die Statistik S(x,..., x ) = x i suffiziet. Zum Nachweis hiervo reicht es, die Bedigug aus 2..6 für f vo der Form f(x) = B (x) zu überprüfe. Die Bedigug bedeutet da P ϑ (X B S(X) = s) hägt icht vo ϑ ab. Sei also o.b.d.a. B = {b = (b,..., b )} = {(0, 0,,...,, 0,..., 0,,...)} eie eielemetige Mege, da P ϑ (X B S(X) = m) = P ϑ(x B, S(X) = m) P ϑ (S(X) = m) { 0, falls S(b) m = P ϑ (X B) P ϑ, sost (S(X)=m) { 0, falls S(b) m = ϑm ( ϑ) m, sost ( m) ϑ m ( ϑ) m { 0, falls S(b) m =, sost ( m) Diese Zahl hägt u i der Tat icht mehr vo ϑ ab, somit ist S eie suffiziete Statistik. Bemerkug (Aschauliche Bedeutug eier suffiziete Statistik). Durch Bedige/Festlege auf das Ergebis der Hilfsbeobachtug S = S(X) verbleibt zwar och ei gewisser Restzufall i der Beobachtug X, allerdigs hägt desse Verteilug icht mehr vo ϑ ab. Die Bezeichug suffiziet wird durch das folgede Resultat gerechtfertigt, das wir hier ur zur Illustratio afüge. Satz 2.8. I eiem parametrische Modell mit suffizieter Statistik S ist das Maß P ϑ durch seie Bildverteilug P ϑ S uter S festgelegt. Beweis. Die Verteilug P ϑ ist durch die Itegrale E ϑ (f(x)) vo ichtegative messbare Fuktioe f : X R festgelegt. Die bedigte Erwartug E ϑ (f(x) σ(s)) ist eie σ(s)- messbare Zufallsvariable, ud daher darstellbar i der Form E ϑ (f(x) σ(s)) = f ϑ (S)

25 2. Puktschätzer 23 mit eier gewisse messbare Fuktio f θ : Σ R. E ϑ (f(x)). Aufgrud der Suffiziez vo S hägt die Fuktio f ϑ = f i der Tat icht vom Parameter ϑ ab. D.h. für jede messbare Fuktio f : X R existiert eie messbare Fuktio f : Σ R, so dass E ϑ (f(x) σ(s)) = f(s) P ϑ fast sicher. Mit ν ϑ := P ϑ S gilt folglich E ϑ (f(x)) = E ϑ [E ϑ (f(x) σ(s)] = E ϑ ( f(s)) = Σ f(s)ν ϑ (ds). Satz 2.9 (Rao-Blackwell). Seie (X, F, (P ϑ ; ϑ Θ)) ei statistisches Modell, τ : Θ R d eie Kegröße, S : X Σ eie suffiziete Statistik ud T : X R d ei erwartugstreuer Schätzer für τ. Weiter sei T : X R d, T = E(T σ(s)), da ist T ebefalls ei erwartugstreuer Schätzer für τ mit V ϑ (T ) V ϑ (T ). Dabei gilt geau da Gleichheit, we T = T P ϑ -fast überall gilt. Bemerkug. Im Spezialfall dass X diskret ist, ka ma T auch beschreibe durch T (x) = E ϑ (T (X) S(X) = S(x)). Beweis vo 2.9. ) Aufgrud der Suffiziez vo T hägt die Kostruktio vo T icht vo ϑ ab. T ist somit isbesodere wohldefiiert. 2) T ist erwartugstreu, de die Projektivität der bedigte Erwartug liefert E ϑ (T ) = E ϑ (E ϑ (T σ(s))) = E ϑ (T ) = τ(ϑ). 3) Mit der Jese sche Ugleichug für bedigte Erwartuge i Schritt ( ) gilt schließlich V ϑ (T ) = E ϑ ([T τ(ϑ)] 2 ) = E ϑ ([E ϑ (T σ(s)) τ(ϑ)] 2 ) = E ϑ ([E ϑ (T τ(ϑ) σ(s))] 2 ) ( ) E ϑ (E ϑ ([T τ(ϑ)] 2 σ(s))) = E ϑ ([T τ(ϑ)] 2 ) = V ϑ (T ). Bemerkug. Der Satz vo Rao-Blackwell liefert ei kostruktives Verfahre zur Verbesserug vo erwartugstreue Schätzer durch Itegratio etlag der Hilfsbeobachtug S. Beispiel. Im -fache Beroulli-Modell ({0, }, P({0, } ), B ϑ ) ist S(x,..., x ) = x i

26 24 2 PARAMETERSCHÄTZUNG eie suffiziete Statistik. Weiter sei τ(ϑ) := ϑ ud da ist T erwartugstreu, de T (x,..., x ) := x, E ϑ (T ) = E ϑ (x ) = ϑ. WIr kostruiere eie eue Schätzer T aus T vermöge S ach Rao-Blackwell wie folgt. T (x,..., x ) = E ϑ (T S = S(x,..., x )) } {{ } =:s = E ϑ(t S=s ) P ϑ (S = s) ) P ϑ (x =, x i = s = P ϑ (S = s) = ϑ ( ) s ϑ s ( ϑ) s P ϑ (S = s) ( ) ϑ s ( ϑ) s = s ( s ) ϑs ( ϑ) s = s Also habe wir de eue Schätzer T (x,..., x ) = x i. Da V ϑ (T ) = ϑ( ϑ) V ϑ (T ) = ϑ( ϑ) Ist der Schätzer T im Sie des quadratische Fehlers echt besser als T. Das folgede praktische Lemma liefert eie Charakterisierug all der statische Modelle, die eie suffiziete Statistik aufweise. Satz 2.20 (Neyma-Fischer Faktorisierugslemma). Sei (X, F, (P ϑ ; ϑ Θ)) ei reguläres statistisches Modell. Es existiert geau da eie suffiziete Statistik S : X Σ, we h : Θ Σ R : ϱ(ϑ, x) = h(ϑ, S(x)) k(x) µ 0 -fast überall ud eie für eie gewisse messbare Fuktio k : X R.

27 2. Puktschätzer 25 Beweis. : (Für de Fall, dass X diskret ist.) O.B.d.A. ist µ 0 (dx) das Zählmaß. P ϑ (X = x S(X) = s) = S(x)=s Wahl vo s = S(x) führt somit zu = S(x)=s = S(x)=s P ϑ (X = x) P ϑ (S(X) = s) = { }} { ϱ(ϑ, x) µ 0 (x) ϱ(ϑ, y) µ 0 (y) } {{ } = ϱ(ϑ, x) Suffiziez = f(x, s) ϱ(ϑ, y) y X,S(y)=s y S (s) S(x)=s ϱ(ϑ, x) = f(x, s) y S (s) ϱ(ϑ, y) } {{ } h(ϑ,s) ϱ(x, ϑ) = f(x, S(x)) h(ϑ, S(x)) = k(x) h(ϑ, S(x)) : Übug Vollstädigkeit ud der Satz vo Lehma-Scheffé Es stellt sich u die Frage, ob ma das Rao-Blackwell Verfahre ubegrezt iteriere oder ob es irgedwa abbricht? Eie Atwort gibt der Satz vo Lehma-Scheffé. Dafür brauche wir allerdigs och eie weitere Begriff. Defiitio 2.2. Sei M = (X, F, (P ϑ ; ϑ Θ)) ei statistisches Modell. S : X (Σ, G) heißt vollstädig, falls für alle messbare h : Σ R mit E ϑ (h 2 (X)) < ϑ Θ die Implikatio gilt ( ) ( ) E ϑ (h(s)) = 0 ϑ Θ h(s) = 0 P ϑ -fast überall ϑ Θ. Beispiel. Sei M wieder das -fache Beroulli-Modell. Die Statistik S(x,..., x ) := ist vollstädig, de sei h : Z R beschräkt, da gilt ( ) E ϑ (h(s)) = ϑ m ( ϑ) m h(m) m m=0 ( ) ( ) m ϑ = ( ϑ) m h(m) m ϑ Somit folgt aus m=0 m=0 ( ) ( ) m ϑ h(m) = 0 ϑ ]0, [ m ϑ x i

28 26 2 PARAMETERSCHÄTZUNG durch Variabletrasformatio y = m=0 ϑ dass ϑ ( ) h(m)y m = 0 y R >0 m das Nullpolyom i der Variable y ist, d.h. h(m) = 0 m, also h 0. Satz 2.22 (Lehma-Scheffé). Falls (X, F, (P ϑ ; ϑ Θ)) ei statistisches Modell, τ : Θ R eie Kegröße, T : X R ei erwartugstreuer Schätzer mit edlichem zweite Momet bzgl. aller P ϑ, θ Θ ud S : X (Σ, G) eie suffiziete ud vollstädige Statistik ist, so ist T = E ϑ (T σ(s)) der eideutige variazmiimierede erwartugstreue Schätzer. Bemerkug. Es köte jedoch eie im Sie des mittlere quadratische Fehlers bessere icht-erwartugstreue Schätzer gebe. Beweis vo Nach Rao-Blackwell ist T erwartugstreu ud V ϑ (T ) V ϑ (T ). Sei H ei weiterer erwartugstreuer Schätzer mit H = E(H S). Sowohl T als auch H sid da σ(s)-messbare Zufallsvariable. Somit existiere messbare Fuktio t, h : Σ R so, dass ud H (x) = h(s(x)) T (x) = t(s(x)) 0 = E ϑ (H T ) = E ϑ (h(s(x)) t(s(x))) = E ϑ ((h t)(s(x))) ϑ Θ. Aus der Vollstädigkeit vo S folgt u (h t)(s) = 0 P ϑ -fast überall ϑ Θ, d.h. H (x) = h(s(x)) = t(s(x)) = T (x) P ϑ -fast überall. Die eimalige Ausführug der Rao-Blackwell-Kostruktio etlag eier suffiziete ud vollstädige Statistik S führt somit für verschiedee erwartugstreue Schätzer derselbe Kegröße τ stets auf de gleiche (optimale) erwartugstreue Schätzer. Isbesodere köe wir och das folgede Ergebis festhalte. Korollar Ei erwartugstreuer Schätzer der Form T (x) = t(s(x)) mit eier vollstädige ud suffiziete Statistik S ist UMV.

29 2. Puktschätzer Der optimale Variazschätzer im -fache Gaußmodell bei ubekatem Erwartugswert. Im folgede gebe wir ei Beispiel für eie UMV-Schätzer, der icht Cramer-Rao optimal ist. Wir arbeite dazu im -fache Gauß-Produktmodell P ϑ = (νm,v; m R; v 0) auf (X, F) = (R, B(R )) mit ubekate Parameter m ud v. Gesucht sei ei Schätzer für de Parameter v. Wie am Ede vo Abschitt 2..5 gesehe, ist die scharfe Versio des Satzes vo Cramer-Rao hier icht awedbar. Deoch gilt das folgede Resultat. Satz Im -fache Gauß-Produktmodell P ϑ = (ν m,v; m R; v 0) auf (X, F) = (R, B(R )) mit ubekate Parameter m ud v ist der gleichmäßig beste Schätzer für v. d 2 (x) = (x i x) 2 Zum Beweis beötige wir eiige Vorbereituge. Defiitio 2.25 (Mehrdimesioale expoetielle Familie). Ei statistisches Modell (X, F, (P ϑ ; ϑ Θ)) mit Θ R d heißt mehrdimesioale expoetielle Familie, falls die Likelihood-Fuktioe darstellbar sid i der Form ϱ(ϑ, x) = (x) ea(ϑ) T z(ϑ) mit z(ϑ) R >0, A(ϑ) R d ud T : X R d messbar. Bemerkug. Nach Umparametrisierug des Modells gemäß sämtliche auftretede Vektore i A := {A(ϑ) ϑ Θ}, d.h. mit ϱ(ϑ, x) = ϱ(a, x) ϱ(a, x) = (x) ea T z(a) ist da die Mege der auftretede Wahrscheilichkeitsverteiluge auch beschriebe als X {ϱ(ϑ, x) ϑ Θ} = { ϱ(a, x) A A}. Diese Darstellug wird auch atürliche Parametrisierug geat. Vo ihr wolle wir im Folgede ausgehe. Satz Im mehrdimesioale Fall eier expoetielle Familie mit ϑ Θ R d ist die Statistik P ϑ (dx) = z(ϑ) eϑ T (x) µ 0 (dx) T : X R d suffiziet ud vollstädig, sofer Θ midestes eie iere Pukt hat.

30 28 2 PARAMETERSCHÄTZUNG Beweis. Die Suffiziez vo T folgt aus (eier mehrdimesioale Fassug vo) dem Neyma- Fisher Faktorisierugslemma (Satz 2.20). Zur Vollstädigkeit sei Q = { η R d η ϑ 0 < ε } Θ für ei ϑ 0 Θ. Sei also f : R d R beschräkt messbar mit E ϑ [f(t (X))] = 0 ϑ Θ. Sei f(x) = f + (x) f (x) die Zerlegug vo f i Positiv- ud Negativteil. Folglich ist E ϑ (f + (T (X))) = eϑ T (x) f + (T (x)) µ 0 (dx). z(ϑ) X Sei ν 0 (dt) = (T ) µ 0 (dx) das Bildmaß auf R d vo µ 0 uter der Abbildug T. Da gilt E ϑ (f + (T (X))) = eϑ t f + (t) ν 0 (dt) z(ϑ) ud R d E ϑ (f (T (X))) = Isbesodere gilt für alle ϑ Q: e ϑ t f (dt) ν 0 (dt) = R d R d z(ϑ) eϑ t f (t) ν 0 (dt). R d e ϑ t f + (t) ν 0 (dt). Nach der Eideutigkeit der Laplace-Trasformatio vo Maße gilt damit f + (t) ν 0 (dt) = f (t) ν 0 (dt) im Sie vo Maße auf R d. Nach Defiitio vo ν 0 = (T )µ 0 ist dies äquivalet zu f + (T (x))µ 0 (dx) = f (T (x))µ 0 (dx) im Sie vo Maße auf X also (T (x)) = f + (T (x)) f (T (x)) = 0 µ 0 -fast überall. Korollar Jeder Schätzer der Form Φ(T (x)) für τ(ϑ) = E ϑ (Φ(T (X))) ist ei variazmiimiereder erwartugstreuer Schätzer für τ. Beweis vo Satz Es hadelt sich hierbei um eie mehrdimesioale expoetielle Familie mit T = T (x) = (x i ) 2, } {{ } =:T x i R2 } {{ } =:T 2

31 2. Puktschätzer 29 ud wir hatte bereits gesehe, dass d 2 (x) = (x i x) 2 = ( ) (x i ) 2 2 x i ei erwarugstreuer Schätzer für v ist. Zudem ist T eie suffiziete ud vollstädige Statistik für (P ϑ ). Da wir d 2 darstelle köe als d 2 (x) = (T (x) ) (T 2(x)) 2 = d 2 (T (x)) folgt aus Korollar 2.27, dass ist d 2 (x) ei UMV-Schätzer für v ist. Vergleich mit der Cramer-Rao-Schrake Wir wolle jetzt och die Variaz des Schätzers d 2 mit der Cramer-Rao-Schake für mehrdimesioale parametrische Modelle vergleiche. Diese lautet wie folgt. Satz 2.28 (Cramer-Rao i R d ). Seie (X, F, (P ϑ ; ϑ Θ)) ei reguläres 3 statistisches Modell mit Θ R d offe, τ : Θ R ud T : X R ei erwartugstreuer Schätzer für τ. Da gilt V ϑ (T ) τ, I τ. Dabei ist I(ϑ) die Iformatiosmatrix (I(ϑ) ij ) = ( ( )) E ϑ log(ϱ(ϑ, X)) log(ϱ(ϑ, X)). ϑ i ϑ j Beweis. Zuächst gilt wie zuvor i d hier für die partielle Ableituge ϑ j τ(ϑ) = E ϑ (T ) ϑ j = T (x) X = X ϑ j ϱ(ϑ, x) µ 0 (dx) T (x) ϑ j log(ϱ(ϑ, x)) ϱ(ϑ, X) dx = E ϑ (T (X) ) log(ϱ(ϑ, X) ϑ j Ferer gilt ( ) E ϑ log(ϱ(ϑ, X)) = 0 ϑ j 3 d Die Regularitätsbedigug 3) aus dem eidimesioale Fall Θ R für dϑ muss hier hier durch die etsprechede Regularitätsbedigug für sämtliche partielle Ableituge ϑ i, i =,..., d, ersetzt werde.

32 30 2 PARAMETERSCHÄTZUNG ud V arϑ (T ) = V ϑ (T ) = sup Cov ϑ (T, Z) V ϑ (Z)= = sup V ϑ (Z)= E ϑ (Z)=0 E ϑ (T Z) E ϑ (T Z) = sup E ϑ (Z)=0 Vϑ (Z) R(η) { }} { E ϑ (T ηk log(ϱ(ϑ, X))) ϑ sup k η R d Vϑ (R(η) τ, η =. η, Iη Somit τ, η Vϑ (T ) sup = η R d η, Iη sup τ, η = η,iη sup I τ, Iη η,iη = I τ, II τ = τ, I τ Beispiel. Für die Awedug vo Satz 2.28 im -fache -fache Gauß-Produktmodell P ϑ = (νm,v; m R; v 0) auf (X, F) = (R, B(R )) mit ubekate Parameter m ud v für die Kegröße ( ) 0 τ(m, v) = v τ = bereche wir ud Folglich log ϱ v = 2v + (x i m) 2 2v 2 = log ϱ m = x i m v I 22 (ϑ) = E ϑ (u v (X) 2 ) = (x i m) 2 v 2v 2 = u m. 2v 2 = u v Also ud damit I (ϑ) = E ϑ (u m (X) 2 ) = v I 2 (ϑ) = I 2 (ϑ) = E ϑ (u m (X) u v (X)) = 0. I(ϑ) = I(ϑ) = ( v 0 0 2v 2 ( v 0 0 2v 2 ) ),

33 2. Puktschätzer 3 so dass V(T ) τ, I τ = I 22 = 2v2. Ferer rechet ma direkt ach (Übug), dass V (m,v) (d 2 ) = 2v2 > 2v2. Da d 2 UMV-optimal ist, gibt es also keie Cramer-Rao optimale Schätzer für v im -fache Gaußmodell, sofer m ebefalls ubekat ist Bayes sche Schätzer Der sogeate Bayes sche Asatz liefert ei weiteres Kostruktiosverfahre für Schätzer. Allerdigs hägt diese Methode vo eier weitere Größe ab, die i eiem statistische Modell zuächst icht ethalte ist, ämlich eier zuvor gewählte (a-priori-) Wahrscheilichkeitsverteilug ν auf der Parametermege Θ. Beispiel (Müzsack). Wir fide große Sack mit Müze uterschiedlicher Art, d.h. isbesodere mit uterschiedliche Erfolgsparameter p. Wir ehme a, dass jeder Erfolgsparameter p [0, ] gleich häufig vorkommt. Wir ziehe u eie Müze ud werfe sie mal. ž Die Wahrscheilichkeit, mit der gezogee Müze k mal Erfolg zu habe, beträgt (mit X = Azahl der Erfolge) P(X = k) := B(, ϑ)[k] ν(dϑ), [0,] mit B(, ϑ)[k] = ( k) ϑ k ( ϑ) k (Biomialverteilug zum Erfolgsparameter ϑ [0, ]) ud ν(dϑ) = dθ (Gleichverteilug auf [0, ]). ž Ageomme, wir hatte beim -malige Werfe mit der gezogee Müze k mal Erfolg, so köe wir us u ( a-posteriori ) frage, welche Wahrscheilichkeitsverteilug sich hieraus für de ubekate Erfolgsparameter p der gezogee Müze ergibt. Dies wäre zum Beispiel bedeutsam, we wir ei eues Spiel mit dieser gezogee Müze spiele wollte. Hierzu stelle wir fest, dass P(X = k, ϑ dϑ) P(X = k ϑ dϑ) P(ϑ dϑ) P(ϑ dϑ X = k) = = P(X = k) P(X = k) B(, ϑ)[k]ν(dϑ) = B(, ϑ)[k] ν(dϑ) =: ν X=k(dϑ). [0,] We wir also wie zuvor vo der Gleichverteilug ν(dϑ) = dϑ auf [0, ] für die im Müzsack ethaltee Müze bzw. Erfolgsparameter ausgehe, ergibt sich ( ) k ϑ k ( ϑ) k dϑ ν X=k (dϑ) = ( ) ϑk ( ϑ) k k dϑ = B(k, k) ϑk ( ϑ) k dϑ. [0,]

34 32 2 PARAMETERSCHÄTZUNG Dies ist icht mehr die Gleichverteilug soder die sogeate Beta-Verteilug 4 auf [0, ] mit de Parameter (k +, k + ). Die i diesem Beispiel auftretede Verteiluge ν ud ν X heiße a-priori bzw. a-posteriori- Verteiluge für de ubekate Parameter ϑ Θ. Allgemei verwede wir die folgede Sprechweise. Defiitio Sei (X, F, (P ϑ ; ϑ Θ)) ei Stadardmodell mit Likelihood-Fuktio ϱ(ϑ, x). Da heißt ei Wahrscheilichkeitsmaß ν auf (Θ, τ) a-priori-verteilug für de Parameter ϑ Θ. Zu x X heißt ν x (dϑ) = ϱ(ϑ, x) ν(dϑ) ϱ(ϑ, ϑ)ν(d ϑ) Θ die a-posteriori-verteilug für de Parameter ϑ Θ gegebe die Beobachtug x. Im Beispiel des Müzsackes war also (X, F, (P ϑ ; ϑ Θ)) das Biomalmodell für Versuche ud ubekatem Erfolgsparameter p, sowie ϑ [0, ], ν(dϑ) = das uiforme Maß auf [0, ]. (Letzteres etsprag userer Aahme, dass im Müzsack jeder Erfolgsparameter gleich wahrscheilich auftritt. Wir hätte also auch ei aderes a-priori Maß wähle köe.) Mit dieser Wahl vom a-priori Maß ν erhalte wir die durch k X parametrisierte Familie vo a-posteriori Verteiluge auf [0, ] ν k (dϑ) = 0 ϑk ( ϑ) k dϑ ϑ k ( ϑ) k d ϑ Bemerkug (Mathematische Bedeutug des a-posteriori-maßes). Durch zufällige Wahl aus der Mege (P ϑ ) ϑ gemäß der Verteilug ν ergib sich ei Wahrscheilichkeitsmaß P(dxdϑ) = P ϑ (dx)ν(dϑ) für das Auftrete vo (x, ϑ)-paare. Mit adere Worte, für f = f(ϑ, x) E P (f(x, ϑ)) = f(x, ϑ)p ϑ (dx)ν(dϑ) Die Verteiluge des statische Modells Θ X P ϑ (dx) = P(dx ϑ) sid somit die bedigte Verteilug vo X uter P(ϑ, dx) gegebe ϑ. Die a-posteriori Verteiluge ergebe sich jetzt aus P(dϑ, dx) durch Vertauschug der Bedigug, d.h. 4 Die Familie der Beta-Verteiluge mit B(p, q) = ν x (dϑ) = P(dϑ x), B(p, q) xp ( x) q = f(x), p, q > 0 x p ( x) q dx sid Wahrscheilichkeitsdichte auf [0, ] (siehe Kapitel 3). 0

35 2. Puktschätzer 33 bzw. äquivalet hierzu durch Vertauschug der Itegratiosreihefolge, d.h. für f = f(ϑ, x) E P (f(x, ϑ)) = f(x, ϑ)ν x (dϑ)p ν (dx). X Θ Die Radverteilug P ν (dx) := Θ P ϑ(dx)ν(dx) für die Zuvallsvariable X uter P wird auch als Mischug der Familie (P ϑ ) mit der Verteilug ν bezeichet. Defiitio I der Situatio wie i Defiitio 2.29 sei ferer τ : Θ R eie Kegröße ud sei T : X R ei Schätzer. Weiter sei E ν ((τ(ϑ)) 2 ) <. Da heißt der Schätzer T ei Bayes-Schätzer zur Kegröße τ, falls F ν (T ) = E ν (F ϑ (T )) = F ϑ (T )ν(dϑ) = τ(ϑ) T (x) 2 P ϑ (dx)ν(dϑ) miimal ist uter alle Schätzer T : X R. Θ Θ X Satz 2.3. Uter de Voraussetzuge vo Defiitio 2.30 ist T (x) := E νx (τ(ϑ)) = τ(ϑ)ν x (dϑ) ist der (bis auf Nullmege) eideutig bestimmte Bayes-Schätzer zur Kegröße τ. Beweis. Sei T ei Schätzer. Da wird der Ausdruck F ν (T ) = τ(ϑ) T (x) 2 ν x (dϑ) P ν (dx) Θ X Θ } {{ } :=H x(t (x)) mit H x (T ) = τ(ϑ) T 2 ν x (dϑ) Θ miimal, we für jedes x X die Fuktio T H x (T ) für bzgl. der Variable T miimiert wird. Nu wisse wir aus der Wahrscheilichkeitstheorie dass allgemei ei Ausdruck der Form E( X c 2 ) für c = E(X) miimal wird, d.h. der Ausdruck H x (T ) ist miimal für T = T (x) := τ(ϑ)ν x (dϑ) = E νx (τ). Θ Der Bayes-Schätzer T (x) zur Kegröße τ bei gegebeer Realisierug x X ist also eifach der Erwartugswert vo τ uter dem a-posteriori Maß ν x (dϑ) gegebe x. Beispiel (Müzsack, Forts.). Die a-priori-verteilug auf [0, ] war ν =U([0, ]).

36 34 2 PARAMETERSCHÄTZUNG Hieraus ergebe sich die a-posteriori-verteiluge auf [0, ] gegebe x {0,..., } ν k (dϑ) = ϑ k ( ϑ) k ϑ k ( ϑ) k d ϑ dϑ. 0 } {{ } :=B(k+, k+) Sei u τ(ϑ) = ϑ. Da ist der Bayes-Schätzer für ϑ = T (x) = E νx (τ(ϑ)) = ϑ x+ ( ϑ) x dϑ = B(x +, x k + ) 0 τ(ϑ)ϑ x ( ϑ) x dϑ B(x +, x + ) 0 B(x + 2, x k + ) B(x +, x k + ) = x + +, wobei ma im letzte Schritt ausutzt, dass B(p, q) ei Quotiet vo Gamma-Fuktioe ist (siehe Kapitel 3). Im Müzsack-Beispiel schätzt ma also mit der Gleichverteilug auf [0, ] als a-priori Verteilug ach der Bayes-Methode de Erfolgsparameter der gezogee Müze auf (x + )/( + ), sofer ma beim -malige Ausprobiere x Erfolge beobachtet hat. Mit T (x) = x+ =: T (x) ist die Folge der Schätzer T zwar icht erwartugstreu, aber ach + Satz 2.3 kosistet, de E(T ) = ϑ + + ϑ ud V(T ϑ ( ϑ) ) = 0. ( + ) Bereichsschätzer (Kofidezmege) I viele Fälle wird ei Schätzer T für eie Kegröße τ diese fast sicher icht treffe, selbst we T erwartugstreu ist. Beispiel. Im eifache Gauß-Modell (R, B(R), (ν m, ; m R)) mit ubekate Erwartugswert m R ist T (x) := x ei erwartugstreuer Schätzer für die Kegröße τ(m) = m aber T (X) m fast sicher, da X eie stetige Zufallsvariable ist ud somit eie fest vorgegebee Pukt fast sicher ie trifft, d.h. P m (X = c) = 0 c R Als Lösug für dieses Problem führt ma megewertige Schätzer ei, sogeate Kofidezbereiche. Defiitio Sei (X, F, (P ϑ ; ϑ Θ)) ei statistisches Modell ud τ : Θ Σ eie Kegröße ud α (0, ). Da heißt eie Abbildug C : X P(Σ)

37 2.2 Bereichsschätzer (Kofidezmege) 35 Kofidezbereich für τ zum Niveau α, falls Vereibaruge. ϑ Θ : P ϑ (C(X) τ(ϑ)) α. Solag icht aders defiiert, beschräke wir us i diesem Abschitt stets auf de Fall τ(ϑ) = ϑ. 2. Für eie Mege C X Θ führe wir die folgede Schreibweise ei: C := {(x, ϑ) X Θ ϑ C(x)} ud C ϑ := {x X (x, ϑ) C} C x = C(x) = {ϑ Θ (x, ϑ) C} 3. Der Vollstädigkeit halber müsste die Defiitio 2.32 och um die Messbarkeitsvoraussetzug C ϑ F ϑ Θ erweitert werde, aber wir werde diese techische Pukt im folgede igoriere. Bemerkug.. I Worte lautet die Bedigug a eie Kofidezbereich wie folgt. Die Wahrscheilichkeit, dass C(X) die gesuchte Kegröße τ(ϑ) ethält, beträgt midestes α. 2. Die Notatio P ϑ (τ(ϑ) C(X)) α ist formell äquivalet, köte aber leicht zu logische Fehler führe. 3. Trivialer Weise ist die kostate Abbildug X x C(x) = Θ ei Kofidezbereich für jedes Niveau α > 0, aber leider vollkomme wertlos, weil aus der Realisierug x keie Iformatio über die Lage des Parameters ϑ gewoe wird. Ma ist also a möglichst kleie Kofidezmege iteressiert. Falls etwa C(x) C(x) für alle x X für zwei Kofidezbereiche C ud C zum Niveau α, so wäre C vorzuziehe Kofidezbereiche im Biomialmodell Wir diskutiere drei Asätze zur Bestimmug vo Kofidezbereiche im Biomialmodell ({0,..., }, P(X), (P ϑ ; ϑ [0, ])) mit P ϑ = B,ϑ.. Methode. (Vermöge Tschebyschev-Abschätzug) Wir beutze de Schätzer T (x) = x ud wähle de Asatz C(x) = ( x ( ε, x + ε). Hierbei ist ε > 0 so zu wähle dass B,ϑ X ϑ ε ) α. Nu gilt mit der Tschebyschev-Ugleichug ( ) X B,ϑ ϑ ε ( ) X ε V ar ϑ( ϑ) 2 ϑ =! α, 2 ε 2 4ε 2