Kapitel VI Grudlage der Statistik: Schätztheorie für diskrete Verteiluge I der Wahrscheilichkeitsrechug geht es immer um die Berechug vo Wahrscheilichkeite, Erwartugswerte, etc. i eiem zuvor spezifizierte Modell ud damit uter eier zuvor festgelegte, also bekate W-Verteilug. Diese Aahme eier bekate W-Verteilug läßt sich i mache Fälle durch geometrische Überleguge rechtfertige z.b. die Laplace- Verteilug bei symmetrische homogee Körper wie Müze, Würfel, etc. I adere Situatioe werde die Ausgagsverteiluge durch Modellaahme ahegelegt (z.b. die Biomialverteilug durch Beroulli-Experimete oder die Poisso-Verteilug durch de Poissosche Grezwertsatz). I viele praktische Probleme ist jedoch bereits die Ausgagsverteilug ubekat, ud es stellt sich die Frage, ob auf der Basis gegebeer Beobachtugswerte eies betrachtete Zufallsexperimets Rückschlüsse auf diese Verteilug möglich sid. Dies führt us geradewegs i die Welt der Statistik, dere Aufgabe icht mehr dari besteht, ei vorgegebees Modell zu aalysiere, soder vielmehr ach Durchführug oder Realisierug des Experimets das Ergebis zu utze, um aus eier Klasse vo Modelle das im geeigete Si plausibelste auszuwähle. 8. Problemstellug Um die Aufgabestellug weiter zu erläuter ud erste Begriffsbilduge vorzuehme, begie wir mit eiem icht sehr origielle, aber istruktive Beispiel. 8.. Beispiel. Eie verbogee Müze wird zu eiem Spiel geutzt: Gege eie Gebühr vo Euro darf ma eimal die Müze werfe ud erhält 2 Euro zurück, we Zahl ( ) erscheit, währed bei Kopf ( 0 ) der Eisatz verlore ist. Die Modellbildug ist hier offesichtlich: Es liegt ei Beroulli-Experimet (Ω,p) vor, d.h. (8.) Ω = {0, } ud p() = p(0) = θ für ei θ [0, ]. Es iteressiert der Gewi/Verlust, gegebe durch die Zufallsgröße {, falls ω = (2 Euro Auszahlug Euro Eisatz) Y (ω) =, falls ω = 0 ( Euro Eisatz).
0 Kapitel VI. Grudlage der Statistik: Schätztheorie für diskrete Verteiluge Ei aheliegedes Kriterium für die Etscheidug über die Teilahme a diesem Spiel wird durch de Erwartugswert EY = p()+( ) p(0) = 2θ geliefert; für θ > /2 ist es güstig teilzuehme, für θ < /2 ugüstig, für θ = /2 hadelt es sich um ei faires Spiel (Laplace-Experimet). Das Problem besteht dari, daß der Wert θ ubekat ist ud wir ih ohe weitere Iformatioe über das Modell auch icht bestimme köe. Was also tu, we solche Iformatioe icht verfügbar sid? Erier wir us dazu a die Aussage des schwache Gesetzes der große Zahle: Sei Y i der Gewi/Verlust der i-te Rude ud X i = {} (Y i ) für i N. Wird die Müze -mal uabhägig voeiader geworfe ud die Azahl S = X +... + X der Gewirude registriert, so kovergiert S für i Wahrscheilichkeit gege EX = P (X =)=θ. Natürlich ist es praktisch umöglich, die Müze uedlich oft zu werfe. Deshalb wird ma sich mit eier edliche Azahl 0 vo Versuche begüge müsse ud auf der Grudlage der Wurfergebisse eie Etscheidug über de Wert vo θ fälle. Immerhi liefert die Tschebyschev-Ugleichug für de Fall, daß 0 uabhägige Versuchswiederholuge durchgeführt werde, die Abschätzug ( ) P 0 S 0 θ ε θ( θ) 0 ε 2 4 0 ε 2 (wege x( x) /4für alle x [0, ]). Ma hat also eie Schrake für die Wahrscheilichkeit eier Abweichug vo mehr als ε der relative Häufigkeit vo dem wahre, aber ubekate Wert θ. Nach diesem Beispiel wolle wir die Problemstellug im Rahme eies allgemeie mathematische Modells erfasse ud formalisiere. 8.2. Geeralvoraussetzug. Es sei P eie ichtleere Familie vo diskrete W-Verteiluge über Ω ud X =(X,..., X ) ei Zufallsvektor X :Ω R. Die iduzierte Klasse P X = {P X : P P} vo W-Verteiluge sei durch eie reellwertige Parameter θ parametrisiert: P X = {P X θ : θ Θ}. Die Mege Θ R der mögliche Parameterwerte heißt auch Parameterraum. Im obige Beispiel ist im Fall vo Spielrude X =(X,..., X ) der Zufallsvektor, der aus de Ergebisse X,..., X der Wurfergebisse besteht. Wir dürfe davo ausgehe,
8. Problemstellug daß X,..., X stochastisch uabhägig ud jeweils die Zähldichte aus (8.) mit ubekatem θ Θ =[0, ] besitze. Damit gilt für alle x,..., x {0, } ud mit s = x i P X ({(x,..., x )}) = = θ s ( θ) s, d.h. die Klasse P X ka durch de Parameter θ Θ=[0, ] parametrisiert werde. Das weitere Vorgehe hägt vo der jeweilige Zielsetzug ab: Will ma eie Aussage über de geaue Wert vo θ allgemei über eie Fuktioswert γ(θ) mache, so spricht ma vo eiem Schätzproblem. Eie Schätzfuktio ist da eie Vorschrift, die jedem mögliche Beobachtugswert (x,..., x ) dejeige Parameterwert aus Θ bzw. γ(θ) zuordet, der aufgrud dieser Iformatio als Schätzwert agesehe wird. 8.3. Defiitio. Es seie P X = {Pθ X : θ Θ} eie Familie vo (diskrete) Verteiluge vo X :Ω R ud γ :Θ R eie Abbildug. Eie Schätzfuktio oder kurz Schätzer (für γ(θ)) ist eie Abbildug g : R R. Gemäß der obige Motivatio wird g(x (ω),..., X (ω)) als Schätzwert für das wahre γ(θ) verwedet. Natürlich gibt es eie Fülle vo Schätzer, i userem Ausgagsbeispiel 8. etwa für θ g : (x,..., x ) x = x i, g 2 : (x,..., x ) 2, d.h. bei Verwedug vo g 2 wird ugeachtet der Versuchsergebisse dara geglaubt, daß das Spiel fair ist. Auch möglich wäre der offebar weig sivolle Schätzer g 3 : (x,..., x ) x, der ur die erste Beobachtug berücksichtigt ud ur zu de Schätzwerte 0 oder führe ka, usw. I der Tat ist die Mege der Fuktioe g : R R überabzählbar. Adererseits sid aber offesichtlich viele Schätzfuktioe wertlos. Ma will γ(θ) ja icht irgedwie schätze, soder möglichst gut, d.h. möglichst geau. Ei idealer Schätzer wäre sicherlich ei solcher, der für jedes θ Θ ud jede Beobachtugswert (x,..., x ) de wahre Wert γ(θ) agibt. Leider ka es eie derartige Schätzer ur i Ausahmefälle gebe: Da i userem Ausgagsbeispiel ur 2 verschiedee Beobachtugswerte möglich sid, ka jeder Schätzer g : {0, } Θ=[0, ] ur maximal 2 Fuktioswerte habe. Überabzählbar viele Parameter θ [0, ] köe somit gar icht ageomme werde ud werde deshalb mit Sicherheit falsch geschätzt. Da also ei idealer Schätzer i.a. icht existiert, muß ma sich mit weiger zufriedegebe. Das Ziel muß dari bestehe, eie beste
2 Kapitel VI. Grudlage der Statistik: Schätztheorie für diskrete Verteiluge Schätzer auszuwähle bezüglich eies erfüllbare Gütekriteriums. folgede vorgestellt. Zwei Asätze werde im 9. Das Maximum-Likelihood-Prizip Gegebe eie Familie P X = {Pθ X : θ Θ} diskreter W-Verteiluge, soll auf der Grudlage des beobachtete Wertes vo X der ubekate Parameter θ geschätzt werde. Die Fuktio (9.) L(θ x) = P X θ ({x}) = P θ (X = x) heißt Likelihood-Fuktio. Bei festem θ ist L(θ ) offebar ichts aderes als die Zähldichte vo Pθ X. I der häufig vorliegede Situatio eier -fache Versuchswiederholug ist X = (X,..., X ) mit uabhägige, idetisch verteilte Zufallsgröße X,..., X. Bezeichet p θ dere Zähldichte, also p θ (y) =P θ (X i = y) für alle y R, θ Θ ud i =,...,, sogilt offebar vermöge der Uabhägigkeit (9.2) L(θ x) = P θ (X = x) = P θ (X = x,..., X = x ) = p θ (x i ) für alle x =(x,..., x ) R ud θ Θ. Das Maximum-Likelihood-Prizip basiert auf der folgede eifache Idee: Wähle, we möglich, zu gegebeer Beobachtug x dejeige Parameterwert ˆθ(x) Θ als Schätzwert für θ, uter dem die Wahrscheilichkeit für das Auftrete vo x maximal wird, d.h. (9.3) Pˆθ(x) (X = x) = max θ Θ P θ(x = x) oder gleichbedeuted (9.3 ) L(ˆθ(x) x) = max θ Θ L(θ x). Auch we dieses Prizip dara scheiter ka, daß ei ˆθ(x) icht für jede mögliche Beobachtusgwert existiert, besticht es durch seie ituitiv eileuchtede Philosophie. 9.. Defiitio. Existiert ˆθ(x) gemäß (9.3) für jedes x, soheißt ˆθ der Maximum-Likelihood-Schätzer (MLS) für θ. Betrachte wir als ächstes eiige Beispiele: 9.2. Beispiel. (Verbogee Müze, Fortsetzug vo 8.) I dieser Situatio ist X =(X,..., X ) mit stochastisch uabhägige, idetisch B(,θ)-verteilte Kompoete.
9. Das Maximum-Likelihood-Prizip 3 Die Zähldichte p θ der X i hat die Form p θ (y) =θ y ( θ) y {0,} (y). Daher gilt gemäß (9.2) für alle x =(x,..., x ) {0, } L(θ x) = θ s ( θ) s, wobei s = x i.für x {0, } ist die Likelihoodfuktio idetisch 0 ud somit trivial. I diesem Fall ka ma ˆθ(x) beliebig wähle, was allerdigs aus statistischer Sicht keie Bedeutug hat, weil die Beobachtug mit Wahrscheilichkeit aus {0, } stammt. Ma betrachtet das Maximierugsproblem folglich immer ur auf der Teilmege X vo R (dem eigetliche Stichproberaum), auf dem P X positive Masse besitzt, d.h. X = {x R : P θ (X = x) > 0für midestes ei θ Θ}. Dies werde wir i de achfolgede Beispiele ohe ochmalige Hiweis immer so hadhabe. Da L( x) iθ differezierbar ist, bestimme wir das Maximum durch Differetiatio ach θ. Dadies eifacher ist für die Log-Likelihood-Fuktio l(θ x) = log L(θ x) = s log θ +( s ) log( θ), ud diese Fuktio wege der strege Mootoie des Logarithmus ihr Maximum a derselbe Stelle aimmt, gehe wir zu l(θ x) über ud erhalte: d dθ l(θ x) = s θ s θ. Die sogeate Likelihood-Gleichug ergibt hier demach (für θ (0, )) s θ s θ d dθ l(θ x) = 0 = ( θ)s θ + θs θ( θ) = 0 ud folglich als Lösug ˆθ(x) = s. Da lim θ 0 l(θ x) =lim θ l(θ x) =, mußiˆθ(x) ei Maximum vorliege. Der MLS für θ lautet also ˆθ(x) = s = {}(y i ), ei sehr plausibles Ergebis. 9.3. Beispiel. (Biomialverteilug) Die Beobachtug bestehe diesmal aus uabhägige jeweils B(m, θ)-verteilte Zufallsgröße, wobei m N bekat, θ [0, ] aber ubekat ist. Wir suche de MLS für θ. Die Likelihood-Fuktio hat hier die Gestalt ( ( ) ) m L(θ x) = θ s ( θ) m s x i
4 Kapitel VI. Grudlage der Statistik: Schätztheorie für diskrete Verteiluge für x =(x,..., x ) {0,..., m} = X, wobei wieder s = x +... + x. Es folgt für die Log-Likelihood-Fuktio (( )) m l(θ x) = log + s log θ + (m s ) log( θ). x i Sie hat bis auf de erste vo θ uabhägige Term im wesetliche dieselbe Gestalt wie im vorherige Beispiel. Es ergibt sich durch aaloges Vorgehe ˆθ(x) = s m. Dies läßt sich im übrige auch dadurch eisehe, daß ja die B(m, θ)-verteilug gerade die Azahl vo Erfolge (Eise) beim m-fache Müzwurf agibt. Die -fache Erhebug vo Date gemäß eier B(m, θ)-verteilug etspricht also der m-fache Durchführug eies Müzwurfs, we ma die Würfe i Blöcke der Läge m durchführt ud die Date als beobachtete Azahl vo Erfolge i diese Blöcke iterpretiert. Wir hatte aber i 9.2 gesehe, daß beim - fache Müzwurf zur Bestimmug des MLS für θ ohehi ur die Azahl der Erfolge beötigt wird, ud diese läßt sich auch aus de geblockte Date durch Summatio ermittel. 9.4. Beispiel. (Geometrische Verteilug) Besteht die Beobachtug aus uabhägige, jeweils geometrisch verteilte Zufallsgröße, lautet die Likelihood-Fuktio also die Log-Likelihood-Fuktio L(θ x) = θ ( θ) s l(θ x) = log θ + s log( θ). Es ergibt sich leicht als MLS für θ. ˆθ(x) = s + = s + User letztes Beispiel uterscheidet sich vo de vorherige dari, daß der ubekate Parameter aus eier diskrete Mege stammt ud folglich die Bestimmug des MLS icht vermöge Differetiatio gefude werde ka. 9.5. Beispiel. (Laplace-Verteiluge) I eier Ure befide sich eie ubekate Azahl θ Kugel, die mit bis θ durchumeriert seie. Auf der Grudlage vo Ziehuge mit Zurücklege soll ei MLS für θ bestimmt werde. Die Beobachtug besteht hier aus uabhägige, jeweils auf {,..., θ} Laplace-verteilte Zufallsgröße X,..., X,sodaß L(θ x) = θ, falls (x,..., x ) {,..., θ} 0, sost = θ {,...,θ}( max i x i).
Da θ mooto fällt i θ, lautet der MLS für θ offebar für alle x =(x,..., x ) {,..., θ}. 20. Erwartugstreue Schätzer 5 ˆθ(x) = if{θ : {,...,θ} ( max i x i)=} = max i x i Eie ützliche Eigeschaft vo MLS ist ihre Ivariaz uter Parametertrasformatioe. Zur Präzisierug dieser Feststellug sei γ :Θ Θ eie Parameterfuktio. Zum Schätze vo γ(θ) (bei Beobachtug vo X = x) mit Hilfe der Maximum-Likelihood-Methode iiere wir zuächst die vo γ iduzierte Likelihood-Fuktio L γ ( x) :γ(θ) [0, ) durch (9.2) L γ (η x) = sup L(θ x). θ:γ(θ)=η Ei Schätzer ˆη : X γ(θ) für η = γ(θ) heißt MLS für η, falls dieser L γ ( x) für jedes x X maximiert. Die aheliegede Frage, ob ˆη = γ(ˆθ) da eie MLS für η bildet, beatwortet 9.6. Satz. Sei ˆθ ei MLS für θ ud γ :Θ Θ eie Parameterfuktio. Da ist ˆη = γ(ˆθ) ei MLS für η = γ(θ). Beweis: Die Behauptug ergibt sich leicht aus der Gleichugskette L γ (γ(ˆθ) x) = = sup sup L(θ x) = L(ˆθ x) = sup L(θ x) θ:γ(θ)=γ(ˆθ) θ Θ sup η γ(θ) θ:γ(θ)=η L(θ x) = sup L γ (η x). η γ(θ) 9.7. Beispiel. (Geometrische Verteilug, Fortsetzug vo 9.4) Der Mittelwert der geometrische Verteilug mit Parameter θ lautet bekatlich γ(θ) = θ θ ( 6.4(c)). Gemäß Satz 9.6 erhalte wir u ohe weiter Aufwad γ(ˆθ(x)) = s als MLS für γ(θ). 20. Erwartugstreue Schätzer Wir komme u zu eiem adere Schätzprizip, das darauf basiert, die Klasse der Schätzer, i der ma ach eiem beste sucht, eizuschräke. 20.. Defiitio. Es sei X :Ω R ei diskreter Zufallsvektor ud P X = {Pθ X : θ Θ} die Familie der mögliche Verteiluge vo X, wobei Θ R. Sei ferer γ : Θ R eie Parameterfuktio. Ei Schätzer g für γ(θ) heißt erwartugstreu, we (20.) E θ g(x) = E P X g = θ g(x)p θ (X = x) = γ(θ) x R
6 Kapitel VI. Grudlage der Statistik: Schätztheorie für diskrete Verteiluge für alle θ Θ gilt. Existiert bei gegebeer Familie P X ei solcher Schätzer, so heißt γ(θ) erwartugstreu schätzbar. Ei erwartugstreuer Schätzer besitzt also die Eigeschaft, zumidest im Mittel stets richtig zu schätze. Betrachte wir ochmals die Schätzer g,g 2 ud g 3 für θ zu Beispiel 8. ( ach 8.3). Offesichtlich gilt sowohl ( ) E θ g (X) = E Pθ {} (X i ) = P θ (X i =) = θ als auch E θ g 3 (X) = E( {} (X i )) = P θ (X =) = θ für alle θ [0, ], d.h. g ud g 3 sid erwartugstreu für θ. Dagege gilt für θ /2 E θ g 2 (X) = 2 θ, d.h., g 2 ist icht erwartugstreu. Die i de Beispiele 9.2, 9.3 ud 9.7 erhaltee MLS sid jeweils erwartugstreu, wie ma leicht achprüft. Gegebe eie diskrete Zufallsvektor X :Ω R mit Kompoete X,..., X ud Verteilug aus der Mege P X = {Pθ X : θ Θ}, Θ R, spreche wir im folgede kurz vo eiem UIV-Modell, we X,..., X uter jedem P θ stochastisch uabhägig ud idetisch verteilt sid, wobei UIV als Abkürzug für diese Eigeschafte steht. Der aschließede, sehr eifache Satz zeigt, daß i eiem UIV-Modell das Stichprobemittel x = (x +...+x )= s immer eie erwartugstreue Schätzer für de Mittelwert der X i bildet, sofer dieser für jedes θ existiert. 20.2. Satz. Gegebe sei ei UIV-Modell (X, P X ) mit µ(θ) = E θ X < für alle θ Θ. Da ist ˆµ(x) =x ei erwartugstreuer Schätzer für µ(θ). Beweis: Die Behauptug folgt sofort aus der Rechug E θ ˆµ(X) = E θ X = E θ X i = E θ X = µ(θ) für alle θ Θ. Da i viele Aweduge auch die Variaz der Beobachtuge vo Bedeutug ist, gebe wir als ächstes ei etsprechedes Resultat für diese Größe.
20. Erwartugstreue Schätzer 7 20.3. Satz. Gegebe sei ei UIV-Modell (X, P X ) mit σ 2 (θ) = Var θ X < für alle θ Θ. Da ist die Stichprobevariaz ˆσ 2 (x) = (x i x ) 2 ei erwartugstreuer Schätzer für σ 2 (θ). Beweis: Zuächst otiere wir, daß ˆσ 2 (x) = = (x i µ(θ)) 2 2 (x i µ(θ)) 2 (x µ(θ)) 2 (x i µ(θ))(x µ(θ)) + (x µ(θ)) 2 für alle θ Θ gilt. Dies liefert uter Beachtug vo E θ X = µ(θ) ud Var θ X = σ2 (θ) E θ ˆσ 2 (X) = = E θ (X i µ(θ)) 2 Var θ X i = σ2 (θ) σ2 (θ) = σ 2 (θ) Var θx E θ(x µ(θ)) 2 für alle θ Θ, was zu beweise war. Schräke wir us bei der Suche ach Schätzer für γ(θ) auf die Klasse der erwartugstreue ei, brauche wir ei Kriterium, um diese vergleiche zu köe. Dazu iiere wir für jede solche Schätzer g desse sogeate Risikofuktio (20.2) R(θ, g) = E θ (g(x) γ(θ)) 2, die offebar die mittlere quadratische Abweichug des Schätzers uter jedem P θ schätzede Wert γ(θ) agibt. Aufgrud der Erwartugstreue erhalte wir sofort: vom zu 20.4. Lemma. Für jede erwartugstreue Schätzer gilt für alle θ Θ. R(θ, g) = Var θ g(x)
8 Kapitel VI. Grudlage der Statistik: Schätztheorie für diskrete Verteiluge Beweis: Da E θ g(x) =γ(θ) für alle θ Θ, folgt R(θ, g) = E θ (g(x) E θ g(x)) 2 = Var θ g(x). 20.5. Defiitio. Ei erwartugstreuer Schätzer g (für γ(θ)) heißt gleichmäßig bester erwartugstreuer Schätzer (GBES),we er uter alle erwartugstreue Schätzer die gleichmäßig kleiste Variaz besitzt, d.h., we Var θ g (X) Var θ g(x) für alle θ Θ ud alle erwartugstreue Schätzer g gilt. Im folgede befasse wir us mit der Frage ach der Existez ud Eideutigkeit solcher Schätzer, wobei sich die Eideutigkeit relativ leicht mittels des folgede Resultats ergibt. Ei Schätzer h : R R heißt quadratisch itegrierbar, falls Var θ h(x) < für alle θ Θ, ud erwartugstreuer Nullschätzer, falls E θ h(x) =0für alle θ Θ gilt. 20.6. Satz (Kovariazmethode vo Rao). Es sei g ei quadratisch itegrierbarer, für γ(θ) erwartugstreuer Schätzer. Geau da ist g ei gleichmäßig bester erwartugstreuer Schätzer für γ(θ), we (20.3) Cov θ (g (X),h(X)) = 0 für alle θ Θ ud alle quadratisch itegrierbare erwartugstreue Nullschätzer h gilt. Beweis: Sei h irgedei quadratisch itegrierbarer erwartugstreuer Nullschätzer. Da ist g α = g + αh für jedes α R erwartugstreu für γ(θ), de E θ g α (X) = E θ g (X)+αE θ h(x) = γ(θ) für alle θ. Außerdem hat g α (X) uter jedem P θ edliche Variaz, da dies für g (X) ud h(x) der Fall ist. Uter Beutzug der Optimalität vo g ud der Variazformel (7.7) erhalte wir u 0 Var θ g α (X) Var θ g (X) = Var θ g (X)+2αCov θ (g (X),h(X)) + α 2 Var θ h(x) Var θ g (X) = 2αE θ g (X)h(X)+α 2 Var θ h(x) für alle θ Θ ud alle α>0. Dies ist aber ur im Fall E θ g (X)h(X) =0möglich, weil aderfalls die rechte Seite für ei betragsmäßig hireiched kleies, je ach Vorzeiche vo E θ g (X)h(X) liks oder rechts vo 0 liegedes α egativ ist. Gegebe eie beliebige erwartugstreue Schätzer g für γ(θ) mit Var θ g(x) < für alle θ, beutze wir für diese Schlußrichtug, daß h = g g ei quadratisch itegrierbarer
20. Erwartugstreue Schätzer 9 Nullschätzer ist. Mit Hilfe vo (20.3) ergibt sich deshalb Var θ g(x) = Var θ (g (X)+h(X)) = Var θ g (X)+Var θ h(x) Var θ g (X) ud folglich die Optimalität vo g. 20.7. Eideutigkeitssatz. Es seie g ud g zwei quadratisch itegrierbare, gleichmäßig beste erwartugstreue Schätzer für γ(θ), d.h. (20.4) Var θ g (X) = Var θ g (X) für alle θ Θ. Da gilt (20.5) P θ (g (X) =g (X)) = für alle θ Θ. Beweis: Mittels des vorherige Satzes i Kombiatio mit erhalte wir Var θ g (X) = Var θ g (X)+Var θ (g (X) g (X)) = Var θ g (X) also Var θ (g (X) g (X)) = 0 für alle θ Θ, was isbesodere (20.5) impliziert, da E θ (g (X) g (X)) = 0 für alle θ Θ.