Score und Information

Transkript

1 Kapitel I Score ud Iformatio Reihard Höpfer Vorlesug Mathematische Statistik Witersemester 2004/2005 ud Witersemester 2007/2008 Istitut für Mathematik, Johaes Guteberg Uiversität Maiz ud

2 2 Score ud Iformatio Übersicht zu Kapitel I : A. Score, Iformatio, zwei Iformatiosschrake Defiitio vo Score ud Iformatio Beispiel: eiparametrige Pfade i ichtparametrische Modelle 1.3 Beispiel: Lokatiosmodelle 1.4 Score ud Iformatio i Produktmodelle 1.5 Cramér-Rao Schrake va Trees Schrake 1.8 B. Schätzfolge ud Asymptotik der Iformatiosschrake Folge vo Experimete, Schätzfolge, Kosistez 1.9 Zur asymptotische Cramér-Rao Schrake bei uabhägiger Versuchswiederholug 1.10 Asymptotische va Trees Schrake bei uabhägiger Versuchswiederholug 1.11 Eie asymptotische Miimaxeigeschaft der empirische Verteilugsfuktio 1.11 C. Heuristik zu Maximum-Likelihood-Schätzfolge Heuristik I Vertauschugsbediguge 1.12 Heuristik II Maximum-Likelihood-Schätzer 1.13 Heuristik III Asymptotik vo ML-Schätzfolge 1.14 Das übliche Normalverteilugsbeispiel 1.15 Ei Normalverteilugsbeispiel vo Neyma ud Scott 1.16 D. Kosistez vo Maximum-Likelihood-Schätzfolge Defiitio vo Maximum-Likelihood-Schätzfolge 1.17 Beispiel für Kosistezbeweise via Kullback-Divergez 1.18 Ei Satz vo Bediguge a Helliger-Abstäde ud Affiitäte 1.19 Kosistez vo Maximum-Likelihood-Schätzfolge via Helliger-Abstad Kosistez vo Maximum-Likelihood-Schätzfolge via Helliger-Abstad 1.25

3 Kapitel I 3 A. Score, Iformatio, zwei Iformatiosschrake I diesem Kapitel behadel wir de Begriff der Iformatio i eiem statistische Modell i seier klassische Fassug. Iformatio erlaubt, Schrake für die Güte vo Schätzer zu formuliere. Isbesodere dies wird i diesem Kapitel aber ur heuristisch adiskutiert besteht ei eger Zusammehag zwische Limesvariaze für Maximum-Likelihood Schätzer ud der Iformatio im statistische Modell. 1.1 Defiitio: a Ei statistisches Modell oder Experimet ist ei Tripel Ω, A, P wobei P eie festgelegte Familie vo Wahrscheilichkeitsmaße auf eiem meßbare Raum Ω, A bezeichet. Ei statistisches Modell heißt parametrisch, falls die Familie P bijektiv durch eie edlichdimesioale Parameter beschriebe werde ka: P = {P : Θ}, Θ IR d, ud domiiert, we es ei σ-edliches Maß µ auf Ω, A gibt so daß P << µ für jedes Wahrscheilichkeitsmaß P P. b Eie meßbare Abbildug vo Ω, A i eie meßbare Raum G, G et ma eie Statistik auf Ω, A, P. Eie Statistik T mit Werte i IR k, BIR k heißt q-fach itegrierbar für q 1 fest falls T L q P für jedes P P. c Sei Ω, A, {P : Θ} ei parametrisches Experimet, Θ IR d. Ei Schätzer für de ubekate Parameter ist eie Statistik T mit Werte i IR d, BIR d. T heißt erwartugstreu falls T L 1 P ud E T = für jedes Θ. d Sei Ω, A, P ei beliebiges Experimet, sei γ : P IR k eie Abbildug. Ei Schätzer für γ ist eie Statistik T mit Werte i IR k, BIR k ; T heißt erwartugtreu für γ falls T L 1 P ud E P T = γp für jedes P P.

4 4 Score ud Iformatio 1.2 Defiitio: Score ud Iformatio, klassische Defiitio Betrachte ei Experimet E := Ω, A, {P : Θ}, Θ IR d offe mit domiieredem Maß µ ud mit Dichte dp dµ ω := f,ω = f ω, Θ, ω Ω. Für jedes feste ω Ω sei f,ω stetig ud partiell differezierbar auf Θ. Die partielle Ableituge, puktweiser Limes meßbarer Fuktioe f+he i, f, h a Schreibe für de Vektor der partielle Ableituge ach ud defiiere M := log f,ω := 1 {f >0}ω 1 log f d log f für h 0, sid da meßbar.,ω, Θ, ω Ω. Dies ist eie wohldefiierte Zufallsvariable auf Ω, A mit Werte i IR d, BIR d. Setze weiter voraus für jedes Θ gilt M L 2 P ud E M = 0. Sid alle diese Bediguge erfüllt, so heißt M Score i ; die Kovariazmatrix uter P I := Cov M = E M M heißt Fisher-Iformatio i ; E et ma ei Experimet mit Score ud Fisher-Iformatio. b Allgemeier erlaubt ma Abäderuge der i a defiierte M auf P -Nullmege, ud et jede Familie meßbarer Abbilduge { M : Θ} vo Ω, A ach IR d, BIR d mit der Eigeschaft für jedes i Θ gilt M = M P fast sicher eie Festlegug des Score im Modell {P : Θ}. 1.2 Bemerkuge: a Score ud Iformatio häge wesetlich ab vo der für ei statistisches Modell P gewählte Parametrisierug P = {P : Θ}. b Score ud Iformatio sid uabhägig vo der Wahl des domiierede Maßes:

5 Kapitel I 5 sid µ 1 ud µ 2 verschiedee Wahle eies die Familie {P : Θ} domiierede Maßes, so domiiert auch µ 1 + µ 2 diese Familie, ud dp dµ 1 dµ 1 dµ 1 + µ 2 = dp dµ 1 + µ 2 = dp dµ 2 dµ 2 dµ 1 + µ 2. Dabei hägt der zweite Faktor auf der rechte ud auf der like Seite icht vo ab, tritt also im Score log f, icht mehr i Erscheiug. 1.3 Beispiel: d = 1 Fixiere ei beliebiges Wahrscheilichkeitsmaß F auf IR, BIR, wähle eie Fuktio h : IR, BIR IR, BIR mit de Eigeschafte hdf = 0, 0 < h 2 df <. a Sei zuerst h beschräkt ud x IR hx M <. Da erfüllt die durch IR, BIR, {F : < M 1 } mit F dω := 1 + hωfdω defiierte eiparametrige Familie vo Wahrscheilichkeitsmaße alle i 1.2 gemachte Voraussetzuge. Die Familie ist domiiert durch µ := F, mit strikt positive Dichte f,ω = df ω = 1 + hω, df Θ, ω IR isbesodere sid alle Wahrscheilichkeitsmaße F, < M 1, äquivalet. A jeder Stelle Θ sid Score M ud Iformatio I gegebe durch h h 2 M ω = ω, I = df = 1 + h 1 + h h h df. Ma et die Familie eie eiparametrige Pfad durch de Pukt P i Richtug h, aufgefaßt als Submodell im ichtparametrische Modell F aller auf IR, BIR existierede Wahrscheilichkeitsmaße. Isbesodere gilt a der Stelle = 0 M 0 = h, I 0 = h 2 df. b Allgemei ka ma zu jeder Richtug h : IR, BIR IR, BIR mit de Eigeschafte eie eiparametrige Pfad durch de Pukt P i Richtug h festlege: Ist h ubeschräkt, so verallgemeiert ma die Kostruktio aus a folgedermaße. Ma wählt eie Trukatiosfuktio ψ C0 1 IR Klasse der auf IR stetig differezierbare Fuktioe mit kompaktem Träger mit de Eigeschafte ψx = x falls x < 1 3, max ψ < 1 2

6 6 Score ud Iformatio ud defiiert eie Familie vo Wahrscheilichkeitsmaße durch IR, BIR, {F : < 1} mit F dω := 1 + [ψhω ψhdf] Fdω. Falls isbesodere wie i a h eie beschräkte Fuktio ist, stimme auf eier hireiched kleie Umgebug vo = 0 die Pfade ud überei. Wir zeige, daß das Modell alle Voraussetzuge aus 1.2 erfüllt. Wege max ψ < zeigt domiierte Kovergez d ψh df = hψ hdf, d folglich sid mit strikt positive Dichte f,ω = 1 + [ψhω ψhdf] die Scores d M ω = d log f,ω = hωψ hω hψ hdf 1 + [ψhω ψhdf] Zufallsvariable i L 2 F mit EM = 0 für alle < 1, wege hωψ hω hψ [ hdf 1 + [ψhω F dω = hωψ hω ψhdf] Dabei erhält ma a der Stelle = 0 wieder wie im Modell aus a M 0 = h, I 0 = h 2 df, ] hψ hdf Fdω = 0. also ist auch als Teilfamilie vo F ei eiparametriger Pfad durch P i Richtug h. 1.4 Beispiel: Lokatiosmodell Sei F ei Wahrscheilichkeitsmaß auf IR, BIR mit Dichte f bezüglich des Lebesguemaßes λλ. Es gelte f ist differezierbar auf IR mit Ableitug f f ist strikt positiv auf a,b, ud 0 sost für ei offees Itervall a,b i IR mit a, b +. Weiter sei f 2 df <. f Für das vo F erzeugte Lokatiosmodell IR, BIR, {F : IR} mit df := f dλλ gelte da alle i 1.2 gemachte Voraussetzuge. Das Modell ist domiiert durch λλ. Für Θ ist die Verteilug F kozetriert auf das Itervall a +,b +, ud Score ud Iformatio sid gegebe durch M ω = 1 a+,b+ ω f ω, Θ, ω IR f

7 Kapitel I 7 sowie b I = E M 2 f 2 = df, Θ : f a isbesodere hägt im Lokatiosmodell die Iformatio icht vom Parameter ab. 1.5 Hilfssatz: Produktmodelle Betrachte ei Experimet E := Ω, A, {P : Θ}, Θ IR d offe mit Score {M : Θ} ud Fisher-Iformatio {I : Θ} wie i 1.2. Da gilt: a Alle Produktmodelle E := X Ω, A, {P, := P : Θ}, 1 erfülle ebefalls die i 1.2 gemachte Voraussetzuge: i E sid Score {M, : Θ} ud Iformatio {I, : Θ} gegebe durch M, ω 1,...,ω = M ω i für P, -fast alle ω 1,...,ω X Ω, Θ I, = I, Θ. b Ma ka auch ausgehe vom uedliche Produktexperimet X E := A, {Q := P : Θ} Ω, mit Koordiateprojektioe X i : ω 1,ω 2,... ω i, i IN; -fache Versuchswiederholug ist da das Experimet Ẽ := X Ω, F := σx 1,...,X, {P, := Q F : Θ} wobei Q F die Restriktio vo Q auf die Sub-σ-Algebra F = σx 1,...,X vo A bezeichet. Für jedes feste < schreibe sich Score ud Iformatio auf Ẽ als M, ω 1,ω 2,... = M ω i für P, -fast alle ω 1,ω 2,... X Ω, Θ I, = I, Θ. Beweis: 1 Sei µ ei domiieredes Maß für das Experimet E, seie f = dp dµ Festleguge der Dichte, die de Voraussetzuge aus 1.2 geüge. Das Produktexperimet E wird da

8 8 Score ud Iformatio domiiert durch µ := µ, mit Dichte Betrachte das Rechteck f, ω 1,...,ω = dp, dµ ω 1,...,ω = dp dµ ω i = f ω i. A, := {ω 1,...,ω : f, ω 1,...,ω > 0} = X {ω i : f ω i > 0} i A. Mit de Kovetioe aus 1.2 a erhält ma auf dem Produktraum X Wege P, A, = 1 stimme auf X M, ω 1,...,ω = 1 A, ω 1,...,ω Ω, M ω i. A die meßbare Abbilduge Ω, A ω 1,...,ω M, ω 1,...,ω, ω 1,...,ω M ω i P, -fast sicher überei, ud werde wie i 1.2 b uter P, idetifiziert. 2 Uter P, sid die Ergebisse ω 1,...,ω der Eizelversuche uabhägig, daher sid i.i.d. auf X Ω, ω 1,...,ω M ω l, 1 l d A. Also gilt für die Kompoete M,,i = 1 {f,>0 } i log f, vo M, ud für die etspreched bezeichete Kompoete vo M E P, M,,i M,,j = M,i ω l M,j ω k P, dω 1,...,dω = l=1 M,i ω 1 M,j ω 1 P, dω 1,...,dω = I i,j, i,j = 1,...,d k=1 wege Uabhägigkeit der Eizelbeobachtuge, ud wege i 1.2. Damit ist a bewiese. X 3 Aussage b erhält ma aalog, da auf dem uedliche Produktraum A die Ω, Dichte vo Q bezüglich des uedliche Produktmaßes µ i Eischräkug auf eie Subσ-Algebra F für edliches durch ω 1,ω 2,... f ω i gegebe ist. Die Fisher-Iformatio spielt eie wichtige Rolle i verschiedee Schrake für die Güte vo Schätzer. Die bekateste Schrake ist die folgede.

9 Kapitel I Satz: Cramér-Rao-Schrake, um 1940 Sei E = Ω, A, {P : Θ}, Θ IR d offe, ei Experimet mit Score {M : Θ} ud Fisher-Iformatio {I : Θ} wie i 1.2. Die zu schätzede Kegröße γ : Θ IR k sei partiell differezierbar, ud Y : Ω, A IR k, BIR k sei ei quadratitegrierbarer erwartugstreuer Schätzer für γ. a A jeder Stelle Θ, a der die Bediguge + die Iformatiosmatrix I ist ivertierbar ++ 1 γ 1... d γ γ k... d γ k = E erfüllt sid, gilt für de Schätzfehler vo Y die Schrake Y M Cov Y V I 1 V wobei V die i der Vertauschugsbedigug ++ betrachtete Jacobi-Matrix vo γ bezeichet. b Schöpft ei Schätzer Y die Schrake aus a a eier Stelle Θ aus, d.h. gilt Cov Y = V I 1 V für ei Θ, so besitzt der Schätzfehler vo Y uter die Darstellug Y γ = V I 1 M P fast sicher. c Spezialfall γ = id uter + ud ++: ei quadratitegrierbarer erwartugstreuer Schätzer Y für de ubekate Parameter, welcher ++ erfüllt, erlaubt uter eie Darstellug Y = I 1 M + orthogoale Terme i L 2 P der Schätzfehler, ud damit gilt die Schrake Cov Y I 1. Beweis: Fixiere eie Pukt Θ mit + ud ++. Nach Defiitio des Score i 1.2 gilt M L 2 P ud E M = 0, ud I ist als Kovariazmatrix symmetrisch ud ichtegativ defiit. Betrachte Y L 2 P mit E Y = γ.

10 10 Score ud Iformatio 1 Defiiere V durch die rechte Seite vo ++, i.e. V := E Y M, ud betrachte die IR k -wertige Zufallsvariable W := Y E Y V I 1 M. Da gilt W L 2 P, E W = 0, ud ma berechet die Kovariazmatrix vo W uter P : Cov W = E W W = Cov Y E Y γm I 1 V E V I 1 M Y γ + E V I 1 M M I 1 V. Wege E M = 0 reduziert sich der zweite Summad auf der rechte Seite dieser Gleichug zu V I 1 Iformatio. Daher gilt V, der dritte liefert dasselbe, der vierte ergibt +V I 1 V 0 Cov W = Cov Y V I 1 V ach Defiitio der im Sie der Halbordug auf symmetrische ud ichtegativ defiite Matrize, ud damit die Behauptug a. Ei Gleichheitszeiche i der letzte Ugleichug erzwigt W = E W = 0 P -fast sicher, woraus für Y uter P die i b geate Darstellug folgt. 2 Das i 1 gegebee Argumet zeigt ebefalls W V I 1 M i L 2 P ud impliziert damit ach Defiitio vo W eie Darstellug des Schätzfehlers uter als Y γ = V I 1 M + orthogoale Terme i L 2 P. Beachte, daß bis jetzt ur +, icht aber ++ beutzt wurde. 2 Im Spezialfall k = d ud γ = id kommt u erstmalig die Voraussetzug ++ wirklich is Spiel: uter ++ ist V die Idetitätsmatrix I d, ud damit folgt c aus 1 ud 2. 3 Im allgemeie Fall wie i Beweisschritt 1 erlaubt die Voraussetzug ++ eie aschauliche Iterpretatio der erzielte Schrake V I 1 Jacobi-Matrix der zu schätzede Kegröße. V, i Terme der Fisher-Iformatio ud der 1.7 Bemerkug: I atürlich parametrisierte d-parametrige Expoetialfamilie mit offeem Parameterraum ist die Vertauschugsbedigug ++ erfüllt, siehe Barra 1981, Kap.

11 Kapitel I 11 X ud Lemma 1 i Kap. XI.1 oder Wittig 1985, S. 153, ud der Score i ist durch die bezüglich zetrierte kaoische Statistik der Expoetialfamilie gegebe. Siehe auch Bardorff- Nielse 1988, Kap Ei heuristisches Argumet für ++ lautet so: im Experimet E sollte die Fuktio γ = E Y = µdωf,ωy ω uter dem Itegralzeiche differeziert werde dürfe, mit partielle Ableituge der Gestalt E Y i = µdω f,ω Y i ω j j = P dω j log f,ω Y i ω = E Y M i,j Auf die Vertauschugsbedigug ++ werde wir och i 1.10 ud 1.12 ausführlich eigehe Bemerkug: a Die Kovariazmatrix Cov Y = E Y γy γ beschreibt die Streuug vo Y um γ i IR k, uter wahrem, ud liefert damit ei Maß für de Schätzfehler eies erwartugstreue ud quadratitegrierbare Schätzers für γ a der Stelle. Die Iverse der Fisher-Iformatio I 1 beschreibt ach 1.6 c eie miimale Streuug bzw. eie optimale Kozetratio der Verteilug eies erwartugstreue ud quadratitegrierbare Schätzers für de ubekate Parameter a der Stelle. Dabei hadelt es sich allerdigs um eie Schrake, die ur i weige klassische Modelle eie erreichbare Schrake ist, siehe Georgii 2002, S. 198, oder Wittig 1985, S b Nur i weige klassische Schätzprobleme ist die Eigeschaft eies Schätzers relevat, erwartugstreu für de ubekate Parameter zu sei. I viele statistische Probleme hat ma keie Schätzer mit dieser Eigeschaft zur Had. Darüberhiaus zeigt ei berühmtes Beispiel vo Stei Ibragimov ud Has miskii 1981, S. 26, daß sogar i Normalverteilugsmodelle X IR k, BIR k, { N,I k : Θ}, Θ := IR k, k 3 icht-erwartugtreue Schätzer existiere, welche weiger breit um de wahre Parameterwert streue als der i diesem Modell beste erwartugstreue quadratitegrierbare Schätzer der empirische Mittelwert. I der folgede Ugleichug dagege dürfe beliebige Schätzer betrachtet werde. Wir gebe sie i Dimesio d = 1 multivariate Verallgemeieruge existiere, siehe Gill ud Levit 1995 ud für strikt positive Dichte. Ma liest die ute erzielte Schrake als ei itegriertes Risiko,

12 12 Score ud Iformatio oder ma geht aus vo eiem Bayes-Asatz, idem ma de wahre der Beobachtug zugrudeliegede Parameter als eie Größe auffaßt, die vo eiem Wahrscheilichkeitsmaß auf dem Parameterraum ausgewürfelt wird. 1.8 Satz: va Trees Ugleichug, um 1968, Beweis ach Gill ud Levit 1995 Betrachte ei Experimet E := Ω, A, {P : Θ} mit Score {M : Θ} ud Fisher-Iformatio {I : Θ} wie i 1.2, mit strikt positive Dichte f = dp dµ bezüglich des domiierede Maßes µ. Sei Θ ei offees Itervall i IR; die zu schätzede Kegröße γ : Θ IR sei differezierbar. Lege eie Lebesgue-domiierte a priori Verteilug π auf ei Teilitervall a,b vo Θ so daß dπ i dλλ =: g ist differezierbar auf IR, strikt positiv auf a,b, ud 0 außerhalb ii g 2 dπ =: J < a,b g gelte J ist die Fisher Iformatio i dem vo π auf IR, BIR erzeugte Lokatiosmodell, vgl Ist eier der Pukte a oder b zugleich Radpukt vo Θ, so sei γ : Θ IR a dieser Stelle stetig fortsetzbar durch eie Grezwert i IR. Da gilt für jede im Experimet E mögliche Schätzer T für γ die Abschätzug a,b E T γ 2 πd a,b γ πd 2 a,b I πd + J. Beweis: 1 Wir zeige zuerst, daß die i 1.2 gemachte Aahme die Produktmeßbarkeit Θ Ω,ω f,ω 0, ist BΘ A- meßbar der Dichte impliziere: ach 1.2 gilt Θ : f, : Ω, A IR, BIR ist meßbar ω Ω : f,ω : Θ IR ist stetig wobei Θ offe i IR. Folglich hat ma Messbarkeit i,ω aller Abbilduge ϕ k,ω := 1 ] j j Z, j2 k 2 Θ k, j+1 2 j k ] Θ f 2 k,ω, k 1 ud damit Meßbarkeit i,ω des puktweise Limes f = lim k ϕ k.

13 Kapitel I 13 2 Uter Produktmeßbarkeit der Dichte gemäß Schritt 1 wird,a P A = 1 A ωf,ωµdω, Θ, A A zu eier Übergagswahrscheilichkeit vo Θ, BΘ ach Ω, A. 3 Sei T : Ω, A IR, BIR als Schätzer für γ quadratitegrierbar mit E T γ 2 πd < a,b sost wäre ichts zu zeige. Auch reicht es für de Beweis, ur die Eischräkug des Parameterraums Θ auf seie Teilmege a,b zu betrachte. Wir idetifiziere also Θ mit a,b damit ist auch g strikt positiv auf Θ ud arbeite auf dem Produktraum Ω, A := Θ Ω, BΘ A versehe mit dem Wahrscheilichkeitsmaß Pd,dω := πdp dω := λλ µd,dω gf,ω, Θ, ω Ω. 4 Bezeiche die Ableitug ach dem Parameter. Für festes ω Ω gilt + d f,ωg = fb,ωgb fa,ωga = 0 Θ mit ga = 0 = gb ach Voraussetzug. Auch γa, γb IR sid ach Voraussetzug wohldefiiert, ud partielle Itegratio zeigt wege + ++ d γ f,ωg = Θ Θ d γ f,ωg bei festem ω Ω. Aus + ud ++ erhält ma die Gleichug λλ µd,dω f,ωg Tω γ Θ Ω = 0 + µdω d γ f,ωg Ω Θ = πdγ. Θ Die like Seite dieser Gleichugskette ka ma aber umschreibe i λλ µd,dω f,ωg Tω γ Θ Ω = = Θ Ω Θ Ω πdp dω f,ωg Tω γ f,ωg g Pd,dω g + f f,ω Tω γ

14 14 Score ud Iformatio hier wurde die Positivität der Dichte beutzt. Im letzte Itegrade sid die durch rude Klammer bezeichete Faktore i L 2 P: der zweite Faktor ist Schätzfehler eies ach Voraussetzug quadratitegrierbare Schätzers; der erste Faktor ist vom Typ Score. Im erste Faktor sid die logarithmische Ableituge orthogoal i L 2 P: Pd,dω g g f f,ω = πd g g P dω f f,ω = 0. Θ Ω Zusamme erhält ma wege +++ u mit Cauchy-Schwartz: 2 g πdγ = Pd,dω Θ Θ Ω g + f 2 f,ω Tω γ g Pd,dω Θ Ω g + f 2 f,ω Pd,dω Tω γ 2 Θ Ω = J + πdi πde T γ 2 ud damit die Behauptug. Θ Θ Θ Ω B. Schätzfolge ud Asymptotik der Iformatiosschrake 1.9 Defiitio: Betrachte eie Folge vo Experimete E = Ω, A, {P, : Θ}, 1 wobei alle E durch dieselbe Mege Θ IR d parametrisiert sid. Sei γ : Θ IR k eie Abbildug. Eie Schätzfolge für γ ist eie Folge Y meßbarer Abbilduge Y : Ω, A IR k, BIR k, 1. a Eie Schätzfolge Y heißt kosistet für γ falls gilt für jedes Θ, jedes ε > 0: lim P, Y γ > ε = 0 P, -stochastische Kovergez der Folge Y gege γ, für jedes Θ. b Eie Schätzfolge Y heißt ϕ -kosistet für γ falls gilt für jedes Θ ist die Familie L ϕ Y γ P,, 1, straff i IR k. Hierbei bezeichet ϕ eie im allgemeie parameterabhägige Schar vo ormierede Folge, etweder i 0, mit der Eigeschaft ϕ für, für jedes Θ, oder allgemeier im Raum der ivertierbare k k-matrize mit det ϕ für.

15 Kapitel I 15 c Eie ϕ -kosistete Schätzfolge Y für γ heißt asymptotisch ormal falls gilt für jedes Θ : L ϕ Y γ P, N 0,Σ, schwache Kovergez i IR k, mit geeigete Normalverteiluge N 0,Σ, Θ. Für de Rest des Teilkapitels kozetriere wir us auf uabhägige Versuchswiederholug. Sei E := Ω, A, {P : Θ}, Θ IR d offe ei Experimet mit Score {M : Θ} ud Fisher-Iformatio {I : Θ} wie i 1.2; für 1 betrachte wir Produktmodelle E := Ω, A, {P, : Θ} = X Ω, A, {P, := P : Θ} mit Score M, i Θ ud Iformatio I, = I wie i 1.5 a. Zuächst sei die beliebte Aussage die Cramér-Rao-Schrake ist asymptotisch scharf kommetiert Bemerkug: Asymptotische Cramér-Rao-Schrake Betrachte E wie i. Sei I ivertierbar für alle Θ. Sei T eie Folge vo erwartugstreue ud quadratitegrierbare Schätzer für de ubekate Parameter, -kosistet ud asymptotisch ormal für jedes Θ : L T P, N 0,Σ schwache Kovergez i IR d, für. Die Cramér-Rao-Schrake i E besagt E [ T ][ T ] = Cov T I 1, = I 1. Dies wird ma dahigehed iterpretiere, daß die bestmögliche Limesvariaz i ebe geau durch Σ = I 1 gegebe ist, Θ. Da ma die Grezverteilug Σ = I 1, Θ, tatsächlich i viele Modelle durch geeigete Wahl eier Schätzfolge T erreiche ka, wird ma die Cramér-Rao-Schrake als asymptotisch scharf bezeiche. Im Grude ist dieses Argumet ei eiziger wohlversteckter Zirkelschluß: wir erläuter dies im eifachste Fall d = 1. Fixiere Θ. Cramér-Rao braucht als Voraussetzug die Vertauschugsbedigug ++ aus 1.6, hier für γ = id, ud atürlich aus 1.2, also E M, = 0, E T M, = 1, 1,

16 16 Score ud Iformatio ud damit isbesodere E [T ]M, = 1, 1. Damit stellt die Vertauschugsbedigug ++ aus 1.6 eie äußerst ege Zusammehag uter jedem zwische der Folge der Scores M, ud dejeige Schätzfolge T her, auf die Cramér-Rao überhaupt agewadt werde darf: zerlegt ma de Schätzfehler vo T, idem ma de Raum L 2 Ω, A,P, i de vo M, erzeugte eidimesioale Uterraum U, ud desse orthogoales Komplemet U, aufspaltet, erhält ma eie Darstellug [T ] = α M, + R,, α IR, R, U,. Die Vertauschugsbedigug ++ vo Cramér-Rao hier i Form, wobei gleichzeitig E M, 2 = I, gilt erzwigt i dieser Darstellug α = I 1,. Damit ka ma mit Cramér- Rao ur Schätzfolge T betrachte, die uter Θ gemäß T = I 1, M, + orthogoale Terme i L 2 Ω, A,P,, 1 darstellbar sid: für diese aber ist die Aussage vo Cramér-Rao trivial. I die Vertauschugsbedigug ++ aus 1.6 hat ma also sehr viel hereigesteckt, vielleicht sogar mehr, als ma am Ede i der Cramér-Rao-Schrake wieder herausholt. Wir werde i spätere Kapitel sorgfältig herausarbeite, wie der tatsächlich etscheided wichtige ege Zusammehag zwische der Folge der Scores geauer: Score/Iformatio ud optimale Schätzer i eiem zu präzisierede Si zu formuliere ist. Im Uterschied zu Cramér-Rao liefert va Trees eie asymptotisch ützliche Schrake: 1.11 Satz: Asymptotische va Trees-Schrake Sei d = 1, Θ ei offees Itervall i IR, betrachte uabhägige Versuchswiederholug uter der Zusatzvoraussetzug strikt positiver Dichte,ω f,ω wie i 1.8; setze weiter voraus Θ I 0, ist stetig.

17 Kapitel I 17 Da gilt uter Berücksichtigug aller mögliche Schätzfolge T für de ubekate Parameter a jeder Stelle 0 Θ lim c 0 lim if if T A -mb 0 <c E [ T ] 2 I 1 0. Beweis: Bis auf otatioelle Äderuge geügt es, de Fall Θ = IR ud 0 = 0 zu betrachte. Wähle ei Wahrscheilichkeitsmaß π auf IR, BIR mit differezierbarer Lebesgue- Dichte, welche auf 1,+1 strikt positiv ud außerhalb 0 ist. Mit g := dπ dλλ J := g g 2 dπ <. Da hat π alle i 1.8 i ii geforderte Eigeschafte. setze voraus Dasselbe gilt da für alle durch Skaliere etstehede Wahrscheilichkeitsmaße: für c > 0 ist π c d := 1 c g c d kozetriert auf c,+c, ud die Fisher-Iformatio J c := 1 c 2 J i dem vo π c erzeugte Lokatiosmodell ist edlich. Für eie quadratitegrable Schätzer T für γ = id im Modell E liefert va Trees <c E [ T ] 2 = +c c π c d E [ T ] 2 1 +c c I, π c d + J c 1 +c c I π c d + 1 c 2 J ; läßt ma darüberhiaus icht-quadratitegrierbare A -meßbare Schätzer zur Kokurrez zu, wird die like Seite der ebe gegebee Abschätzug ur i trivialer Weise vergrößert. Also hat ma if T A -mb 0 <c für festes c > 0, folglich für E [ T ] 2 1 +c c I π c d + 1 c 2 J lim if if T A -mb 0 <c E [ T ] 2 Läßt ma u c gege 0 strebe, erhält ma wege die Behauptug. 1 +c c I π c d. Satz 1.11 liefert eie Abschätzug vom Miimax -Typ: bei Verwedug bestmöglicher Schätzer wobei auf der Stufe der Asymptotik alle im Modell E zur Verfügug stehede Schätzer T zur Kokurrez zugelasse sid miimiert ma ei maximales Risiko auf kleie Kugel um eie fest herausgegriffee Pukt 0 des Parameterraums Θ. Die asymptotische va Trees- Schrake zeigt bei uabhägiger Versuchwiederholug, daß ma i diesem Si beim Schätze

18 18 Score ud Iformatio des ubekate Parameters i der Nähe eies beliebige Parameterwertes 0 die Risikoschrake I 1 0 asymptotisch icht uterbiete ka. Wir illustriere u die Nützlichkeit der asymptotische va Trees Schrake durch das folgede Beispiel. Im ichtparametrische Modell F aller Verteilugsfuktioe auf IR betrachte wir für eie festgelegte Pukt x IR die zu schätzede Kegröße γ : F F γf := Fx [0,1] Wir wolle achweise, daß die empirische Verteilugsfuktio via T := F x eie asymptotische Miimax-Schätzer liefert, wobei... max auf das maximale quadratische Risiko auf Umgebuge vo F der Form V δ F := { F F : Fy Fy < δ y IR } mit kleiem Radius δ > 0 Bezug immt. Seie X i, i 1, i.i.d ZV auf Ω, A mit ubekater Verteilug F F, ud A := σx 1,...,X die vo de erste Beobachtuge erzeugte Sub-σ-Algebra auf Ω, A, 1. Eie Aussage der Art bei ubekatem F F liefert die empirische Verteilugsfuktio eie asymptotisch optimale Schätzer für F wurde zuerst vo Bera 1977 bewiese. I der hier gegebee Form Schätzug vo Fx a eier feste Stelle x uter ubekatem F F, mit va Trees 1.11 stamme Satz ud Beweis vo Kutoyats Satz: Kutoyats Für F F ud x IR beliebig gilt mit V δ F F wie obe i lim lim if δ 0 if T A -mb ef V δ F E ef [T Fx] 2 Fx1 Fx, ii lim δ 0 lim ef V δ F E ef [ F x Fx] 2 = Fx1 Fx. Beweis: Fixiere F F ud x IR. Zuerst ist ii eifach eizusehe: aus F x Fx = 1 1,x] Y i Fx ud Uabhägigkeit der Y i F folgt sofort E e F F x Fx 2 = 1 Fx1 Fx, 1

19 Kapitel I 19 wobei ach Defiitio vo V δ F für kleies δ ef V δ F Fx1 Fx ahe bei Fx1 Fx liegt. Im Rest des Beweises zeige wir ii. 1 Wir defiiere geeigete eiparametrige Pfade S h durch F i Richtuge h. Betrachte h beschräkt auf IR, ud wähle eie Skalierugsfaktor für h so daß gilt hdf = 0, x hdf 0 x hdf = 1. Sei H die durch diese vier Eigeschafte bestimmte Teilklasse vo L 2 F. Für h H setze δ h := δ h, wobei δ > 0 der Radius der Umgebug V δf vo F ist, ud defiiere S h := {F h : < δh }, df h := 1+hdF. Dies ist ei eiparametriger Pfad durch F es gilt F h 0 = F für alle h H i V δf wege < δ h. Nach 1.3 ist die Iformatio i S h gegebe durch I h := h h df, < δh. 2 Fixiere h H. Wege der für h gewählte Skalierug gilt im Pfad S h F h x = x 1+hdF = Fx +, < δ h. Also arbeitet jeder A -meßbare Schätzer T für γ : F F Fx [0,1] i Eischräkug auf S h als Schätzer für + γ : S h F h Fx +. I Eischräkug auf S h ka ma assoziiert zu γ eie eue Kegröße γ h := γf h Fx =, F h Sh betrachte, also γ h := id auf { : < δ h }, ud jede A -meßbare Schätzer T für γ i Restriktio auf S h via T := T Fx

20 20 Score ud Iformatio zu eiem Schätzer für de ubekate Parameter im Modell S h umbaue. Die asymptotische va Trees Schrake 1.11 für das Schätze des Parameters im eiparametrige Pfad S h lautet lim c 0 lim if if T A -mb <c E [ T ] 2 I h 0 1. Nu trasformiert ma das Paar T, γ h =id i die ursprügliche Form T, γ zurück ud erhält i S h die asymptotische Miimax-Schrake ++ lim c 0 lim if if T A -mb E F h [ T γf h F h: <c ]2 I h Betrachte wir u die Schar aller Fuktioe h H ud die ihe zugeordete eiparametrige Pfade S h durch F, gilt wege ++ ud wege S h V δ F lim lim if δ 0 lim c 0 if T A -mb lim if ef V δ F if T A -mb E ef [ T γ F] 2 F h : <c E F h [ T γf h ]2 1 I0 h für jedes h H. Damit ist gezeigt lim lim if δ 0 if T A -mb ef V δ F E e F [ T Fx] 2 { } 1 I0 h : h H. 4 Wir zeige u { } 1 I0 h : h H = Fx1 Fx ud schließe damit de Beweis der Schrake i ab. Uter Ausutzug der für h gewählte Normieruge gilt i S h mit Cauchy-Schwartz 1 = = x hdfx 0 = h 2 df 1 + hy[1,x] y Fx]Fdy 2 [1,x] y Fx] 2 Fdy 1 I0 h 2 Fx1 Fx Gleichheit i Cauchy-Schwartz gilt geau falls hy = c [1,x] y Fx] für ei c IR, was aufgrud der i der Defiitio der Klasse H vorgeommee Normieruge geau im Fall c = 1 Fx1 Fx

21 Kapitel I 21 erreicht wird. Folglich ethält H geau ei Elemet h, gegebe durch ud, mit { 1 } 1 Fx1 Fx = I0 h = I0 h : h H. Das ist +++, ud 1.11 ist vollstädig bewiese. Ma et h eie ugüstigste Richtug ud S h eie ugüstigste eiparametrige Pfad durch F: S h miimiert uter alle Pfade S h, h H, die Fisher-Iformatio i 0. C. Heuristik zu Maximum-Likelihood-Schätzfolge Der große eglische Statistiker R.A. Fisher, zwische 1915 ud 1950 Vater vieler wichtiger statistischer Verfahre, war davo überzeugt, daß i fast alle relevate statistische Probleme ei Maximum-Likelihood-Verfahre ML zu Schätzer führe sollte, die bei uabhägiger Versuchswiederholug -kosistet ud asymptotisch ormal sid, wobei als Kovariazmatrix der Grezverteilug die Iverse der Fisher-Iformatio auftritt, keie Schätzfolge mit besser kozetrierter Grezverteilug existiere. Er begüdete das mit heuristische Argumete, die i diesem Teilabschitt geschildert werde solle. Ker des Argumets ist eie Darstellug der reskalierte ML-Schätzfehler i Terme vo Score ud Iformatio, siehe h8 i 1.14 ute. Die i seier Heuristik für ML-Schätzfolge zu sehede Darstellug reskalierter Schätzfehler wird sich später siehe Kapitel VII, mit mathematisch jedoch gaz aders ausgerichtete Argumete als Schlüssel zur lokalasymptotische Charakterisierug optimaler Schätzfolge erweise Heuristik I: Vertauschugsbediguge Wir betrachte ei Experimet E := Ω, A, {P : Θ}, Θ IR d offe mit Score {M : Θ} ud Fisher-Iformatio {I : Θ} wie i 1.2. Dabei seie die Dichte f = dp dµ strikt positiv, ud die Parametrisierug f, sei hireiched glatt auf Θ. Da sollte im Experimet E die folgede Vertauschugsbediguge h1 ud h2 gelte, wobei wir ei ur heuristikgestütztes erwüschtes Gleichheitszeiche durch die Schreibweise!! = hervorhebe. Für geeigete Y : Ω, A IR, BIR sollte gelte E Y = Y f dµ!! = Y f dµ = Y log f f dµ i i i i

22 22 Score ud Iformatio ud damit h1 E Y!! = E Y M. Akzeptiert ma h1, so sollte weiter gelte!! E Y = Y log f f dµ j i j i = Y log f f + log f log f f dµ j i i j = E Y log f + M i M j. j i Im Spezialfall Y 1 ist die like Seite dieser Gleichugskette gleich 0, ud dies führt ach Defiitio vo Score ud Fisher-Iformatio auf h2 I = E M M!! = E log f, wobei ma log f, als P -itegrierbar versteht. Idem ma die erste Zeile der Gleichugskette obe alterativ i der Form j E Y!! = i Y f, dµ j i schreibt, sieht ma, daß die mittels h2 ausgedrückte Vertauschugseigeschaft äquivalet als h2 E µ!! f, = 0 formuliert werde ka Heuristik II: ML-Schätzer Ei Maximum-Likelihood Schätzer für de ubekate Parameter i eiem statistische Modell E, das die i 1.12 geforderte Eigeschafte besitzt, beutzt bei Vorliege der Beobachtug ω Ω eie Maximalstelle der Likelihood-Fuktio Θ f,ω 0, als Schätzwert für de ubekate Parameter Heuristik III: Asymptotik vo ML-Schätzer Betrachte zu E aus 1.12 ud 1.13 Produktmodelle E = Ω, A, {P, : Θ} = X Ω, A, {P, := P : Θ}

23 Kapitel I 23 mit Score M, i Θ ud Iformatio I, = I wie wie i 1.5 a. Bezeiche de!! Maximum-Likelihood-Schätzer im Produktmodell E, vo desse Kosistez für wir ausgehe!!. Wieder wird Heuristik mit!! hervorgehobe. Da sollte die zweite Ableituge der Log-Likelihoodfuktio i der Nähe der Maximalstelle Etwickluge ξ log f ξ log f + ξ log f zulasse, geauer: ma wüscht i der Folge der Produktexperimete E uter wahrem [ h3 log f!! = log f + [1 log f ] + op, 1]. Dabei steht o P, 1 für Terme, die P, -stochastisch für verschwide; wir schreibe kurz [ 1 + o P, 1 ] für eie Diagoalmatrix mit Eiträge 1+o P, 1 auf der Diagoale. Weiter wüscht ma, daß zweite Ableituge der log-likelihoodratios i de Produktmodelle E ur weig auf kleie Veräderuge des Parameterwerts reagiere im klassische Normalverteilugsmodell mit ubekatem Mittelwert ud gegebeer Kovariazmatrix sid log-likelihoodratios quadratisch im Parameter ud folglich die zweite Ableituge parameterfrei: h4 log f!! = log f [ 1 + o P, 1 ]. Da eie Maximalstelle der Likelihoodfuktio ist, muß i der Etwicklug h3 gelte so daß h3+h4 zusamme i die Aussage h5 log f!! = log f = 0, müde. Nu gilt aber im Produktmodell wege 1 log f,ω 1,...,ω = 1 log f [ 1 + o P, 1 ] log f,ω i für bei Gültigkeit vo h2 das starke Gesetz der große Zahle, also uter wahrem 1 log f, = E log f, + o P, 1 = I + o P, 1. Hier schreibe wir o P, 1 für eie Vektor, desse Eiträge P, -stochastisch für verschwide. Zugleich mit aber hat ma wege der Struktur des Score i Produktmodelle log f,ω 1,...,ω = M, ω 1,...,ω = M ω i

24 24 Score ud Iformatio ach Zetralem Grezwertsatz schwache Kovergez für 1 L M, P, N 0,I schwach i IR d. Wege ud wird aus h5 1 log f!! = 1 log f [ 1 + o P, 1 ] die Aussage 1 M,!! = [ I 1 + op, 1]. Wege sid die Terme auf der like Seite dieser Gleichug straff i IR d für uter. Bei Ivertierbarkeit der Fisher-Iformatio ist da auch der reskalierte ML-Schätzfehler selbst straff i IR d für. Damit immt die letzte Zeile die Gestalt 1 M,!! = I + o 1 P, ud ach Multiplikatio mit der Iverse der Fisher-Iformatio des Eizelversuchs die Gestalt h6!! = I 1 1 M, + o P, 1 a. Hat ma aber für eie Schätzfolge eie stochastische Etwicklug h6 der reskalierte Schätzfehler a der Stelle, so liefer ud asymptotische Normalität h7 L P, N 0,I 1 schwach i IR d für. I h7 erscheit die Iverse der Fisher-Iformatio im Eizelexperimet E als Kovariazmatrix der Grezverteilug. Beachte, daß die stochastische Etwicklug h6 der ML Schätzfehler äquivalet i Form h8!! = I 1, M, + o P, 1 geschriebe werde ka. Wir begleite die heuristische Überleguge i durch zwei Beispiele Beispiel: Betrachte -fache Versuchswiederholug E := Ω := X IR k, A := BIR k, {P, := N,Λ : Θ}, Θ := IR k

25 Kapitel I 25 im Normalverteilugsmodell mit bekater k k-kovariazmatrix Λ, symmetrisch ud strikt positiv defiit. Die Dimesio der Eizelbeobachtug ist k 1. Zu schätze ist der ubekate Mittelwert IR k. a Die Likelihoodfuktio bei Vorliege der Eizelbeobachtuge ω 1,...,ω aus IR k 1 Θ f,ω 1,...,ω = exp 1 ω 2π k 2 det Λ 1 i Λ 1 ω i 2 2 hat als eideutige Maximalstelle de empirische Mittelwert ω 1,...,ω := 1 ω i für jedes ω 1,...,ω Ω. Mit Schreibweise X 1,...,X := id Ω hat der Maximum-Likelihood- Schätzer für de ubekate Parameter im Modell E die Form = 1 X i. b Die Folge ist -kosistet, dabei gilt sogar 1 L P, = L X i P, = N0 k, Λ für jedes feste. Score ud Iformatio i E sid gegebe durch M, = Λ 1 X i, I, = Λ 1. Isbesodere ist die Fisher-Iformatio i diesem Experimet uabhägig vom Parameter, ud die Kovariazmatrix des reskalierte ML-Schätzfehlers i stimmt für jedes überei mit der Iverse der Fisher-Iformatio im Eizelversuch. Auch sieht ma sofort die h8 i 1.14 etsprechede Darstellug der reskalierte ML-Schätzfehler = I 1, M, sogar ohe die i h8 vorgesehee o P, 1 Restterme. Im Normalverteilugsbeispiel 1.15 ist die log-likelihood-fuktio 1 2 X i ω Λ 1 X i ω + icht vo abhägede Terme bei gegebeer Beobachtug ω Ω ei ach ute sich öffedes quadratisches Polyom i Θ, zetriert um de Maximum-Likelihood-Schätzer ω für de ubekate Parameter damit wege zetriert i der Nähe des wahre. Lokal i der Nähe der Maximalstelle

26 26 Score ud Iformatio der Likelihoodfuktio trifft ma i viele statistische Modelle auf ählich klare Bilder. Dies muß jedoch keieswegs immer so sei, ud LeCam 1990 sammelte mit Lust a der Provokatio ML-Fehlschläge. Harmlos auf de erste Blick wirkt das folgede Beispiel Beispiel: Neyma ud Scott 1950 Wir betrachte ei Lokatios- ud Skalemodell mit Normalverteiluge, i dem ei Maximum-Likelihood-Schätzer icht eimal kosistet ist. Defiiere auf Ω, A := IR 2k, BIR 2k ei Experimet {P : Θ} durch Θ := 0, IR k, =: σ 2,ξ 1,ξ 2,...,ξ k, P := Nφ,σ 2 I 2k wobei φ de Vektor ξ 1,ξ 1,ξ 2,ξ 2,...,ξ k,ξ k IR 2k bezeichet. Für die kaoische Variable auf Ω, A schreibe wir X 1,Y 1,X 2,Y 2,...,X k,y k := id Ω. 1 Für i = 1,..,k sid die Zufallsvariable X 2 i Y i i.i.d. N0,σ 2 verteilt. Also ist T := 1 k k Xi Y 2 i 2 ei verüftiger Schätzer für γ = σ 2. Wege LZ 2 = Γ 1 2, 1 2 für Z N0,1 hat ma L T P = Γ k 2, k 2σ 2, E T = σ 2, V ar T = 2σ4 k ach de übliche Skalierugs- ud Faltugseigeschafte vo Gammaverteiluge. 2 Betrachte u die Likelihoodfuktio 1 2k k exp 1 { Xi 2πσ 2 2σ 2 ξ i 2 + Y i ξ i 2} Eie Maximum-Likelihood-Schätzer für mit Kompoete σ 2, ξ 1,..., ξ k bestimmt ma so: für festes i = 1,...,k besitzt die Abbildug ei eideutiges Miimum a der Stelle ξ i X i ξ i 2 + Y i ξ i 2. ξ i := X i + Y i 2. I der Log-Likelihoodfuktio bleibt also zu maximiere { k } σ 2 k logσ 2 1 Xi Y 2 i 2σ 2 2 2

27 Kapitel I 27 was wieder zu eier eideutige Maximalstelle führt: σ 2 := 1 k k Xi Y 2 i = T. Beutzt ma also die erste Kompoete σ 2 des ML-Schätzers zum Schätze vo σ 2, so ist die Verteilug vo σ 2 auf Umgebuge vo 1 2 σ2 kozetriert, wege 1 L 2 T P = Γ k 2, k σ 2, E T = σ2 2, V ar T = σ4 2k ud dies um so schärfer, je größer k ist. Diese Schätzug geht also systematisch fehl. Die Heuristik aus ka also auf keie Fall für sich de Status eier uiversal richtig liegede Ituitio beaspruche. I eier große Zahl statistischer Modelle ka ma sich jedoch mit Erfolg a ihr orietiere, um uter agemessee Voraussetzuge, ud mit rigorose Beweise das asymptotische Verhalte vo ML-Schätzer zu beschreibe. D. Kosistez vo Maximum-Likelihood-Schätzfolge Eie Likelihood-Fuktio f, ω muß icht otwedig für alle ω Ω Maximalstelle besitze, ud we es Maximalstelle gibt, müsse diese icht eideutig sei. Dies erklärt die im folgede gegebee vorsichtige Defiitio eies Maximum-Likelihood-Schätzers ud eier Maximum-Likelihood-Schätzfolge Defiitio: a Betrachte ei statistisches Modell E := Ω, A, {P : Θ}, Θ IR d mit Dichte f = dp dµ bezüglich eies domiierede Maßes µ. Sei T : Ω, A IRd, BIR d ei Schätzer für de ubekate Parameter. i Sei A A ei Ereigis. Nee T kurz ML auf A falls gilt für jedes ω A: Tω Θ, ftω,ω = {fξ,ω : ξ Θ}. ii T heißt Maximum-Likelihood-Schätzer für de ubekate Parameter, falls gilt: es gibt ei A A mit P A = 1 für alle Θ, ud T ist ML auf A.

28 28 Score ud Iformatio b Betrachte wie i 1.9 eie Folge vo Experimete E = Ω, A, {P, : Θ}, 1, die durch dasselbe Θ IR d parametrisiert sid. Eie Schätzfolge T für de ubekate Parameter heißt Maximum-Likelihood-Schätzfolge falls eie Folge guter Mege A A existiert so daß für 1 fest : T ist ML auf A ; für Θ fest : es gilt lim P,A = 1. Eie häufige Bezeichug für Maximum-Likelihood-Schätzfolge ist. I hireiched eifache parametrische Modelle gibt es explizite Darstelluge für ML-Schätzer. Im allgemeie ist dies icht der Fall, ud ei ML-Schätzer ka als Maximalstelle der Likelihoodfuktio bei festem ω Ω ur umerisch bestimmt werde. I gute Produktmodelle ka ma auf verschiedee Weise aus Fishers Programm eie rigorose Beweisgag mache. Eie Satz sehr starker hireicheder Voraussetzuge vom Typ gleichgradige Itegrierbarkeit der i wichtige Terme fidet ma z.b. i Wittig ud Müller-Fuk 1995, Kap , i Alehug a eie vo Wald um 1945 gegebee Beweis. Schwächere Voraussetzuge fidet ma i Pfazagl 1994; wir verdeutliche de Typ der hier beutzte Voraussetzuge am Beispiel der Kosistez vo ML-Schätzfolge Beispiel: siehe Pfazagl 1994, Kapitel 6.5 Betrachte ei Experimet E := Ω, A, {P : Θ}, Θ IR d offe mit Score {M : Θ} ud Fisher-Iformatio {I : Θ} wie i 1.2, ud Produktmodelle X E = Ω, A, {P, : Θ} = A, {P, := P : Θ} Ω, wie i 1.5 a. Dabei seie die Dichte f,ω, Θ, ω Ω, strikt positiv. Für jedes Θ ud jedes ε > 0 gebe es edlich viele offee Teilmege V 1,...,V l vo Θ mit l, V 1,...,V l abhägig vo ud ε so daß folgede zwei Aussage gelte: / l V i, {ξ Θ : ξ > ε} l V i,

29 Kapitel I 29 fξ, log ξ V i f, L 1 P ud E ξ V i log fξ, f, < 0 für alle j = 1,...,l. Da ist jede ML-Schätzfolge für de ubekate Parameter kosistet. Fixiere zum Beweis eie ML Schätzfolge T für de ubekate Parameter, sei A eie zugehörige Folge guter Mege. Betrachte ei festes Θ. Sei ε > 0 beliebig klei, wähle zu ud ε offee Mege V 1,...,V l gemäß ud. Da T ML auf A ist, gilt ach Defiitio für festes 1 { l j=1 f ξ, < ξ V j max f ξ, ξ Θ: ξ ε } A { T ε } ud also { T > ε } l j=1 l j=1 { { f ξ, ξ V j f ξ, f, ξ V j max f ξ, ξ: ξ ε } A c } A c Dabei gilt lim P, A c = 0 ach Defiitio der gute Mege. I E schätzt ma P, f ξ, f, ξ V j für jedes feste j = 1,...,l ach obe ab durch 1 P, {ω 1,...,ω : log fξ,ω i ξ V j f,ω i 0 was wege Voraussetzug ach dem starke Gesetz der große Zahle für verschwidet. Also ist die Behauptug lim P, T > ε = 0 bewiese. }, Im Beweis zu 1.18 steht hiter der Suche ach Bediguge für gleichgradige Itegrierbarkeit der i Fishers Programm wichtige log-likelihood Ratios der Begriff der Kullback-Divergez fξ KP,P ξ := log dp zwische P ud P ξ P siehe z.b. Tsybakov 2004, Ch. 2.4, Äquivalez der Wahrscheilichkeitsmaße ist dabei icht otwedig; mit Jese gilt für die kovexe Fuktio log fξ, fξ, 0 = log1 = log E E log +. f, f, f

30 30 Score ud Iformatio Die Kullback-Divergez ist keie Metrik auf {P : Θ}. Um die Geometrie eies domiierte Experimets {P : Θ} im Uterschied zur Euklidische Geometrie vo Θ mit eier geeigete Metrik zu beschreibe, beutzt ma de Helliger-Abstad H,, defiiert durch H 2 P ξ,p := 1 2 f 1/2 ξ f 1/2 2 dµ [0,1] Tsybakov 2004, Ch. 2.4, Strasser 1985, Ch. I.2, zusamme mit der Affiität AP ξ,p := f 1/2 ξ f 1/2 dµ = 1 H 2 P ξ,p. Mit der Metrik H, auf {P : Θ} formuliert ma eie deutlich allgemeiere Weg zur Kosistez ud -Kosistez vo ML-Schätzfolge. Die Sätze 1.20 ud 1.25 ute folge Ibragimov ud Has miskii Wir liste zuächst die beötige Voraussetzuge auf Voraussetzuge ud Bezeichuge: E = Ω, A, {P : Θ} sei ei domiiertes Experimet mit Dichte f = dp dµ ud Likelihood Ratios Lξ/ = 1 {f =0} + f ξ f 1 {f >0}, für ξ, Θ. Θ IR d sei offe, ud für alle ω Ω sei Θ ξ fξ,ω [0, stetig. Wir schreibe K für die Klasse aller Kompakta K i IR d mit K Θ. Mit de Notatioe hξ, γ, K := aξ,k c := 2ξ,δ := if ξ K\B H2 P ξ,p ξ, K K, ξ K, γ > 0, γξ f 1/2 ξ K c ξ f 1/2 ξ dµ, K K, ξ itk, f 1/2 ξ f 1/2 ξ 2 dµ, ξ Θ, δ > 0 ξ B δ ξ setze wir die Gültigkeit der folgede Bediguge i ud ii voraus: i Helliger-Stetigkeitsbedigug: für jedes ξ Θ gilt lim ξ,δ = 0 ; δ 0 ii Idetifizierugsbedigug: für jedes ξ Θ ud eie damit: jede kompakte Ausschöpfug K m m vo Θ gilt lim m aξ,kc m < Satz: Uter de Voraussetzuge aus 1.19 ist jede ML-Schätzfolge kosistet. Dabei verschwide für jedes Θ ud jedes γ > 0 die Wahrscheilichkeite P, > γ für

31 Kapitel I 31 sogar expoetiell schell. Der Beweis vo 1.20 wird ach eier Serie vo Hilfssätze i 2.24 gegebe werde Hilfssatz: Die Helliger-Stetigkeitsbedigug aus 1.19 impliziert hξ,γ,k > 0 für beliebige Wahl vo K K, ξ K ud γ > 0 Idetifizierbarkeit auf Kompakta. Beweis: Die Helliger-Stetigkeitsbedigug a jeder Stelle ξ 0 Θ impliziert zuächst lim ξ 0,δ = 0 δ 0 HP ξ,p ξ0 0 für ξ ξ 0. Die umgekehrte Dreiecksugleichug dx, z dy, z dx, y agewadt mit d, = H, ud x = P ξ, y = P ξ0, z = P ξ erlaubt, daraus auf Stetigkeit der Abbildug Θ ξ H 2 P ξ,p ξ [0,1] bei beliebigem festem ξ Θ zu schließe. Wege P ξ P ξ für ξ ξ hat keie adere Nullstelle als ξ = ξ. Damit ist für festes K K, ξ K, γ > 0 die Abbildug stetig ud strikt positiv auf dem Kompaktum K \ B γ ξ. Also gilt γ > 0, ud damit die Behauptug. mi ξ K\B H2 P ξ,p ξ > 0 für jedes γξ Wir fixiere u eie ML-Schätzfolge mit gute Mege A. Wir fixiere auch Θ als wahre Parameter. Der Nachweis der Kosistez vo uter geht vo eiem ähliche Asatz wie i 1.18 aus, ud wieder soll für gewisse Teilmege V Θ mit distv, > 0 P, f,ξ f, = P, L ξ/ 1 ξ V ξ V ach obe abgeschätzt werde. Dazu möchte ma aber u die Markov-Ugleichug E, L ξ/ ξ V

32 32 Score ud Iformatio beutze. Die folgede Hilfsätze formuliere Bediguge für expoetiell schelles Abklige rechter Seite i derartige Ugleichuge Hilfssatz: Fixiere K K, K, γ > 0, ud betrachte Pukte ξ 0 K \ B γ ξ 0. a Wählt ma zu ξ 0 ei δ = δξ 0 > 0 klei geug für ξ B δ ξ 0 K ξ 0,δ < h,γ,k, so gilt für alle 1 die expoetielle Abschätzug E, L ξ/ e [ h,γ,k ξ 0,δ ]. b Für alle 1 gilt die Abschätzug E, ξ K\B γ L ξ/ C e 1 2 h,γ,k mit eier geeigete vo,γ,k, icht aber vo 1 abhägede Kostate C <. Beweis: 1 Schreibe kurz V := B δ ξ 0 K. Zuächst ka ma für ω 1,...,ω {f, > 0} L ξ/ durch ξ V [ f 1/2,ω i ω 1,...,ω = ξ V f 1/2 ξ 0,ω i + ξ V f 1/2 ξ,ω i f 1/2,ω i f 1/2 ξ,ω i f 1/2 ξ 0,ω i abschätze, was ach Itegratio Ω µdω 1,...,dω f,ω i... zu { [ E, ξ V L ξ/ f 1/2 Ω f 1/2 ξ 0 + ξ V ] ] } f 1/2 ξ f 1/2 ξ 0 dµ führt. Nach Defiitio der Affiität ud ach 1.19 hat ma aber f 1/2 f1/2 ξ 0 dµ = 1 H 2 P ξ0,p 1 h,γ,k sowie mit Cauchy-Schwartz wege V = B δ ξ 0 K f 1/2 ξ V f 1/2 ξ f 1/2 ξ 0 dµ 1 ξ0,δ = ξ 0,δ. Zusamme ergibt sich also mit 1 + x e x für x IR E, L ξ/ {1 h,γ,k + ξ 0,δ } e [ h,γ,k ξ 0,δ ] ξ B δ ξ 0 K

33 Kapitel I 33 wobei h,γ,k ξ 0,δ > 0 ach Voraussetzug. Das zeigt a. 2 Wähle zu jedem Pukt ξ 0 i K \ B γ eie Radius ηξ 0 > 0 mit der Eigeschaft ξ 0,ηξ 0 < 1 2 h,γ,k, Die Gesamtheit aller offee Kugel { B ηξ0 ξ 0 : ξ 0 K \ B γ } bildet eie offee Überdeckug vo K \ B γ. Da K \ B γ kompakt i IR d, ka ma eie edliche Teilüberdeckug B ηξ0,i ξ 0,i : i = 1,...,l = l,γ,k auswähle. Wedet ma Schritt 1 auf alle V i := B ηξ0,i ξ 0,i K a, so ergibt sich E, ξ K\B γ L ξ/ l E, ξ V i L ξ/ l e 1 2 h,γ,k. Das ist b, wobei die Kostate C durch die Zahl l = l,γ,k der zur Überdeckug vo K \ B γ beötigte Kugel gegebe ist Hilfssatz: Für K K ud itk sei die Bedigug ξ Θ K c a,k c < 1 erfüllt. Da gilt für alle 1 die expoetielle Ugleichug E, L ξ/ [a,k c ]. Beweis: Schreibe kurz V := K c Θ, ud wie im Beweis vo 1.22 für ω 1,...,ω {f, > 0} [ ] L ξ/ f 1/2 ξ,ω i ω 1,...,ω = ξ V ξ V f 1/2 f 1/2,ω i f 1/2 ξ,ω i.,ω i ξ V Daraus wird wie dort E, ξ V L ξ/ [ ξ V f 1/2 f1/2 ξ dµ ] [a,k c ] für beliebiges Beweis vo Satz 1.20: Für Teilmege U Θ mit distu, > 0 liefert die Defiitio eier ML-Schätzfolge A { ξ U f,ξ < f, } { / U}

34 34 Score ud Iformatio ud daraus { U} { ξ U f,ξ f, } A c. Für die gute Mege A gilt ach Defiitio eier ML-Schätzfolge lim P, A c = 0 ; Folglich bleibt vo P, U ur och mit Markov-Ugleichug P, ξ U f,ξ 1 f, P, ξ U L ξ/ 1 E, ξ U L ξ/ zu betrachte. Setze u U := Θ \ B γ für ei beliebig kleies γ > 0. Wähle eie kompakte Ausschöpfug K m m für Θ K m kompakt i IR d, K m itk m+1, Θ = m K m. Für hireiched großes m gilt da itk m ud a,km c < 1. Für solche m zerlegt ma U = K m \ B γ Θ K c m ud hat etspreched ach 1.22 b ud 1.23 P, > γ E, ξ Θ K c m L ξ/ + E, ξ K m\b γ L ξ/ [a,k c m] + C e 1 2 h,γ,km für alle 1. Auf der rechte Seite dieser Ugleichug falle aber beide Terme expoetiell schell für. Damit ist Satz 1.20 bewiese. Um Kosistez vo ML Schätzfolge zu zeige, wedet ma wieder dasselbe Beweisschema wie i 1.22 a, aber jetzt lokal i Eischräkug auf kleie Kugel mit Radius 1/2 um de wahre Parameter vgl. Ibragimov ud Has miskii 1981, S. 42 ff, S. 51 ff. Auf solche Kugel utzt ma zusätzlich zu 1.19 eie weitere Voraussetzug, die ahe a eie Differezierbarkeitsbedigug für ξ f 1/2 ξ ute mehr gesagt werde. i eiem L 2 µ-si herakommt. Darüber wird i Kapitel IV

35 Kapitel I Satz: Es gelte Relativ zu jedem Θ setze wir weiter voraus: zum Fußpukt existiere ei Radius γ = γ > 0 mit B γ Θ ud eie Kostate c,γ > 0 so daß die folgede Aussage i ud ii gelte: i λ 2,γ := ξ: ξ γ f 1/2 ξ f 1/2 2 ξ 2 dµ < ; ii H 2 P +h,p c,γ h 2 für alle h γ. Da ist jede ML Schätzfolge für de ubekate Parameter kosistet. Beweis: Fixiere Θ. Wähle γ = γ > 0 so, daß die i 1.25 gemachte Zusatzvoraussetzug erfüllt ist. Nach 1.20 bleibt zum Nachweis der Kosistez vo zu jedem ε > 0 existiert N < so daß lim P, > N < ε ur och zu zeige: zu jedem ε > 0 existiert ei N < so daß lim P, B γ \ B 1/2 N < ε. 1 Wir betrachte i Θ Kugelschale mit Maßstab 1/2 um das Zetrum R,k := { } ξ Θ : ξ = + 1/2 h mit k 1 < h k für k 1. Zum Überdecke vo B γ \ {} braucht ma die Schale R,k, 1 k L,γ, L,γ = O 1/2. 2 Für jede i R,k ausgewählte Pukt ξ,0 gilt aalog zu Beweisschritt 1 vo 1.22 gemäß Voraussetzug ii aus f 1/2 ξ,0 f 1/2 dµ = 1 H 2 k 12 P ξ,0,p 1 c,γ 3 Im IR d braucht ma eie zu kd proportioale Zahl vo Kugel mit kleiem Radius δ > 0 zum δ d Überdecke vo {h IR d : h k}. Daraus folgt, daß O vo {h IR d : k 1 h k} i IR d ausreiche. k d 1 δ d δ Kugel zur Überdeckug 4 Betrachtet ma i der durch 1/2 skalierte Kugelschale R,k mit Zetrum Pukte der Form ξ = + 1/2 h, ud läßt ma de lokale Parameter h IR d eie Kugel mit Radius

36 36 Score ud Iformatio δ > 0 ud Zetrum h 0 durchlaufe, so zeigt Voraussetzug i aus 1.25 f 1/2 ξ f 1/2 ξ 0 2 dµ δ 2 λ 2,γ 1. ξ R,k, ξ 0 R,k ξ=+ 1/2 h ξ 0 =+ 1/2 h 0 h B δ h 0 5 Ma wählt u für jedes ud jede der Kugelschale R,k, 1 k L,γ, eie Überdeckug V,k,i, 1 i l,k,,δ vo R,k durch Kugel mit Zetrum ξ,k,i,0 R,k ud Radius 1/2 δ. Schreibt ma die Pukte ξ R,k i Gestalt ξ = + 1/2 h, etspricht V,k,i wie i Schritt 4 eier δ-kugel im lokale Parameter h um ei geeigetes Zetrum h,k,i,0. Nach Schritt 3 gilt daher für die Azahl der zur Überdeckug vo R,k beötigte 1/2 δ Kugel l,k,,δ M kd 1 δ d mit eier geeigete Kostate M, welche vo der Dimesio d des Parameterraumes, aber icht vo ud icht vo δ > 0 abhägt. 6 Nu köe wir diese Abschätzuge ählich wie i 1.24 ud wie im Beweis vo 1.22 zusammesetze. Aalog zu 1.24 startet ma, idem ma + P, ξ Bγ ξ > 1/2 N L ξ/ 1 mit eier beliebige atürliche Zahl N erst abschätzt zu L ξ/, E, ξ Bγ ξ > 1/2 N ud da weiter mit de Überdeckuge aus 1 ud 5 zu L,γ L,γ E, L ξ/ ξ R,k k=n De eizele Term auf der rechte Seite E, k=n ξ V,k,i l,k,,δ L ξ/ E, ξ V,k,i L ξ/. schätzt ma völlig aalog zum Beweis vo 1.22 wieder i der Form [ f 1/2 f 1/2 ξ,k,i,0 dµ + f 1/2 ξ f 1/2 ξ,k,i,0 dµ ξ V,k,i f 1/2 ]

37 Kapitel I 37 ach obe ab, was ach 2, ach Cauchy-Schwartz kombiiert mit 4, sowie mit 1 + x e x zu [ 1 c,γ k 12 + δ λ,γ 1 ] e c 1k c 2 δ führt, mit geeigete Kostate c 1,c 2. Mit der uter 5 gegebee Schrake für l,k,,δ setze wir alles zusamme ud erhalte als obere Schrake für + ++ L,γ k=n l,k,,δ E, ξ V,k,i L ξ/ M k=n k d 1 δ d e c 1k c 2 δ. 7 Bis jetzt war δ > 0 och icht festgelegt worde. Wir wähle u δ = δ > 0 i Abhägigkeit vo so daß gilt δ d = e c 2 δ für alle 1 : dies ist möglich, de die Fuktio x log x 0 für x 0, ud die Aussage +++ ist äquivalet zu d vo δ = δ > 0 bleibt auf der rechte Seite vo ++ ur x log x, defiiert auf 0 < x < 1, besitzt die Eigeschaft c 2 = δ log δ. Mit Wahl +++ M k d 1 e c 1k 1 2 k=n zu betrachte. Hier summiert ma aber über die Glieder eier kovergete Reihe, folglich ka der letzte Ausdruck durch große Wahl vo N = Nε < uter jede zu Begi des Beweises gewählte Schwelle ε > 0 gedrückt werde. Damit ist die Aussage ud damit die Behauptug des Satzes 1.25 bewiese.