Statistik IV. Modul P8: Grundlagen der Statistik II Vorlesung P8.1: Wahrscheinlichkeitstheorie und Inferenz II

Transkript

1 Statistik IV Modul P8: Grundlagen der Statistik II Vorlesung P8.1: Wahrscheinlichkeitstheorie und Inferenz II Prof. Dr. Torsten Hothorn Institut für Statistik Ludwig Maximilians Universität München L A TEX-Satz von Dipl.-Stat. Andreas Böck 25. Februar 2011

2 Kapitel 1 Grundlagen des statistischen Schließens 1.1 Grundbegriffe und Problemstellung Definition 1.1 (Beobachtung, Stichprobe) Ist ω Ω 1 ein beobachtetes Elementarereignis, so heißt x = X( ω) = (X 1 ( ω),..., X n ( ω)) eine Stichprobe vom Stichprobenumfang n mit Beobachtungen x 1 = X 1 ( ω),..., x n = X n ( ω). Definition 1.2 (Verteilungsannahme) Sei P X,I eine Menge von Verteilungen, die für die Zufallsvariable X im Prinzip in Betracht kommen: Dann heißt P X,I Verteilungsannahme. P X,I = {P X,i i I}. Definition 1.3 (Parameter, Parameterraum) Sei Θ R k und g : Θ P X,I bijektiv mit P X,ϑ = g(ϑ) für ϑ Θ. Dann heißt ϑ Parameter der Verteilung P X,ϑ, g heißt Parametrisierung von P X,I (=: P X,Θ ) und P X,Θ heißt k-parametrige Verteilungsannahme mit Parameterraum Θ. Definition 1.4 (Stichprobenraum, statistischer Raum) (X, σ(x ), P X,Θ ) heißt statistischer Raum, (X, σ(x )) heißt Stichprobenraum. 1.2 Schätzer und ihre Eigenschaften Definition 1.5 (Stichprobenfunktion, Statistik) Eine meßbare Funktion t : X R k heißt Stichprobenfunktion oder Statistik. Definition 1.6 (Schätzen, Schätzfunktion, Schätzwert) Sei Θ R k und t : X R k eine Statistik. Dann heißt t Schätzer oder Schätzfunktion für ϑ Θ und ϑ = t(x) heißt Schätzwert für ϑ Θ. Definition 1.7 (parametrische Funktion) Eine Abbildung g : Θ R l heißt parametrische Funktion. Definition 1.8 Sei Θ R k, g : R k R l eine parametrische Funktion und t : X R l eine Statistik. Dann ist t ein Schätzer für g(ϑ) und ĝ(ϑ) = t(x) dessen Schätzwert. 1

3 1.3. EXPONENTIALFAMILIEN 2 Definition 1.9 (Erwartungstreue, Verzerrung) Sei T = t X und t ein Schätzer für g(ϑ). Dann heißt b g (ϑ) = E ϑ (T ) g(ϑ) die Verzerrung (engl. bias) von t, wobei E ϑ (T ) = t dp X,ϑ. Falls b g (ϑ) = 0, also E ϑ (T ) = g(ϑ), so heißt t erwartungstreu oder unverzerrt (engl. unbiased) für g(ϑ). Definition 1.10 (Schätzverfahren) Für n N sei jeweils t n : R n R l eine Schätzfunktion für g(ϑ). Dann heißt die Menge {t n n N} Schätzverfahren für g(ϑ). Definition 1.11 (asymptotisch erwartungstreu, Konsistenz) Sei X n = (X 1,..., X n ), eine Folge von Stichproben, P Xn,Θ die Verteilungsannahme, ϑ Θ und g eine parametrische Funktion, sowie {t n n N} ein Schätzverfahren. Dann heißt die Folge von Zufallsvariablen T n = t n X n, n N ˆ asymptotisch erwartungstreu für g(ϑ) : lim E ϑ(t n ) = g(ϑ) ϑ Θ n ˆ schwach konsistent für g(ϑ) : P g(ϑ) T n ˆ stark konsistent für g(ϑ) : T n f.s. g(ϑ) Satz 1.12 Sei t : R n R ein Schätzer für ϑ Θ R. Dann gilt: P ϑ ( t(x) ϑ < ɛ) 1 1 ɛ 2 E ( ϑ (t(x) ϑ) 2 ) Der Ausdruck E ϑ ((t(x) ϑ) 2 ) := MSE(t, ϑ) heißt mittlerer quadratischer Fehler (mean squared error). Definition 1.13 Seien t 1 : R n R und t 2 : R n R Schätzer für θ Θ R. Dann heißt t 1 mindestens so gut wie t 2, wenn gilt MSE(t 1, ϑ) MSE(t 2, ϑ) ϑ Θ Satz 1.14 (Bias-Varianz-Zerlegung) 1.3 Exponentialfamilien MSE(t, ϑ) = V ϑ (t(x)) + (E ϑ (t(x)) ϑ }{{} bias b(t,ϑ) Definition 1.15 (Exponentialfamilie) Eine Verteilungsfamilie P X,Θ = {f(x; ϑ) ϑ Θ} (d.h., die Dichten existieren) heißt k-parametrige Exponentialfamilie wenn sich die Dichten f(x; ϑ) bzgl. (des oder eines geeigneten dominierenden Maßes) ν auf die folgende Gestalt bringen lassen: k f(x, ϑ) = c(ϑ) b(x) exp γ j (ϑ) t j (x) j=1 ) 2

4 1.3. EXPONENTIALFAMILIEN 3 mit und } t j : X R t = (t 1,..., t k ) b : X R + γ j : Θ R γ = (γ 1,..., γ k ) c : Θ R + meßbar γ = γ(ϑ) heißt natürlicher Parameter dieser Exponentialfamilie mit natürlichem Parameterraum γ(θ) = {γ(ϑ) ϑ Θ} R k. Satz 1.16 Folgende Verteilungsfamilien sind Exponentialfamilien: a) {Exp(λ) λ > 0} Exponentialverteilung b) {B(1, p) p [0, 1]} Bernoulliverteilung c) {B(n, p) p [0, 1]} Binomialverteilung d) {P (λ) λ > 0} Poissonverteilung e) { N(µ, σ 2 0) µ R } Normalverteilung f) { N(µ 0, σ 2 ) σ 2 > 0 } Normalverteilung Satz 1.17 Sei P X,ϑ = f( ; ϑ) ν Maß mit Dichte f bzgl. ν (in der Regel ν = λ oder ν = µ z ). Sei nun ν(b) := b(x) dν(x) (B X ) (also ν = b ν), dann gilt B wobei bzgl. mit γ 0 (ϑ) = log(c(ϑ)) P X,ϑ = f ν f(x, ϑ) = c(ϑ) exp(γ(ϑ) t(x)) f(x, ϑ) = exp(γ 0 (ϑ) + γ(ϑ) t(x)) Definition 1.18 Eine Exponentialfamilie heißt strikt k-parametrig, wenn ihre Dichten in der Form von Def oder Satz 1.17 darstellbar sind, und zusätzlich die Funktionen t 0 1, t 1,..., t k sowie γ 0 1, γ 1,..., γ k linear unabhängig sind (außer auf Nullmengen). Satz 1.19 Sei X 1 : Ω 1 R und P X1,Θ eine k-parametrige Exponentialfamilie mit Funktionen c, b, γ und t. Dann gilt: P X,Θ mit X = (X 1,..., X n ) u.i.v. ist ebenfalls k-parametrige Exponentialfamilie mit Funktionen c n (ϑ) = c(ϑ) n b n (x 1,..., x n ) = γ n (ϑ) = γ(ϑ) t n (x 1,..., x n ) = n b(x i ) i=1 n ( t 1 (x i ),..., t k (x i ) ) i=1

5 1.4. INVARIANTE VERTEILUNGSFAMILIEN 4 Definition 1.20 (natürliche Parametrisierung) Sei γ = γ(ϑ) und c(γ) derart, daß gilt: c(γ) = c(ϑ). Dann heißt die k-parametrige Exponentialfamilie in kanonischer Form dargestellt mit Dichte bezüglich ν. Satz 1.21 Der natürliche Parameterraum ist konvex. f(x; γ) = c(γ) exp(γ t(x)) Satz 1.22 Sei P X,Θ eine k-parametrige Exponentialfamilie in γ und T = t(x). Dann bildet P T,Θ ebenfalls eine k-parametrige Exponentialfamilie in γ und der Identität. Satz 1.23 Sei P X,Θ eine k-parametrige Exponentialfamilie in γ und T = t(x). Dann besitzt die Statistik T Momente beliebig hoher Ordnung, diese sind als Funktion von γ beliebig oft nach γ differenzierbar; die Ableitungen dürfen durch Differentiation unter dem betreffenden Integral gebildet werden. 1.4 Invariante Verteilungsfamilien Definition 1.24 (Invarianz) Sei X = (X 1,..., X n ) eine Stichprobe und P X,Θ = {P X,ϑ ϑ Θ} die Familie von Verteilungen von X. Sei G eine Klasse von Transformationen des Stichprobenraumes g : X X, wobei g bijektiv und g, g 1 meßbar sind. Dann ist die Verteilung der ZV g(x) P g(x),ϑ (B) = P X,ϑ (g 1 (B)) B σ(x ) und P g(x),θ die zugehörige Verteilungsannahme. Diese heißt invariant gegenüber der Klasse G von Transformationen, falls P g(x),θ = P X,Θ g G. 1.5 Suffizienz Definition 1.25 (Suffiziente Statistik) Sei X = (X 1,..., X n ) eine Stichprobe und P X,Θ = {P X,ϑ ϑ Θ} eine Verteilungsannahme sowie t : X R k eine Statistik. Dann heißt T = t X suffizient für P X,Θ (oder einfach für ϑ), wenn die bedingte Verteilung P X T =t(x) definiert durch P X T =t(x) (B) = P(X 1 (B) (t X) 1 (t(x))) P((t X) 1 (t(x))) unabhängig von ϑ ist (deren Existenz vorausgesetzt; dies ist mit X = R n aber der Fall).

6 1.6. DIE FISHER-INFORMATION 5 Definition 1.26 (bedingter Erwartungswert) Seien X und Y Zufallsvariablen mit Randverteilungen P X = f X ν X und P Y = f Y ν Y sowie bedingte Verteilungen P X Y =y = f X Y =y ν X. Dann ist der bedingte Erwartungswert von g(x) gegeben Y = y als Funktion von y definiert durch E(g(X) Y = y) = g(x) dp X Y =y (x) = g(x)f X Y =y (x y) dν X (x) Satz 1.27 (Satz vom iterierten Erwartungswert) E Y (E X Y (X Y )) = E X (X) Satz 1.28 (Faktorisierungssatz von Fisher und Neyman) Sei X = (X 1,..., X n ) eine Stichprobe und P X,Θ = {f(x; ϑ) ϑ Θ} eine Verteilungsannahme, so gilt für eine Statistik T = t X (t : R n R k ) T ist suffizient für ϑ g : Θ Rk R h : R n R f(x; ϑ) = g(ϑ, t(x)) h(x). Satz 1.29 Sei P X,Θ eine k-parametrige Exponentialfamilie mit Dichten } meßbar so daß f X (x; ϑ) = c(ϑ) b(x) exp(γ(ϑ) t(x)) t X ist suffizient für ϑ Θ. 1.6 Die Fisher-Information Definition 1.30 (Fisher Regularität) Sei P X,Θ = {f(x; ϑ) ϑ Θ R} mit den folgenden Regularitätseigenschaften R1) Die Dichten f(x; ϑ) existieren (d.h. P X,ϑ = f ν). R2) Θ ist offenes Intervall. R3) Der Träger C := {x f(x; ϑ) > 0} ist unabhängig von ϑ. R4) f(x; ϑ) 2 f(x; ϑ) 2 ϑ x C. dν(x) = dν(x) = Dann heißt die Verteilungsfamilie P X,Θ Fisher-regulär. Definition 1.31 (Scorefunktion) S(ϑ; x) = log f(x; ϑ) f(x; ϑ)dν(x) = 0 f(x; ϑ) dν(x) = 0 = f(x;ϑ) f(x; ϑ) heißt Scorefunktion der Beobachtung x und die Zufallsvariable S(ϑ; X) heißt Scorefunktion der Stichprobe X.

7 1.6. DIE FISHER-INFORMATION 6 Satz 1.32 Unter Fisher-Regularität gilt: E ϑ S(ϑ; X) = 0 V ϑ S(ϑ; X) = E ϑ S(ϑ; X) Definition 1.33 (Fisher-Information) Sei P X,Θ = {f(x; ϑ) ϑ Θ} Fisher-regulär und x C (dem Träger von f). Dann heißt I(ϑ; x) := S(ϑ; x) die Fisher-Information der Beobachtung x über den Parameter ϑ. Der Erwartungswert der Zufallsvariable I(ϑ; X) heißt Erwartete Fisher-Information I X (ϑ) der Stichprobe X: I X (ϑ) = E ϑ I(ϑ; X) = E ϑ S(ϑ; X) = V ϑs(ϑ; X) Satz 1.34 Sei X = (X 1,..., X n ) u.i.v. und I Xi (ϑ) die erwartete Fisher-Information von X i. Dann gilt: I X (ϑ) = n I Xi (ϑ) i=1 Satz 1.35 (Cramèr-Rao-Ungleichung) Sei P X,Θ Fisher regulär und t : X R ein erwartungstreuer Schätzer für ϑ Θ. Falls für die ZV T = t X gilt so folgt Cov(T, S(ϑ; X)) = 1 V ϑ (T ) 1 I X (ϑ).

8 Kapitel 2 Punktschätzungen 2.1 Maximum-Likelihood-Schätzung Definition 2.1 (Likelihood) Sei X = (X 1,..., X n ) mit Verteilungsannahme P X,Θ existieren), dann heißt die Funktion = {f(x; ϑ) ϑ Θ} (d.h., die Dichten L : Θ X R + ϑ L(ϑ; x) = f(x; ϑ) die Likelihoodfunktion für ein festes x X (= R n üblicherweise). Definition 2.2 (Maximum- Likelihood- Schätzer) Sei X = (X 1,..., X n ) und P X,Θ die zugehörige Verteilungsannahme (siehe Def. 2.1). Dann heißt der Schätzer t ML : R n R k x t ML (x) = ϑ ML := argmax L(ϑ; x) ϑ Θ der Maximum-Likelihood-Schätzer für ϑ Θ R k. Definition 2.3 (Log- Likelihood) heißt Log- Likelihoodfunktion. l(ϑ; x) = log L(ϑ; x) = log f(x; ϑ) Satz 2.4 (Konsistenz des ML-Schätzers) Sei X = (X 1,..., X n ) mit R1-R4 und C1,C2. Dann existiert eine Folge von Statistiken ϑ n = t ML (X), definiert über S( ϑ n ; x = (x 1,..., x n )) = 0 und I( ϑ n, (x,..., x n )) > 0 (also potentiell lokale Maxima der Likelihood) so daß gilt: ( ϑ n ist schwach konsistent). ϑ n P ϑ (X PX,ϑ ) Korollar 2.5 Es gelten die Annahmen von Satz 2.4; wenn S( ϑ n ; x) = 0 eindeutige Nullstelle ist, so gilt: i) ϑ n P ϑ 7

9 2.1. MAXIMUM-LIKELIHOOD-SCHÄTZUNG 8 i)) ϑ n f.s. ϑ ML (d.h. die Lösung der Scoregleichung führt zum Maximum-Likelihood-Schätzer mit Wahrscheinlichkeit 1 für n ). Satz 2.6 (Invarianz des ML-Schätzers) Seien die Bedingungen von Satz 2.4 erfüllt und g(ϑ) eine stetige parametrische Funktion. Dann gilt: ĝ(ϑ) n = g( ϑ n ) ist ein konsistenter Schätzer für g(ϑ). Satz 2.7 (Verteilung der Scorefunktion) Sei X = (X 1,..., X n ) u.i.v. und S(ϑ; X) die zugehörige Scorefunktion. Dann gilt: 1 n S(ϑ; X) D N(0, I X1 (ϑ)) Satz 2.8 (Quadratische Approximation der Log-Likelihood) l(ϑ; x) l( ϑ ML ; x) 1 2 I( ϑ ML ; x)(ϑ ϑ ML ) 2 Satz 2.9 (asymptotische Normalität des ML-Schätzers) Sei X = (X 1,..., X n ) u.i.v. mit Verteilungsannahme P X,Θ = {f(x; ϑ) ϑ Θ} (Fisher-regulär). Weiterhin gelte: C1, C2 sowie C3) x C (Träger von f) ist f(x; ϑ) mindestens dreimal stetig differenzierbar. C4) Für den wahren Parameterwert ϑ 0 existiert eine Funktion M ϑ0 (x) und eine Konstante c(ϑ 0 ) so daß 3 l(ϑ; x) 3 ϑ M ϑ 0 (x) x C, (ϑ ϑ 0 ) < x(ϑ 0 ) sowie E ϑ0 (M ϑ (X)) <. Dann gilt für jede konsistente Folge von ZV ϑ n = t Score (X) (siehe Satz 2.4) wobei 0 < I X1 (ϑ 0 ) < n( ϑn ϑ 0 ) D N(0, 1 I X1 (ϑ 0 ) ) Satz 2.10 Sei ϑ n Schätzer für ϑ und g eine diffbare parametrische Funktion. Dann gilt ( ( ) ( ) ) 2 D g(ϑ) n g( ϑ n ) g(ϑ) N 0, I 1 X 1 (ϑ) Satz 2.11 Unter den Annahmen von Satz 2.9 gilt ebenso n( ϑn ϑ) n( ϑn ϑ) n( ϑn ϑ) D N (0, I X1 ( ϑ n ) 1) D N ( 0, I(ϑ, X) 1) D N (0, I( ϑ n, X) 1)

10 2.2. M-SCHÄTZUNG M-Schätzung Definition 2.12 (M-Schätzer) Sei X = (X 1,..., X n ) u.i.v. mit X i F; X i R p. Sei ψ : R p R k R eine Funktion, so daß für den wahren Parameter ϑ gilt: E ψ(x 1, ϑ) = ψ(x, ϑ) df(x) = 0 Dann heißt ϑ mit M-Schätzer. n i=1 ( ψ X i, ϑ ) = 0 Satz 2.13 Sei X = (X 1,..., X n ); ψ(x, ϑ) monoton in ϑ und in ϑ stetig. Dann gilt für die Lösung der Schätzgleichung ϑ n : n ψ(x i, ϑ) =! 0 ϑ n P ϑ. Satz 2.14 (asymptotische Normalität des M-Schätzers) i=1 n ( ϑn ϑ 0 ) D N(0, V (ϑ0 )) Satz 2.15 (Sandwich Schätzer) V ( ϑ n ) = Â( ϑ n ) 1 B( ϑn )Â( ϑ n ) 1 P V (ϑ0 ) mit Â( ϑ n ) = 1 n B( ϑ n ) = 1 n n ψ(x i, ϑ n ) ϑ n n ψ(x i, ϑ n )ψ(x i, ϑ n ) i=1 i=1

11 Kapitel 3 Inferenzkonzepte 3.1 Parametertests Definition 3.1 (Testproblem) Sei ϑ R k Parameter und Θ R k der zugehörige Parameterraum. Dann heißt H 0 : ϑ Θ 0 vs. H 1 : ϑ Θ 1 mit Θ = Θ 0 Θ 1, Θ 0 Θ 1 = Θ 0, Θ 1 Statistisches Testproblem. H 0 heißt (Null)hypothese, H 1 Alternative. Definition 3.2 (einfache, einseitige und zweiseitige Hypothesen) H 0 : ϑ Θ 0 vs. H 1 : ϑ Θ 1 Θ 0 = 1 : einfache Hypothese, sonst: zusammengesetzte Hypothese Θ 1 = 1 : einfache Alternative, sonst: zusammengesetze Alternative Bei skalaren Parametern unterscheidet man noch einseitiges Testproblem zweiseitiges Testproblem Definition 3.3 (statistischer Test) H 0 : ϑ ϑ 0 vs. H 1 : ϑ > ϑ 0 rechtsseitige Alternative H 0 : ϑ ϑ 0 vs. H 1 : ϑ < ϑ 0 linksseitige Altervative H 0 : ϑ = ϑ 0 vs. H 1 : ϑ ϑ 0 φ : X {0, 1} heißt nichtrandomisierter Test. ( X Stichprobenraum) (meßbar) φ R : X [0, 1] (meßbar) heißt randomisierter Test. Definition 3.4 (kritischer Bereich) heißt kritischer Bereich oder Ablehnbereich. K heißt Annahmebereich. K := {x X φ(x) = 1} 10

12 3.1. PARAMETERTESTS 11 Definition 3.5 (Fehlerarten) ϑ Θ 0, φ(x) = 1... ϑ Θ 1, φ(x) = 0... Fehler erster Art Fehler zweiter Art Definition 3.6 (Gütefunktion) β φ (ϑ) := P ϑ (φ(x) = 1) = E ϑ φ(x) = φ(x) dp X,ϑ (x) heißt Gütefunktion des Tests φ. Diese Funktion beschreibt die Wahrscheinlichkeit, die Nullhypothese H 0 : ϑ Θ 0 abzulehnen für eine Stichprobe X = (X 1,... X n ) aus der Verteilung P X,ϑ. Definition 3.7 (Niveau-α-Test) Ein Test φ mit der Eigenschaft β φ (ϑ) α ϑ Θ 0 heißt Niveau-α-Test. D.h., die Wahrscheinlichkeit für den Fehler erster Art ist maximal α (0, 1). Definition 3.8 (Macht, Power) heißt Macht oder Powerfunktion des Tests. β φ (ϑ) ϑ Θ 1 Definition 3.9 (Bester Test) Seien φ und φ Niveau-α-Test für das TP H 0 vs. H 1. Dann heißt φ mindestens so gut wie φ wenn gilt: β φ (ϑ) β φ (ϑ) ϑ Θ 1. Gilt diese Beziehung für alle beliebigen Niveau-α-Tests φ, so heißt φ gleichmäßig bester Test (uniformly most powerful, UMP). Definition 3.10 (Unverfälschter Test) Ein Niveau-α-Test φ heißt unverfälscht, wenn gilt β φ (ϑ 0 ) β φ (ϑ 1 ) ϑ 0 Θ 0 und ϑ 1 Θ 1 Ein Niveau-α-Test φ heißt gleichmäßig bester unverfälschter (auch: unverzerrter) Test, wenn er gleichmäßig bester Test unter allen unverfälschten Niveau-α-Tests ist. Definition 3.11 (Teststatistik) Für Tests der Form φ(x) = { 1 T (X) > k 0 T (X) k heißt die Statistik T : X R Teststatistik und deren Verteilung unter den Bedingungen der Nullhypothese P Θ0 (T (X) k) Prüfverteilung. Definition 3.12 (Konfidenzintervall) Die Funktion C : X R 2, x C(x) = [C(x), C(x)] heißt Konfidenzintervall für ϑ zum Niveau 1 α falls gilt P ϑ (ϑ C(X)) = P ϑ (C(X) ϑ C(X)) 1 α ϑ Θ.

13 3.2. WALD-, LIKELIHOOD-QUOTIENTEN- UND SCORE-TEST 12 Definition 3.13 (Gütekriterien für Konfidenzintervalle) Ein Konfidenzintervall C(X) heißt unverzerrt (unbiased), wenn gilt P ϑ (ϑ C(X)) P ϑ (ϑ C(X)) ϑ ϑ Ein Konfidenzintervall C(X) ist besser als ein Konfidenzintervall C(X) (beide zum Niveau 1 α) wenn E ϑ (C(X) C(X)) < E ϑ ( C(X) C(X)) d.h., wenn die erwartete Länge kleiner ist. 3.2 Wald-, Likelihood-Quotienten- und Score-Test Satz 3.14 (Wald-Test) Sei X = (X 1,..., X n ) u.i.v. und ϑ n ein Schätzer für ϑ mit der Eigenschaft n ( ϑn ϑ) D N ( 0, I 1 X 1 (ϑ) ) Dann ist der Test (Wald-Teststatistik) ein approximativer Niveau-α-Test für das Test- mit W (X) = ϑ n b q n ϑ 0 I 1 X (ϑ 1 0) problem φ W (X) = { 1 W (X) u 1 α/2 0 sonst H 0 : ϑ = ϑ 0 vs. H 1 : ϑ ϑ 0 Definition 3.15 (Likelihood-Quotienten-Test) Ein Test basierend auf der Teststatistik heißt Likelihood-Quotienten-Test für Satz 3.16 (Verteilung von LQ) LQ(X) = L( ϑ n ; X) max ϑ Θ 0 L(ϑ; X) H 0 ; ϑ Θ 0 vs. H 1 : ϑ Θ 1 Definition 3.17 (Score-Test, LM-Test) Ein Test basierend auf der Teststatistik 2 log (LQ(X)) D χ 2 1 LM(X) = S(ϑ 0, X) n IX1 (ϑ 0 ) heißt Score-Test oder Lagrange-Multiplier-Test für H 0 : ϑ = ϑ 0 vs. H 1 : ϑ ϑ 0. Satz 3.18 (Verteilung von LM) LM(X) D N(0, 1) Satz 3.19 (asymptotische Äquivalenz von W und LM) LM(X) W (X) P 0

14 3.3. BAYES-INFERENZ Bayes-Inferenz Definition 3.20 (Priori-Verteilung) Sei ϑ P ϑ mit Dichte f ϑ (ϑ) eine ZV. P ϑ heißt Priori-Verteilung. Definition 3.21 (Posteriori-Verteilung) Sei X P X ϑ eine ZV mit auf ϑ = ϑ bedingter Verteilung und X = x eine Realisation von X. Dann heißt die Dichte der bedingten Verteilung von ϑ gegeben X = x f ϑ X=x (ϑ X = x) = f X ϑ (x ϑ) f ϑ (ϑ) fx ϑ (x ϑ)f ϑ (ϑ) dν(ϑ) Posteriori-Dichte und die bedingte Verteilung ϑ X = x Posteriori-Verteilung. Definition 3.22 (Posteriori-Punktschätzer) Posteriori-Erwartungswert: E(ϑ X = x) = ϑ f ϑ X (ϑ X = x) dν(ϑ) Posteriori-Modus: Posteriori-Median Mod(ϑ X = x) = argmax f ϑ X (ϑ X = x) ϑ Median(ϑ X = x) Definition 3.23 (Kredibilitätsintervall) Ein Intervall [b, b] mit f ϑ x (ϑ x) dν(ϑ) = 1 α [b,b] heißt (1 α)-kredibilitätsintervall. Gilt weiterhin f ϑ x (ϑ X = x) f ϑ x (ϑ X = x) ϑ [b, b] und ϑ / [b, b] so heißt [b, b] highest posterior density interval HPD- Intervall. Satz 3.24 f ϑ (ϑ) = const Mod(ϑ X = x) = ϑ ML Satz 3.25 Sei ϑ Θ, Θ höchstens abzählbar, also Θ = {ϑ 1, ϑ 2,...}. Sei ϑ t der wahre Parameter (also P Xn,ϑ t, wobei X n die n-dimensionale Stichprobe ist). Dann gilt X n lim f(ϑ t X n = x) = 1 n lim f(ϑ i X n = x) = 0 n und i t

15 Literaturverzeichnis William F. Trench. Introduction to Real Analysis. William F. Trench, Free Edition 1.03 edition, ISBN URL index.shtml. 14