Formelsammlung zur Vorlesung Schätzen und Testen I

Transkript

1 Schätzen und Testen I WS 2008/09 Ludwig Fahrmeir, Christian Heumann, Christiane Dargatz Formelsammlung zur Vorlesung Schätzen und Testen I 1 Einführung in statistische Modelle und Inferenzkonzepte 1.1 Statistische Entscheidungstheorie Entscheidungsfunktion: d : X D x d(x Verlustfunktion: Risikofunktion: L : D R (d, θ L(d, θ R(d; θ = E θ [L(d(X; θ] = L(d(x; θf(x θ dx Minimax-Entscheidungsregel: X Eine Entscheidungsregel d : X D heißt Minimax, falls sie das supremale Risiko minimiert: Bayes-Risiko: r(d; p = sup θ R(d ; θ sup R(d; θ d D d = arg inf θ R(d; θp(θ dθ = E p [R(d; θ] = E p E θ [L(d(X; θ] = L(d(x; θf(x θ dx p(θ dθ Bayes-optimaler Schätzer: d mit Posteriori-Bayes-Risiko: mit p(θ x (eigentliche Posteriori-Dichte. X r(d ; p = inf r(d; p d D sup d D θ L(d(x; θp(θ x dθ = E θ x [L(d(x θ] R(d; θ

2 Formelsammlung zur Vorlesung Schätzen und Testen I 2 2 Klassische Schätz- und Testtheorie 2.1 Klassische Schätztheorie Suffizienz T heißt suffizient für θ (oder auch für P def die bedingte Verteilung bzw. Dichte von X gegeben T (x = t ist für alle Werte von T (x = t unabhängig von θ, d.h. Faktorisierungssatz, Neyman-Kriterium f X T (x T (x = t, θ = f X T (x T (x = t. T ist suffizient für θ f(x θ = h(xg(t (x θ für fast alle x. Minimalsuffizienz Eine Statistik T heißt minimalsuffizient für θ def T ist suffizient, und zu jeder anderen suffizienten Statistik V existiert eine Funktion H mit Verallgemeinerungen des MSE auf θ R p 1. MSE (skalar: MSE (1 2. MSE-Matrix: θ ( θ = E θ [ θ θ 2 ] = p E θ [( θ j θ j 2 ] j=1 MSE (2 θ ( θ = E θ [( θ θ( θ θ ] Fisher-reguläre Verteilungsfamilien T (x = H(V (x fast überall. = Cov θ ( θ + (E θ [ θ] θ(e θ [ θ] θ Eine Familie von Verteilungen P θ mit Dichte f(x θ = f(x 1,..., x n θ, θ, heißt Fisher-regulär, wenn gilt: 1. Der Träger {x X : f(x θ > 0} ist unabhängig von θ. 2. ist offen in R p. 3. Die ersten und zweiten Ableitungen von f(x θ bzgl. θ existieren und sind für jedes θ endliche Funktionen von x. 4. Vertauschbarkeit: Sowohl für f(x θ als auch für log(f(x θ kann erstes und zweites Differenzieren nach θ und Integration über x vertauscht werden. Log-Likelihood, Scorefunktion und Information l(θ; x = log f(x θ (log-likelihood von θ bzgl. der Stichprobe x s(θ; x = ( θ l(θ; x = l(θ; x,..., l(θ; x (Score-Funktion θ 1 θ p J(θ; x = 2 l(θ; x θ θ (beobachtete Informationsmatrix der Stichprobe mit Elementen (J(θ; x ij = 2 log f(x θ θ i θ j I(θ = E θ [J(θ; X] (erwartete oder Fisher-Informationsmatrix

3 Formelsammlung zur Vorlesung Schätzen und Testen I 3 Für X 1,..., X n i.i.d wie X 1 f(x θ wobei Informationsungleichungen Sei f(x θ Fisher-regulär. 1. Ist θ erwartungstreu für θ, so gilt: I(θ = E θ [J(θ] = n i(θ, [ ] ( i(θ = E θ 2 l(θ; X log f(x; θ θ θ = Cov θ. θ Cov θ ( θ I 1 (θ (Cramer-Rao-Ungleichung. heißt: Cov θ ( θ I 1 (θ ist positiv semidefinit (Löwner-Ordnung. 2. Ist T erwartungstreu für τ(θ, so gilt mit der Funktionalmatrix (H(θ ij = Rao-Blackwell Cov θ (T H(θI 1 (θh (θ θ j τ i (θ. Sei T = T (x suffizient für θ bzw. P θ und θ erwartungstreu für θ. Für den Schätzer θ RB = E θ [ θ T ] ( Rao-Blackwellization gilt: 1. θ RB ist erwartungstreu für θ. 2. Var θ ( θ RB Var θ ( θ. Asymptotische Eigenschaften und Kriterien θ n heißt asymptotisch erwartungstreu def lim E θ[ θ n ] = θ für alle θ. n θ n ist (schwach konsistent für θ (in Zeichen: θ n P θ (für alle θ def θ n heißt MSE-konsistent für θ def lim P θ( θ n θ ε = 1 für alle ε > 0 und alle θ. n lim MSE θ( θ n = 0 für alle θ. n θ n ist stark konsistent für θ def P θ ( lim θ n = θ = 1 für alle θ. n Asymptotische Normalität des KQ-Schätzers im linearen Modell: (D Divergenzbedingung: Für n gilt (X n X n 1 0.

4 Formelsammlung zur Vorlesung Schätzen und Testen I 4 (N Normalitätsbedingung: max i=1,...,n x i (Xn X n 1 x i 0 für n. Dann gilt: (X n X n 1/2 ( β n β d N(0, σ 2 I, β n a N(β, σ 2 (X n X n 1, n groß. Asymptotische Normalität 1. Mit n-normierung: θ n heißt asymptotisch normalverteilt für θ def d n( θn θ N(0, V (θ für n mit (nicht negativ definiter asymptotischer Kovarianzmatrix V (θ. 2. Mit Matrix-Normierung: θ n heißt asymptotisch normalverteilt für θ def es existiert eine Folge von Matrizen A n mit λ min (A n, so dass A 1/2 n ( θ n θ d N(0, V (θ. Delta-Methode Sei h : R p R k, k p 1. θ skalar: Für alle θ, für die h stetig differenzierbar ist mit h (θ 0, gilt: d n( θn θ N(0, V (θ n(h( θ n h(θ d N(0, [h (θ] 2 V (θ. 2. θ vektoriell: Sei mit der Funktionalmatrix θ = (θ 1,..., θ p h(θ = (h 1 (θ,..., h k (θ (H(θ ij = h i(θ θ j. Für alle θ, für die h(θ komponentenweise stetig partiell differenzierbar ist und jede Zeile von H(θ ungleich dem Nullvektor ist, gilt: d n( θn θ N(0, V (θ n(h( θ n h(θ d N(0, H(θV (θh(θ. Asymptotische Cramer-Rao Ungleichung Unter Fisher-Regularität sowie leichten Zusatzannahmen gilt: 1. Aus n( θ n θ d N(0, V (θ folgt V (θ i 1 (θ. 2. Aus d n(h( θ n h(θ N(0, D(θ folgt D(θ H(θi 1 (θh(θ mit Löwner-Ordnung (und den Bezeichnungen aus der Delta-Regel. Bester asymptotisch normaler (BAN-Schätzer θ n heißt BAN-Schätzer, falls in 1. oben gilt: V (θ = i 1 (θ. Transformation von BAN-Schätzern θ n BAN-Schätzer für θ h( θ n ist BAN-Schätzer für h(θ.

5 Formelsammlung zur Vorlesung Schätzen und Testen I Klassische Testtheorie Randomisierter Test 1, x B 1 φ(x = γ(x, x B 10 0, x B 0 B 1 B 0 B 10 strikter Ablehnungsbereich strikter Annahmebereich Randomisierungsbereich, Indifferenzbereich bzw. mit Teststatistik T = T (X Güte(funktion eines Tests φ 1, T (x > c φ(x = γ, T (x = c 0, T (x < c 1. g φ (θ = E θ [φ(x] = P θ (A 1, θ, heißt Gütefunktion. g φ (θ = P θ (A 1 Wahrscheinlichkeit für Fehler 1. Art, θ 0 1 g φ (θ = P θ (A 0 Wahrscheinlichkeit für Fehler 2. Art, θ 1 2. Supremale Fehlerwahrscheinlichkeiten: α(φ = sup P θ (A 1 = sup g φ (θ θ 0 θ 0 heißt (tatsächliches Niveau (level, size von φ. β(φ = sup P θ (A 0 = 1 inf g φ (θ θ 1 θ 1 ist die supremale Wahrscheinlichkeit für den Fehler 2. Art. Satz von Neyman-Pearson Problemstellung: Einfache Nullhypothese vs. einfache Alternativhypothese: Sei f 0 (x = f(x θ 0, f 1 (x = f(x θ 1. Dann heißt Likelihood-Quotient. H 0 : θ = θ 0, vs. H 1 : θ = θ 1. Λ(x = f 1(x f 0 (x Bester Test hat für stetiges f nach Neyman-Pearson die Form: H 0 ablehnen Λ(x > k α mit k α so gewählt, dass der Test das Niveau α einhält. Randomisierter LQ-Test Ein Test φ (x heißt randomisierter Likelihood-Quotienten-Test, kurz LQ-Test def φ (x hat die Struktur 1, f 1 (x > kf 0 (x Λ(x > k φ (x = γ(x, f 1 (x = kf 0 (x Λ(x = k 0, f 1 (x < kf 0 (x Λ(x < k

6 Formelsammlung zur Vorlesung Schätzen und Testen I 6 mit Konstante k > 0 und 0 nicht-randomisierter Test γ(x < 1. Falls Λ(X stetig ist, gilt P θ (Λ(X = k = 0. Dann reicht ein { φ 1, f 1 (x > kf 0 (x Λ(x > k (x = 0, sonst. Gleichmäßig bester (UMP, uniformly most powerful Test φ heißt gleichmäßig bester (UMP Test zum Niveau α def 1. E θ [φ (X] α für alle θ Für jeden anderen Test φ mit E θ [φ(x] α für alle θ 0 gilt: Verteilungen mit monotonem Dichtequotienten E θ [φ (X] E θ [φ(x] für alle θ 1. Die Verteilungsfamilie {f(x θ, θ R} mit skalarem Parameter θ besitzt monotonen Dichte- (oder: Likelihood- Quotienten (kurz: MLQ def es existiert eine Statistik T (X, so dass Λ(x = f(x θ 1 f(x θ 0 monoton wachsend in der Statistik T (x für je zwei θ 0, θ 1 mit θ 0 θ 1 ist. UMP-Test bei MLQ Gegeben sei P θ = {f(x θ : θ R} mit MLQ in T (x und die Hypothesen H 0 : θ θ 0 H 1 : θ > θ 0 1. Existenz: Es gibt einen UMP-Test φ zum Niveau α, nämlich 1, T (x > c φ (x = γ, T (x = c 0, T (x < c. Dabei sind c und γ eindeutig bestimmt durch die Niveaubedingung P θ0 (T > c + γp θ0 (T = c = α. 2. Die Gütefunktion g φ (θ ist monoton wachsend in θ und sogar streng monoton wachsend für alle θ mit 0 < g φ (θ < 1. Die maximale Wahrscheinlichkeit für den Fehler 1. Art ist g φ (θ 0 = α. 3. φ besitzt auch gleichmäßig minimale Wahrscheinlichkeiten für den Fehler 1. Art unter allen Tests φ für H 0 vs. H 1 mit g φ (θ 0 = α. 4. φ ist (mit Wahrscheinlichkeit 1 eindeutig bestimmt. Unverfälschter Niveau-α-Test Ein Test φ für H 0 vs. H 1 heißt unverfälschter (unbiased Niveau-α-Test def g φ (θ α für alle θ 0, g φ (θ α für alle θ 1. Zweiseitige UMPU (uniformly most powerful unbiased Tests Sei f(x θ = c(θ exp(θt (xh(x eine einparametrische Exponentialfamilie mit natürlichem Parameter θ ( sei ein offenes Intervall und Statistik T (x. Dann ist 1, T (x < c 1 γ 1, T (x = c 1 φ (x = 0, c 1 < T (x < c 2 γ 2, T (x = c 2 1, T (x > c 2

7 Formelsammlung zur Vorlesung Schätzen und Testen I 7 ein UMPU-Test zum Niveau α unter allen unverfälschten Tests φ zum Niveau α. Dabei werden c 1, c 2, γ 1, γ 2 aus bestimmt. E θ0 [φ (X] = α und E θ0 [φ (XT (X] = αe θ0 [T (X] 3 Likelihood-Inferenz 3.1 Parametrische Likelihood-Inferenz Likelihoodfunktion: L(θ = f(x θ Dichte der beobachteten Daten X = x, betrachtet als Funktion von θ. Mit L(θ ist auch L(θ = const L(θ eine Likelihoodfunktion. 3.2 Asymptotische Eigenschaften Unter Regularitätsannahmen gilt: P( θ n existiert 1 für n, d.h. die Likelihood-Gleichungen haben für n mit Wahrscheinlichkeit 1 eine Lösung, θ n P θ, θ n θ n a N(θ, I 1 n (θ bzw. I 1/2 n (θ( θ n θ a N(θ, J 1 n (θ bzw. J 1/2 n (θ( θ n θ d.h. ML-Schätzer sind BAN-Schätzer. d N(0, I, d N(0, I, 3.3 Testen von Hypothesen dim(d = rang(c = s. H 0 : Cθ = d vs. H 1 : Cθ d, Likelihood-Quotienten-Statistik: Wald-Statistik: Score- (oder Rao- Statistik: [ ] L( θ λ = 2{l( θ l( θ} = 2 log L( θ w = (C θ d (CI 1 ( θc 1 (C θ d u = s( θ I 1 ( θs( θ Unter H 0 (und den gleichen Regularitätsannahmen, die für die asymptotische Normalität des Maximum- Likelihood-Schätzers gefordert werden gilt 1. λ, w, u a χ 2 (s, 2. λ, w, u sind asymptotisch (lokal effizient. 3.4 Fehlspezifikation, Quasi-Likelihood und Schätzgleichungen Kullback-Leibler-Distanz von g und f θ für X stetig: ( D(g, f θ = E g log g(x f(x θ Entropie von g: E g log g(x = g(x log(g(x dx

8 Formelsammlung zur Vorlesung Schätzen und Testen I 8 Asymptotische Eigenschaften des ML-Schätzers bei Missspezifikation 1. Konsistenz: Sei θ 0 ein (lokaler Maximierer von λ(θ E g log f θ (X θ (bzw. ein Minimierer von D(g, f θ. Unter Regularitätsannahmen (ähnlich wie bei Fisher-Regularität existiert eine Folge ˆθ n von ( Quasi- ML-Schätzern, das heißt lokalen Maximierern von mit 1 n n log f(x i θ i=1 ˆθ n P θ0. 2. Asymptotische Normalität: Es gilt ( n(ˆθn θ 0 d N 0, J1 1 (θ 0 I 1 (θ 0 J1 1 (θ 0 mit ( ( log f(x θ log f(x θ I 1 (θ E g θ θ }{{}}{{} s 1(θ s 1(θ und der (Quasi-Fisher-Information ( J 1 (θ = E g 2 log f(x θ θ θ. 4 Bayes-Inferenz Finite Exchangeability Die Zufallsgrößen X 1,..., X n sind exchangeable bezüglich des Wahrscheinlichkeitsmaßes P, wenn P(x 1,..., x n = P(x π(1,..., x π(n für alle (bijektiven Permutationen π : {1,..., n} {1,..., n} gilt. Existiert eine Dichte f zu P, so gilt entsprechend: f(x 1,..., x n = f(x π(1,..., x π(n. Infinite Exchangeability Die unendliche Folge X 1, X 2,... ist exchangeable, wenn jede endliche Teilfolge exchangeable ist. Allgemeiner Darstellungssatz Sei X 1, X 2,... eine unendliche Folge reellwertiger Zufallsvariablen, die exchangeable sind, mit zugrundeliegendem Wahrscheinlichkeitsmaß P. Dann existiert ein Wahrscheinlichkeitsmaß Q über F, dem Raum aller Verteilungsfunktionen F auf R, so dass n P(x 1,..., x n = F (x i dq(f, F i=1 wobei Q(F = lim P (F n, n wobei F n die zu x 1,..., x n gehörende empirische Verteilungsfunktion bezeichnet.

9 Formelsammlung zur Vorlesung Schätzen und Testen I Bayes-Inferenz im Schnelldurchlauf Notation: X: beobachtete Daten X: unbeobachtete Daten θ: Parameter Basiskomponenten in der Bayes-Inferenz: p(θ f(x θ f(θ x f( x x Priori-Verteilung Daten-Verteilung Posteriori-Verteilung prädiktive Verteilung A priori prädiktive Verteilung: f(x = f(θ, x dθ = f(x θ p(θ dθ A posteriori prädiktive Verteilung: f( x x = f( x, θ x dθ = f( x θ, x f(θ x dθ = f( x θ f(θ x dθ 4.2 Mehr-Parameter-Modelle Dirichlet-Multinomial Modell Multinomialverteilung: Verallgemeinerung der Binomialverteilung Notation: (X 1,..., X k Multinomial(n; θ 1,..., θ k Likelihood: wobei f(x 1,..., x k θ 1,..., θ k k j=1 θ xj j, k die Anzahl der Ausprägungen oder Kategorien, n der Stichprobenumfang, x j die Anzahl von Treffern in Ausprägung oder Kategorie j, k j=1 x j = n, θ j die Wahrscheinlichkeit für Kategorie j, k j=1 θ j = 1. Dirichletverteilung: Verallgemeinerung der Betaverteilung konjugierte Verteilung der Multinomialverteilung Notation: (θ 1,..., θ k Dirichlet(α 1,..., α k Dichte: f(θ 1,..., θ k wobei θ j [0, 1] für alle j = 1,..., k und k j=1 θ j = 1. k j=1 θ αj 1 j,

10 Formelsammlung zur Vorlesung Schätzen und Testen I Bayesianisches lineares Modell Modell: y R n, X R n p, β R p, ε R n y = Xβ + ε, Annahmen und Notation: p = rang(x ε = (ε 1,..., ε n, i.i.d ε i N(0, σ 2 β = (X X 1 X y ŷ = X β = X(X X 1 X y = Hy ε = (I Hy = y ŷ σ 2 ε = ε ε n p Bayesianisch: Likelihood: y β, σ 2, X MVN(Xβ, σ 2 I ( f(y X, β, σ 2 (σ 2 n/2 exp 1 2σ 2 (y Xβ (y Xβ Nichtinformative Priori Posteriori: f(β, σ 2 y, X (σ 2 ( n +1 ( 2 exp 1 Bedingte Posteriori: (σ 2 ( n 2 +1 exp p(β, σ 2 (σ 2 1 2σ 2 (y Xβ (y Xβ ( 1 2σ 2 ( ε ε + ( β β X X( β β β σ 2, y, X MVN( β, σ 2 (X X 1 ( σ 2 β, y, X Inv-χ 2 n, ε ε + ( β β X X( β β n Marginale Posteriori: β y, X t n p ( β, σ ε(x 2 X 1 σ 2 y, X Inv-χ (n 2 ε ε p, n p Prädiktive Verteilung: f(ỹ y, X, X ] t n p [ X β, σ 2 ε ( X(X X 1 X + I Konjugierte Priori β, σ 2 MVN-inv-χ 2 (β 0, σ 2 0Σ 0 ; κ 0, σ 2 0 Posteriori: β, σ 2 y, X MVN-inv-χ 2 (β n, σ 2 nσ n ; κ n, σ 2 n,

11 Formelsammlung zur Vorlesung Schätzen und Testen I 11 wobei β n = (Σ X X 1 (Σ 1 0 β 0 + X y, Σ n = (Σ X X 1, κ n = κ 0 + n, σn 2 = (β0 Σ 1 0 β 0 βn Σ 1 n β n + y y + κ 0 σ0/(κ n. Bedingte Posteriori: β σ 2, y, X MVN(β n, σ 2 Σ n Marginale Posteriori: σ 2 y, X inv-χ 2 (κ n, σ 2 n 4.4 Markov Chain Monte Carlo Metropolis-Hastings (genauer: Metropolis-within-Gibbs für eine skalare Komponente: π : Zieldichte (unter Umständen nicht normiert q : Vorschlagsdichte X i = (X i1,..., X im R m X i, j = (X i1,..., X i,j 1, X i 1,j+1,..., X i 1,m Erzeuge Markov-Kette X 0, X 1, X 2,... mit stationärer Verteilung π. Update-Schritt für X ij : Ziehe Y aus q( X i 1,j, X i, j. Akzeptiere Y mit Wahrscheinlichkeit d.h. setze X ij = Y. α(y, X i 1,j X i, j = min { 1, Ansonsten verwirf Y, d.h. setze X ij = X i 1,j. π(y X i, j π(x i 1,j X i, j } q(x i 1,j Y, X i, j q(y X i 1,j, X i, j, 5 Bootstrap Einstichproben-Problem: i.i.d. mit X i Beobachtete Daten: F, F unbekannt Bootstrap-Stichprobe: Empirische Verteilungsfunktion: X = (X 1,..., X n T (X x = (x 1, x 2,..., x n T (x x = (x 1, x 2,..., x n T (x ˆF n (x = 1 n n I(x i x i=1

12 Formelsammlung zur Vorlesung Schätzen und Testen I 12 Bootstrap-Algorithmus zur Schätzung des Standardfehlers 1. Erzeuge B Bootstrap-Stichproben x 1,..., x B. 2. Berechne ˆθ (b, b = 1,..., B. 3. Schätze den Standardfehler se F (ˆθ = Var F (ˆθ durch { } 1 B [ˆθ ŝe B = (b B 1 ˆθ 2 ( ] 1 2 b=1 mit ˆθ ( = 1 B B ˆθ (b. b=1 Standardfehler für die Schätzung des Korrelationskoeffizienten θ (i Vergleich mit der Formel für die bivariate Normalverteilung: ŝe N2(µ,Σ(ˆθ = 1 ˆθ 2 n 3 (ii Vergleich nach Fisher-Transformation: ( ˆξ = 1 2 log 1 + ˆθ 1 ˆθ approx. N [ ( ( ] θ 1 2 log, 1 θ n 3 Zweistichproben-Problem für unabhängige Stichproben } i.i.d. Y 1,..., Y n F i.i.d. unabhängig Z 1,..., Z m G Schätzung des Standardfehlers der Schätzung für die Differenz θ = µ Y µ Z : y b = (y b 1,..., y b n zufällig mit Zurücklegen aus ˆF n z b = (z b 1,..., z b m zufällig mit Zurücklegen aus Ĝm mit und { } ŝe F,G (ˆθ = se ˆFn,Ĝm(ˆθ 1 B [ˆθ ŝe B = (b B 1 ˆθ 2 ( ] 1 2 ˆθ (b = 1 n n i=1 ˆθ ( = 1 B y b i 1 m B ˆθ (b b=1 b=1 m i=1 z b i Bootstrap-Konfidenzintervalle Bootstrap-t-Intervall 1. Generiere B Bootstrap-Stichproben x 1,..., x B. 2. Berechne Ordne die Z (b aufsteigend der Größe nach. Z (b = ˆθ (b ˆθ ŝe (b.

13 Formelsammlung zur Vorlesung Schätzen und Testen I Schätze die Quantile ˆt (α und ˆt (1 α als # { Z (b ˆt (α} = α. B 4. Das Bootstrap-t-Intervall zum Vertrauensgrad 1 2α lautet dann [ˆθ ˆt (1 α ŝe, ˆθ ˆt (α ŝe]. Bootstrap-Perzentil-Intervall 1. Ziehe x 1,..., x B B Bootstrap-Replikationen ˆθ (1,..., ˆθ (B mit ˆθ (b = T (x b. 2. Ordne die ˆθ (b der Größe nach: ˆθ (1,..., ˆθ (B. ˆθ (α ˆθ (1 α 3. Berechne Bα und B(1 α und bezeichne mit B bzw. B die Werte an den jeweiligen Positionen in der sortierten Sequenz der Bootstrap-Schätzungen. Dann ist [ˆθlower, ˆθ ] ] (1 α upper =, ˆθ ein approximatives (1 2α-Konfidenzintervall. [ˆθ (α B B