Methoden der statistischen Inferenz

Transkript

1 Leonhard Held Methoden der statistischen Inferenz Likelihood und Bayes Unter Mitwirkung von Daniel Sabanes Bove Spektrum KJL AKADEMISCHER VERLAG

2 Vorwort vii 1 Einführung Statistische Inferenz Beispiele Anteilsschätzung Vergleich von Anteilen Schätzung der Größe einer Population Überprüfung eines genetischen Gleichgewichtszustandes Schätzung von diagnostischen Kenngrößen Schätzung von relativem Risiko aus Krebsregisterdaten Statistische Analyse einer Therapiestudie Statistische Analyse von Überlebenszeiten Statistische Modelle Inhalt und Notation der Kapitel 12 2 Likelihood Likelihood- und Log-Likelihoodfunktion Beispiele Interpretation der Likelihood Invarianz der Likelihood Erweiterter Likelihoodbegriff Score-Funktion und Fisher-Information Iterative Bestimmung des ML-Schätzers Numerische Optimierung Der EM-Algorithmus Quadratische Approximation der Log-Likelihoodfunktion Suffizienz Minimalsuffizienz Das Likelihood-Prinzip 45 Aufgaben 46 3 Frequentistische Eigenschaften der Likelihood Erwartungstreue und Konsistenz Standardfehler und Konfidenzintervalle Standardfehler Konfidenzintervalle und Pivots Der Zusammenhang mit Signifikanztests Die Delta-Regel Die erwartete Fisher-Information und die Score-Statistik 64

3 X Die erwartete Fisher-Information Erwartungswert und Varianz der Score-Funktion Eigenschaften der erwarteten Fisher-Information Die Verteilung der Score-Funktion Invarianz von Score-Konfidenzintervallen Die Verteilung des ML-Schätzers und die Wald-Statistik Die Cramer-Rao-Schranke Konsistenz des Maximum-Likelihood-Schätzers Die Verteilung des Maximum-Likelihood-Schätzers Die Wald-Statistik Varianzstabilisierende Transformationen Die Likelihood-Quotienten-Statistik Konstruktion von Konfidenzintervallen Fallstudie: Konfidenzintervalle für Anteile 93 Aufgaben 98 4 Likelihood-Inferenz bei vektoriellem Parameter Score-Vektor und Fisher-Informationsmatrix Standardfehler und Wald-Konfidenzintervalle Die Profil-Likelihood Frequentistische Eigenschaften der Likelihood im mehrdimensionalen Fall Score-Statistik Wald-Statistik Die multivariate Delta-Regel Likelihood-Quotienten-Statistik Die verallgemeinerte Likelihood-Quotienten-Statistik 127 Aufgaben Bayes-Inferenz Die Posteriori-Verteilung Wahl der Priori-Verteilung Konjugierte Priori-Verteilungen Uneigentliche Priori-Verteilungen Nichtinformative Priori-Verteilungen Wahl von Punkt- und Intervallschätzer Verlustfunktion und Bayes-Schätzer Kompatible Punkt- und Intervallschätzer Invariante Punkt- und Intervallschätzer Bayes-Inferenz bei vektoriellem Parameter Wahl der Priori-Verteilung Nichtinformative Priori-Verteilungen Entfernung von Nuisance-Parametern 167

4 xi Kompatibilität von uni- und multivariaten Punktschätzern Einige Aussagen zur Bayes-Asymptotik Diskrete Asymptotik Stetige Asymptotik Empirische Bayes-Verfahren 176 Aufgaben Numerische Methoden zur Bayes-Inferenz Klassische numerische Verfahren Anwendung der Laplace-Approximation Monte-Carlo-Methoden Monte-Carlo-Integration Importance Sampling Die Verwerfungsmethode Markov-Ketten-Monte-Carlo 199 Aufgaben Modellwahl Likelihood-basierte Modellwahl Akaikes Informationskriterium Schwarz'sches Kriterium Bayesianische Modellwahl Herleitung des Schwarz'schen Kriteriums Bayesianische Modellmittlung Numerische Berechnung der marginalen Likelihood 224 Aufgaben Prognose Plug-in-Prognose Likelihood-Prognose Prädiktive Likelihood Bootstrap-Prognose Bayes-Prognose Die prädiktive Verteilung Modellgemittelte Prognosen Bewertung von Prognosen Trennschärfe und Kalibrierung Bewertungsregeln 252 Aufgaben 256 A Ergänzungen aus der Stochastik 259 A.l Ungleichungen und Rechenregeln 259 A.l.l Jensen'sche Ungleichung 259

5 xii A.1.2 Kullback-Leibler-Diskrepanz und Entropie 260 A.1.3 Informationsungleichung 260 A.1.4 Korrelation und Cauchy-Schwarz'sche Ungleichung 260 A.1.5 Randverteilungen 261 A.1.6 Bedingte Verteilungen 262 A.1.7 Bedingte Erwartung und Varianz 263 A.1.8 Satz von Bayes 264 A.1.9 Transformationssatz für Dichten 264 A.2 Asymptotik 265 A.2.1 Konvergenzarten 265 A.2.2 Slutsky's Theorem 266 A.2.3 Gesetze der großen Zahlen 266 A.2.4 Zentraler Grenzwertsatz 266 A.2.5 Delta-Regel 267 A.3 Verteilungen 267 B Ergänzungen aus der linearen Algebra und Analysis 279 B.l Cholesky-Zerlegung 279 B.2 Invertierung von Blockmatrizen 280 B.3 Sherman-Morrison-Formel 280 B.4 Kombination von quadratischen Formen 281 B.5 Multivariate Ableitungen 281 B.6 Taylor-Reihen 282 B.7 Leibnizregel für Parameterintegrale 283 B.8 Lagrange-Methode 283 B.9 Landau-Notation 283 C Ergänzungen aus der Numerik 285 C.l Optimierung und Nullstellensuche 285 C.1.0 Motivation 285 C.l.l Das Bisektionsverfahren 286 C.1.2 Newton-Raphson 287 C.1.3 Sekanten-Methode 291 C.2 Integration 291 C.2.1 Newton-Cotes 292 C.2.2 Die Laplace-Approximation 294 Literaturverzeichnis 297 Index 301