Schätzverfahren ML vs. REML & Modellbeurteilung mittels Devianz, AIC und BIC. Referenten: Linda Gräfe & Konstantin Falk

Transkript

1 Schätzverfahren ML vs. REML & Modellbeurteilung mittels Devianz, AIC und BIC Referenten: Linda Gräfe & Konstantin Falk 1

2 Agenda Schätzverfahren ML REML Beispiel in SPSS Modellbeurteilung Devianz AIC BIC Beispiel in SPSS Zusammenfassung 2

3 Problem hierarchischer Daten Stichprobengröße ist prinzipiell relevant für viele statistische Schätzverfahren Besonderer Fall: Stichproben teilen sich durch Ebenen auf z.b.: n = 600, in Extremfällen: Aufgeteilt in 2 Cluster Gruppengröße 300 pro Cluster Aufgeteilt in 300 Cluster Gruppengröße = 2 pro Cluster, sehr kleine Gruppengröße! 3

4 Altbekanntes GLS Generalized least-squares bei Regression Verfahren der Minimierung der quadrierten Abweichungen Iteratives Verfahren, ausgehend von Startwert wiederholte Schätzung der Modellparameter bis Bedingung (z.b. Minimale Abweichungsquadrate) erfüllt 4

5 ML Maximum Likelihood Wahrscheinlichkeit für empirisch gefundene Daten unter der Bedingung, dass das spezifizierte Modell gilt P(Daten Modell) = max. Iteratives Verfahren Mögliches Problem: lokale vs. Globale Maxima Abhängig von Startwerten 5

6 ML Modell: fixe Parameter (γs) Varianzen (Fehlervarianzen) Voraussetzungen: Normalverteilung der Fehler Erwartungswert der Fehler gleich Null Varianzhomogenität 6

7 ML Echte/wahre Regression Y i = β 0 + β 1 X 1i + β 2 X 2i + + β p X pi + ε i Beispiel: Schätzung der Fehlervarianz ε i ε i = Y i (β 0 + β 1 X 1i + β 2 X 2i + + β p X pi ) Lediglich Schätzung möglich: ˆ ( ˆ ˆ ˆ... ˆ ) ε = Y β0 + β1x1 + β2x2 + + β X Schätzung der Fehlervarianz durch i i i i p pi ˆ σ 1 n 2 2 ˆ ε = εi n i 7

8 REML Restricted Maximum Likelihood Aber p+1 (feste) Regressionsparameter für Schätzung der zufälligen Effekte schon vorher geschätzt Durch n - (p+1): Freiheitsgrade bereinigt p = Anzahl der βs (+1, da β 0 zusätzlich zu schätzen) Restriktionen des Modells beachtet 8

9 REML Schätzung der festen Effekte (γs) mittels anderem Schätzverfahren (z.b. GLS) Nur noch die zufälligen Effekte mittels REML zu schätzen (Varianzen) Logarithmus der restricted likelihood der Residuen Maximierung für Schätzung der Fehlervarianzen 9

10 REML REML: Schätzungen der Varianzanteile, für die die Likelihood der beobachteten Residuen maximiert wird (nicht der Gesamtdaten) Ebenso ein iteratives Verfahren 10

11 Vorteile ML Schätzung der fixen und zufälligen Parameter RML Freiheitsgradverluste durch Parameterschätzung beachtet 11

12 Nachteile ML Freiheitsgradverluste durch Parameterschätzung nicht beachtet Bei kleiner Stichprobengröße höherer Bias der Schätzungen der Parameter RML Nur zufällige Effekte geschätzt, die fixen Effekte werden durch andere Schätzverfahren bestimmt und als gegeben angenommen 12

13 Modellbeurteilung Devianz AIC BIC Basierend auf Loglikelihoodstatistik 13

14 Gütekriterien Gütekriterien helfen bei der Beurteilung, wie gut ein Modell ist Häufig R² benutzt Bei hierarchischen Daten jedoch nicht anwendbar, da zufällige Variablen auf verschiedenen Ebenen auftreten Hier wird Passung der Daten mit Modellschätzung verglichen 14

15 Devianz Devianz = -2[LL current model - LL saturated model ] Quantifiziert, wie viel schlechter das spezifizierte als das saturierte Modell ist Je kleiner desto besser Likelihood des Saturierten Modells = 1, daraus folgt, dass die Logarithmierte Likelihood = 0 Devianz = -2LL current model 15

16 Devianz χ 2 verteilt Vorteile: bessere statistische Werte (bei hierarchischen Modellen, im Vergleich zu R²) Erlaubt mehrere Tests in einem durchzuführen (gesamtes Modell getestet) Alpha-Fehler bleibt beschränkt (kein kumulierter alpha-fehler) 16

17 Informationskriterien Zusätzlicher Strafterm Informationskriterium = -2[LL current model (scale factor)(anzahl der Modellparameter)] = Devianz + 2(scale factor)(anzahl der Modellparameter) Für Vergleichbarkeit mit Devianz mit -2 multipliziert 17

18 Informationskriterien AIC Akaikes Information Criterion Je mehr Parameter spezifiziert, desto höher Bestrafung Da mit jeder Hinzunahme eines weiteren Parameters auch die LL größer wird oder zumindest gleich bleibt Scale Factor = 1 BIC Bayesian Information Criterion Anzahl der Parameter (AIC) und große Stichprobengröße bestraft In größeren Stichproben braucht man größere Verbesserung der LL current model bevor man komplexeres statt einfaches Modell verwendet 18

19 Informationskriterien Vergleichbar für jedes Paar von Modellen solange sie auf den gleichen Daten beruhen, egal ob sich Modelle auseinander ergeben oder nicht Welche Unterschiede groß/klein sind, noch unklar Vorschlag (Raftery, 1995) für BIC für Interpretation des Unterschieds zwischen Modellen: 0-2 schwach 2-6 positiv 6-10 stark > 10 sehr stark 19

20 Zusammenfassung ML und REML wollen Wahrscheinlichkeit für Daten gegeben des Modells maximieren P(Daten Modell) = max. Iteratives Vorgehen ML alle Modellparameter geschätzt REML nur zufällige Effekte geschätzt ML dabei für große, REML für kleine Stichproben sinnvoller 20

21 Zusammenfassung Wann welche Gütekriterien? abhängig von Stichprobengröße und angenommenen Modellparametern Devianz: wenige Modellparameter und kleine Stichprobe AIC: viele Modellparameter und kleine Stichprobe BIC: viele Modellparameter und große Stichprobe Entscheidung zwischen Modellen: χ²- Differenzentest der jeweiligen Gütekriterien (Devianz, AIC, BIC) 21