Effektstärken und deren Bedeutung für die klinische Forschung

Transkript

1 und deren Bedeutung für die klinische Forschung

2 Einführung 1/5 Nicht nur statistische Signifikanz für Bedeutsamkeit eines Ergebnisses ausschlaggebend Größeund Richtungeines Effektes (z.b. Mittelwertsunterschied, Zusammenhang) inhaltlich relevant APA (American PsychologicalAssociation) empfiehlt das Berichten von Effektgrößen zusätzlich zu den Ergebnisse statistischer Tests Veranschaulichung der inhaltlichen Bedeutsamkeit eines Ergebnisses Im Bereich der klinischen und medizinischen Forschung sind Effektgrößen unmittelbar wichtig ( Wie gutwirkt eine Behandlung?Wie großist der Einfluss eines Risikofaktors? Etc.)

3 Einführung 2/5 Effektgrößen aber nicht nur für Veranschaulichung von Ergebnissen wichtig Ebenso für Planungvon Studien relevant: Effektgröße Alpha-Fehler Beta-Fehler und Stichprobengröße stehen miteinander in Beziehung Kennt man drei der vier Parameter (oder legt sie a priorifest) kann der vierte berechnet werden Planung von Stichprobengrößen, Ermittlung der Power einer Studie

4 Einführung 3/5 Standardisierteund unstandardisierteeffektgrößen Unstandardisierte Effektgrößensind Maße, die eine unmittelbare inhaltliche Bedeutsamkeit und Interpretation haben, z.b. Anzahl an Zigaretten, die im Schnitt pro Tag geraucht werden Krankenstandstage pro Jahr, die durchschnittlich auf einer bestimmte Erkrankung zurückgeführt werden können Gewichtsverlust in kg, der durch ein bestimmtes Diäts-und Aktivitätsprogramm im Schnitt erzielt werden kann Maße für unstandardisierte Effektgrößen z.b. Differenz von Gruppenmittelwerten(raw mean difference) Unstandardisierte Regressionskoeffizienten

5 Einführung 4/5 Standardisierte Effektgrößeni.A. vor allem dann von Bedeutung, wenn zugrundeliegendes Maßkeineunmittelbare Interpretation gestattet, z.b. Summenwerte in psychologischen Tests und Fragebögen Standardisierte Effektgrößen erlauben auch den Vergleich von Studien, die Instrumente mit unterschiedlicher Skalierung benutzt haben Unterschiede werden durch Standardisierung kompensiert Anwendung vor allem auch in meta-analytischerforschung(= Integration von Forschungsergebnissen unterschiedlicher Studien zur selben Forschungsfrage)

6 Einführung 5/5 Häufig verwendete standardisierte Maße Cohens d (und andere Maße der d-familie) Produkt-Moment-Korrelation r (und andere Maße der r-familie) Eta 2 (und andere Maße der Varianzaufklärung) Odds Ratio und Risk Ratio (und davon abgeleitete Kennwerte)

7 Standardisierte Effektgrößen: Cohens d 1/8 Cohens drelevant für alle Mittelwertsvergleiche zwischen zwei (unabhängigen oder abhängigen) Gruppen Kann aus Gruppenmittelwerten, Standardabweichungen und ns oder aus der t-statistik des t-test berechnet werden (wird nicht von SPSS ausgegeben) Cohens dfür unabhängige Stichproben: d = M1 M SD pooled 2 = t 1 n n 2 SD pooled = ( n 1 2 1) SD1 + ( n2 1) SD n + n

8 Standardisierte Effektgrößen: Cohens d 2/8 Cohens dgibt den Abstand zweier Verteilungen in Einheiten ihrer gemeinsamen Standardabweichung an M 1 M 2 = d Annahme:Normalverteilung, Homogenität der Varianzen ( t-test!!!)

9 Standardisierte Effektgrößen: Cohens d 3/8 Im Fall abhängigerstichprobenkann danhand der Differenzwerte bestimmt werden d = M SD = t Diff 1 Diff N Um es mit der Metrik von dfür unabhängige Stichprobenvergleichbarzu machen, kann die Korrelation der Messwerte berücksichtigt werden d = M SD Diff 2 ( 1 r) = t 2 ( 1 r N Diff )

10 Standardisierte Effektgrößen: Cohens d 4/8 Faustregeln und Richtlinien zur Einschätzung der Größe eines Effekts (Cohen, 1988) Größe des Effekts Klein Cohens d 0.2 Mittel 0.5 Groß 0.8

11 Standardisierte Effektgrößen: Cohens d 5/8 Beispiel (Rückgriff): Effekt der CBT-Behandlung von Depressionspatienten N = 56 Patienten nach 12-wöchiger Behandlung Zeitpunkt M SD Baseline(T1) Nach 12 Wochen (T2) Analyse (t-test für abhängige Daten) hat gezeigt, dass Veränderung hochsignifikant war Größe des Effekts?

12 Standardisierte Effektgrößen: Cohens d 6/8 Im Fall Statistik bei gepaarten Stichproben Paaren 1 HRSD_baseline HRSD_post_treatment Standardfe Standardab hler des Mittelwert N weichung Mittelwertes 25, ,528,605 15, ,266,971 Korrelationen bei gepaarten Stichproben Paaren 1 HRSD_baseline & HRSD_post_treatment N Korrelation Signifikanz 56,656,000 d Paaren 1 = M SD Diff 2 ( 1 r) = t Test bei gepaarten Stichproben 2 ( 1 r N Diff ) HRSD_baseline - HRSD_post_treatment Mittelwert Standardab weichung Gepaarte Differenzen Standardfe hler des 95% Konfidenzintervall der Differenz Mittelwertes Untere Obere T df Sig. (2-seitig) 10,018 5,489,733 8,548 11,488 13,658 55,000

13 Standardisierte Effektgrößen: Cohens d 7/8 Einsetzen (dfür Differenzwerte): 1 1 d = t = = = 183. N 56 Patienten verbessern sich um fast zwei Standardabweichungen (großer Effekt!) Einsetzen (din der Metrik für unabhängige Stichproben): 2 ( 1 r) 2 ( ) d = t = = = 151. N 56 Verbesserung um 1.5 Standardabweichungen

14 Standardisierte Effektgrößen: Cohens d 8/8 Wenn r>.5, ist dder Differenzwerte größerals din Metrik unabhängiger Stichproben (bei r =.5 idente Ergebnisse; ansonsten kleiner) In Messwiederholungsdesigns sollte din der Metrik unabhängiger Stichproben berechnet werden (vgl. Dunlap et al., 1996) ansonsten droht Über-oder Unterschätzung von Effekten und Vergleiche mit Untersuchungen mit unabhängigen Designs (VG vs. KG) werden erschwert Neben Cohens dexistieren noch weitere verwandte Indizes, die ähnlich berechnet werden (z.b. Hedges g, Glass Δ)

15 Standardisierte Effektgrößen: Produkt-Moment-Korrelation r 1/3 Produkt-Moment-Korrelation rist ein direktes Effektmaß Koeffizient ist auf den Wertebereich 1 bis +1 beschränkt und erlaubt zudem Aussagen über das Ausmaßerklärter Varianz (=Bestimmtheitsmaß =r 2 [ebenso für Regression von Bedeutung, R 2 ]) Weitere Koeffizienten aus der r-familie sind Phi-Koeffizient, die punktbiseriale Korrelation und die Rangkorrelation Alle diese Koeffizienten können als Effektmaße verwendet werden Auch die Produkt-Moment-Korrelation stellt Anforderungen an Daten (bivariate Normalverteilung, linearer Zusammenhang)

16 Standardisierte Effektgrößen: Produkt-Moment-Korrelation r 2/3 Cave:Einschränkungen des Koeffizienten (siehe z.b. Phi-Koeffizient) schlagen sich somit auch auf Einschätzung der Größe eines Effekts nieder rkann zudem in Cohens dumgerechnet werden und umgekehrt Formeln dafür finden sich einführenden Büchern zu meta-analytischen Techniken (z.b. Borenstein, Hedges, Higgins, Rothstein, 2009) Verdeutlicht, dass korrelativeherangehensweise und die Analyse von Mittelwertsunterschieden im allgemeinen linearen Modell eigentlich das selbe ist

17 Standardisierte Effektgrößen: Produkt-Moment-Korrelation r 3/3 Faustregeln und Richtlinien zur Einschätzung der Größe eines Effekts (Cohen, 1988) Größe des Effekts Klein.1 Mittel.3 Groß.5 r

18 Standardisierte Effektgrößen: Eta 2 1/16 Eta 2 (η 2 ) ist das natürliche Effektmaßvarianzanalytischer Untersuchungen Partielles Eta 2 (siehe später) kann direkt von SPSS ausgegeben werden Eta 2 ist ein Maßdafür, wie viel Gesamtvarianz (abhängige Variable) durch den interessierenden Faktor (unabhängige Variable) erklärt wird: 2 Eta = QS QS Faktor Gesamt Ergebnis ist ein Maßder Varianzerklärung (Wertebereich 0 bis 1), das in der Interpretation vergleichbar ist mit r 2

19 Standardisierte Effektgrößen: Eta 2 2/16 Für mehrfaktorielledesigns wird auch das partielle Eta 2 verwendet: partielles Eta 2 = QS QSFaktor + QS Faktor Fehler In einfaktoriellendesigns ist Eta 2 =partielles Eta 2 In mehrfaktoriellenunabhängigen Designs addiert sich das Eta 2 aller Quadratsummen auf 1 Das partielle Eta 2 addiert sich in mehrfaktoriellendesigns nicht notwendigerweiseauf 1 (kann > 1 sein) es ist ein Maßder Varianzaufklärung unter Kontrolle (Herauspartialisierung) des Einflusses aller anderen Faktoren in der Gesamtvariabilität

20 Standardisierte Effektgrößen: Eta 2 3/16 Ebenso addiert sich das (partielle) Eta 2 in mixeddesignsnicht notwendigerweise auf 1 (unabhängige undabhängige Faktoren zweiunterschiedliche Fehlerterme; die erklärte Gesamtvarianz kann insbesondere in solchen Designs scheinbar > 100% sein) Diese Einschränkungen sind in der Interpretation zu berücksichtigen Autoren wie Field(2009) plädieren überhaupt, nicht das partielle Eta 2 zu benutzen, sondern Eta 2 oder auch ω 2 (Omega 2 =Schätzer der erklärten Varianz in der Population, nicht in der Stichprobe) Eta 2 (oder auch das partielle Eta 2 ) haben zudem den prinzipiellen Nachteil, dass sie unanschaulichsind (Globalhypothese) häufig sind es gerade Einzelvergleiche und deren Größe, die praktisch von Relevanz sind

21 Standardisierte Effektgrößen: Eta 2 4/16 D.h. auch gerade bei varianzanalytischen Designs ist häufig die Bestimmung des d interessierender Gruppen informativer Zudem können auch für KontrasteEffektmaße bestimmt werden Effekt eines Kontrasts in Größen von r (vgl. Field, 2009, S. 390): r Kontrast = 2 t 2 t + df

22 Standardisierte Effektgrößen: Eta 2 5/16 Faustregeln und Richtlinien zur Einschätzung der Größe eines Effekts (Cohen, 1988) Größe des Effekts Klein Eta 2.01 Erklärte Varianz 1% Mittel.06 6% Groß.14 14%

23 Standardisierte Effektgrößen: Eta 2 6/16 Beispiel (Rückgriff): Wie starkunterscheiden sich Depressive, Remittierte und Gesunde in der berichteten Depressivität? Gruppe n M SD Depressive Remittierte Gesunde Wie großsind Effekte der Kontraste(Depressive vs. Remittierte & Gesunde, Remittierte vs. Gesunde; polynomiale Kontraste)?

24 Standardisierte Effektgrößen: Eta 2 7/16 Einsetzen ergibt: r Kontrast 1 = t 2 2 t + df = = 080. r Kontrast 2 =. = 037

25 Standardisierte Effektgrößen: Eta 2 8/16 Cohens d (berechnet mittels t-tests): Depressive vs. Remittierte: d = 2.13 Depressive vs. Gesunde: d = 3.26 Remittierte vs. Gesunde: d = 1.05 Effektgrößen der polynomialenkontraste: (es gilt F =t 2, da df 1 =1) Linearer Term (F= ): r =.80 Quadratischer Term (F = ): r =.31

26 Standardisierte Effektgrößen: Eta 2 9/16 Ausgabe des partiellen Eta 2 in SPSS erfordert Verwendung der Prozedur Allgemeines Lineares Modell

27 Standardisierte Effektgrößen: Eta 2 10/16 Abhängige Variable: BDI Quelle Korrigiertes Modell Konstanter Term Gruppe Fehler Gesamt Korrigierte Gesamtvariation Tests der Zwischensubjekteffekte Quadratsum Mittel der Partielles me vom Typ III df Quadrate F Signifikanz Eta-Quadrat 12817,150 a ,575 97,208,000, , , ,216,000, , ,575 97,208,000, , , , , a. R-Quadrat =,651 (korrigiertes R-Quadrat =,645) Der Faktor Gruppe erklärt 65% der Gesamtvarianz

28 Standardisierte Effektgrößen: Eta 2 11/16 Beispiel (Rückgriff): Wie großist der Anteil an Varianz in Trait-Angst, der auf das Geschlecht, wie hoch jener, der auf das Vorliegen einer Angsterkrankung zurückgeführt werden kann? Gruppe n M SD Frauen (Normpop.) Männer (Normpop.) Frauen (Angststör.) Männer (Angststör.)

29 Standardisierte Effektgrößen: Eta 2 12/16 Abhängige Variable: STAI_trait Quelle Korrigiertes Modell Konstanter Term Geschlecht Gruppe Geschlecht * Gruppe Fehler Gesamt Korrigierte Gesamtvariation Tests der Zwischensubjekteffekte Quadratsum Mittel der Partielles me vom Typ III df Quadrate F Signifikanz Eta-Quadrat 10905,070 a ,023 34,401,000, , , ,447,000, , ,405 6,808,010, , ,109 96,655,000,484 6, ,256,059,808, , , , , a. R-Quadrat =,500 (korrigiertes R-Quadrat =,486) Partielles Eta 2 :Der Faktor Geschlecht erklärt 6% der Varianz, Gruppe 48%, die Wechselwirkung < 1% Eta 2 (mithilfe der QS berechnet; korrigierte Gesamtvariation für QS Gesamt ): Geschlecht 3%, Gruppe 47%, Wechselwirkung < 1%

30 Standardisierte Effektgrößen: Eta 2 13/16 Beispiel (Rückgriff): Wie groß sind Varianzanteile, die durch die unterschiedliche Behandlung (CBT vs. CBT + Med) erklärt werden können? Baseline 12 Wochen Gruppe n M (SD) M (SD) CBT (4.53) (7.27) CBT + Med (4.45) (6.89) Wie großsind Prä/Post-Differenzen, wie stark unterscheidensich die Gruppen zu T1 und T2?

31 Standardisierte Effektgrößen: Eta 2 14/16 Maß: MASS_1 Quelle Zeit Zeit * Behandlung Fehler(Zeit) Sphärizität angenommen Greenhouse-Geisser Huynh-Feldt Untergrenze Sphärizität angenommen Greenhouse-Geisser Huynh-Feldt Untergrenze Sphärizität angenommen Greenhouse-Geisser Huynh-Feldt Untergrenze Tests der Innersubjekteffekte Quadratsum Mittel der Partielles me vom Typ III df Quadrate F Signifikanz Eta-Quadrat 9741, , ,549,000, ,004 1, , ,549,000, ,004 1, , ,549,000, ,004 1, , ,549,000, , ,204 49,284,000, ,204 1, ,204 49,284,000, ,204 1, ,204 49,284,000, ,204 1, ,204 49,284,000, , , , ,000 14, , ,000 14, , ,000 14,005 Partielles Eta 2 :addiert sich nicht auf 100% (> 100%)! Zeit 87% der Varianz, Wechselwirkung 32% Eta 2 (mithilfe der QS berechnet; Summe allerqs für QS Gesamt ): Zeit 54%, Wechselwirkung 4%

32 Standardisierte Effektgrößen: Eta 2 15/16 Maß: MASS_1 Transformierte Variable: Mittel Quelle Konstanter Term Behandlung Fehler Tests der Zwischensubjekteffekte Quadratsum Mittel der Partielles me vom Typ III df Quadrate F Signifikanz Eta-Quadrat 81427, , ,101,000, , ,721 3,484,065, , ,465 Partielles Eta 2 : Behandlung 3% der Varianz Eta 2 (mithilfe der QS berechnet; Summe allerqs für QS Gesamt ): 1 %

33 Standardisierte Effektgrößen: Eta 2 16/16 Cohens d (berechnet mittels t-tests): Baseline-Testung: d =-0.37 (p =.057) Post-Testung: d = 0.78 (p <.001) CBT Prä/Post: d = 1.51 (p <.001) CBT + MedPrä/Post: d =2.74 (p<.001)