E ektgrößen Metaanalysen. Zusammenhänge und Unterschiede quantifizieren E ektgrößen

Transkript

1 DAS THEMA: EFFEKTGRÖßEN UND METAANALYSE E ektgrößen Metaanalysen Zusammenhänge und Unterschiede quantifizieren E ektgrößen Was ist ein E ekt? Was sind E ektgrößen? Berechnung von E ektgrößen Interpretation von E ektgrößen 1

2 WAS IST EIN EFFEKT? in quantitativen Studien geht es letztlich immer um (mindestens) eines von fünf Dingen: Anteile, Lagemaße, Streuungsmaße, Mittelwertsunterschiede, Zusammenhänge Unterschiede und Zusammenhänge sind dabei die wichtigsten Größen sie werden Effekte genannt Nedeltcheva et al. (2010) (aus Spiegel Online) Gewichtsverlust in kg Mi;elwerts- unterschied = Effekt 8.5h 5.5h Schlaf WAS SIND EFFEKTGRÖßEN? zwei Probleme: Wie soll man einen bestimmten Effekt interpretieren? Wie kann man Effekte aus verschiedenen Studien (von verschiedenen Skalen/Messinstrumenten) vergleichen)? Beispiel: der Unterschied im Gewichtsverlust beträgt etwa 1kg Ist das viel oder wenig? Lösung: Standardisierung des Effektes das bringt zwei Vorteile: 1. die Bedeutsamkeit des Effektes wird deutlich (Sie erinnern sich: traue keinem Mittelwert ohne Streuung) 2. Effekte aus verschiedenen Studien werden vergleichbar und einheitlich interpretierbar standardisierte Effekte heißen Effektgrößen (oder Effektstärken) Effektgrößen gibt es für Mittelwertsunterschiede (man spricht dann von Abstandsmaßen) und für Zusammenhänge (Zusammenhangsmaße) 2

3 WAS SIND EFFEKTGRÖßEN? Effektgrößen für Mittelwertsunterschiede bei unabhängigen Messungen generelles Prinzip: Mittelwertsunterschied an der Streuung innerhalb der Gruppen relativieren: Design: between Gewichtsverlust in kg Streuung Gruppe A ΔM Streuung Gruppe B Mi;elwertsunterschied der Gruppen A und B gemeinsame Streuung 8.5h 5.5h Schlaf WAS SIND EFFEKTGRÖßEN? Effektgrößen für Mittelwertsunterschiede bei unabhängigen Messungen Variante 1: Streuung der Stichprobendaten verwenden à Cohens d Variante 2: geschätzte Streuung in der Population verwenden à Hedges g (Bei der Schätzung der Streuung in der Population wird bei der Berechnung der Standardabweichung nicht durch n, sondern durch n-1 geteilt.) 3

4 WAS SIND EFFEKTGRÖßEN? Effektgrößen für Mittelwertsunterschiede bei abhängigen Messungen generelles Prinzip: globalen Mittelwertsunterschied an der Streuung der Mittelwertsunterschiede pro Person relativieren: Design: within Gewichtsverlust in kg jede Person hat einen Mi;elwertsunterschied zwischen erster und zweiter Messung (Differenzwerte) Mi;elwert aller Differenzwerte Streuung der Differenzwerte 8.5h 5.5h Schlaf WAS SIND EFFEKTGRÖßEN? Effektgrößen für Mittelwertsunterschiede bei abhängigen Messungen Variante 1: Streuung der Stichprobendaten verwenden à Cohens d Variante 2: geschätzte Streuung in der Population verwenden à Hedges g (Bei der Schätzung der Streuung in der Population wird bei der Berechnung der Standardabweichung nicht durch n, sondern durch n-1 geteilt.) 4

5 WAS SIND EFFEKTGRÖßEN? Rechenbeispiel für unabhängige Messungen: Wie unterscheidet sich eine Versuchsgruppe, in der eine Verhaltenstherapie durchgeführt wurde, von einer Kontrollgruppe ohne Therapie (AV: Befindlichkeit auf einer Skala von 1 bis 10)? 1. Geht der Effekt in die richtige Richtung? à ja 2. Was ist der Effekt? à 8,8 7,6 = 1,2 Punkte 3. Wie groß ist der Effekt? à gemeinsame Streuung ermitteln: à Effektgröße ermitteln: WAS SIND EFFEKTGRÖßEN? Effektgrößen für Zusammenhänge Zusammenhangs-Maße sind bereits Effektgrößen, weil der Effekt hier bereits an der Streuung relativiert ist: alle Korrelationskoeffizienten (r, Rho, Tau, Phi) sind Effektgrößen Gewichtsverlust in kg KorrelaSon von Gewichtsverlust und Gruppenzugehörigkeit 8.5h 5.5h Schlaf 5

6 BERECHNUNG VON EFFEKTGRÖßEN Effektgrößen können auf drei Wegen bestimmt werden: 1. aus Rohwerten (siehe vorherige Folien) 2. aus anderen Effektgrößen 3. aus Ergebnissen von Signifikanztests (siehe Inferenzstatistik) Effektgrößen umrechnen Umrechnen von Abstandsmaßen: die Stichprobengröße n bezieht sich auf die Gesamtanzahl von Personen (bei zwei Gruppen zu je 10 Personen, ist n = 20) df bestimmt sich durch n k (wobei k die Anzahl der Gruppen ist, also 2) BERECHNUNG VON EFFEKTGRÖßEN Effektgrößen umrechnen Korrelationen aus Abstandsmaßen: (gilt nur bei gleichen Stichprobengrößen) Abstandsmaße aus Korrelationen: (macht natürlich nur Sinn, wenn sich mindestens eine der beiden korrelierten Variablen als eine Codierung von zwei Gruppen verstehen lässt) 6

7 FREIHEITSGRADE EXKURS in statistischen Formeln werden statt der Stichprobengröße n häufig die Freiheitsgrade df (degrees of freedom) verwendet, weil diese erfahrungsgemäß zu den besseren Schätzungen von Parametern führen in einem mathematischen Ausdruck gibt es immer nur eine definierte Anzahl von Größen, die frei variieren können, wenn andere Größen festgelegt sind einfaches Beispiel: Wie viele Summanden können frei variieren, ohne dass sich die Summe ändern muss? z.b.: = 11 à es können n 1 Summanden frei variieren à df = n 1 INTERPRETATION VON EFFEKTGRÖßEN d und g drücken Mittelwertsunterschiede in Standardabweichungseinheiten aus, d.h., ein d von -1 oder 1 entspricht einem Mittelwertsunterschied von 1SD auf der Merkmals-Skala sie sind prinzipiell nach oben hin offen, während r von -1 bis 1 begrenzt ist die Interpretation ist vom Gegenstandsbereich abhängig dennoch werden gern die Konventionen nach Cohen (1988) benutzt: 7

8 INTERPRETATION VON EFFEKTGRÖßEN zurück zum Ausgangsbeispiel: Gewichtsverlust in kg Daten der Originalstudie: d = 1,22 r =.52 à großer Effekt EFFEKTGRÖßEN STECKBRIEF Effektgrößen beschreiben die standardisierte Größe von Mittelwertsunterschieden oder Zusammenhängen sie sind leicht und einheitlich zu interpretieren und lassen sich über verschiedene Studien hinweg vergleichen und zusammenfassen sie können auf drei Wegen bestimmt werden: aus Rohwerten, aus anderen Effektgrößen und aus den Ergebnissen von Signifikanztests für Unterschiede: hauptsächlich d und g für Zusammenhänge: alle Arten von Korrelationskoeffizienten 8

9 Studien über Studien Metaanalysen die Idee der Metaanalyse die Stichprobenverteilung Hauptergebnis der Metaanalyse generelles Vorgehen Voraussetzungen DIE IDEE DER METAANALYSE zur Erinnerung (und zur Einstimmung auf die Inferenzstatistik): Ziel von Studien ist es am Ende, den gefundenen Effekt auf die Population zu verallgemeinern es gibt zwei Wege, das zu tun: einen empirischen und einen theoretischen den empirischen beschreitet die Metaanalyse den theoretischen beschreitet die Inferenzstatistik generelle Idee: ein Parameter lässt sich umso genauer schätzen, je öfter man ihn untersucht die Frage ist also: was würde passieren, wenn man eine Studie immer wieder wiederholte? 9

10 DIE IDEE DER METAANALYSE oft ist es der Fall, dass es tatsächlich mehrere Studien zu der gleichen Fragestellung gibt, derselbe Parameter also mehrmals geschätzt wurde die Metaanalyse trägt diese Studien zusammen und bestimmt einen aggregierten Kennwert, der nun eine viel bessere Schätzung für die Größe des Parameters in der Population liefert als einzelne Studien Parameter können Anteile, Lage- und Streuungsmaße oder Effekte (Zusammenhänge oder Unterschiede) sein DIE STICHPROBENVERTEILUNG Beispiel für einen Mi;elwert Wir machen eine Studie (und erhalten eine Häufigkeitsverteilung): den Mi;elwert tragen wir in einer neuen Abbildung ab Wir (oder ein anderer Forscher) machen eine neue Studie (und erhalten eine etwas andere Häufigkeitsverteilung): den Mi;elwert tragen wir wieder ab 10

11 DIE STICHPROBENVERTEILUNG Das lässt sich nun mit einer beliebig großen Anzahl von Mi;elwerten machen: es entsteht eine neue Verteilung, die nicht mehr Personen, sondern nur noch die Kenn- werte einzelner SSchproben (hier: Mi;el- werte) beinhaltet à die SSchprobenverteilung da es sich um Kennwerte aus echten empirischen Studien handelt, haben wir es mit einer empirischen SSchprobenverteilung zu tun HAUPTERGEBNIS DER METAANALYSE Hauptergebnis einer Metaanalyse ist ein gemittelter Kennwert, d.h., etwa der gemittelte Mittelwert oder die gemittelte Effektgröße aus einer Reihe von Studien z.b.: manchmal werden die Werte aus den einzelnen Studien noch an ihrer Stichprobengröße gewichtet, damit größere Studien stärker einfließen z.b.: 11

12 HAUPTERGEBNIS DER METAANALYSE der gemi;elte Kennwert ist das Hauptergebnis der Metaanalyse und liefert eine sehr verlässliche Schätzung für die Größe des Parameters in der PopulaSon HAUPTERGEBNIS DER METAANALYSE Beispiel: klassische Metaanalyse von Smith und Glass (1977) wirkt Psychotherapie? verglichen wurde Therapie vs. keine Therapie für eine ganze Reihe von psychischen Störungen (aus fast 400 einzelnen Studien) berechnet wurde ein mittleres d: 12

13 HAUPTERGEBNIS DER METAANALYSE oft werden die Ergebnisse der einbezogenen Studien in einem so genannten Forest Plot dargestellt: die einzelnen Studien Gesamt- Effekt untersuchter Parameter (z.b. d) die Kästchen zeigen den Kennwert der jeweiligen Studie, die Linien an den Kästchen zeigen die Konfidenzintervalle (siehe InferenzstaSsSk) METAANALYSE GENERELLES VORGEHEN für eine konkrete Fragestellung: nach relevanten Forschungsarbeiten suchen (Datenbanken, Google, Bibliothek, Referenzen in Forschungsarbeiten...) Ein- bzw. Ausschlusskriterien festlegen (z.b. Randomisierung, Kontrollgruppen, Ausschluss von Alternativerklärungen...) Auswahl relevanter Studien treffen (im Hinblick auf die Ein- und Ausschlusskriterien und auf die genaue Fragestellung (dieselbe AV?)) sich auf einen Kennwert einigen (z.b. r) für alle Studien die Ergebnisse in diesen Kennwert umrechnen, falls sie nicht schon so vorliegen alle Kennwerte mitteln (und evtl. an der Stichprobengröße gewichten) evtl. Ergebnisse visualisieren 13

14 METAANALYSE VORAUSSETZUNGEN Metaanalysen sind nur sinnvoll, wenn die berücksichtigten Studien eine zufriedenstellende Qualität haben (man spricht vom Müll-rein-Müll-raus-Problem ) à dafür werden oft eine Reihe von Ein- und Ausschlusskriterien definiert die berücksichtigten Studien auch tatsächlich dasselbe messen ( Äpfelund-Birnen-Problem ) à wenn das nicht der Fall ist, sollte man für verschiedene AVs verschiedene Metaanalysen machen METAANALYSE STECKBRIEF Metaanalysen aggregieren Parameter (z.b. Zusammenhänge oder Unterschiede) aus verschiedenen Studien sie basieren also auf empirischen Stichprobenverteilungen Hauptergebnis ist in der Regel ein gemittelter und an der Stichprobengröße gewichteter Parameter Metaanalysen liefern wesentlich bessere Schätzungen für Populationsparameter als einzelne Studien 14

15 LITERATUR Hussy, W., Schreier, M. & Echterhoff, G. (2010). Forschungsmethoden in Psychologie und Sozialwissenschaften. Heidelberg: Springer. Schäfer, T. (2011). Statistik II. Inferenzstatistik. Wiesbaden: Springer VS. Sedlmeier, P. & Renkewitz, F. (2013). Forschungsmethoden und Statistik: Ein Lehrbuch für Psychologen und Sozialwissenschaftler. München: Pearson. Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed.), New Jersey: Lawrence Erlbaum Associates. Cohen, J. (1992). A power primer. Psychological Bulletin, 112 (1): Smith, M. L., & Glass, G. V. (1977). Meta-analysis of psychotherapy outcome studies. American Psychologist, 32(9), TEIL 5: INFERENZSTATISTIK 15

16 DAS THEMA: ERKENNTNISSE AUS STUDIEN VERALLGEMEINERN INFERENZSTATISTIK Gilt das nun für alle? die Idee der Inferenzstatistik theoretische Stichprobenverteilungen 16

17 DIE IDEE DER INFERENZSTATISTIK was bisher geschah: wir haben Ergebnisse aus Studien durch Kennwerte und Abbildungen beschrieben und sie als Parameterschätzungen für die Population benutzt à Deskription und Exploration was wir nun tun wollen: Angaben darüber machen, wie gut diese Schätzungen für die Population eigentlich sind à Inferenzen (Schlüsse) von den Stichprobendaten auf die Population zentrale Frage: Ist das Ergebnis in meiner Studie zufällig entstanden oder kann ich behaupten, dass es in der Population ebenso gilt? DIE IDEE DER INFERENZSTATISTIK Vorsicht: Inferenzstatistische Angaben machen nur Sinn, wenn es überhaupt eine Population gibt. Die Frage, ob ein Ergebnis signifikant ist, ist sinnlos, wenn die Ergebnisse nur auf genau die Leute angewendet werden sollen, die auch untersucht wurden. Dann reicht die Beschreibung der Ergebnisse, z.b. mit Hilfe von Effektgrößen. 17

18 DIE THEORETISCHE STICHPROBENVERTEILUNG zur Erinnerung: auch bei der Metaanalyse ging es um die Verlässlichkeit der Schätzung von Parametern in der Population dort wurde eine empirische Stichprobenverteilung benutzt die Idee der Inferenzstatistik ist ähnlich: ich habe zwar nur eine Studie, aber ich überlege, was theoretisch passieren würde, wenn ich diese Studie immer wieder wiederholte ich erhalte eine theoretische Stichprobenverteilung (diese Verteilung kann man selbst nur schwer konstruieren, aber man kann sie von einer Software simulieren lassen) DIE THEORETISCHE STICHPROBENVERTEILUNG Wie gelangt man zur theoretischen Stichprobenverteilung? à da Stichprobenkennwerte normalverteilt sind (siehe Exkurs), brauchen wir nur 2 Größen: Mittelwert und Streuung als Mi;elwert nehmen wir den Kennwert aus unserer Studie (etwas anderes haben wir ja nicht) über die hypothessche Streuung wissen wir nichts, können aber die Streuung der SSchprobendaten zu Hilfe nehmen 18

19 ZENTRALER GRENZWERTSATZ EXKURS Annahme bei der Konstruktion einer theoretischen Stichprobenverteilung: es gibt einen wahren Parameter in der Population alle Studien, die ihn suchen, werden Ergebnisse liefern, die zufällig um ihn herum schwanken à es entsteht eine Normalverteilung à dieses Prinzip wird Zentraler Grenzwertsatz genannt: die Verteilung von Parametern aus Stichproben nähert sich bei steigender Anzahl berücksichtigter Stichproben immer mehr der Normalverteilung (Achtung: es geht hier nicht um die Größe der einzelnen Stichproben, sondern nur um ihre Anzahl!) DIE THEORETISCHE STICHPROBENVERTEILUNG Wie wird die Streuung der Stichprobenverteilung bestimmt? die Standardabweichung einer Stichprobenverteilung wird Standardfehler genannt (!!!,SE, bei Mittelwerten oft SEM für standard error of mean) der Standardfehler lässt sich leicht aus der Standardabweichung der Häufigkeitsverteilung bestimmen dafür verwendet man anstelle von s die geschätzte Standardabweichung für die Population:!! diese wird anschließend durch die Wurzel der Stichprobengröße geteilt (Wurzel-n-Gesetz): Standardfehler eines Parameters (i kann jeder beliebige Parameter sein) geschätzte Standard- abweichung aus der SSchprobe 19

20 DIE THEORETISCHE STICHPROBENVERTEILUNG Sinn der theoretischen Stichprobenverteilung: 1. sie zeigt, wie verlässlich eine Parameterschätzung ist: Wie groß ist die Streuung der Verteilung? Wie groß ist also die (Un-)Genauigkeit der Populationsschätzung? à diese Information wird für Standardfehler und Konfidenzintervalle benutzt 2. sie zeigt, wie wahrscheinlich es ist, einen Kennwert einer bestimmten Größe zu ziehen, wenn in der Population ein Parameter der Größe X vorhanden ist à diese Information wird für Signifikanztests benutzt INFERENZSTATISTIK STECKBRIEF im Zuge der Inferenzstatistik wird untersucht, wie gut Schätzungen von Populationsparametern aufgrund von Stichproben-Kennwerten sind es geht also um die Verallgemeinerbarkeit von Stichprobendaten auf die Population generelle Idee: Was würde passieren, wenn die Studie immer wieder durchgeführt und der Kennwert bestimmt würde? diese Idee wird durch die theoretische Stichprobenverteilung repräsentiert die Stichprobenverteilung von Kennwerten ist laut dem Zentralen Grenzwertsatz immer normalverteilt die Standardabweichung der Stichprobenverteilung wird Standardfehler genannt 20