Statistik: Planung, Auswertung, Lesen von Meta-Studien

Transkript

1 Grundlage: Effektgrößen Statistik: Planung, Auswertung, Lesen von Meta-Studien Forschungsseminar für Fortgeschrittene für Planung, Auswertung und Meta-Studien relevant Bekannte: r = Pearson Korrelation Cohen s d = standardisierter MW-Unterschied η 2 oder partielles η 2 = ANOVAs Effektgrößen geben Größe (+ Richtung) eines Effekts an, sind aber unabhängig von N (p-wert ist abhängig von N) Mag. Dr. Ulrich Tran Erlauben Berechnungen für Stichprobengrößen, Poweranalysen Effektgrößen: Cohen s d und r M1 M 2 d = SD pooled kann auch z.b. aus t-test berechnet werden Einteilung nach Größe (Cohen, 1988): kleiner Effekt: d = 0.2, r =.1 mittlerer Effekt: d = 0.5, r =.3 großer Effekt: d = 0.8, r =.5 Effektgrößen: Planung von Studien Ist aus Vorstudien bekannt, wie groß erwarteter Effekt ist, oder liegt eine begründete Annahme vor, wie groß er ausfallen sollte A-priori-Berechnung von Stichprobengrößen möglich Effektmaße oft unanschaulich (z.b. η 2 ); bei mehreren Gruppen lieber kleinsten interessierenden Unterschied zwischen zwei Gruppen heranziehen d bestimmen Festlegung von α, β, einseitig/zweiseitig Typischerweise: α =.05 (oder.01), β =.20 Tabellen in Lehrbüchern oder Programme im Internet

2 Effektgrößen: Planung von Studien Größe d 1-seitig Für d: ns pro Gruppe 2-seitig r 1-seitig Klein Mittel Groß seitig Wenn entsprechende Stichprobe vorhanden 80% Chance, dass bei α =.05 ein Effekt dieser Größe gefunden wird (= H0 verworfen wird; Effekt hat auch Streuung!) Effektgrößen: Poweranalyse Bei festem N und bekannter Effektgröße lässt sich die Power (= 1 β) einer Studie berechnen Power = Wkt. dass existierender Effekt auch entdeckt wird (= Verwerfen der H0, wenn die H1 gilt) Power wird in Planung nach Konvention festgelegt (80%) Ist sie zu klein Studie underpowered = N ist zu klein, um vermuteten/erwarteten Effekt überhaupt zeigen zu können Post-hoc-Powerberechnungen sollten sich an erwarteten Effekten orientieren oder in Bezug zu einem größeren/kleineren N berechnet werden; empirisches Ergebnis ist entweder signifikant oder nicht (Power = 1 oder 0) Auswertung: Wahl des Verfahrens Keep it simple: nehmen Sie jenes Verfahren, dass ihnen mit einfachsten Mitteln die Beantwortung ihrer Hypothesen erlaubt Dies sind meist: MW-Vergleiche: t-test, ANOVA / nichtparametr. Alternativen Zusammenhänge: Korrelation, Vier-Felder-Tafeln, etc. Etwas komplexer bei Prädiktoranalysen, Kovariaten multiple lineare oder logistische Regression Kovarianzanalysen (Achtung: Kovariaten dürfen nicht mit Gruppenvariablen korreliert sein!) Auswertung: Wahl des Verfahrens (Parametrische) Verfahren haben Voraussetzungen (NV, Homoskedastizität [= Gleichheit der Varianzen]) Aber: nicht sklavisch bestimmten (falschen) Überlegungen folgen, z.b. : K-S-Test für Normalverteilung wenn Sie keine Annahmen zu M und SD in der Population haben, müssen Sie K-S-Test mit Lillifors-Schranken rechnen (ist in SPSS woanders als der K-S-Test!!! Explorative Datenanalyse ) Test wird bei kleinem N auch bei großen Abweichungen oft nicht signifikant (fehlende Macht!), bei großem N liegt schon bei kleinen (unbedeutenden) Abweichungen Signifikanz vor H0 ist Wunschhypothese bei K-S-Test Vertauschen von α undβ; Fehlerniveau könnte/sollte mit α =.20 angesetzt werden

3 Auswertung: Wahl des Verfahrens Parametrische Tests (t-test, ANOVA, etc.) sind robust Verletzung von Voraussetzungen muss nicht zu falschem Ergebnis führen! Rechnen Sie im Zweifelsfall nicht-parametrisches Pendant (z.b. U-Test zum t-test) Auswertung: Wahl des Verfahrens Komplexe und Exotische Verfahren: z.b. Strukturgleichungsmodelle, Pfadanalysen, konfirmatorische Faktorenanalysen, etc. nur bei großen Stichproben (etwa N 200) wenn entsprechende Hypothesen vorhanden sind wenn Sie sich damit auskennen! Wenn gleiches Ergebnis bzgl. Verwerfung oder Beibehaltung der H0 parametrisches Verfahren nehmen Auf Ausreißer achten (univariat, aber vor allem bivariat Korrelationen); Boxplots, Streudiagramme Auswertung: Multiples Testen Alpha-Kumulierung: eine Hypothese, mehrere Outcomes, mit denen diese Hypothese überprüft werden soll Post-hoc-Tests bei z.b. ANOVA Unter Geltung der H0 wird diese in α * 100% der Fälle verworfen (Fehler 1. Art) mit Anzahl der Outcomes steigt die Möglichkeit die H0 zu verwerfen, auch wenn sie in Wahrheit stimmt Korrektur nach Bonferroni, Sidak, Bonferroni-Holm, Benjamini- Hochberg, etc. Auswertung: Multiples Testen Korrekturmöglichkeiten unterscheiden sich im Ausmaß ihrer Konservativität (= Beibehalten der H0, obwohl sie verworfen werden müsste = Fehler 2. Art) Bonferroni (bzw. Sidak) am konservativsten: α α* = m = Anzahlder Tests m nur mehr größere (sehr große Effekte) werden entdeckt Sequentielles Vorgehen (Bonferroni-Holm) besser * = α α k = Rangplatz d.tests (kleinstes p : 1) m k + 1 k = k

4 Auswertung: Multiples Testen Ob korrigiert wird, ist inhaltliche Frage Handelt es sich wirklich um eine Hypothese, die anhand (beliebig vertauschbarer) Outcomes untersucht wird ( Gruppen unterscheiden sich in A, B oder C = undifferenzierte Globalhypothese)? Wenn nicht ( Unterscheiden sich Gruppen in A? Unterscheiden sich Gruppen in B? Unterscheiden sich Gruppen in C? = A-priori- Hypothesen) Korrektur nicht zwingend notwendig! Muss aber im Einzelfall begründet werden Bei Post-hoc-Tests (ANOVA) immer korrigieren; allerdings gleich Verfahren der ANOVA (SPSS) nutzen (keine t-tests im Anschluss) Mögliche Verfahren: z.b. Scheffé oder Tukey s HSD Auswertung: kleines N Aus bisher gesagtem sollte klar sein, dass bei kleinem N eher nur große Effekte entdeckt werden können Gute Planung der Studie, Kenntnisse über erwartbare Effekte Effektstärke steigt auch mit Präzision der Messung bzw. Homogenität des Samples ( Verringerung der Streuung) Messinstrumente mit hoher Reliabilität einsetzen, Ausschlusskriterien formulieren Fehlende/fragliche Voraussetzungen für parametrische Tests machen auch häufiger Gebrauch von nicht-parametrischen Tests notwendig (allerdings: u. U. weiterer Verlust an Macht!) Meta-Studien Mathematisch-statistische Zusammenfassung der Ergebnisse von (vielen) Einzelstudien zur selben Fragestellung In Meta-Studien wird mit Effektgrößen gerechnet Ergebnisse einzelner Studien werden mithilfe Studien-N, Präzision der Messung, Qualität der Studie, etc. gewichtet Berechnung eines Gesamteffekts Meta-Studien beste Evidenzquelle zur Einschätzung von zu erwartenden Effekten (nicht nur für Interventionsforschung!!!) Meta-Studien Untersuchung von Moderatorvariablen (z.b. RCT vs. Beobachtungsstudie, Einfluss komorbider Erkrankungen auf Outcomes, etc.) Generalisierbarkeit von Effekten Meta-Studien sind auf Primärstudien angewiesen; was sich dort nicht findet, kann auch in einer Meta-Studie nicht untersucht werden Bedeutsames Problem: Publication bias Systematisches Fehlen negativer oder wenig bedeutender Ergebnisse

5 Meta-Studien: Lesen & Verstehen Meta-Studien: Forest plots Entspricht Fragestellung dem, was man wissen möchte? Sind Ein- und Ausschlusskriterien aggregierter Primärstudien (betreffend Patienten, Methodik der Untersuchung, etc.) für die eigene geplante Untersuchung adäquat? Sind berichtete Outcomemaße für die eigene geplante Untersuchung von Relevanz? Verwendung aggregierter Effektgrößen zur Bestimmung von Stichprobengrößen Meta-Studien: Funnel plots Literatur Bortz, J. (1999). Statistik für Sozialwissenschaftler. Berlin: Springer. Bortz, J., & Döring, N. (2002). Forschungsmethoden und Evaluation. Berlin: Springer. Bortz, J., Lienert, G. A., & Boehnke, K. (2000). Verteilungsfreie Methoden in der Biostatistik. Berlin: Springer. Tabachnik, B. G., & Fidell, L. S. (2006). Using multivariate statistics. Boston: Pearson Education.

6

7

8

9

10

11

12

13

14

15

16