Jahrestagung refonet Methodenseminar Fehlerquellen in Studien Bias und Confounding

Transkript

1 Jahrestagung refonet Methodenseminar Fehlerquellen in Studien Bias und Confounding Dr. med. Barbara Hoffmann, MPH Claudia Pieper

2 Was kommt Zufällige Fehler Systematische Fehler Selection bias Measurement bias, Fehlklassifikation Confounding Validität

3 Was am Ende gezeigt sein sollte Welche potentiellen Fehlerquellen und Einschränkungen muss man bei einer Studie (bei der Interpretation von Ergebnissen) beachten? Wie können Fehlerquellen minimiert werden?

4 Problem Situation Viele Patienten mit chron. Wirbelsäulensyndromen, hohem Arzneimittelkonsum, häufigen und langen Arbeitsunfähigkeitszeiten, häufigen teuren Untersuchungen und Behandlungen Spezielles Therapieverfahren Initial hohe Kosten, danach Reduktion durch relevante und nachhaltige Besserung Klinische Studie Nachweis der Überlegenheit der neuen Therapie

5 Ergebnisse I 30 Patienten mit Wirbelsäulensyndromen (Mittelwert +/- 95% KI) 6,0 5,0 bei Aufnahme bei Entlassung nach 3 Monaten nach 6 Monaten 4,0 Mittelwert 3,0 2,0 1,0 0,0 Schmerzen Medikamente/Woche AU-Tage/Monat Erhebungs-Zeitpunkt

6 Ergebnisse II 6,0 60 Patienten mit Wirbelsäulensyndromen nach Therapiemodus (Mittelwert +/- 95% KI) neue Therapie Standarttherapie 5,0 Schmerzen (0-10) 4,0 3,0 2,0 1,0 0,0 bei Aufnahme bei Entlassung nach 3 Monaten nach 6 Monaten N= Erhebungs-Zeitpunkt

7 Interpretation Welche Schlüsse ziehen Sie aus diesen Daten? Sollten Sie die zwar teure, aber effektive Behandlung fortführen? Welche möglichen Fehlerquellen sollten Sie bei der Interpretation der Daten berücksichtigen?

8 Potentielle Fehlerquellen Studiengröße nicht ausreichend Unschärfe des Mittelwertes, großer zufälliger Fehler durch Biologische Variation Fehler bei Stichprobenziehung Messfehler Lässt sich durch Erhöhung der Studiengröße verringern Fallzahlkalkulation bei Studienplanung Größe des Effektes Häufigkeit der Erkrankung/des Outcome Power des Testes Benötigtes Signifikanzniveau Verhältnis der Gruppengrößen

9 Ergebnisse III 6,0 30 Patienten mit Wirbelsäulensyndromen, Schmerzen (Mittelwert +/- 95% KI) 6,0 100 Patienten mit Wirbelsäulensyndromen, Schmerzen (Mittelwert +/- 95% KI) 5,0 5,0 Schm erzen (1-10) 4,0 3,0 2,0 Schm erzen (1-10) 4,0 3,0 2,0 1,0 1,0 0,0 bei Aufnahme bei Entlassung nach 3 Monaten nach 6 Monaten 30 28Erhebungs-Zeitpunkt ,0 bei Aufnahme bei Entlassung nach 3 Monaten nach 6 Monaten Erhebungs-Zeitpunkt 48

10 Potentielle Fehlerquellen Zufälliger Fehler Studiengröße nicht ausreichend, Unschärfe des Mittelwertes Systematische Fehler Selection bias (Teilnehmer und Nicht-Teilnehmer einer Studie unterscheiden sich systematisch voneinander) Eigeninitiative zur Studienteilnahme Losses to Follow up...

11 Ergebnisse für f r durchgehende Kohorte 4,5 100 Patienten mit Wirbelsäulensyndromen, Schmerzen (Mittelwert +/- 95% KI) 4,5 48 Patienten mit Wirbelsäulensyndromen, durchgehende Kohorte (Mittelwert +/- 95% KI) 4,0 4,0 Schmerzen ( 1-10) 3,5 3,0 Schmerzen (1-10) 3,5 3,0 2,5 2,5 2,0 bei Aufnahme bei Entlassung nach 3 Monaten nach 6 Monaten Erhebungs-Zeitpunkt ,0 bei Aufnahme bei Entlassung nach 3 Monaten nach 6 Monaten Erhebungs-Zeitpunkt

12 Zufälliger Fehler Potentielle Fehlerquellen Studiengröße nicht ausreichend, Unschärfe des Mittelwertes Systematische Fehler Selection bias (Teilnehmer und Nicht-Teilnehmer einer Studie unterscheiden sich systematisch voneinander) Eigeninitiative zur Studienteilnahme Losses to Follow up Unterschiedliche Selektionskriterien für Kontrollgruppe historische Kontrollen Kontraindikationen für neue Therapie Etc. Healthy worker effect...

13 Ergebnisse für f r gleiche Altersgruppe 200 Patienten mit Wirbelsäulensyndromen nach Therapiemodus (Mittelwert +/- 95% KI) 66 Patienten im Alter Jahre nach Therapiemodus, durchgehende Kohorten (46/20) (Mittelwert +/- 95% KI) 5,0 5,0 neue Therapie Standarttherapie neue Therapie Standarttherapie 4,5 4,5 Schmerzen (0-10) 4,0 3,5 3,0 Schm erzen (0-10) 4,0 3,5 3,0 2,5 2,5 2,0 bei Aufnahme bei Entlassung nach 3 Monaten nach 6 Monaten 2,0 bei Aufnahme bei Entlassung nach 3 Monaten nach 6 Monaten Erhebungs-Zeitpunkt Erhebungs-Zeitpunkt

14 Potentielle Fehlerquellen Zufälliger Fehler Studiengröße nicht ausreichend, Unschärfe des Mittelwertes Systematische Fehler Selection bias Measurement bias (inkorrekte Messmethoden führen zu Fehlklassifikation) Intensität der Untersuchung von Fällen/Exponierten höher Erwünschtheit der Antworten Bei Fall-Kontroll-Studien sehr wichtig: Recall bias! Fehlklassifikation (differenziert oder nicht-differenziert)...

15 Differenzierte Fehlklassifikation durch Recall Bias Wahrer Anteil der Mütter mit Infektionen in Frühschwangerschaft Erinnerte Infektionen Anteil der Mütter mit Infektion laut Befragung Kinder mit Fehlbildungen 20% 80% 16% Gesunde Kinder 20% 30% 6% wahr Fehlbildung Gesund Befragung Fehlbildung Gesund Infektion Infektion 16 6 Keine Infektion Keine Infektion Odds ratio 1,0 Odds ratio 3,0

16 Undifferenzierte Fehlklassifikation aus Rothman: Epidemiology,, An Introduction,, 2002 Korrekte Klassifizierung Nicht-differenzierte Fehlklassifikation 20%Nein->Ja 20%Nein->Ja 20%Ja->Nein Fetthaltige Ernährung Fetthaltige Ernährung Fetthaltige Ernährung Nein Ja Nein Ja Nein Ja Herzinfarkt Kontrollen Relatives Risiko 5,0 2,4 2,0

17 Potentielle Fehlerquellen Studiengröße nicht ausreichend Unschärfe des Mittelwertes, großer zufälliger Fehler Systematische Fehler Selection bias Measurement bias Confounding Mischung der Effekte zweier Expositionen

18 Confounding I (Daten nach Stark and Mantel, J Natl Cancer Inst 1966) Prävalenz pro 1000 Lebendgeburten 1,8 1,6 1,4 1,2 1 0,8 0,6 0,4 0,2 0 Prävalenz Down-Syndrom zur Geburt Platz in Geschwisterreihe

19 Confounding II Platz in der Geschwisterreihe (Einflussgröße)? Prävalenz des Down- Syndrom bei Geburt (Zielgröße)

20 Confounding II Alter der Mutter Platz in der Geschwisterreihe (Einflussgröße)? Prävalenz des Down- Syndrom bei Geburt (Zielgröße)

21 Confounding II Alter der Mutter (Störgröße, Confounder) Platz in der Geschwisterreihe (Einflussgröße)? Prävalenz des Down- Syndrom bei Geburt (Zielgröße)

22 Confounding III Prävalenz pro 1000 Lebendgeburten (Daten nach Stark and Mantel, J Natl Cancer Inst 1966) Prävalenz Down-Syndrom zur Geburt 0 < Alter der Mutter bei Geburt

23 Confounding IV Prävalenz Down-Syndrom zur Geburt nach Alter der Mutter und Platz in der Geschwisterreihe 10 9 Prävalenz pro 1000 Lebendgeburten Platz in der Geschwisterreihe 4 5 < Alter der Mutter bei Geburt

24 Confounding,, 2. Beispiel Rauchen Störgröße, Confounder Kaffekonsum Einflussgröße, Exposition)? Herzinfarkt Zielgröße, Outcome

25 Kontrolle des Confounding Studienplanung Randomisierung (wenn möglich!) Beschränkung auf homogene Gruppen Matching Analyse Stratifizieren Statistische Modellierung (Regressionsmodelle)

26 Confounding,, Beispiel Heilgut Alter Störgröße, Confounder Therapiemodus Einflussgröße, Exposition? Besserung Zielgröße, Outcome

27 Ergebnisse für f r gleiche Altersgruppe (Stratifizierung) 200 Patienten mit Wirbelsäulensyndromen nach Therapiemodus (Mittelwert +/- 95% KI) 66 Patienten im Alter Jahre nach Therapiemodus, durchgehende Kohorten (46/20) (Mittelwert +/- 95% KI) 5,0 5,0 4,5 neue Therapie Standarttherapie 4,5 neue Therapie Standarttherapie Schmerzen (0-10) 4,0 3,5 3,0 Schmerzen (0-10) 4,0 3,5 3,0 2,5 2,5 2,0 bei Aufnahme bei Entlassung nach 3 Monaten nach 6 Monaten 2,0 bei Aufnahme bei Entlassung nach 3 Monaten nach 6 Monaten Erhebungs-Zeitpunkt Erhebungs-Zeitpunkt

28 und zum Schluss... Welche Schlüsse ziehen Sie aus den empirischen Daten der fiktiven klinischen Studie? Konnte die Überlegenheit der neuen Therapie für Ihre Patienten bewiesen werden? Welches Studiendesign würden Sie anwenden?

29 Validität Interne Validität Ergebnisse korrekt für Studiengruppe? Es wird gemessen, was man vorgibt zu messen! Keine bedeutsamen Messfehler Hohe Sensitivität und Spezifität Externe Validität Verallgemeinerbarkeit der Studienergebnisse

30 Zusammenhang interne und externe Validität Interne Validität Externe Validität niedrig niedrig hoch Labor- Experiment hoch Feldstudie

31 Ergebnisse Prof. Heilgut IV 200 Patienten mit Wirbelsäulensyndromen nach Therapiemodus (Mittelwert +/- 95% KI) 7,0 6,0 neue Therapie Standarttherapie Schmerzen (0-10) 5,0 4,0 3,0 2,0 1,0 0,0 bei Aufnahme bei Entlassung nach 3 Monaten nach 6 Monaten Erhebungs-Zeitpunkt

32 Prof. Heilgut: Ergebnisse der Sensitivitätsanalyse tsanalyse (worst( case) 4,5 100 Patienten mit Wirbelsäulensyndromen, Schmerzen (Mittelwert +/- 95% KI) 4,5 Sensitivitätsanalyse: Worst case scenario, N=100 (Mittelwert +/- 95% KI) 4,0 4,0 Schmerzen ( 1-10) 3,5 3,0 Schm erzen (1-10) 3,5 3,0 2,5 2,5 2,0 bei Aufnahme bei Entlassung nach 3 Monaten nach 6 Monaten Erhebungs-Zeitpunkt ,0 bei Aufnahme bei Entlassung nach 3 Monaten nach 6 Monaten Erhebungs-Zeitpunkt

33 Vielen Dank für Ihre Aufmerksamkeit