Critical Appraisal. Kritische Bewertung von. systematischen Übersichtsarbeiten. Evidenz-basierte Medizin und Biostatistik, Prof.

Transkript

1 Critical Appraisal Kritische Bewertung von systematischen Übersichtsarbeiten

2 Übersichtsarbeiten wichtige Informationsquelle für klinisch tätige ÄrztInnen - Informationsflut, Zeitmangel (z.b. Innere Medizin: 19 Artikel/Tag) unstrukturierte Reviews, erste Meta-Analysen Forderung nach systematischen Ansatz

3 Systematische Reviews Systematische Reviews unterscheiden sich von traditionellen Übersichtsarbeiten (narrativen Reviews) vor allem durch: Fokussierte Fragestellung Prospektiv geplant Transparenz - bei Literatursuche, Auswahl und Bewertung (Nachvollziehbarkeit, reproduzierbare Informationen)

4 Reviews, Meta-Analyse Die Publikationen von systematischen Übersichtsarbeiten (Reviews) haben in den letzten Jahren enorm zugenommen. Die Meta-Analyse ist die quantitative Zusammenfassung der Ergebnisse einzelner Studien zu einem globalen Ergebnis mit Hilfe statistischer Techniken. Wertvolle Hinweise über einen Behandlungsnutzen, wenn die Ergebnisse von mehreren kleineren Studien keine zuverlässigen Schlüsse zulassen - (z.b. Thrombolyse beim akuten Herzinfarkt senkt Herzinfarktmortalität statistisch signifikant - Beginn der 80ziger Jahre) Reviews können auch zu falschen Schlussfolgerungen führen - (z.b. Magnesium senkt statistisch signifikant die Mortalität beim akuten Herzinfarkt - konnte in der ISIS-4 Studie 1995 mit Patienten nicht bestätigt werden)

5 Systematische Reviews Erhöhung der Power Evaluation von Behandlungseffekten auch in klinisch relevanten Subgruppen Planung von neuen Studien

6 Systematisches Vorgehen Formulieren der Fragestellung, Protokollerstellung Systematische Literaturrecherche Selektion, Bewertung, Datenextraktion Zusammenfassung der Ergebnisse, Meta-Analyse Interpretation und Publikation

7 Literatursuche Ziel: Umfassende und vollständige Auffindung aller zu einer Fragestellung existierenden Studien Mögliche Verzerrungen: Publication Bias Studien mit nicht-signifikantem Unterschied der verglichenen Interventionen werden weniger häufig publiziert Language Bias: Unterschiede in den Publikationen von klinischen Studien im englischen vs. nichtenglischen Sprachraum (Egger 1997) Retrieval Bias: Fehlen einer sicheren Methode, um veröffentlichte Studien aufzufinden

8 Suchstrategie Elektronisch: Medline, Embase Cochrane Library. Handsuche: Referenzen-Check von Orginalartikeln und Reviews Durchsuchen von Abstracts, wichtigen Zeitschriften Kontaktaufnahme mit Pharmafirmen, ExpertInnen, EMA und FDA

9 Studienauswahl - Qualitätsbewertung Beurteilung aller Abstracts durch mind. 2 Reviewer Check der Einschlusskriterien und qualitative Bewertung jeder ausgewählten Vollpublikation Einschluss Kontaktaufnahme Ausschluss Ausschluss

10 Studienauswahl und -bewertung Ziel: Transparente Selektion und Beurteilung der Validität der Studien Tabelle der ein- und ausgeschlossenen Studien (unter Angabe von Gründen) Eingeschlossene Studien: Qualitätskriterien: z.b. Randomisierung, Verblindung, Intent-to-treat Qualitätsscores: z.b. JADAD Score Ergebnisse der Einzelstudien werden extrahiert

11 Meta-Analyse Quantitative Zusammenfassung der Ergebnisse der einzelner Studien zu einem globalen Ergebnis mit Hilfe statistischer Methoden (pooled, weighted, summary estimate, combined results)

12 Antibiotics for acute otitis media in children Systematisches Review mit 2287 Kindern (Glasziou PP, Del Mar CB, Sanders SL, Hayem M., Cochrane Library 2003) Fragestellung: Bewirkt bei Kindern mit Otitis media ein Antibiotikum im Vergleich zu Placebo eine Änderung der Endpunkte: Schmerzen Hörprobleme Komplikationen Nebenwirkungen

13 Forestplot Study kein Effekt Odds ratio (95% CI) % Weight Ergebnis + KI Einzelstudie (0.07,1.25) (0.02,0.30) (0.31,1.34) 10.8 Fläche entspricht Gewicht der Studie (0.18,0.59) (0.31,2.31) (0.11,0.57) (0.01,0.88) (0.18,0.65) 21.2 KI Gesamtergebnis Overall (95% CI) Odds ratio 0.33 (0.24,0.44) Vorteil für Behandlung Vorteil für Kontrolle

14 Studienergebnisse: Antibiotics in acute otitis media in children

15 Einige Ergebnisse Innerhalb der ersten 24 Stunden gab es keinen Unterschied im Anteil von Kindern mit Schmerzen zwischen Antibiotika- und Placebogruppe Zwischen dem 2. und dem 7. Tag wurde eine relative Reduktion der Schmerzen von 39% beobachtet Die Wahl der Therapie blieb in allen Studien ohne Effekt auf die Komplikationsraten

16 Meta-Analyse Die sogenannte relative Gewichtung zeigt an, inwieweit das Gesamtergebnis durch die Einzelstudien beeinflusst wird. Eine große Studie mit vielen Patienten hat u.u. einen größeren Einfluss als zwei Studien mit nur sehr kleinen Fallzahlen. Durch die Zusammenfassung der Einzelstudien entstehen wesentlich höhere Fallzahlen. Eine Zusammenfassung kann möglicherweise zur Klärung beitragen, ob z.b. eine neues Medikament besser wirkt als ein Placebo. Collaborative Review: Individuelle Patientendaten von verschiedenen Studien werden für die Analyse verwendet

17 Meta-Analyse Häufig sind die Ergebnisse der Einzelstudien zu unterschiedlich, um miteinander verglichen zu werden. Statistiker nutzen bestimmte Verfahren, um zu überprüfen, ob die Ergebnisse der Einzelstudien so stark voneinander abweichen, dass sie ein statistisch zufällig erwartbares Maß übersteigen (Heterogenitätsanalyse).

18 Forestplot Zinc and the common cold: The summary for the incidence of any cold symptom at 1 wk Jackson JL, et al. Zinc and the common cold: a meta-analysis revisited. J of Nutrition. 2000;130:1512S-1515S

19 Klinische Faktoren Patientengruppen Interventionen Methodische Faktoren Studiendesign Qualität der Studien Heterogenität

20 Umgang mit Heterogenität Heterogenität Ursachen für Heterogenität untersuchen Subgruppenanalysen Metaregression, Mixed models Sensitivitätsanalysen

21 Kritische Bewertung von Reviews Sind die Ergebnisse der Studie glaubwürdig (valide)? Behandelt die Übersichtsarbeit eine genau umschriebene klinische Fragestellung? Sind die Ein- und Ausschlusskriterien nach welchen Studien berücksichtigt wurden, detailliert aufgeführt? Wie wahrscheinlich ist, dass relevante Studien nicht berücksichtigt wurden (Publication bias)? Welche Suchstrategien wurden verwendet, um unveröffentlichte Studien zu identifizieren? Wurde die Validität der eingeschlossenen Studien überprüft? Ist die Art, wie die Studien überprüft wurden, reproduzierbar?

22 Kritische Bewertung von Reviews Wie lauten die Studienergebnisse? Was sind die Gesamtergebnisse der Meta-Analyse? Wie exakt sind die Ergebnisse (Konfidenzintervalle)? Sind die Studienergebnisse in den einzelnen Studien vergleichbar? nach Oxman, Cook et al. (1994)

23 Cochrane Collaboration Erstellung. Verbreitung und regelmäßige Aktualisierung systematischer Übersichtsarbeiten zu therapeutischen Fragestellungen aus allen Bereichen der Medizin

24 Cochrane Collaboration

25 Cochrane Collaboration Archie Cochrane: Effectiveness and Efficiency. Random Reflections on the Health Services (1972) Pilotprojekt Effective Care during Pregnancy and Childbirth Herbst 1992: Gründung des UK Cochrane Centers Herbst 1993: Gründung der Cochrane Collaboration Heute: Ein weltweites Netzwerk von WissenschaftlerInnen, ÄrztInnen und Entscheidungsträgern

26 Organisationsstruktur Cochrane Zentren: (z.z. 15) organisatorisches Rückgrat Oxford, Boston, Hamilton, Adelaide, Kapstadt, Sao Paulo... Deutsches Cochrane Zentrum in Freiburg ( ) Reviewgruppen für das Vorbereiten, Erstellen und Aktualisieren von Reviews (z.b. Metabolische und Endokrine Störungen) Methodische Arbeitsgruppen z.b. Statistische Methoden; Anwendung von Reviews; Informatik Cochrane Fields Suche nach Studien aus dem abgedeckten Themenbereich und der Registrierung im CCTR (z.b. Netzwerk für Krebserkrankungen, Medizinische Primärversorgung)

27 Cochrane Library Enthält verschiedene Datenbanken: Systematische Reviews und Protokolle (CDSR) Datenbank mit Abstracts von Reviews, die nicht im Rahmen von CC entstanden sind (DARE) Register von kontrollierten klinischen Studien (CENTRAL) Health Technology Assessment Database (HTA), in der medizinische Verfahren hinsichtlich ihrer Wirksamkeit und Wirtschaftlichkeit betrachtet werden. NHS Economic Evaluation Database enthält strukturierte Abstracts von Arbeiten zur ökonomischen Evaluation von Leistungen des Gesundheitswesens.

28 Was ist neu bzw. anders? Systematisierung und Standardisierung, Transparenz ( Leitlinien für Reviews ) Internationale Kooperation, Networking ( Globalisierung ) Permanente Aktualisierung Integration eines Kommentar- und Kritikprozesses

29 Zugang zur Cochrane Library auf der Plattform von Wiley Interscience ( Der Zugang zum Volltext ist kostenpflichtig Medizin Bibliotheken, Graz zu finden unter Elektronische Bibliothek, Datenbanken Weitere Zugangsmöglichkeiten findet man auf den Seiten des Deutschen Cochrane Zentrums (