Critical Appraisal. Kritische Bewertung der Literatur. Primärpublikationen. Evidenz-basierte Medizin und Biostatistik, Prof.

Transkript

1 Critical Appraisal Kritische Bewertung der Literatur Primärpublikationen

2 Typen medizinischer Studien Beobachtungsstudien Fall-Kontroll Studie Typen von Studien in der medizinischen Forschung klinische Studien Experimentelle Studien Querschnittsstudie Kohortenstudie Interventionsstudien Laborexperiment

3 Kontrollierte klinische Studien Kontrollierte klinische Studien werden herangezogen, um die Wirksamkeit von Therapien bzw. Arzneimitteln, Vakzinen etc. zu überprüfen. Die Wirkungen von Therapien werden von bekannten und unbekannten Störgrößen beeinflußt. Man versucht in kontrollierten klinischen Studien die Wirkungen verschiedener Therapien unter Kontrolle dieser Störgrößen zu vergleichen. Unterschiedliche Verläufe in den Behandlungsgruppen sollen ausschließlich auf Unterschiede in der Wirkung der Behandlungen zurückzuführen sein.

4 Arzneimittelprüfung - 4 Phasen Phase I: Gesunde Probanden werden mit dem neuen Arzneimittel behandelt, um z.b. Fragen der Pharmakokinetik zur Wirkung und Nebenwirkung beantworten zu können. Phase II: Informationen zur Wirksamkeit bei kranken Personen. Teilweise wird schon Kontrollgruppe verwendet. Phase III: Eine Gruppe von Patienten, die das neue Präparat erhält, wird mit einer Kontrollgruppe verglichen (Placebo, Standardtherapie). Wenn Phase I - III erfolgreich abgeschlossen sind, kann die Zulassung des neuen Präparates beantragt werden. Phase IV: Die Phase IV beginnt mit der Zulassung des Präparates und besteht, solange das Arzneimittel am Markt ist. Sie dient der Dokumentation seltener Nebenwirkungen und Abgrenzung der Indikation

5 Kontrollierte klinische Studien Klinische Studien sind analytisch, longitudinal und prospektiv und haben darüber hinaus folgende Qualitätsmerkmale: Kontrolliert Randomisiert Verblindet

6 Randomisierung Randomisierung - Strukturgleichheit: Die Vergleichbarkeit der verschiedenen Behandlungsgruppen (Strukturgleichheit) versucht man durch eine Zufallszuteilung der Patienten zu den einzelnen Gruppen zu erreichen; d.h. der Zufall (z.b. Würfel oder Zufallsgenerator) entscheidet, welcher Gruppe ein Patient zugewiesen wird. nicht kontrollierte (oder nicht kontrollierbare) Einflüsse sollen sich zufällig in den Gruppen verteilen z.b. einfache Zufallszuteilung, blockweise Randomisation

7 Randomisierung Randomisierung: Die Zufallszuteilung erfolgt oft nach einer weiteren Schichtung (Stratifizierung) der Patienten nach bestimmten bekannten Störgrößen (z.b. multizentrische Studie: Schichtung nach Krankenhäusern, nach Geschlecht, Alter).

8 Randomisierung 20 PatientInnen werden zufällig zwei Gruppen zugeteilt PatientInnen: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20 Wir werfen für jeden Patienten einmal den Würfel: ungerade Augenzahl: Gruppe A gerade Augenzahl: Gruppe B Ergebnis: Gruppe A: Gruppe B: 2, 3, 6, 9, 12, 1, 4, 5, 7, 8, 13, 16, 17, 19 10, 11, 14, 15, 18, 20?2?5?3

9 Randomisierung Blockrandomisierung: 1: AABB 2: ABAB 3: ABBA 4: BABA 5: BAAB 6: BBAA n! Bei einer 4! = = 6 Doppelblindstudie n 1! n 2! 2! 2! Randomisierungsliste (nur im Studienkoordinierungszentrum und nicht für Arzt/Ärztin) gibt das Studienkoordinierungszentrum nur die Nummer des Packungslabels bekannt. Randomisierungsliste Pat. Zuordnung Therapie 1 A Radiatio 2 A Radiatio 3 B Rad.+ Chem. 4 B Rad.+ Chem. 5 A Radiatio 6 B Rad.+ Chem. 7 A Radiatio 8 B Rad.+ Chem. 9 B Rad.+ Chem. 10 A Radiatio 11 A Radiatio 12 B Rad.+ Chem. 13 B Rad.+ Chem. 14 B Rad.+ Chem. 15 A Radiatio 16 A Radiatio

10 Umsetzung Verschlossene Kuverts Studienkoordinierungszentrum - Telefon oder Fax Interactive voice response systems (Telefon) Internet-basierte Systeme

11 Randomizer for Clinical Trials

12 Online Randomization

13 Blindversuch Blindversuch Behandlung- und Beobachtungsgleichheit Welche Therapie der Patient erhält, ist beim Einfachblindversuch unbekannt für den Patienten, Doppelblindversuch unbekannt für Patient und Arzt, In einer offenen Studie ist die Zuordnung der Patienten zu den Gruppen dem Patienten und dem Arzt bekannt.

14 Planung und Durchführung von Studien Biostatistik beginnt mit gesundem Menschenverstand und guter Versuchsplanung. Die Versuchsplanung und durchführung hat die Gewinnung von statistisch auswertbaren Daten zum Ziel, um eine vorgegebene Fragestellung zu beantworten. Bevor man eine klinische Studie überhaupt beginnt, muss man sich prinzipiell über folgende Fragen im klaren sein: Was ist das Hauptziel der Untersuchung? Ist diese Fragestellung eindeutig definiert? Ist sie auch klinisch relevant? Sind mögliche sekundäre Einflüsse klar umrissen?

15 Planung und Durchführung von Studien Schon zu Beginn der Studie muss das Ausmaß der erwarteten Effekte feststehen - wird für die Abschätzung des optimalen Umfanges der Studie benötigt abhängig von Fragestellung und Datenstruktur das für die konkrete Situation optimale Studiendesign festgelegt und das adäquate statistische Auswertungsverfahren für diese Fragestellung gewählt werden

16 Fragestellungen Gibt es Unterschiede in der 1jährigen Offenheitsrate zwischen Stentimplantation und PTA bei Stenosen der Arterien iliaca? Haben Tumorpatienten mit Anämie eine schlechtere Prognose als Patienten ohne Anämie? Welche Trainingsmethode der minimal-invasiven Chirugie ist effizient? Treten Fehlbildungen bei Neugeborenen nach Tschernobyl häufiger auf? Gibt es einen Zusammenhang zwischen Säuglingssterblichkeit und dem Vorsorgeverhalten der Mutter

17 Auswahl der Merkmale (Variablen) Zielgröße ('endpoint', primary variable) Bsp.: Offenheitsrate; 5 year disease-specific survival; Anzahl Stiche pro Minute; Säuglingssterblichkeit Einflussgrößen, Faktoren Bsp.: Anämie, Tumorgröße, Lymphknotenstatus; Methode, Vorbildung; Vorsorgeverhalten (Zeit bis zum ersten Arztbesuch, Anzahl Arztbesuche im ersten Drittel der Schwangerschaft oder insgesamt Teilnahme an geburtsvorbereitenden Kursen...); Störgrößen Bsp.: Alter, Geschlecht, Rauchen... Merkmalseigenschaften: Objektivität, Zuverlässigkeit, Gültigkeit

18 Definition von Variablen Primärer Endpunkt: Offenheit Erfolg: Restenose 30% Misserfolg: Restenose > 30% Sekundärer Endpunkt: Initialer technischer Erfolg: Erfolg: Residualstenose 30% AND mittlerer Druckgradient < 10 mmhg

19 Skalierung der Daten Nominalskala Die Ausprägungen zweier Untersuchungseinheiten werden entweder als identisch oder als nicht identisch eingestuft. Beispiele: Blutgruppe, Haarfarbe, Autonummern, dichotome Merkmale: Rhesusfaktor, Geschlecht... Ordinalskala Ausprägungen können eindeutig angeordnet werden (Rangordnung, Größer-kleiner Relation). Beispiele: Noten, Nebenwirkungen eines Medikaments, Karnofsky-Index, Schmerz-Score... metrische Skalen Es sind sowohl Rangfolge als auch Abstand zwischen den Merkmalsausprägungen definiert. Intervallskala: Beispiele: Temperaturskala, Dioptrien Verhältnisskala: Beispiele: Gewicht, Länge, Alter

20 Zuverlässigkeit - Reliability Sind die Messungen wiederholbar? zuverlässig Nicht zuverlässig

21 Gültigkeit - Validity Wird gemessen, was gemessen werden sollte? Valide Nicht Valide

22 Fehler Zufälliger Fehler inter- und intraindividuelle Variabilität Systematische Fehler Information Bias - Verzerrung durch fehlerhafte Information (z.b. systematischer Erfassungsfehler) Selection Bias - Verzerrung durch den Auswahlprozess; nicht zufällige Auswahl Confounding Systematische Fehler müssen vermieden werden, zufällige Fehler sollten soweit wie möglich reduziert werden.

23 Grundgesamtheit - Stichprobe Auf welches Patientenkollektiv bezieht sich die Fragestellung? Ein-, Ausschlusskriterien definieren Kann ich von der untersuchten Stichprobe auf die interessierende Grundgesamtheit schließen? repräsentative Stichprobe

24 Studiendesign: Parallel - Design Klinische Studie im Parallel-Design (nach Campbell and Machin, 1993) Population Ein- und Ausschlusskriterien Geeignete und willige Patienten Randomisierung Test Bewertung Kontrolle

25 Studiendesign: Cross Over - Design Klinische Studie im Cross-Over-Design (nach Campbell and Machin, 1993) Population Ein- und Ausschlusskriterien Randomisierung Kontrolle Test Geeignete und willige Patienten Bewertung Bewertung Test Kontrolle

26 Beispiel Stentstudie angelegt im Parallel - Design Schichtung (Stratifizierung) nach teilnehmenden Zentren innerhalb der Zentren: blockweise Randomisierung damit wird sichergestellt, dass gleich viele Patienten einen Stent bzw. eine PTA erhalten. offene Studie

27 Planung des Stichprobenumfangs in Abhängigkeit von der zu erwartenden klinisch relevanten Differenz und Variabilität der wesentlichen Zielgröße von Überlegungen zu den statistischen Risiken: fälschlich einen Behandlungseffekt anzunehmen, obwohl er nicht existiert (Fehler 1. Art, Signifikanzniveau α) Wahrscheinlichkeit einen vorhandenen Behandlungseffekt zu entdecken (Fehler 2. Art, Power) vom Studiendesign, der Skalierung der Zielgröße

28 Fallzahlschätzung Die geschätzten Stichprobenumfänge sind grobe Näherungen, welche auf der Genauigkeit und Relevanz der getätigten Annahmen beruhen.

29 Fallzahlschätzung Annahme: Stent Gruppe: PTA Gruppe: 95% Offenheitsrate nach einem Jahr 80% Offenheitsrate nach einem Jahr Bei einer Irrtumswahrscheinlichkeit von 5% und einer Power von 80% müssen 178 Patienten in die Studie aufgenommen werden (Logrank Test). Drop-out Rate berücksichtigen

30 Fallzahlschätzung - Vergleich von 2 Anteilen Problem p 1 p 2 α * Einseitiger Test Power 1-β n pro Gruppe A 20 % 10 % 0,05 0,8 199 B 20 % 10 % 0,05 0, C 20 % 10 % 0,05* 0,8 157 D 55 % 45 % 0,05 0,8 392

31 Fallzahlschätzung - Vergleich von 2 Mittelwerten Problem μ 1 μ 2 s α Power 1-β n pro Gruppe A 4,5 4,25 0,5 0,05 0,9 86 B 4,5 4,25 1 0,05 0,9 338 C 4,5 4,35 0,5 0,05 0,9 235 D 4,5 4,25 0,5 0,05 0,8 63

32 Statistische Analyse Die statistische Analyse erfolgt in aller Regel in 2 Phasen: Exploratorische Analyse Konfirmatorische Analyse (Inferenzstatistik) Vergleich der mittleren Tendenz (Mittelwerte) in den Vergleichsgruppen Untersuchung des Zusammenhangs mittels Korrelation und/oder Regression Analyse von Raten, relativen Risiken und Odds Ratio (abhängig vom Studiendesign, sowie Skalierung und Verteilung der Daten)

33 Analyse und Interpretation Zwei Wege der statistischen Analyse und Interpretation: Wirksamkeit (efficacy) Bezieht sich auf den potentiellen Behandlungseffekt unter optimalen Bedingungen, d.h., ob diese überhaupt wirksam war. Es werden alle Patienten in die Analyse einbezogen, die genau nach Studienprotokoll behandelt wurden (per-protocol Analyse) Effizienz (effectiveness) Bezieht sich auf den Behandlungseffekt unter realen Bedingungen. Alle Patienten, die in die Studie aufgenommen wurden, werden in die Analyse einbezogen (Wechsler, Abbrecher etc.) (intention-totreat Analyse)

34 Prinzip Intention-to Treat Alle in die Studie eingeschlossenen und randomisierten PatientInnen müssen in die Analyse eingehen, und zwar in der Gruppe, zu der sie randomisiert wurden, unabhängig davon, was nach der Randomisierung mit ihnen geschieht.

35 Intention to Treat (ITT) Analyse Randomisierung Behandlung mit A protokollgemäß Behandlung A Therapieabbruch oder Behandlung mit B Behandlung mit B protokollgemäß Intention-to-Treat: 1+2 vs 3+4 Per-Protocol (PP): 1 vs 3 Behandlung B Therapieabbruch oder Behandlung mit A

36 Illustration Propanolol Atenolol Placebo ITT - Analyse PP - Analyse Abbruch 7,6% 3,4% 15,9% 8,7% 2,6% 17,6% 11,6% 11,2% 12,5% Anteil verstorbener Patienten innerhalb eines Zeitraums von 6 Wochen nach einem Infarkt (Wilcox et. al.)

37 Planung kontrollierter klinischer Studien Für die Planung kontrollierter klinischer Studien sowie für ihre Durchführung und Auswertung gibt es heute allgemein akzeptierte Grundsätze (EU Guidelines of good clinical practice ). Studienprotokoll: Das Protokoll muß verbindlich für die gesamte Dauer der Studie festgelegt werden und bis in jedes Detail von sämtlichen an der Studie Beteiligten eingehalten werden. Vor Beginn der Studie ist es einer Ethikkommission vorzulegen, die beratet, ob die Studie ethisch vertretbar ist und ob die Interessen der Patienten gewahrt sind (vgl. Deklaration von Helsinki).

38 Studienprotokoll Einführung, Hintergrund Fragestellung, Studiendesign Haupt- und Nebenzielkriterien Auswahl der Patienten Randomisierungsverfahren, Dauer der Studie Behandlungsschema Untersuchungen, -termine Beurteilung des Therapieerfolges Besondere Ereignisse, Therapieversager Planung des Stichprobenumfangs Statistische Analyse Patientenerhebungsbögen und Datenorganisation Patientenaufklärung (informed consent) Beteiligte Personen und deren Verantwortlichkeiten

39 Kritisches Lesen Beschäftigung mit den statistischen Aspekten (Methodik) der Studie: Design Präsentation der Daten statistischen Analyse Interpretation

40 10 Regeln für kritisches Lesen Sei skeptisch Suche nach den Daten Differenziere zwischen deskriptiver und Inferenzstatistik Stelle die Validität der deskriptiven Statistik in Frage Stelle die Validität der Inferenzstatistik in Frage Sei misstrauisch gegenüber allen Korrelationen und Regressionsanalysen Identifiziere die Stichprobe Identifiziere den Typ der Studie Suche nach der wahrscheinlichen Größe des Behandlungseffektes Zieh deine eigenen Schlussfolgerungen (Yancey, 1990)

41 Arten der Kritik Definitive Fehler Frage des Urteils Mangelhaftes Reporting Definitive Fehler sind meistens nicht so eindeutig wie der Name suggeriert - einige benötigen auch eine Beurteilung. Definitive Fehler sind nicht unbedingt bedeutsame Fehler

42 Checklisten zur Beschreibung von RCTs viele Checklisten (34 Checklisten wurden u.a. von Moher et al. (1995) besprochen) Das CONSORT Statement wird von > 70 medizinischen Journalen verwendet die grundlegende Idee ist Transparenz Gute Beschreibung des RCTs Links:

43 Kritische Bewertung von RCTs Sind die Ergebnisse der Studie glaubwürdig (valide)? keine systematischen Fehler (Bias) Wurde die Zuordnung der Patienten zu den Behandlungen nach dem Zufallsprinzip (randomisiert) vorgenommen und war die Randomisierung verblindet (masked randomisation) - Selektionsbias Wurden alle Patienten, die in die Studie aufgenommen wurden, bei der Bewertung und Interpretation der Studie angemessen berücksichtigt - wurden die Patienten in den Gruppen analysiert, denen sie zugeordnet waren (intention-to-treat Analyse)? Waren die Patienten und das an der Studie beteiligte Personal verblindet Waren die Patienten zu Beginn der Studie vergleichbar Wurden die beiden Gruppen, abgesehen von der Studienmaßnahme vergleichbar behandelt

44 Kritische Bewertung von RCTs Wie lauten die Studienergebnisse? Wie groß war der Behandlungseffekt? Wie genau war die Schätzung des Behandlungseffekts (Streuung)? nach Sackett (1996)

45 Schlüsselelemente von RCTs Randomisierung verblindete Zuordnung verhindert Selektionsbias (Auswahlverzerrung) (Doppel-) Blindstudie verhindert Ascertainementbias Intention to treat Analyse Minimale Ausfälle im follow up Festhalten an der zuvor spezifizierten Analyse

46 Typen medizinischer Studien Beobachtungsstudien Fall-Kontroll Studie Typen von Studien in der medizinischen Forschung klinische Studien Experimentelle Studien Querschnittsstudie Kohortenstudie Interventionsstudien Laborexperiment

47 Kohortenstudie Kohortenstudie, Longitudinal-, Follow-up-, prospektive Studie Kohortenstudien sind prospektive Studien, bei denen man eine Studienpopulation - exponierte und nichtexponierte Gruppen - über einen vorgegebenen Zeitraum (Follow-Up-Periode) hinsichtlich des Eintretens interessierender Ereignisse, wie Erkrankungen oder Todesfälle, beobachtet.

48 Kohortenstudie Auswertungsprinzipien: Die Ergebnisse werden häufig mit Hilfe des relativen Risikos (RR) beschrieben, dem Quotienten aus dem Risiko für das Auftreten des Zielereignisses in der exponierten Gruppe und dem Risiko in der nicht exponierten Gruppe. Beispiel Exposition Krankheit Raucher Nichtraucher Summe KHK 166 = a 50 = b 216 = (a+b) nicht KHK 1176 = c 513 = d 1689 = (c+d) Summe 1342 = (a+c) 563 = (b+d) 1905 a/( a + c) 166/1342 RR= = = 1,39 b/( b + d) 50/563 Innerhalb des Untersuchungszeitraumes (10 Jahre Follow-Up) sind bei männlichen Rauchern, die zu Beginn der Studie zwischen 50 und 54 Jahre alt waren, 1.4 mal häufiger KHK aufgetreten als bei Nichtrauchern. (95% Konfidenzintervall für RR: [1,03;1,88])

49 Kohortenstudie Beispiel Zusammenhang zwischen Rauchen und der Inzidenzrate von Schlaganfall in einer Kohorte von Frauen (Alter Jahre) Exposition Krankheit Raucherin Nichtraucherin Schlaganfall 139 = a 70 = b Personenzeit RR 139 / = 70 / % Konfidenzintervall für RR: [2,1;3.7] = 2.8

50 Kohortenstudie Vorteile: direkte Schätzbarkeit der Risiken Dosis-Wirkungsbeziehung schätzbar natürliche Verlauf einer Erkrankung beobachtbar Wirkung der Exposition auf verschiedene Erkrankungen untersuchen Nachteile: zeit- und kostenintensiv nicht geeignet für seltene Erkrankungen sich ändernde Untersuchungsbedingungen Follow-Up Verluste Zum Design Historische Kohorte: Kohortenstudien mit zurückverlegten Ausgangspunkt können dann durchgeführt werden, wenn Daten aus der Vergangenheit vorhanden sind, die eine Einteilung in exponierte bzw. nicht-exponierte Gruppen ab einem bestimmten Zeitpunkt ermöglichen (z.b. betriebliche Unterlagen)

51 Fall-Kontroll Studie Fall-Kontroll Studie, retrospektive Studie In Fall-Kontroll Studien vergleicht man eine Gruppe von Erkrankten (Fälle) und eine Gruppe von Nichterkrankten (Kontrollen) hinsichtlich vorausgegangener Expositionen (retrospektiv). Von der Wirkung ausgehend, wird nach potentiellen Ursachen geforscht, die dem Einsetzen der Wirkung (um viele Jahre) vorausgegangen sein können.

52 Fall-Kontroll Studie Vergleichbarkeit von Fall- und Kontrollgruppe Theoretisch wird die Vergleichbarkeit dadurch erreicht, dass beide Studiengruppen aus der gleichen Zielpopulation gewonnen werden. Populationsbezogene Fall-Kontroll Studien eine populationsbezogene Studie erhält man dann, wenn sowohl die Fall- wie auch die Kontrollgruppe repräsentativ für die Zielpopulation sind. Fallgruppe: Alle Fälle oder eine Zufallsstichprobe daraus, die in einem definierten geographischen Gebiet in einem definierten Zeitraum auftreten (Register) Kontrollgruppe: repräsentative Bevölkerungsstichprobe Auswahlbezogene Fall-Kontroll Studien Fallgruppe: Fälle, die innerhalb eines bestimmten Zeitraumes in einem Krankenhaus auftreten Krankenhauskontrollen Entscheidend ist, dass Fälle und Kontrollen für die Faktoren vergleichbar sind, die mit der Krankheit und der Exposition assoziert sind.

53 Fall-Kontroll Studie Auswertungsprinzipien: Um den Zusammenhang zwischen der Exposition und dem Zielereignis zu beschreiben, verwendet man das Odds Ratio (OR - Chancenverhältnis). Das Odds Ratio kann als Näherung für das relative Risiko gelten, wenn das Basisrisiko des Zielereignisses in der Bevölkerung klein ist (<10%). Beispiel Exposition (während Kindheit) Krankheit kein Sonnenschutz Sonnenschutz Fälle (Melanom) = a = b Kontrollen = c = d Summe = (a+c) = (b+d) a / b OR = = c / d 303 / /132 (95% Konfidenzintervallfür OR: [1,02;1,89]) = 1,39 Summe 402 = (a+b) 422 = (c+d) 824

54 Fall-Kontroll Studie Vorteile kurze Studiendauer, kostengünstig Untersuchung seltener Krankheiten, Krankheiten mit langer Latenzzeit Untersuchung mehrerer Risikofaktoren für eine einzige Krankheit Nachteile Interpretationsproblem zur Kausalität Beobachtungsungleichheit retrospektive Expositionsbestimmung anfällig für systematische Fehler: Zum Design Sind Kontrollen zahlreich vorhanden und leicht zu rekrutieren, so wird man aus Effizienzgründen (Verbesserung der Präzision von Schätzung und Tests) mehr Kontrollen als Fälle in die Studie aufnehmen. Selten zahlt es sich aus ein Verhältnis Fall:Kontrollen größer als 1:4 zu wählen.

55 Querschnittsstudie Querschnittstudie, Prävalenzstudie (cross-sectional-study) Krankheitsstatus und die gegenwärtige oder auch frühere Expositionsbelastung werden gleichzeitig erhoben.

56 Querschnittsstudie Krankheit Asthma ja Asthma nein Summe Prävalenz Knaben 344 = a 4885 = c 5229 = (a+c) 344 / 5229 = 0,066 Exposition Mädchen 221 = b 4787 = d 5008 = (b+d) 221 / 5008 = 0,044 OR = = = 1,53 a / b 344 / 221 c / d 4885 / 4787 Summe 565 = (a+b) 9672 = (c+d) / = 0,055

57 Beobachtungsstudien je fehleranfälliger der Studienplan, desto sorgfältiger sollte die Planung erfolgen