RCT Worauf müssen Sie achten?

Transkript

1 RCT Worauf müssen Sie achten? Prof. Dr. Rüdiger von Kries, Arzt für Kinderheilkunde Leiter der Abteilung für Epidemiologie im Kindes- und Jugendalter am Institut für Soziale Pädiatrie und Jugendmedizin Vorlesung als Gast am IBE

2 RCT Worauf müssen Sie achten? Fragestellung präzise? Outcome parameter was / wie soll gemessen werden? Bei mehr als einem outcome parameter: Hauptzielkriterien /Nebenzielkriterien! Studienpopulation exakte Beschreibung! Intervention welche Therapie / wogegen wird verglichen? Plazebo Effekte? Randomsierung und Verblindung: wie? Strukturgleichheit? Effektive Randomisierung? Studien Profil / Flow chart attrition bias?

3

4 Zielkriterien: Symptome / Befunde? AOM + Antibiotika: Damoiseaux et al. BMJ 320: 350 Symptom Persistenz nach 4 Tagen Ohrenschmerzen oder noch Fieber 38 C oder Schreien oder reizbar oder Verordnung eines anderes Antibiotikums wegen Verschlechterung nach 11 Tagen: Symptom Persistenz (s.o. ) Anzahl der Fiebertage 38 C Zahl der Schmerz Medikationen nach 6 Wochen Normaler Trommelfellbefund? Kein Erguss mehr?

5 Outcome Kriterien: Damoiseaux et al. Objektiv? Subjektiv? Binär, stetig? Ohrenschmerzen oder noch Fieber 38 C oder Schreien oder reizbar oder Verordnung eines anderes Antibiotikums wegen Verschlechterung

6 Hauptkriterien / Nebenkriterien Werden alle Symptome gleich bewertet: Kann das Problem des multiplen Testens auftreten, wenn gleichwertig der Einfluss auf Symptome nach 4 und 11 Tagen und nach 6 Wochen, Häufigkeit der Gabe von Schmerzmitteln getestet wird!

7 Cave multiples Testen!! Ein Test testet eine Hypothese! Sie können mehrere Hypothesen testen. Diese müssen aber Zuvor spezifiziert werden Das multiple Testen muss in der Analyse berücksichtigt werden!

8 Einmaliges Würfeln Fairer Würfel, genau ein Wurf: Wahrscheinlichkeit, eine 6 zu würfeln: 1/6 = 0.17 Wahrscheinlichkeit, keine 6 zu würfeln: 1-1/6 = 5/6 = 0.83 ( Gegenereignis )

9 Mehrfaches Würfeln Fairer Würfel, 3 Würfe: Wahrscheinlichkeit, keine 6 zu würfeln: (5/6)³ = 0.58 Wahrscheinlichkeit für mindestens eine 6: = 0.42 [(1/6)³ = wäre W., 3 Sechser zu würfeln]

10 Hypothesentest Nullhypothese H 0 : Passivrauchen erzeugt keinen Lungenkrebs. Alternativhypothese H 1 : Passivrauchen erzeugt Lungenkrebs. Signifikanzniveau: α = 0.05 (meistens) -> H 1 wird mit W fälschlicherweise ( zufällig ) akzeptiert (Fehler 1. Art).

11 Hypothesentest Zusammenhang von Passivrauchen und Lungenkrebs ergibt p-wert von p = 0.02 < 0.05 = α. -> Unter der Annahme, dass Passivrauchen keinen Lungenkrebs macht, ist die Wahrscheinlichkeit, dass es so viel mehr Fälle bei Passivrauch-Exponierten gibt, 0.02, d.h. 1/50, also ziemlich unwahrscheinlich.

12 Mehrfache oder keine Hypothese Fragestellung: Weniger Symptome durch Antibiotika bei AOM? Überprüfung des Einflusses auf k = 10 Symptome (z.b. Fiebertage, Symptome nach 4 Tagen, 11 Tagen, Trommelfellbefund nach 6 Wochen etc) -> Überraschenderweise: Einzige signifikanter auf Fiebertage (p = 0.03).

13 Weniger Symptome durch Antibiotika bei AOM? Gleicher Fall wie Passivrauchen vs. Lungenkrebs? -> Signifikanter Effekt der Antibiotika?

14 Weniger Symptome durch Antibiotika bei AOM? Gleicher Fall wie Passivrauchen vs. Lungenkrebs? -> Signifikanter Effekt der Antibiotika? NEIN! Gleicher Fall wie mehrfaches Würfeln! -> Multiples Testen

15 Multiples Testen Wahrscheinlichkeit, dass von 10 Variablen keine zum Niveau α = 0.05 signifikant ist: (1-0.05) 10 = > Mit Wahrscheinlichkeit = 0.40 ist mindestens eine der Variablen zufällig signifikant (hat zufällig p-wert < 0.05)!

16 Lösungsmöglichkeiten Nur eine Hypothese, die zuvor formuliert wurde, testen! Sonst: z.b. Bonferroni-Korrektur: α' = α / k Hier: α' = 0.05 / 10 = > Variable mit p < wäre signifikant.

17 Und was heißt das für die Studien zu Antibiotika bei AOM und Symptombesserung? Man kann alle Symptome (Zielkriterien) einzeln testen. Sollte aber ein Hauptzielkriterium definieren; für das gilt dann des definierte α als p- Wert. Alle anderen Nebenzielkriterien können auch getestet werden, wobei die Ergebnisse anders bewertet werden müssen.

18 Fazit: Hauptzielkriterium und Nebenzielkriterien müssen eindeutig und a priori bei der Studienplanung definiert werden!

19 Hauptfragestellung definiert? Damoiseaux et al. Outcome measures The primary outcome measure was persistent symptoms at day four, assessed by the doctor and defined as persistent earache, fever (>38 C), crying, or being irritable. In addition the prescription of another antibiotic because of clinical deterioration before the first follow up visit was to be considered a persistent symptom. Secondary outcome measures were clinical treatment failure at day 11, defined as persistent fever, earache, crying, being irritable, or no improvement in the appearance of the tympanic membrane, defined as.

20 Studienpopulation AOM + Antibiotika: Damoiseaux et al. BMJ 320: 35 Behandlung bei einem von 53 Allgemeinmedizinern in NL Februar Mai 1998 Alter: 6 bis 24 Monate Schriftliches Einverständnis der Eltern! Ausschlusskriterien Antibiotika in letzten 4 Wochen Ampicillinallergie Trisomie 21 / Gesichtsfehlbildung Immundefekt

21 Studienpopulation AOM + Antibiotika: Damoiseaux et al. BMJ 320: 35 Behandlung bei einem von 53 Allgemeinmedizinern in NL Februar Mai 1998 => ist das eine ausgewählte Population? Alter: 6 bis 24 Monate => sinnvolle Einschränkung? Schriftliches Einverständnis der Eltern! => Einfluss auf externe Validität?

22 Studienpopulation AOM + Antibiotika: Damoiseaux et al. BMJ 320: 35 Ausschlusskriterien Antibiotika in letzten 4 Wochen Ampicillinallergie Trisomie 21 / Gesichtsfehlbildung Immundefekt => Einfluss auf externe Validität?

23 Falldefinition: AOM AOM + Antibiotika: Damoiseaux et al. BMJ 320: 35 Akuter Beginn Typischer Trommelfellbefund: Injektion oder rotes, vorgewölbtes oder perforiertestrommelfell Plus Symptome (one or more) wie Fieber, neu aufgetretene Ohrenschmerzen, Reizbarkeit, general malaise => Einfluss auf externe Validität?

24 Plazeboeffekte? Plazebos sind nicht unbedingt wirkungslos! Welche Effekte Plazebos haben könnten, wurde in einer Metaananlyse von Studien in denen Verum Plazebo Unbehandelte Kontrollgruppe untersucht wurden. Hrobjartsonn et al. NEJM, 2001

25 Plazeboeffekte

26 Plazeboeffekte: klinische Probleme

27 Plazeboeffekte: wie gemessen? Bitte Tabelle 3 nur unterer Teil ohne Überschrift

28 Plazeboeffekte besonders dann zu erwarten. - wenn das outcome nicht kategoriell (z. B. tot / lebend oder gesund / krank) gemessen wird, - sondern auf Skalen: ein bisschen besser (z.b. auf 0 6 Skala) - Subjektiv > objektiv > Laborwert

29 Randomisierung in Damoiseau Studie Assignment and blinding.the children were randomly assigned to treatment with amoxicillin or with a placebo suspension with the same colour and taste.

30 Plazeboeffekte in Damoiseaux Studie zu erwarten? - Plazebo verwendet? - outcome Messung - kategoriell - oder auf Skalen - Subjektiv oder objektiv

31 Randomisierung Zufallsfällige Zuordnung zur Therapie concealed Weder Patient noch Behandler darf in den Prozess der Randomisierung involviert sein. Studien ohne concealment 41% mehr Effekt Bei unklarem concealment 30 % mehr Effekt distant Briefumschlag (cave, Fehlermöglichkeiten) online, oder Telefon Schulz et al. (1995) Jama 273:

32 Block Randomisierung Ziel: Gleiche Fallzahlen in Verum und Plazebo Gruppe Aufteilung der Patienten in Blöcke Innerhalb der Blöcke gleiche Zahlen von Verum und Plazebo garantiert Ziel: Gleiche Verteilung von Risikofaktoren in beiden Gruppen (Strukturgleichheit) Randomisierung innerhalb der Schichten (Strata) z.b. in Blöcken => besonders relevant bei Studien mit kleiner Fallzahl heterogener Patienten!

33 Randomisierung in Damoiseaux Studie Assignment and blinding The suspensions were supplied to the participatingdoctors in a double blind fashion with computerised two block randomisation; doctors, parents, and investigators remained blinded throughout the study.

34 Strukturgleichheit? Jede Publikation zu randomisierten Studien sollte eine Tabelle 1 enthalten: Vergleich der randomisierten Patienten Wie sind die übrigen Risikofaktoren verteilt In der Verum Gruppe? Inder Plazebo Gruppe?

35 Baseline characteristics Damoiseaux et al.

36 Behandlung nicht nach Protokoll In diesen Fällen ist der Endpunkt meist erfasst Mögliche Ursachen Medikation zu schlechter Geschmack z.b. Nebenwirkungen Fehler bei der Verabreichung => Intention to treat Analyse: Auswertung aller randomisierten Patienten. => u.u. on treatment : bei der Frage proof of principle

37 Flowchart

38 Losses to follow -up Bei möglichem Bezug zur Behandlung Genesung (deshalb keine Lust mehr) - Tod an behandelter Erkrankung Nebenwirkungen müssen berücksichtigt werden: intention treat Analyse mit worst/best case analysis Sicher kein Bezug zur Behandlung Umzug,Telefon abgemeldet Können ausgeschlossen werden: on treatment Analyse

39

40 Checkliste zur Publikation randomisierter Studien (I)

41 Damoiseaux Studie ok? Titel passend? Primary care based randomised, double blind trial of amoxicillin versus placebo for acute otitis media in children aged under 2 years

42

43 Damoiseaux Studie ok? Vernünftige Begründung? Antibiotics are currently the treatment of choice for acute otitis media in nearly all countries, the Netherlands is still the only country where only a minority of the episodes of acute otitis media are treated with antibiotics. Several authors have advocated restriction of antibiotic treatment for acute otitis media to children at increased risk of poor outcome or complications notably children under 2 years of age, although surprisingly, there is virtually no empirical evidence as to the effectiveness of such treatment in these children. We therefore assessed outcome in a primary care based randomised trial of amoxicillin versus placebo.

44 Damoiseaux Studie ok? Probanden / Patienten? Ausreichend gut beschrieben? Intervention / Behandlung Ausreichend gut beschrieben? Sinnvolle Therapie? Ziele Ausreichend gut beschrieben? Zielkriterien Sinnvoll? Ausreichend gut beschrieben?

45 Damoiseaux Studie ok? Sample size calculation provided? Calculation of the sample size was based on the assumption of a minimum difference of 20% in primary outcome between the groups, with an α of 5%, a discriminating power of 80%, and an estimated 60% persistent symptoms in the placebo group.the total number of children required in each treatment arm was 79.

46 Checkliste zur Publikation randomisierter Studien (II)

47 Damoiseau Studie ok? Assignment and blinding After we obtained consent the children were randomly assigned to treatment with amoxicillin or with a placebo suspension with the same colour and taste. The suspensions were supplied to the participating doctors in a double blind fashion with computerised two block randomisation; doctors, parents, and investigators remained blinded throughout the study. During the trial the code of the allocation schedule was kept in the pharmacy of the University Medical Centre, Utrecht, and was broken only if severe complications or side effects occurred.

48

49 Ein und Ausschlüsse

50 Damoiseaux Studie ok? All analyses were carried out with SPSS on an intention to treat basis. We performed best and worst case analyses when necessary because of loss to follow up.

51 Damoiseau Studie ok? All analyses. The prevalence of persistent symptoms etc. were compared by calculating differences in risk with 95% confidence intervals. Durations of fever and of pain or crying, or both, were plotted by means of Kaplan-Meier curves, and differences between the treatment groups were tested by the log rank test. When diary data were incomplete and the last entry recorded fever or pain, the child was censored in the survival analysis. The difference in the mean analgesic consumption in the two groups was tested with the Mann-Whitney U test. All reported P values are two sided.

52 Checkliste zur Publikation randomisierter Studien (III)

53 Primäre und sekundäre outcome Kriterien klar definiert?? The primary outcome measure was persistent symptoms at day four, assessed by the doctor and defined as persistent earache, fever (>38oC), crying, or being irritable. In addition the prescription of another antibiotic because of clinical deterioration before the first follow up visit was to be considered a persistent symptom. Secondary outcome criteria Persistent symptoms on day 11 Duration of fever, pain or crying (diary based) Mean number of doses of analgetics

54 Ergebnisse gut präsentiert?

55 Primäre und sekundäre outcome Kriterien - Bewertung?? Gleiche α Werte für primäre und sekundäre outcome Kriterien? Wie wären Subgruppen Analysen zu bewerten z. B. für Kinder mit initial hohem Fieber > 39 C? a priori definiert? A posteriori? Welche α Werte?

56 Nebenwirkungen Adverse effects De novo diarrhoea was reported on day four in 17% (20/117) of the amoxicillin group and in 10% (12/123) of the placebo group (difference - 7%; - 16% to 2%). On day 10 these figures were 12% (14/117) and 8% (10/123), respectively (difference - 4%; - 12% to 4%). Of the children lost to follow up, five were withdrawn (all between day four and day 11) because of possible side effects, two because of diarrhoea (both in the amoxicillin group) and three because of skin rashes (all in the placebo group)

57 Bewertung adäquat? Diskussion möglicher Fehlerquellen Generalisierbarkeit für wen gelten diese Ergebnisse? Schlussfolgerungen: Wenn nur 1 von 7 Kindern nach 4 Tagen profitiert lohnt sich die Antibiotika - Gabe nicht. Deshalb auch bei kleinen Kindern: watchful waiting gerechtfertig.