Qualität von Publikationen randomisierter Nicht-Unterlegenheitsund Äquivalenzstudien

Transkript

1 Qualität von Publikationen randomisierter Nicht-Unterlegenheitsund Äquivalenzstudien, Nicole Burchardi, Michael Niestroj, Meinhard Kieser Nicht-Unterlegenheit und Äquivalenz Überlegenheit Test vs. Placebo Nicht-Unterlegenheit Test (T) vs. aktive Kontrolle (K), einseitig Äquivalenz H 0 : T K δ vs. H 1 : T K > δ mit vorgegebener Grenze δ > 0 Test vs. aktive Kontrolle, zweiseitig mit vorgegebenen Grenzen δ und +δ 1

2 Fragestellung Spezielle Anforderungen Design, Durchführung, Auswertung, Interpretation und Bericht Fragestellung Spezielle Anforderungen Design, Durchführung, Auswertung, Interpretation und Bericht Basis Le Henanff et al Quality of Reporting of Non-inferiority and Equivalence Randomised Trials JAMA 295(10): Piaggio et al Reporting of Noninferiority and Equivalence Randomised Trials. An Extension of the CONSORT Statement JAMA 295(10):

3 Fragestellung Vergleich der Qualität von Berichten der Jahre 2003/04 und 2009 Umsetzung des erweiterten CONSORT- Statements Untersuchung zusätzlicher Qualitätskriterien Spezielle Aspekte Nachvollziehbarkeit der Fallzahlplanung 3-armige Studien Suchstrategie Datenbanken Medline und Cochrane Central Register of Controlled Clinical Trials 3

4 Suchstrategie Datenbanken Medline und Cochrane Central Register of Controlled Clinical Trials Suchbegriffe: random*, equivalence, equivalent, non-inferior, non-inferiority, noninferior, noninferiority Suchstrategie Datenbanken Medline und Cochrane Central Register of Controlled Clinical Trials Suchbegriffe: random*, equivalence, equivalent, non-inferior, non-inferiority, noninferior, noninferiority Publikationsjahr 2009 Artikel in englischer Sprache Publikationstyp Meta-Analyse, Review 4

5 Ausschluss nach Screening Keine RCT an Menschen Zwischen-, Zusatz- oder Folgeauswertung Review, Meta-Analyse oder Methodische Arbeit Bioäquivalenzstudie Ausschluss nach Screening Keine RCT an Menschen Zwischen-, Zusatz- oder Folgeauswertung Review, Meta-Analyse oder Methodische Arbeit Bioäquivalenzstudie Kein Hinweis auf NU- oder -Fragestellung equivalent nur in folgendem Zusammenhang: mean spherical equivalent, equiv. dose / quantity zur Beschreibung ähnlicher bzw. in der Schlussfolgerung im Sinne von similar 5

6 Datenextraktion Allgemeine Merkmale Design Wahl der Nicht-Unterlegenheits-Grenze Fallzahlplanung Analysesets Auswertung und Ergebnisdarstellung Folgerung Referenzen Allgemeine Merkmale Datenextraktion Autorenzahl, Zeitschrift, Indikation Design Nicht-Unterlegenheit oder Äquivalenz (Switch) Begründung des Designs, erwarteter Vorteil Anzahl und Art der Vergleichsgruppen Wahl der Nicht-Unterlegenheits-Grenze Art des Hauptzielkriteriums Bericht der Grenze und Begründung der Grenze 6

7 Fallzahlplanung Datenextraktion Bericht der FZP, Hypothese, drop outs, missings Berücksichtigung der Grenze bei der FZP Analysedatensätze ITT und / oder PP, Definitionen der Datensätze Auswertung und Ergebnisdarstellung Konfidenzintervall-Ansatz und / oder Test Flow-Chart, Patientencharakteristik Sicherheitsparameter, Subgruppen Schlussfolgerung Datenextraktion nachvollziehbar und korrekt Qualitätskriterien Angabe der Grenze, FZP beruht auf der Grenze, ITT- und PP-Auswertung, Konfidenzintervall Begründung des Designs, Vorteil Begründung der Grenze Angabe relevanter Referenzen Consort, Extended Consort, Guidelines (CMPH) 7

8 Endnote-Datenbank Datenmanagement Identifizierte Abstracts und Artikel Access-Datenbank Eingabe und Verwaltung der extrahierten Daten SAS Datencheck und Auswertung Ablauf der Auswahl Identifizierte Artikel ausgeschlossen % Ausgewählte Artikel * In 1 Artikel 2 Studien berichtet 8

9 Ablauf der Auswahl Identifizierte Artikel ausgeschlossen % % 80% 20% Ausgewählte Artikel ausgeschlossen nicht verfügbar Untersuchte Berichte* Nicht-Unterlegenheit Äquivalenz * In 1 Artikel 2 Studien berichtet Ablauf der Auswahl Identifizierte Artikel ausgeschlossen % % Ausgewählte Artikel ausgeschlossen nicht verfügbar % % Untersuchte Berichte* % 28% % 20% Nicht-Unterlegenheit Äquivalenz * In 1 Artikel 2 Studien berichtet 9

10 Design (n=167) (n=42) Begründung des Designs 47,9 % 50,0 % Erwarteter Vorteil angegeben 53,3 % 38,1 % Design (n=167) (n=42) Begründung des Designs 47,9 % 50,0 % Erwarteter Vorteil angegeben 53,3 % 38,1 % Placebogruppe enthalten 13,2 % 7,1 % 10

11 Design (n=167) (n=42) Begründung des Designs 47,9 % 50,0 % Erwarteter Vorteil angegeben 53,3 % 38,1 % Placebogruppe enthalten 13,2 % 7,1 % Design (n=167) (n=42) Begründung des Designs 47,9 % 50,0 % Erwarteter Vorteil angegeben 53,3 % 38,1 % Placebogruppe enthalten 13,2 % 7,1 % Behandlungen unterschiedlich 71,9 % 47,6 % Behandlungen gleichartig 35,9 % 52,4 % 2 Strategien 53,3 % 77,3 % 2 Dosierungen 40,0 % 13,6 % 2 Behandlungsdauern 5,0 % 9,1 % 11

12 Design (n=167) (n=42) Begründung des Designs 47,9 % 50,0 % Erwarteter Vorteil angegeben 53,3 % 38,1 % Placebogruppe enthalten 13,2 % 7,1 % Behandlungen unterschiedlich 71,9 % 47,6 % Behandlungen gleichartig 35,9 % 52,4 % 2 Strategien 53,3 % 77,3 % 2 Dosierungen 40,0 % 13,6 % 2 Behandlungsdauern 5,0 % 9,1 % Planung (n=167) (n=42) Grenze angegeben 96,4 % 85,7 % Begründung der Grenze 22,8 % 31,0 % statistische Gründe 10,5 % 7,7 % klinische Gründe / Studie 60,5 % 61,5 % beides 29,0 % 30,8 % 12

13 Planung (n=167) (n=42) Grenze angegeben 96,4 % 85,7 % Begründung der Grenze 22,8 % 31,0 % statistische Gründe 10,5 % 7,7 % klinische Gründe / Studie 60,5 % 61,5 % beides 29,0 % 30,8 % Fallzahlplanung berichtet 90,4 % 85,7 % Grenze berücksichtigt 81,4 % 64,3 % Elemente für Rekalkulation 62,3 % 47,6 % Planung (n=167) (n=42) Grenze angegeben 96,4 % 85,7 % Begründung der Grenze 22,8 % 31,0 % statistische Gründe 10,5 % 7,7 % klinische Gründe / Studie 60,5 % 61,5 % beides 29,0 % 30,8 % Fallzahlplanung berichtet 90,4 % 85,7 % Grenze berücksichtigt 81,4 % 64,3 % Elemente für Rekalkulation 62,3 % 47,6 % 13

14 Fallzahlplanung Exkurs Fallzahlplanung* (n=54) (n=15) Fallzahlplanung berichtet 94,4 % 80,0 % Grenze berücksichtigt 87,0 % 66,7 % Elemente für Rekalkulation 68,5 % 46,7 % * Basis: ein Drittel der Berichte Fallzahlplanung Exkurs Fallzahlplanung* (n=54) (n=15) Fallzahlplanung berichtet 94,4 % 80,0 % Grenze berücksichtigt 87,0 % 66,7 % Elemente für Rekalkulation 68,5 % 46,7 % Ergebnis stimmt überein 50,0 % 26,7 % Methode geeignet 27,8 % 20,0 % * Basis: ein Drittel der Berichte 14

15 Exkurs Fallzahlplanung* Zielgröße Aspekt Gesamt Binär (n=39) Elemente für Rekalkulation 71,8 % Ergebnis stimmt überein 53,8 % Methode geeignet 28,2 % * Basis: ein Drittel der Berichte Exkurs Fallzahlplanung* Zielgröße Aspekt Gesamt Binär (n=39) Elemente für Rekalkulation 71,8 % Ergebnis stimmt überein 53,8 % Methode geeignet 28,2 % Stetig (n=26) Elemente für Rekalkulation 46,2 % Ergebnis stimmt überein 38,2 % Methode geeignet 26,9 % * Basis: ein Drittel der Berichte 15

16 Exkurs Fallzahlplanung* Zielgröße Aspekt Gesamt Binär (n=39) Elemente für Rekalkulation 71,8 % Ergebnis stimmt überein 53,8 % Methode geeignet 28,2 % Stetig (n=26) Elemente für Rekalkulation 46,2 % Ergebnis stimmt überein 38,2 % Methode geeignet 26,9 % Überlebens- Elemente für Rekalkulation 4 zeit (n=4) Ergebnis stimmt überein 0 * Basis: ein Drittel der Berichte Auswertung (n=167) (n=42) Analysedatensätze definiert 74,9 % 42,9 % Analyse nur ITT / mod. ITT 37,7 % 38,1 % nur PP / mod. PP 11,4 % 7,1 % ITT und PP 44,3 % 31,0 % 16

17 Auswertung (n=167) (n=42) Analysedatensätze definiert 74,9 % 42,9 % Analyse nur ITT / mod. ITT 37,7 % 38,1 % nur PP / mod. PP 11,4 % 7,1 % ITT und PP 44,3 % 31,0 % Konfidenzintervall 85,0 % 83,3 % 1-seitiges 97,5%-KI 4,2 % - 2-seitiges 95%-KI 79,8 % 68,6 % Folgerung / Referenzen 2009 (n=209) Folgerung korrekt 76,6 % Nicht-Unterlegenheit (n=114) 84,2 % Äquivalenz (n=33) 63,6 % Überlegenheit (n=16) 81,3 % Unterlegenheit (n=31) 83,9 % unklares Ergebnis (n=11) 81,8 % 17

18 Folgerung / Referenzen 2009 (n=209) Folgerung korrekt 78,9 % Nicht-Unterlegenheit (n=114) 84,2 % Äquivalenz (n=33) 63,6 % Überlegenheit (n=16) 81,3 % Unterlegenheit (n=31) 83,9 % unklares Ergebnis (n=11) 81,8 % Extension of CONSORT zitiert 7,7 % CMPH Choice of Margin zitiert 1,9 % Qualität der Berichte Qualitätskriterium 2003 / 04 (n=162) 2009 (n=209) NU- / -Grenze berichtet 96,3 % 94,3 % Begründung der Grenze 20,4 % 24,4 % 18

19 Qualität der Berichte Qualitätskriterium 2003 / 04 (n=162) 2009 (n=209) NU- / -Grenze berichtet 96,3 % 94,3 % Begründung der Grenze 20,4 % 24,4 % FZP beruht auf der Grenze 71,6 % 78,0 % Elemente für Rekalkulation 53,7 % 59,3 % Qualität der Berichte Qualitätskriterium 2003 / 04 (n=162) 2009 (n=209) NU- / -Grenze berichtet 96,3 % 94,3 % Begründung der Grenze 20,4 % 24,4 % FZP beruht auf der Grenze 71,6 % 78,0 % Elemente für Rekalkulation 53,7 % 59,3 % ITT- und PP-Auswertung 42,6 % 41,6 % und Datensatz-Definitionen - 35,9 % 19

20 Qualität der Berichte Qualitätskriterium 2003 / 04 (n=162) 2009 (n=209) NU- / -Grenze berichtet 96,3 % 94,3 % Begründung der Grenze 20,4 % 24,4 % FZP beruht auf der Grenze 71,6 % 78,0 % Elemente für Rekalkulation 53,7 % 59,3 % ITT- und PP-Auswertung 42,6 % 41,6 % und Datensatz-Definitionen - 35,9% Konfidenzintervallansatz 84,0 % 84,7 % 1-s 97,5%-KI od. 2-s 95%-KI - 68,4 % Qualität der Berichte Qualitätskriterium 2003 / 04 (n=162) 2009 (n=209) Alle 4 Kriterien erfüllt 20,4 % 34,5 % 20

21 Qualität der Berichte Qualitätskriterium 2003 / 04 (n=162) 2009 (n=209) Alle 4 Kriterien erfüllt 20,4 % 34,5 % mit Vorteil angegeben - 16,3 % mit Begründung der Grenze 4,3 % 8,6 % mit beiden Zusatzkriterien - 4,3 % Fazit Zunahme der Anzahl von Berichten über Äquivalenzbzw. Nicht-Unterlegenheitsstudien (Faktor 2 bzw. 3) 21

22 Fazit Zunahme der Anzahl von Berichten über Äquivalenzbzw. Nicht-Unterlegenheitsstudien (Faktor 2 bzw. 3) 35% der Berichte erfüllen alle 4 Qualitätskriterien (ausgehend von 20% in 2003/04) Fazit Zunahme der Anzahl von Berichten über Äquivalenzbzw. Nicht-Unterlegenheitsstudien (Faktor 2 bzw. 3) 35% der Berichte erfüllen alle 4 Qualitätskriterien (ausgehend von 20% in 2003/04) Aber auch bei diesen Berichten fehlen häufig wichtige Aspekte wie der erwartete Vorteil, die Begründung des Designs bzw. der Grenze Weiterhin besteht ein Verbesserungsbedarf bei der Umsetzung der Empfehlungen 22

23 Referenzen Le Henanff A, Giraudeau B, Baron G, Ravaud P (2006). Quality of reporting of noninferiority and equivalence randomised trials. JAMA 295(10): Piaggio G, Elbourne DR, Altman DG, Pockock SJ, Evans SJW for the CONSORT Group (2006). Reporting of noninferiority and equivalence randomised trials. An Extension of the CONSORT Statement. JAMA 295(10): Gøtsche PC (2006). Lessons from and cautions about non-inferiority and equivalence randomized trials. JAMA 295(10): Berger VW, Alperson SY (2009). A general framework for the evaluation of clinical trial quality. Review on Recent Clinical Trials 4(2):