Statistische Signifikanz versus Klinische Relevanz der Sch(l)uss von der Studie in die Realität

Transkript

1 Institut für Medizinische Biometrie und Epidemiologie Statistische Signifikanz versus Klinische Relevanz der Sch(l)uss von der Studie in die Realität

2 Zum Nacharbeiten

3 Die TonoPen-Studie Dissertationsprojekt Dr. Kathrin Specht: Fragestellung: Abweichung des TGDc-01 TonoPen von Goldmann-Tonometrie als Referenz? Primäre Zielgröße: Abweichung Augeninnendruck [mmhg] Patientengut: 68 rechte Augen von Glaukompatienten

4 N = Die TonoPen-Studie 68 > 75% aller Patienten Abweichung TGDc - Goldmann [mmhg]

5 Problem des α-fehlers Zentrale Frage der Schließenden Statistik: Wie sicher kann ein Ergebnis aus einer Studie auf andere Patienten übertragen werden? Realität möglicherweise fehlerhafter Rückschluss Studie

6 Problem des α-fehlers Zentrale Frage der Schließenden Statistik: Wie sicher kann ein Ergebnis aus einer Studie auf andere Patienten übertragen werden? Grundgesamtheit α-fehler??? Stichprobe

7 Problem des α-fehlers Zentrale Frage der Schließenden Statistik: Wie sicher kann ein Ergebnis aus einer Studie auf andere Patienten übertragen werden? α Fehler = fälschliches Übertragen eines Unterschiedes aus einer Studie auf andere Patienten (synonym Fehler 1. Art )

8 Problem des α-fehlers Zentrale Frage der Schließenden Statistik: Wie sicher kann ein Ergebnis aus einer Studie auf andere Patienten übertragen werden? α Fehler = fälschliches Übertragen eines Unterschiedes aus einer Studie auf andere Patienten p-wert = Wahrscheinlichkeit [%], den α-fehler zu begehen auf Basis der vorliegenden Studienergebnisse

9 Idee des p-wertes p-wert = Wahrscheinlichkeit, den α-fehler zu begehen auf Basis der vorliegenden Studienergebnisse Realität Studie

10 Idee des p-wertes p-wert = Wahrscheinlichkeit, den α-fehler zu begehen auf Basis der vorliegenden Studienergebnisse Problem: Wann ist ein p-wert klein genug??? Konvention: willkürliche Vorgabe vor Studienbeginn bei uns : 5 % Studien mit unkritischer Versorgung 1 % Studien mit intensiver Versorgung 0.1 % Studien mit riskanter Versorgung ( Signifikanzniveau α )

11 Idee des p-wertes p-wert = Wahrscheinlichkeit, den α-fehler zu begehen auf Basis der vorliegenden Studienergebnisse Konvention: Vorgabe Signifikanzniveau α vor Studienbeginn damit: p-wert α Studienergebnis übertragbar p-wert > α Studienergebnis nicht übertragbar

12 statistische Signifikanz p-wert = Wahrscheinlichkeit, den α-fehler zu begehen auf Basis der vorliegenden Studienergebnisse Konvention: Vorgabe Signifikanzniveau α vor Studienbeginn damit: Terminus: p-wert α Studienergebnis übertragbar p-wert > α Studienergebnis nicht übertragbar p-wert α Studienergebnis signifikant p-wert > α Studienergebnis nicht signifikant

13 Die TonoPen-Studie Ergebnisse: mediane Abweichung um 1 mmhg p-wert = = 0.3 % Signifikanzniveau: α = 1 % Schlussfolgerung: p = 0.3 % < 1 % = α statistisch signifikanter Unterschied

14 N = Die TonoPen-Studie 68 Abweichung TGDc - Goldmann [mmhg]

15 Ergebnis: Die TonoPen-Studie Zum Niveau 1 % zeigte sich ein statistisch signifikanter Unterschied zwischen den Augeninnendruckmessungen laut TonoPen und Goldmann-Tonometer (p=0.003); im Median zeigte sich eine Unterschätzung um 1 mmhg (0 3 mmhg) der Goldmann- Tonometrie durch das TonoPen.

16 Realität in Klinischen Studien Schritt 1: Vorgabe im Studienprotokoll zur maximal tolerablen Wahrscheinlichkeit des α-fehlers (= Festlegung des Signifikanzniveaus α) Vorgabe im Studienprotokoll zum mindestens interessierenden Therapie-Unterschied (= Festlegung klinisch relevanter Unterschiede)

17 Realität in Klinischen Studien Schritt 1: Vorgabe im Studienprotokoll zur maximal tolerablen Wahrscheinlichkeit des α-fehlers (= Festlegung des Signifikanzniveaus α) Vorgabe im Studienprotokoll zum mindestens interessierenden Therapie-Unterschied (= Festlegung klinisch relevanter Unterschiede) TonoPen: α = 1 % medianer Unterschied = 3 mmhg

18 Realität in Klinischen Studien Schritt 2: Studiendurchführung Schritt 3: Auswertung: Studienergebnis p-wert medianer / prozentualer Unterschied TonoPen: p = 0.3 % < 1 % medianer Unterschied 1 mmhg < 3 mmhg

19 Realität in Klinischen Studien Schritt 4: beide Entscheidungsregeln umsetzen statistische Signifikanz p-wert α statistisch signifikanter Unterschied p-wert > α kein stat. signifikanter Unterschied klinische Relevanz Untersch. Vorgabe klinisch relevanter Unterschied Untersch. < Vorgabe kein klinisch relevanter Unterschied

20 Realität in Klinischen Studien Schritt 4: beide Entscheidungsregeln umsetzen statistische Signifikanz p-wert α statistisch signifikanter Unterschied p-wert > α kein stat. signifikanter Unterschied klinische Relevanz Untersch. Vorgabe klinisch relevanter Unterschied Untersch. < Vorgabe kein klinisch relevanter Unterschied TonoPen: p = 0.3 % < 1 % = α statistisch signifikanter Unterschied 1 mmhg < 3 mmhg kein klinisch relevanter Unterschied

21 Zusammenfassung p-wert [%] α [%] p α Wahrscheinlichkeit, den α-fehler zu begehen aufgrund von Studienergebnissen willkürliche Vorgabe für maximale tolerable Wahrscheinlichkeit des α-fehlers statistisch signifikantes Studienergebnis

22 Zusammenfassung p-wert [%] α [%] p α Wahrscheinlichkeit, den α-fehler zu begehen aufgrund von Studienergebnissen willkürliche Vorgabe für maximale tolerable Wahrscheinlichkeit des α-fehlers statistisch signifikantes Studienergebnis CAVE: also: signifikant bedeutet statistisch gesichert statistisch signifikant klinisch relevant

23 Zusammenfassung p-wert [%] α [%] p α Wahrscheinlichkeit, den α-fehler zu begehen aufgrund von Studienergebnissen willkürliche Vorgabe für maximale tolerable Wahrscheinlichkeit des α-fehlers statistisch signifikantes Studienergebnis CAVE: also: signifikant bedeutet statistisch gesichert statistisch signifikant klinisch relevant Kriterien zur Prüfung von Signifikanz und Relevanz: statistische Signifikanz: p-wert klinische Relevanz: medianer / prozentualer Unterschied

24 Zusammenfassung Kriterien zur Prüfung von Signifikanz und Relevanz: statistische Signifikanz: klinische Relevanz: p-wert medianer / prozentualer Unterschied In Ergebnisdarstellungen immer Beides kommentieren!!! Zum Niveau 1 % zeigte sich ein statistisch signifikanter Unterschied zwischen den Augeninnendruckmessungen laut TonoPen und Goldmann-Tonometer (p=0.003); im Median zeigte sich eine Unterschätzung um 1 mmhg (0 3 mmhg) der Goldmann-Tonometrie durch das TonoPen.

25 Die Wurzelstift-Studie Dissertationsprojekt Dr. Caroline Neumann: Einjährige Verlustrate nach konservativer versus Wurzelkanalstift-gestützter endodontischer Versorgung

26 Die Wurzelstift-Studie Dissertationsprojekt Dr. Caroline Neumann: Einjährige Verlustrate nach konservativer versus Wurzelkanalstift-gestützter endodontischer Versorgung Primäre Zielgröße: Zahnverlust bis ein Jahr nach Versorgungsende [ja / nein] Patientengut: 2 x 140 Prämolaren Signifikanzniveau: α = 1 % klinisch relevanter Unterschied: 5 % Unterschied in Verlustraten

27 Die Wurzelstift-Studie Dissertationsprojekt Dr. Caroline Neumann: Einjährige Verlustrate nach konservativer versus Wurzelkanalstift-gestützter endodontischer Versorgung Verlust kein Verlust konservativ 6 % 94 % Stift-gestützt 13 % 87 % Unterschied zwischen Verlustraten 7 % p-wert = 6.2 %

28 Die Wurzelstift-Studie Dissertationsprojekt Dr. Caroline Neumann: Einjährige Verlustrate nach konservativer versus Wurzelkanalstift-gestützter endodontischer Versorgung Zum Niveau 1 % zeigte sich kein statistisch signifikanter Unterschied zwischen den einjährigen Verlustraten nach konservativer versus Stift-gestützter Endodontie (p=0.062);

29 Die Wurzelstift-Studie Dissertationsprojekt Dr. Caroline Neumann: Einjährige Verlustrate nach konservativer versus Wurzelkanalstift-gestützter endodontischer Versorgung Zum Niveau 1 % zeigte sich kein statistisch signifikanter Unterschied zwischen den einjährigen Verlustraten nach konservativer versus Stift-gestützter Endodontie (p=0.062); konkret zeigten Prämolaren nach konservativer Versorgung eine einjährige Verlustrate von 6 % gegenüber 13 % nach Stiftgestützter Versorgung.

30 Problem der α Inflation Dissertationsprojekt Dr. Caroline Neumann: Zwei parallele Zielkriterien: a) Einjährige Verlustrate [ja / nein] nach konservativer versus Wurzelkanalstift-gestützter endodontischer Versorgung b) Dauer bis zum Verlust des Index-Zahnes [Monate]

31 Problem der α Inflation Dissertationsprojekt Dr. Caroline Neumann: Zwei parallele Zielkriterien: a) Einjährige Verlustrate [ja / nein] nach konservativer versus Wurzelkanalstift-gestützter endodontischer Versorgung b) Dauer bis zum Verlust des Index-Zahnes [Monate] Problem: 2 Entscheidungen, je 1% Irrtumswahrscheinlichkeit a) p 0.01 b) p schlimmstenfalls also Gesamtaussage mit Irrtumswahrscheinlichkeit 2 % zu erwarten!

32 Bonferroni-Korrektur Idee: jeweils Entscheidung treffen auf Signifikanzniveau 0.5 % a) p 0.01 / 2 = 0.5 % b) p 0.01 / 2 = 0.5 % 1 % Bonferroni-Korrektur: multiple statistische Signifikanz p α / Anzahl der p-werte

33 Bonferroni-Korrektur Bonferroni-Korrektur: multiple statistische Signifikanz p α / Anzahl der p-werte Anwendung: many one Vergleich Placebo versus 5 Stufen Signifikanzniveau 5 % Stufe 1 p = > 5 % Stufe 2 p = > 5 % Stufe 3 p = < 5 % Stufe 4 p = < 5 % Stufe 5 p = < 5 %

34 Bonferroni-Korrektur Bonferroni-Korrektur: multiple statistische Signifikanz p α / Anzahl der p-werte Anwendung: many one : 5 Vergleiche Signifikanz bei p α / 5 = 1 % Stufe 1 p = Stufe 2 p = Stufe 3 p = Stufe 4 p = Stufe 5 p = 0.002

35 Bonferroni-Korrektur Bonferroni-Korrektur: multiple statistische Signifikanz p α / Anzahl der p-werte Anwendung: many one : 5 Vergleiche p α / 5 = 1 % Stufe 1 p = > 1 % Stufe 2 p = > 1 % Stufe 3 p = > 1 % Stufe 4 p = > 1 % Stufe 5 p = < 1 %

36 Bonferroni-Korrektur Bonferroni-Korrektur: multiple statistische Signifikanz p α / Anzahl der p-werte Anwendung: many one : 5 Vergleiche Placebo versus 5 Stufen: p α / 5 = 1 % Ab Dosisstufe 5 zeigt sich ein zum multiplen Signifikanzniveau 5 % signifikanter Unterschied gegenüber Placebo.

37 Bonferroni-Korrektur Bonferroni-Korrektur: multiple statistische Signifikanz p α / Anzahl der p-werte Anwendungen: many one Vergleiche parallele primäre Endpunkte Zwischenauswertung von Studien Beste Alternative: eine klare Fragestellung ein klarer primärer Endpunkt pro Studie nur einen p-wert!!!

38 Zusammenfassung p-wert [%] α [%] p α Wahrscheinlichkeit, den α-fehler zu begehen aufgrund von Studienergebnissen willkürliche Vorgabe für maximale tolerable Wahrscheinlichkeit des α-fehlers statistisch signifikantes Studienergebnis signifikant = statistisch gesichert statistisch signifikant klinisch relevant keine unnötigen primären Endpunkte oder Studienarme