Institut für Medizinische Biometrie und Epidemiologie Statistische Signifikanz versus Klinische Relevanz der Sch(l)uss von der Studie in die Realität
Zum Nacharbeiten
Die TonoPen-Studie Dissertationsprojekt Dr. Kathrin Specht: Fragestellung: Abweichung des TGDc-01 TonoPen von Goldmann-Tonometrie als Referenz? Primäre Zielgröße: Abweichung Augeninnendruck [mmhg] Patientengut: 68 rechte Augen von Glaukompatienten
4 2 0-2 -4-6 -8-10 N = Die TonoPen-Studie 68 > 75% aller Patienten Abweichung TGDc - Goldmann [mmhg]
Problem des α-fehlers Zentrale Frage der Schließenden Statistik: Wie sicher kann ein Ergebnis aus einer Studie auf andere Patienten übertragen werden? Realität möglicherweise fehlerhafter Rückschluss Studie
Problem des α-fehlers Zentrale Frage der Schließenden Statistik: Wie sicher kann ein Ergebnis aus einer Studie auf andere Patienten übertragen werden? Grundgesamtheit α-fehler??? Stichprobe
Problem des α-fehlers Zentrale Frage der Schließenden Statistik: Wie sicher kann ein Ergebnis aus einer Studie auf andere Patienten übertragen werden? α Fehler = fälschliches Übertragen eines Unterschiedes aus einer Studie auf andere Patienten (synonym Fehler 1. Art )
Problem des α-fehlers Zentrale Frage der Schließenden Statistik: Wie sicher kann ein Ergebnis aus einer Studie auf andere Patienten übertragen werden? α Fehler = fälschliches Übertragen eines Unterschiedes aus einer Studie auf andere Patienten p-wert = Wahrscheinlichkeit [%], den α-fehler zu begehen auf Basis der vorliegenden Studienergebnisse
Idee des p-wertes p-wert = Wahrscheinlichkeit, den α-fehler zu begehen auf Basis der vorliegenden Studienergebnisse Realität Studie
Idee des p-wertes p-wert = Wahrscheinlichkeit, den α-fehler zu begehen auf Basis der vorliegenden Studienergebnisse Problem: Wann ist ein p-wert klein genug??? Konvention: willkürliche Vorgabe vor Studienbeginn bei uns : 5 % Studien mit unkritischer Versorgung 1 % Studien mit intensiver Versorgung 0.1 % Studien mit riskanter Versorgung ( Signifikanzniveau α )
Idee des p-wertes p-wert = Wahrscheinlichkeit, den α-fehler zu begehen auf Basis der vorliegenden Studienergebnisse Konvention: Vorgabe Signifikanzniveau α vor Studienbeginn damit: p-wert α Studienergebnis übertragbar p-wert > α Studienergebnis nicht übertragbar
statistische Signifikanz p-wert = Wahrscheinlichkeit, den α-fehler zu begehen auf Basis der vorliegenden Studienergebnisse Konvention: Vorgabe Signifikanzniveau α vor Studienbeginn damit: Terminus: p-wert α Studienergebnis übertragbar p-wert > α Studienergebnis nicht übertragbar p-wert α Studienergebnis signifikant p-wert > α Studienergebnis nicht signifikant
Die TonoPen-Studie Ergebnisse: mediane Abweichung um 1 mmhg p-wert = 0.003 = 0.3 % Signifikanzniveau: α = 1 % Schlussfolgerung: p = 0.3 % < 1 % = α statistisch signifikanter Unterschied
4 2 0-2 -4-6 -8-10 N = Die TonoPen-Studie 68 Abweichung TGDc - Goldmann [mmhg]
Ergebnis: Die TonoPen-Studie Zum Niveau 1 % zeigte sich ein statistisch signifikanter Unterschied zwischen den Augeninnendruckmessungen laut TonoPen und Goldmann-Tonometer (p=0.003); im Median zeigte sich eine Unterschätzung um 1 mmhg (0 3 mmhg) der Goldmann- Tonometrie durch das TonoPen.
Realität in Klinischen Studien Schritt 1: Vorgabe im Studienprotokoll zur maximal tolerablen Wahrscheinlichkeit des α-fehlers (= Festlegung des Signifikanzniveaus α) Vorgabe im Studienprotokoll zum mindestens interessierenden Therapie-Unterschied (= Festlegung klinisch relevanter Unterschiede)
Realität in Klinischen Studien Schritt 1: Vorgabe im Studienprotokoll zur maximal tolerablen Wahrscheinlichkeit des α-fehlers (= Festlegung des Signifikanzniveaus α) Vorgabe im Studienprotokoll zum mindestens interessierenden Therapie-Unterschied (= Festlegung klinisch relevanter Unterschiede) TonoPen: α = 1 % medianer Unterschied = 3 mmhg
Realität in Klinischen Studien Schritt 2: Studiendurchführung Schritt 3: Auswertung: Studienergebnis p-wert medianer / prozentualer Unterschied TonoPen: p = 0.3 % < 1 % medianer Unterschied 1 mmhg < 3 mmhg
Realität in Klinischen Studien Schritt 4: beide Entscheidungsregeln umsetzen statistische Signifikanz p-wert α statistisch signifikanter Unterschied p-wert > α kein stat. signifikanter Unterschied klinische Relevanz Untersch. Vorgabe klinisch relevanter Unterschied Untersch. < Vorgabe kein klinisch relevanter Unterschied
Realität in Klinischen Studien Schritt 4: beide Entscheidungsregeln umsetzen statistische Signifikanz p-wert α statistisch signifikanter Unterschied p-wert > α kein stat. signifikanter Unterschied klinische Relevanz Untersch. Vorgabe klinisch relevanter Unterschied Untersch. < Vorgabe kein klinisch relevanter Unterschied TonoPen: p = 0.3 % < 1 % = α statistisch signifikanter Unterschied 1 mmhg < 3 mmhg kein klinisch relevanter Unterschied
Zusammenfassung p-wert [%] α [%] p α Wahrscheinlichkeit, den α-fehler zu begehen aufgrund von Studienergebnissen willkürliche Vorgabe für maximale tolerable Wahrscheinlichkeit des α-fehlers statistisch signifikantes Studienergebnis
Zusammenfassung p-wert [%] α [%] p α Wahrscheinlichkeit, den α-fehler zu begehen aufgrund von Studienergebnissen willkürliche Vorgabe für maximale tolerable Wahrscheinlichkeit des α-fehlers statistisch signifikantes Studienergebnis CAVE: also: signifikant bedeutet statistisch gesichert statistisch signifikant klinisch relevant
Zusammenfassung p-wert [%] α [%] p α Wahrscheinlichkeit, den α-fehler zu begehen aufgrund von Studienergebnissen willkürliche Vorgabe für maximale tolerable Wahrscheinlichkeit des α-fehlers statistisch signifikantes Studienergebnis CAVE: also: signifikant bedeutet statistisch gesichert statistisch signifikant klinisch relevant Kriterien zur Prüfung von Signifikanz und Relevanz: statistische Signifikanz: p-wert klinische Relevanz: medianer / prozentualer Unterschied
Zusammenfassung Kriterien zur Prüfung von Signifikanz und Relevanz: statistische Signifikanz: klinische Relevanz: p-wert medianer / prozentualer Unterschied In Ergebnisdarstellungen immer Beides kommentieren!!! Zum Niveau 1 % zeigte sich ein statistisch signifikanter Unterschied zwischen den Augeninnendruckmessungen laut TonoPen und Goldmann-Tonometer (p=0.003); im Median zeigte sich eine Unterschätzung um 1 mmhg (0 3 mmhg) der Goldmann-Tonometrie durch das TonoPen.
Die Wurzelstift-Studie Dissertationsprojekt Dr. Caroline Neumann: Einjährige Verlustrate nach konservativer versus Wurzelkanalstift-gestützter endodontischer Versorgung
Die Wurzelstift-Studie Dissertationsprojekt Dr. Caroline Neumann: Einjährige Verlustrate nach konservativer versus Wurzelkanalstift-gestützter endodontischer Versorgung Primäre Zielgröße: Zahnverlust bis ein Jahr nach Versorgungsende [ja / nein] Patientengut: 2 x 140 Prämolaren Signifikanzniveau: α = 1 % klinisch relevanter Unterschied: 5 % Unterschied in Verlustraten
Die Wurzelstift-Studie Dissertationsprojekt Dr. Caroline Neumann: Einjährige Verlustrate nach konservativer versus Wurzelkanalstift-gestützter endodontischer Versorgung Verlust kein Verlust konservativ 6 % 94 % Stift-gestützt 13 % 87 % Unterschied zwischen Verlustraten 7 % p-wert 0.062 = 6.2 %
Die Wurzelstift-Studie Dissertationsprojekt Dr. Caroline Neumann: Einjährige Verlustrate nach konservativer versus Wurzelkanalstift-gestützter endodontischer Versorgung Zum Niveau 1 % zeigte sich kein statistisch signifikanter Unterschied zwischen den einjährigen Verlustraten nach konservativer versus Stift-gestützter Endodontie (p=0.062);
Die Wurzelstift-Studie Dissertationsprojekt Dr. Caroline Neumann: Einjährige Verlustrate nach konservativer versus Wurzelkanalstift-gestützter endodontischer Versorgung Zum Niveau 1 % zeigte sich kein statistisch signifikanter Unterschied zwischen den einjährigen Verlustraten nach konservativer versus Stift-gestützter Endodontie (p=0.062); konkret zeigten Prämolaren nach konservativer Versorgung eine einjährige Verlustrate von 6 % gegenüber 13 % nach Stiftgestützter Versorgung.
Problem der α Inflation Dissertationsprojekt Dr. Caroline Neumann: Zwei parallele Zielkriterien: a) Einjährige Verlustrate [ja / nein] nach konservativer versus Wurzelkanalstift-gestützter endodontischer Versorgung b) Dauer bis zum Verlust des Index-Zahnes [Monate]
Problem der α Inflation Dissertationsprojekt Dr. Caroline Neumann: Zwei parallele Zielkriterien: a) Einjährige Verlustrate [ja / nein] nach konservativer versus Wurzelkanalstift-gestützter endodontischer Versorgung b) Dauer bis zum Verlust des Index-Zahnes [Monate] Problem: 2 Entscheidungen, je 1% Irrtumswahrscheinlichkeit a) p 0.01 b) p 0.01 0.02 schlimmstenfalls also Gesamtaussage mit Irrtumswahrscheinlichkeit 2 % zu erwarten!
Bonferroni-Korrektur Idee: jeweils Entscheidung treffen auf Signifikanzniveau 0.5 % a) p 0.01 / 2 = 0.5 % b) p 0.01 / 2 = 0.5 % 1 % Bonferroni-Korrektur: multiple statistische Signifikanz p α / Anzahl der p-werte
Bonferroni-Korrektur Bonferroni-Korrektur: multiple statistische Signifikanz p α / Anzahl der p-werte Anwendung: many one Vergleich Placebo versus 5 Stufen Signifikanzniveau 5 % Stufe 1 p = 0.210 > 5 % Stufe 2 p = 0.175 > 5 % Stufe 3 p = 0.049 < 5 % Stufe 4 p = 0.021 < 5 % Stufe 5 p = 0.002 < 5 %
Bonferroni-Korrektur Bonferroni-Korrektur: multiple statistische Signifikanz p α / Anzahl der p-werte Anwendung: many one : 5 Vergleiche Signifikanz bei p α / 5 = 1 % Stufe 1 p = 0.210 Stufe 2 p = 0.175 Stufe 3 p = 0.049 Stufe 4 p = 0.021 Stufe 5 p = 0.002
Bonferroni-Korrektur Bonferroni-Korrektur: multiple statistische Signifikanz p α / Anzahl der p-werte Anwendung: many one : 5 Vergleiche p α / 5 = 1 % Stufe 1 p = 0.210 > 1 % Stufe 2 p = 0.175 > 1 % Stufe 3 p = 0.049 > 1 % Stufe 4 p = 0.021 > 1 % Stufe 5 p = 0.002 < 1 %
Bonferroni-Korrektur Bonferroni-Korrektur: multiple statistische Signifikanz p α / Anzahl der p-werte Anwendung: many one : 5 Vergleiche Placebo versus 5 Stufen: p α / 5 = 1 % Ab Dosisstufe 5 zeigt sich ein zum multiplen Signifikanzniveau 5 % signifikanter Unterschied gegenüber Placebo.
Bonferroni-Korrektur Bonferroni-Korrektur: multiple statistische Signifikanz p α / Anzahl der p-werte Anwendungen: many one Vergleiche parallele primäre Endpunkte Zwischenauswertung von Studien Beste Alternative: eine klare Fragestellung ein klarer primärer Endpunkt pro Studie nur einen p-wert!!!
Zusammenfassung p-wert [%] α [%] p α Wahrscheinlichkeit, den α-fehler zu begehen aufgrund von Studienergebnissen willkürliche Vorgabe für maximale tolerable Wahrscheinlichkeit des α-fehlers statistisch signifikantes Studienergebnis signifikant = statistisch gesichert statistisch signifikant klinisch relevant keine unnötigen primären Endpunkte oder Studienarme