Statistics around the Matterhorn

Transkript

1 Statistics around the Matterhorn Onkologie: Statistics around the Matterhorn. Statistik & Fälle für Menschen, die sich garantiert noch nie für Statistik interessiert haben. Jörg Beyer, Klinik für Onkologie USZ

2 Hans Gösta Rosling * 27. Juli 1948 in Uppsala, Schweden; 7. Februar 2017 ebenda

3 Was wird geboten? Wieso Zahlen & Fakten unterhaltsam sein können Wieso wir Studien brauchen Häufige Irrtümer (Random Error, Confounder, Bias) Und wo bitte geht s zum Bahnhof Rentiert sich das überhaupt

4 Einzelbeobachtungen sind meist problematisch "Ich trage seit 3 Monaten bunte Steine mit mir herum. Seither habe ich keine Erkältung mehr bekommen

5 Einzelbeobachtungen sind meist problematisch. Ich mache jetzt regelmäßig Yoga. Seither habe ich keine Erkältung mehr bekommen

6 Einzelbeobachtungen sind meist problematisch. Ich nehme jetzt jeden Winter Echinacin. Seither habe ich keine Erkältung mehr bekommen

7 die letzten 5 Fälle, die ich gesehen habe.

8 Gruppe 1: Durchschnitt = 1,4 Gruppe 2: Durchschnitt = 9,2

9 Gruppe 1: Durchschnitt = 5,4 Gruppe 2: Durchschnitt = 5,9

10 Studien sind notwendig, wenn Behandlungseffekte relativ klein, aber klinisch relevant sind.

11 Hierarchie der Evidenz Meta-Analyse Randomisierte kontrollierte Studie Randomisierte Beobachtungsstudie Nicht-kontrollierte Beobachtungsstudie Expertenmeinung

12 Das Messen von Effekten Statistische Tests untersuchen, ob ein Behandlungseffekt allein durch Zufall entstanden sein könnte.

13 Fehler 1. Art Wir glauben, dass eine Behandlung wirkt, obwohl sie eigentlich keine Wirksamkeit besitzt (falsch positiv). Wird durch P (Probability)-Wert beschrieben P = 0,05: die Wahrscheinlichkeit eines Fehlers der 1. Art ist 5% Interpretation: 5% der Studien hätten allein per Zufall ein gleiches oder noch extremeres Ergebnis gezeigt.

14 Fehler 2. Art Wir glauben, dass eine Behandlung nicht wirkt, obwohl sie eigentlich Wirksamkeit besitzt (falsch negativ). Power der Studie Power = 0,8: die Wahrscheinlichkeit eines Fehlers der 2. Art ist 20% Interpretation: 20% der Studien sind negativ, obwohl tatsächlich ein Unterschied vorliegt.

15 Power einer Studie Abhängig von: 1. Größe des Effektes 2. Stichprobengröße 3. Varianz (Streuung) der Messwerte

16 Zufälliger Messfehler (random error) Zufallsvariabilität führt zu fehlender Präzision der Ergebnisse Kann nur durch Studiengröße eingedämmt werden

17 Quelle: Internet

18 Interessiert Sie das Thema überhaupt? Die Studien die ich wirklich benötige Alle Studien

19 Statistisch signifikante Resultate (positive Studien) sind nicht immer klinisch relevant. Statistisch nicht-signifikante Resultate (negative Studien) sind manchmal klinisch sehr relevant.

20 3 Gründe warum Studienresultate falsch sein können Zufall (Random Error) Confounding (Störfaktoren) Bias (Verzerrungen)

21 Confounder Endlich wurde erkannt: Die Streichhölzer machen Lungenkrebs nicht die Zigaretten

22 Confounding Personen die Streichhölzer bei sich tragen Personen ohne Streichhölzer Erhöhtes Risiko für Lungenkarzinom

23 Confounding Personen die Streichhölzer bei sich tragen CONFOUNDER: RAUCHEN Personen ohne Streichhölzer Erhöhtes Risiko für Lungenkarzinom

24 Confounding (Störfaktoren) Ein Confounder (Störfaktor) steht sowohl mit dem Risikofaktor wie auch dem Endpunkt in Beziehung. Confounding bedeutet, dass der Zusammenhang zwischen einem Risikofaktor und dem Endpunkt (Ereignis) teilweise oder zur Gänze durch den Confounder zu erklären ist - Alter - Körperliche Leistungsfähigkeit (ECCOG) - Komorbiditäten - Stadium der Erkrankung - Risikogruppen (Geschlecht, Ethnische Zugehörigkeit etc.)

25 Confounder Bekannte Confounder kann man statistisch kontrollieren PROBLEM: UNBEKANNTE CONFOUNDER LÖSUNG: RANDOMISIERUNG

26 Bias (Verzerrungen) Ist die Tendenz durch fehlerhafte Ausführung von Studien systematisch von den wahren Ergebnissen abzuweichen. Selektions Bias Observer Bias Attrition Bias ("drop out") Measurement Bias Publikations Bias und viele andere...

27 Mind the gap... 1 = Alle Patienten einer Entität 1

28 Mind the gap... 1 = Alle Patienten einer Entität 2 = Patienten ohne Komorbiditäten 1 2

29 Mind the gap... 1 = Alle Patienten einer Entität 2 = Patienten ohne Komorbiditäten 3 = Studienpatienten 1 2 3

30 Mind the gap... 1 = Alle Patienten einer Entität 2 = Patienten ohne Komorbiditäten 3 = Studienpatienten 4 = Patienten in Zulassungsstudien

31 Mind the gap... 1 = Alle Patienten einer Entität 2 = Patienten ohne Komorbiditäten 3 = Studienpatienten 4 = Patienten in Zulassungsstudien 5 = Ihr Patient

32

33

34 Publication Bias

35 Wurden tatsächlich Patienten-relevante Endpunkte untersucht? Langzeitüberleben / Heilungen Lebenszeitverlängerung Verbesserung der Lebensqualität Surrogatparameter: - Rückgang Tumormarker? - Klinisches Ansprechen? - Erreichen einer Remission? - Zeit bis irgendeinem Ereignis? - Progressionsfreies Überleben?

36

37 Wurden tatsächlich Patienten-relevante Endpunkte untersucht? Überleben/Tod Kein Krankheitsprogress Symptomkontrolle/Lebensqualität Verträglichkeit/Nebenwirkungen einer Therapie

38

39 Überleben/Tod Pro eindeutig relevant

40 Überleben/Tod Contra ziemlich irreversibel

41 Überleben/Tod Contra ziemlich irreversibel meist ein bisschen zu spät

42

43

44 Contra Überleben ziemlich irreversibel meist ein bisschen zu spät sehr anfällig für Interferenzen

45

46 Contra Überleben ziemlich irreversibel meist ein bisschen spät sehr anfällig für Interferenzen manchmal eben dann doch nicht mehr so wichtig

47

48 PFS, DFS, TTP, EFS Kein Krebsprogress Progression-free Survival Disease-free Survival Time-to-Progression Event-free Survival

49 PFS, DFS, TTP, EFS Pro mit dem Überleben korreliert Ereignisse treten früh auf

50 Hazard function for progression-free survival according to prognostic category (validation set plus patients with seminoma). The International Prognostic Factors Study Group JCO 2010;28:

51

52 PFS, DFS, TTP, EFS Pro Ereignisse treten früh auf mit dem Überleben korreliert keine Interferenz mit Cross-over keine Interferenz mit folgenden Therapien

53 PFS, DFS, TTP, EFS Con Progress nie eindeutig messbar Messung des Progess anfällig für Untersucher Bias

54 PFS, DFS, TTP, EFS Con Probleme bei der Messung selbst Progress zwischen zwei Messpunkten Dropouts & ungleiches Follow-up Spättodesfällen

55 Häufige Endpunkte klinischer Studien Endpunkt Definition Kommentar Overall Survival Studieneinschluss bis zum Tod jedweder Ursache Lange Nachbeobachtung; Interferenz mit Crossing-over & nachfolgenden Therapien Progression-free Survival Studieneinschluss bis zur Progression oder bis zum Tod Mit Overall Survival korreliert, aber früher zu erfassen. Progressdefinition schwierig. Disease-free Survival Studieneinschluss bis zum Rezidiv oder bis zum Tod Wie PFS typischerweise benutzt in Studien zur adjuvanten Therapie Time-to- Progression Zeit vom Studieneinschluss bis zur Progression Tod nicht als Endpunkt enthalten.

56 Wie groß ist der tatsächliche Nutzen?

57 So klein Ich seh da gar nix! Bin mir da nicht sicher Nö, mindestens so groß

58 Jahrestagung 2012 der Deutschen, Österreichischen und Schweizerischen Gesellschaften für Hämatol/Onkologie Unterschied: Wirkung / Wirksamkeit / Nutzen Wirkung Beschreibung unter idealtypischen Bedingungen Wirksamkeit Beschreibung von Effekten unter Alltagsbedingungen Nutzen Bewertung von Effekten unter Alltagsbedingungen F. Porscholt, Ulm

59 Wie groß ist der tatsächliche Nutzen? Steht der Nutzen in einem vernünftigen Verhältnis zu den Nebenwirkungen und Kosten?

60 Medical value = benefit costs

61