Täuschung und Manipulation mit Zahlen Teil 2

Transkript

1 58. Ärztekongress Berlin/Charité Täuschung und Manipulation mit Zahlen Teil 2 Kleines Statistikseminar zum kritischen Umgang mit Zahlen Dr. med. H.-J. Koubenec Mammasprechstunde im Immanuel Krankenhaus Berlin Folien: Mammographie-Screening.de unter der Überschrift Fachwissen zum Thema

2 58. Ärztekongress Berlin/Charité Täuschung und Manipulation mit Zahlen Teil 2 Kleines Statistikseminar zum kritischen Umgang mit Zahlen Dr. med. H.-J. Koubenec Mammasprechstunde im Immanuel Krankenhaus Berlin Folien: Mammographie-Screening.de unter der Überschrift Fachwissen zum Thema

3 Einflüsse auf das Verschreibungsverhalten Die Anwendung diagnostischer Verfahren und der Einsatz von Heilmitteln sollte auf guten und unabhängigen Informationen beruhen, der so genannten evidenzbasierten-medizin. Der Goldstandard hierfür ist die randomisierte, kontrollierte Studie (RCT). Die Signifikanz von Ergebnissen, der p-wert ist der Fetisch von Studien. Wer mit Zahlen umgehen kann, kann mit Zahlen informieren, aber auch spielen und täuschen. Die Industrie nutzt für ihre Werbung geschickt die EBM. Der folgende Teil soll mit Einflussmöglichkeiten auf Studien und deren Ergebnisse vertraut machen, die Irrtumswahrscheinlichkeit des p-wertes erklären und auf die Unterschiede absoluter und relativer Prozent- Angaben hinweisen.

4 Themen aus dem Rollenspiel Neues Medikament Signifikanz Probandenzahl Cholesterin-Senkung RRR versus ARR Nebenwirkungen NNT Effektstärke Lebensqualität Auftraggeber Ist die Studie publiziert worden?

5 Themen aus dem Rollenspiel Neues Medikament: Ungenügende Prüfung in Phase 4 Vertreter versteht nicht, wovon er statistisch redet: Signifikanz 0,5 ist nicht signifikant! Was bedeutet der p-wert (Signifikanz-Niveau)? Der p-wert ist die Wahrscheinlichkeit, dass die Studie zufällig ein positives Ergebnis zeigt, obwohl die untersuchten Behandlungen sich in Wirklichkeit nicht unterscheiden.

6 Ist der p-wert = Irrtums-Wahrscheinlichkeit? Neues Medikament: Ungenügende Prüfung in Phase 4 Vertreter versteht nicht, wovon er statistisch redet: Signifikanz 0,5 ist nicht signifikant! Was bedeutet der p-wert (Signifikanz-Niveau)? Der p-wert ist die Wahrscheinlichkeit, dass die Studie zufällig ein positives Ergebnis zeigt, obwohl die untersuchten Behandlungen sich in Wirklichkeit nicht unterscheiden. Und was ist die Irrtums-Wahrscheinlichkeit?

7 Ist der p-wert = Irrtums-Wahrscheinlichkeit? Der Anteil falscher Ergebnisse an allen Testergebnissen Die Signifikanz täuscht eine Sicherheit des Ergebnisses vor, die so nicht existiert. Für alle guten und sehr guten Studien, die auf dem 5-Prozent-Niveau signifikant sind und mit denen wir unser therapeutisches Tun begründen, gilt, dass die Wahrscheinlichkeit, dass es sich um ein Zufallsergebnis handelt, nicht bei fünf Prozent, sondern irgendwo zwischen zehn Prozent (sehr selten) und 40 Prozent (häufig) liegt. Deutsches Ärzteblatt Jg. 101 Heft März 2004, A 837

8 Themen aus dem Rollenspiel Neues Medikament: Ungenügende Prüfung in Phase 4 Vertreter versteht nicht, wovon er statistisch redet: Signifikanz 0,5 ist nicht signifikant! Zu hohe Probandenzahl: kleine Unterschiede werden signifikant! Surrogatsparameter: Parameter ohne klinische Relevanz z.b. Cholesterin-Senkung RRR versus ARR: bei ARR Zeitfaktor, Patientenzahl

9 Themen aus dem Rollenspiel NNT (number needed to treat) schwere Nebenwirkungen: zum Beispiel Impotenz Effektstärke Lebensqualität Auftraggeber: wer hat Studie organisiert, wer bezahlt? Ist die Studie publiziert worden?

10 Warum Studie mit neuen Medikamenten? Zulassungs-Studien: Hersteller beantragen Zulassung Voraussetzung: Wirksamkeit für eine Indikation (gegenüber Placebo) Keine Voraussetzung: Nutzen-Nachweis (besser als vorhandene Therapie)

11 Beeinflussung von Studienergebnissen A) Manipulation der Studie selbst B) Darstellung und Kommunikation der Ergebnisse C) Zwang zur Weiterverordnung D ) Bewertung des Nutzens

12 Beeinflussung von Studienergebnissen A) Manipulation der Studie selbst B) Darstellung und Kommunikation der Ergebnisse C) Verordnungsbias D ) Bewertung des Nutzens

13 Fälschung von Studien :55 Uhr Wissenschaft: Skandal um Fälschungen Der Madoff der Medizin Er galt als Koryphäe der Schmerzmedizin. Doch jetzt hat sich herausgestellt, dass der bekannte US-Anästhesist Scott Reuben so redlich war wie der Finanzakrobat Bernie Madoff mit seinem Schneeballsystem: Der Wissenschaftler hat über 13 Jahre hinweg Studien schlicht erfunden. Von Hanno Charisius Der Amerikaner Scott Reuben galt als Koryphäe der Schmerzmedizin, 70 Fachartikel hat er publiziert. Noch vor kurzem hätten ihn viele Kollegen als einen der Einflussreichsten ihres Fachs genannt. Jetzt hat sich gezeigt, dass Reuben die Ergebnisse von mindestens 21 seiner Studien frei erfunden hat.

14 Verfälschung von Studienergebnissen Deutsches Ärzteblatt Jg. 107 (38), 24. September 2010, A 1804

15 Verfälschung von Studienergebnissen Deutsches Ärzteblatt Jg. 107 (38), 24. September 2010, A 1804

16 Verfälschung von Studienergebnissen Deutsches Ärzteblatt Jg. 107 (16), 23. April 2010, A 279

17 Verfälschung von Studienergebnissen Deutsches Ärzteblatt Jg. 107 (16), 23. April 2010, A 279

18 Manipulation von Studien durch Design z.b. Unterdosierung der Kontrollgruppe Zu viele Probanden machen auch kleine Unterschiede signifikant! Testung versus Placebo, obwohl Vergleichsmedikamente verfügbar sind Testung von Surrogatsparameter, obwohl klinischer Endpunkt möglich Unterdosierung bei Testung auf Nebenwirkungen Seeding Trials als Marketinginstrument

19 Seeding Trials Marketingstudien Testung nicht in Studienzentren sondern bei 600 niedergelassenen Ärzten als lokale Meinungsbildner Folie ohne überlagernde Textfelder Entwurf der Studie durch Marketingabteilung der Firma Merck Veröffentlichung: Annals of Internal Medicine. (2003; 139: ). Ethikkommission und Teilnehmer wurden nicht über das Ziel der Studie informiert Betrogen wurden: Patienten, Ärzte, die Zeitschrift, und Mitbewerber, und Patienten gefährdet

20 Seeding Trials Marketingstudien Testung nicht in Studienzentren sondern bei 600 niedergelassenen Ärzten als lokale Meinungsbildner Entwurf Merck der hat Studie in einer durch eigenen Marketingabteilung Studie bestätigt, dass der diese Firma Studie Merckdas Verschreibungsverhalten der Veröffentlichung: teilnehmenden Annals Ärzte maßgeblich of Internal Medicine. beeinflusst hat (2003; 139: ). Ethikkommission und Teilnehmer wurden Vioxx wurde wegen schwerer Nebenwirkungen nicht über das Ziel der Studie informiert inzwischen vom Markt genommen. Merck hat Betrogen Millionen wurden: an Schadensersatz geleistet Patienten, Ärzte, die Zeitschrift, und Mitbewerber, und Patienten gefährdet

21 Manipulation von Studien durch Rekrutierung Unsaubere Randomisierung SSRI nur schwere Depressionen

22 Manipulation von Studien durch mehrfache Endpunkte Gezielte Auswahl der Endpunkte Veränderung der Haupt-Nebenendpunkte Verwendung unwichtiger Endpunkte Weglassen ungünstiger Endpunkte Intransparente spätere Änderung Endpunkte post hoc-analyse: z.b. Subgruppen Multiple Testing: viele Signifikanzen

23 Manipulation von Studien durch Surrogatparameter als Endpunkte Was ist ein Surrogatparameter? Ersatzparameter, ohne klinische Relevanz. z.b. Laborwert, Röntgen-Diagnose, EKG, Histologie, Temperatur (Fieber) Voraussetzung für die Verwendung von Surrogatparametern: statistisch signifikanter, kausaler Zusammenhang mit medizinischem Phänomen (Krankheit, Symptome).

24 Manipulation von Studien durch Bias-Probleme Was ist ein Bias? Verzerrung durch zufälliges Zusammentreffen von Parametern, ohne kausale Beziehung zueinander Die Brustkrebs-Mortalität von Raucherinnen ist geringer als die von Nichtraucherinnen Die Hormoneinnahme nach den Wechseljahren erhöht die Brustkrebs-Sterblichkeit Die Hormoneinnahme nach den Wechseljahren verlängert das Leben

25 Manipulation von Studien durch Studiendauer

26 Kaplan-Meier-Kurve Bsp. Cholesterinsenker Kurven kreuzen sich

27 Beeinflussung von Studienergebnissen A) Manipulation der Studie selbst B) Darstellung und Kommunikation der Ergebnisse C) Verordnungsbias D ) Bewertung des Nutzens

28 Effektstärke Medikament Die Effektstärke wird meist als Nutzen bzgl. Überleben angegeben. Anwendung Entdeckung Kosten in (Patient/Jahr) bzw. Behandlung Nutzen (Überleben) Insulin Typ 1 Diabetes Jahrzehnte Lipidsenker Kardiologie Jahre Erbitux R Darmkrebs ,2 Monate Avastin R Lungenkrebs Monate Herceptin R Brustkrebs Monate Enzymtherapie Stoffwechsel ???

29 Die Relative Risikoreduktion (RRR, engl.: relative risk reduction) beschreibt, um wieviel Prozent das Risiko durch eine Intervention verringert wird. Eine Änderung der Mortalität von 2% auf 1,6% ist eine Änderung des Relativen Risikos um 20% (in diesem Falle Reduktion), d.h. Senkung der Sterblichkeit um 20%. Eine Verdoppelung eines Ereignisses ist eine Erhöhung um 100%.

30 Die Relative Risikoreduktion (RRR, engl.: relative risk reduction) Damit kann ich nichts anfangen Relativ-20% Was bedeutet das in der Praxis?

31 Die Relative Risikoreduktion Bzw. die Relative Risikoerhöhung

32 Die Relative Risikoreduktion Bzw. die Relative Risikoerhöhung 1995 hatte das englische Komitee für Sicherheit in der Medizin einer Warnung veröffentlicht, dass Pillen der dritten Generation das Risiko für lebensbedrohliche Thrombosen in den Beinen oder der Lunge verdoppeln - das sind 100 %. Die Nachricht verursachte große Angst und Schrecken, so dass die Frauen die Pille nicht mehr einnahmen, was zu unerwünschten Schwangerschaften und Abbrüchen führte. (Fureli 1999) Qu: Gigerenzer 2008

33 Die Relative Risikoreduktion Bzw. die Relative Risikoerhöhung Was sind diese 100 %? Die Studien hatten gezeigt, dass von 7000 Frauen, die die frühere Pille einnahmen eine eine Thrombose hatte, diese Anzahl hat sich verdoppelt bei den Frauen die die neue Pille nahmen. Die absolute Risikoerhöhung war nur eine von 7000, während der relativen Anstieg 100 % betrug. Die Pillen-Narbe führte zu geschätzten zusätzlichen Abbrüchen! Vorher war die Anzahl seit 1990 stetig gefallen. Für jeden Abbruch wurde eine zusätzliche Schwangerschaft ausgetragen, vorwiegend bei Teenagern unter 16 Jahren. Die resultierenden Kosten für die Abbrüche wurden damals auf circa geschätzt. Ironischerweise führten die Schwangerschaften und die Abbrüche zu einem erhöhten Risiko von Thrombosen, was wesentlich größer war als das der Pille der dritten Generation.

34 Die Relative Risikoreduktion (RRR, engl.: relative risk reduction) Was uns fehlt ist die praktische Bedeutung einschätzen zu können, analog zur Effektstärke: z.b. ARR, NNT/NNS Kommunikation in natürlichen Häufigkeiten

35 Die Absolute Risikoreduktion (ARR, en: absolute risk reduction) bezeichnet das absolute Ändern eines Ereignisses durch eine Intervention bzw. Behandlung oder auch durch ein Verhalten bezogen auf alle Untersuchten. Eine Änderung der Mortalität von 2 % auf 1,6 % ist eine Änderung des Absoluten Risikos um 0,4 % (in diesem Falle ARR) Die ARR muss in Beziehung gesetzt werden zur Anzahl der untersuchten bzw. behandelten (Kranken) und zur Zeit (Therapie-/Untersuchugsdauer) Beispiel pill-scare: Erhöhung des absoluten Risikos von 1 auf 2 Thrombosen pro 7000 Frauen pro Jahr.

36 Senkung der Sterblichkeit an Brustkrebs durch Mammographie-Screening ohne Screening 1000 mit Screening 4 In 10 Jahren sterben 3 Senkung der Sterblichkeit 1 Pro?

37 Senkung der Sterblichkeit an Brustkrebs durch Mammographie-Screening Absolute Risikoreduktion Absolut-% 0,1% 1000 Relative Risikoreduktion Relativ-% 25% 4 3 Senkung der Sterblichkeit 1 Pro?

38 Die Art der Darstellung von Zahlen bestimmt deren Wirkung auf uns Soll der Nutzen herausgestellt werden, benutzt man die Relative Risikoreduktion Relativ-% 25% Soll ein Wert als klein herausgestellt werden, benutzt man die Absolute Risikoreduktion Absolut-% 0,1% Welche Darstellung ist für die Entscheidung des Patienten die relevante?

39 Die Art der Darstellung von Zahlen bestimmt deren Wirkung auf uns Lässt uns den Nutzen überschätzen Relative Risikoreduktion Relativ-% 25% Gibt s den Nutzen realistisch an Absolute Risikoreduktion Absolut-% 0,1% Die Absolute Risikoreduktion wird ergänzt durch die Zeit der Intervention.

40 NNT NNS (number needed to treat/screen) NNH (number needet to harm) Die NNT ist Anzahl der notwendigen Behandlungen Sie gibt an, wie viele Patienten pro Zeiteinheit (z. B. 1 Jahr) mit der Testsubstanz oder Testmethode behandelt werden müssen, um das gewünschte Therapieziel bei einem Patienten zu erreichen bzw. um ein Ereignis (z. B. Herzinfarkt) zu verhindern. NNH (Pillen-Beispiel): 7000, d.h. es müssen 7000 Frauen ein Jahr lang behandelt werden, damit eine Thrombose auftritt.

41 RRR vs. ARR/NNT: wie wird publiziert? In circa der Hälfte der Studien wird nur die RRR publiziert. In der anderen der Hälfte wird entweder die ARR oder die NNT publiziert.

42 Zusammenfassung was ist eine gute Studie Wurden die Kriterien der Randomisierung, Verblindung und eines vorab definierten Designs erfüllt? Gab es eine Vergleichsgruppe und wie kam diese zustande? Wurde der Erfolg einer Therapie oder eines Diagnoseverfahrens anhand vorher definierter Kriterien bewertet?

43 Zusammenfassung was ist eine gute Studie Wie viele Teilnehmer/innen haben die Studie abgebrochen und wie wurden diese bei der Datenanalyse berücksichtigt? Ist klar beschrieben, für welche Patient/innen die Studienergebnisse überhaupt gültig sind? Wurde die Studie vor der Durchführung von einer unabhängigen Ethikkommission begutachtet?

44 Zusammenfassung und Tipps Zahlen sind wichtig in der Medizin, mit ihnen kann man informieren, spielen aber auch täuschen. Die EBM wird oft missbraucht. Betrachten Sie Studienergebnisse mit der nötigen Skepsis. Studien werden oft manipuliert: z.b. durch Design, Rekrutierung, mehrfache, intransparente Endpunkte, Surrogatparameter und Bias. Studien, die von Anbietern finanziert werden kommen signifikant häufiger zu verzerrten Ergebnissen.

45 Zusammenfassung und Tipps Meiden sie Informationen von Anbietern, mehr als 50 % zitierter Studienergebnisse sind falsch. Achten Sie bei Studienergebnissen auf die Angabe von ARR/NNT und die Effektstärke. Lassen sie sich nicht täuschen durch Angabe von RRR. Es gibt zahlreiche unabhängige Informationsquellen über rationale Arzneimittel-Therapie, nutzen Sie diese!

46 Unabhängige Informationsquellen

47 Arzneimittelkommission der deutschen Ärzteschaft Wissenschaftlicher Fachausschuss der Bundesärztekammer Je Circa 49

48 Arzneimittelkommission der deutschen Ärzteschaft Wissenschaftlicher Fachausschuss der Bundesärztekammer Alle Ausgaben sind kostenlos im.pdf-format herunterladbar: Arzneimittelkommission d. d. Ä.

49 Zusammenfassung und Tipps Beschäftigen sie sich weiterhin mit statistischem Basiswissen. Das wird ihnen helfen, in Diagnostik und Therapie evidenzbasiert zu (be-)handeln. Achten Sie auf ausführliche Angabe von Interessenkonflikten von Autoren.

50 Zusammenfassung und Tipps Auch im privaten Handeln - siehe Autonutzung nach dem 11.September - kann die Kenntnis statistischer Zusammenhänge hilfreich sein. Im Extremfall lebensrettend. Ich bedanke mich fürs Mitmachen! ;-))