Transkript des Vortrags: Bewertung klinischer Relevanz - zwischen 0.2 und ärztlichem Urteil

Transkript

1 IQWiG-Herbst-Symposium 2011 Transkript des Vortrags: Bewertung klinischer Relevanz - zwischen 0.2 und ärztlichem Urteil Referent: Prof. Dr. Meinhard Kieser Datum des Vortrags: , 13:45 bis 14:15 Uhr Text des Vortrags: Ja, herzlichen Dank, Herr Wormer, für die nette und freundliche Einführung, vielen Dank für die Einladung. Freut mich sehr, dass ich Ihnen heute was vorstellen kann, aus meiner Sicht des Biometrikers, etwas zum Thema "Bewertung klinischer Relevanz" und vielen Dank für das große Interesse an der Veranstaltung und am Vortrag. Das Programm des Vortrags: Nach einer kurzen Einführung, in der ich auch ein bisschen was zum Titel sagen werde, das heißt tatsächlich "0.2" - was damit gemeint ist, kommt gleich. Im Vortrag selbst werde ich dann versuchen Ihnen auf diese Fragen Antworten zu geben: Nämlich, das ist die Basis allen, was ist eigentlich klinische Relevanz? Worin liegt das Problem? Und das wollen wir natürlich nicht so stehen lassen, sondern wir wollen Lösungen anbieten. Dazu werde ich Ihnen Methoden vorstellen, die derzeit im Gebrauch sind. Auch einen neuen, alternativen Vorschlag, den wir erarbeitet haben in Heidelberg, um die Bewertung klinischer Relevanz vorzunehmen. Die ganz entscheidende Frage ist, wenn man diese Methoden anwendet, dann einen Bewertungsmaßstab herzunehmen, um zu entscheiden, ob ein Effekt klinisch relevant ist oder nicht. Ich werde aber nicht nur die Methoden und die Bewertungsmaßstäbe vorstellen, sondern am Ende auch versuchen einen Ratschlag und eine Bewertung aus meiner Sicht zu geben, wie ein solches Vorgehen idealtypisch aussehen könnte. Ein paar Sachverhalte werde ich an diesem Beispiel zu erläutern versuchen, es geht um die Indikation Multiple Sklerose. Die Substanz Fingolimod ist in zahlreichen Studien untersucht worden, das ist eine Publikation in der verschiedene Dosierungen untersucht worden sind im Vergleich zu Placebo. Üblicher Endpunkt der in solchen "Multiple Sklerose"-Studien verwendet wird, ist die "Expanded Disability Status Scale" (EDSS) und das Ergebnis sehen Sie hier, angegeben in Mittelwert und Standardabweichung: Eine Verschlechterung unter Placebo um 0.13 Punkte auf dieser Skala und bei der aktiven Substanz eine Verbesserung um Jetzt könnte man fragen: Ist dieser Effekt klinisch relevant? Und was mit "Methode 0.2" gemeint ist, ist: Ein Protagonist, der behauptet oder denkt "ja es geht mit einer Regel, damit kann man das leicht beantworten", wie würde der rangehen? Der würde vielleicht mal im Internet gucken, was gibt es denn so unter "effect size"? Es gibt sogar einen "Effect Size Calculator". Da geht er rein und sieht: "Rechne mir Cohen's d aus", das ist offensichtlich ein Effektmaß. Dann muss ich hier nur, wie es hier steht, indem man die Mittelwerte und Standardabweichung eingibt... Das tut er dann hier, dann muss er auf "Compute" drücken, dann sieht er Cohen's d = Und im Internet um die Ecke findet er auch schon einen Ratschlag, wie das zu bewerten ist. Nämlich unter dieser Addresse steht, dass Cohen folgende Interpretation vorschlägt: Es fängt an mit 0.2, ein kleiner Effekt. Wir haben 0.175, das liegt darunter. Damit ist es gelaufen und möglicherweise (?!) ist der Effekt damit bereits als klinisch nicht relevant identifiziert. Das ist so der eine Pol des Ansatzes, die "0.2". Der andere Pol, den gibt es auch, der geht vielleicht so als Zitat: "Anhänger der evidenzbasierten Medizin versuchen aus angeblich allgemeingültigen Erkenntnissen Aussagen über die Therapie im Einzelfall abzuleiten". Und

2 dieser Ansatz geht eben genau nicht von diesem Wissen über allgemeine Zusammenhänge aus, die dann zurechtgestutzt werden, sondern er setzt beim Patienten an, lässt sich also auf keine Regel ein. Das soll im Titel ausgedrückt worden sein. Die beiden Pole, und ich werde versuchen, zu zeigen, wo wir uns zwischen diesen Polen bewegen und wo vielleicht ein vernünftiger Mittelweg zustande kommt. Das ich keinen dieser beiden Extremwege vorschlagen werde, sei jetzt schon verraten, aber es wird Sie auch nicht überraschen. Ja was ist eigentlich klinisch relevant? Es gibt zahllose Definitionen, ich habe mal ein paar herausgepickt. Die erste, die hier oben steht, die ist in der "Encyclopedia of Biostatistics" von Friedman gegeben. Im englischsprachigen Raum wird klinische Relevanz auch häufig mit "clinical significance" übersetzt, wie es hier der Fall ist, und frei übersetzt bedeutet das......statistische Signifikanz bedeutet, es existiert überhaupt irgendein Effekt und die klinische Signifikanz macht dann Aussagen über die medizinische Wichtigkeit eines solchen Befunds und da steht schon das Problem: die beiden stimmen häufig überein aber nicht immer. Und das ist deswegen ein Problem, weil es ein ausgefeiltes und international und in Fachkreisen anerkanntes Methodenspektrum für die Untersuchung der statistischen Signifikanz gibt. Aber wie zu Recht in dem IQWiG Methodenpapier steht, das - leider Gottes - für die Bewertung klinischer Relevanz nicht gilt. Das ist also das eine Problemfeld, das ich nachher beackern wollte, nämlich welche Methoden gibt es denn? Auch wenn es offensichtlich nicht "die" Methode gibt und zwei weitere Definitionen, die einen weiteren Problemkreis berühren. Die obere aus Wikipedia, "practical clinical significance" wird hier "klinische Relevanz" übersetzt, und gibt Aussagen darüber, wie effektiv eine Intervention, eine Behandlung ist und wird zusammengefasst in Metriken, wie z.b. die Effektstärke. Was da zum Ausdruck gebracht wird ist, dass Aussagen über Therapien und damit über Patientenpopulationen getroffen werden, wohingegen die untere Aussage, in einem Paper von Jacobson und Truax aus der psychotherapeutischen Ecke, die klinische Relevanz so definiert, dass es Aussagen darüber macht, wie stark jemand außerhalb oder in den Bereich eines gesunden oder kranken Zustandes bewegt wird. Also es gibt zwei Verständnisse von klinischer Relevanz: Einmal auf der Populationsebene für die gesamte Patientenpopulation und einmal auf der individuellen Ebene. Und die Vermischung dieser beiden sorgt häufig für zusätzliche Schwierigkeiten im Umgang und der Interpretation dieses Begriffes und deswegen nochmal auf den Punkt: die beiden Begriffe, für wen klinisch relevant, zwei Möglichkeiten: Patientenpopulation - im Falle der Multiplen Sklerose wäre das, bei der Studie sowas wie Aussagen zu machen über die mittlere Verbesserung in den beiden Therapiegruppen und diese dann auf Relevanz zu überprüfen - oder für den individuellen Patienten, wo in dieser Publikation auch drinsteht, dass für den einzelnen Patienten eine Progression der Einschränkung vorliegt bei einer Verschlechterung des Scores um 0.5 Punkte bzw. einen Punkt je nach Ausgangswert. Diese beiden Interpretationsmöglichkeiten wollen wir im Weiteren im Auge behalten, wenn wir die Methoden betrachten, die ich Ihnen jetzt vorstellen werde, welche der beiden Varianten oder gar beide jeweils adressiert werden, wenn man die klinische Relevanz mit ihnen zu bewerten sucht. Ich möchte beginnen, bei der Vorstellung der Methoden mit einem Vorschlag, den mein Vorgänger im Amt, Herr Professor Victor, der dieses Jahr leider verstorben ist, kurz nach seinem siebzigsten Geburtstag, er hat dann 1987 einen bahnbrechenden Vorschlag gemacht. Er hat vorgeschlagen, beim Signifikanztest nicht den Effekt gegen Null zu testen, sondern gegen ein klinisch relevantes Delta zu testen, so dass der Signifikanztest einem schon Aussagen über die Relevanz gibt. Damit hätte man diesen Widerspruch, der noch in diesem Beitrag von Friedman eben, aus der Enzyklopädie von Biostatistik, hätte man aufgelöst, weil damit mit Signifikanz gleich die Relevanz auch bewiesen wäre. Das ist auch

3 in eine Guideline implementiert worden in der Guideline, der Prüfrichtlinie für Studien in der Indikation periphere arterielle Durchblutungsstörungen wurde propagiert, nicht mehr gegen einen Nulleffekt zu testen, sondern gegen einen klinisch relevanten Unterschied. Der große Nachteil liegt darin, und das ist auch der Grund, warum dieses Verfahren keine breite Anwendung gefunden hat und außer in dieser Guideline in keiner weiteren letztlich empfohlen worden ist, liegt darin, dass damit eine erhebliche Erhöhung der Fallzahl verbunden wäre gegenüber dem üblichen Vorgehen des Tests gegen Null. Also das geht um den Faktor 4 bis 5 höher. Studien, die Hundert Patienten pro Gruppe beim Signifikanztest gegen Null bedürfen, wären dann Studien mit einer sehr viel höheren Dimension. 400 bis 500 Patienten pro Gruppe, das ist schwer durchführbar. Ein Nachteil, der weiterhin in diesem Ansatz aus meiner Sicht liegt, ist, dass damit, weil die Parameter, die getestet werden beim Signifikanztest die Populationsparameter betreffen, Aussagen über die gesamte Population zwar möglich sind und getroffen werden können, aber nicht für den einzelnen Patienten abgeleitet werden kann, welchen Vorteil er von einer solchen Behandlung hat. Das zweite Verfahren, was auch in Guidelines vorgeschlagen wird, ist die Beurteilung des klinisch relevanten Effekts anhand des beobachtenden Effekts in einer klinischen Studie. Also bei unserem Beispiel in der Multiplen Sklerose würde man sich die beiden Mittelwerte angucken und würde sagen: "...sind die denn weit genug voneinander entfernt, dass man von einem relevanten Effekt sprechen kann? Hier die Guideline von der CHMP schlägt genau dieses Vorgehen vor, nämlich die Punktschätzer des Unterschiedes anzugucken. Dazu ist zu sagen, dass es letztlich auch so etwas ist wie ein Test auf Überlegenheit, auch relevante Überlegenheit wie der vorangehende Vorschlag. Allerdings ist das Signifikanzniveau deutlich angehoben: Von 0.05, den üblichen 5 Prozent jetzt auf 50 Prozent und damit ist natürlich verbunden, dass der Grad der statistischen Absicherung deutlich geringer ist, als bei dem vorangehenden Vorgehen. Es gibt Methoden zur Fallzahlberechnung für klinische Studien zu diesem Ansatz. Warum ich das für wichtig erachte, werde ich Ihnen in ein paar Minuten erläutern. Das halte ich für einen ganz wesentlichen Aspekt, um ein solches Verfahren vorzuschlagen, auch für die Relevanzbewertung. Die Tatsache, dass der statistische Grad der Absicherung geringer ist, schlägt sich im Positiven nieder in einer Erhöhung der notwendigen Fallzahl, die nicht mehr so immens ist wie bei dem Victor'schen Vorschlag, sondern man kann es noch mit realisierbaren Fallzahlen bewältigen. Allerdings weil es sich grundsätzlich um den gleichen Ansatz handelt, liegt der Nachteil eben auch wie bei dem vorangehenden Ansatz vor, dass wir keine Aussagen machen über individuelle Patienten, sondern über Populationen, weil wir letztlich die Mittelwerte angucken. Das ist das, was hier gemeint ist. Das dritte Verfahren - ist ihnen wahrscheinlich vertraut - sind die sogenannten Responderanalysen. Bei der Multiplen Sklerose habe ich hier aus dieser eingangs zitierten Publikation die Definition einer Response herausgenommen und hier aufgeschrieben. Es ist, wie hier steht, "...der wichtige sekundäre Endpunkt behandelt das Fortschreiten der Verschlechterung der Erkrankung und das ist eben definiert als ein Ansteigen um einen Punkt des EDSS Scores, beziehungsweise um einen halben Punkt abhängig vom Baseline. Aus dem Score ist damit eine Variable, die nur zwei Ausprägungen hat, gemacht worden. Denn ein Patient erfüllt dieses Kriterium oder erfüllt es nicht. Wir haben also eine binäre Variable, die Erfolg - Therapieerfolg oder Therapiemisserfolg - indiziert. Wir betrachten dann bei dieser Responderanalyse den Anteil der Patienten, die ein solches klinisch relevantes Ergebnis erzielt haben und das nennt man Responderanalysen. Erfolg wäre eben keine Verschlechterung. Misserfolg wäre eine Verschlechterung und wir vergleichen die Anzahlen, auch hierfür gibt es Verfahren um die notwendige Fallzahl für klinische Studien zu berechnen, und es ist ein Ansatz, der weite Verbreitung gefunden hat.

4 Er wird zum Beispiel in zahlreichen Guidelines empfohlen, ich hab ja nur einen Auszug der Guidelines, die explizit Responderanalysen fordern auch im Zusammenhang mit dem Nachweis klinischer Relevanz. Es gibt noch eine Reihe weiterer Guidelines. Warum ist das so beliebt? Es ist leicht interpretierbar. Und warum ich es besonders attraktiv finde ist, dass diese eingangs genannten beiden Kriterien hier in dieser Maßzahl beide adressiert sind, im Gegensatz zu den vorangehenden Vorschlägen. Wenn wir Responderanalysen betreiben, erhalten wir am Ende die Anteile der Therapieerfolge der Responder in den beiden Gruppen und haben dann ein Maß für die Gesamtpopulation. Das wäre nämlich die Differenz der Erfolgsraten in den beiden Gruppen, die die Population betrifft, und dieses Maß, was für die Population gilt, basiert auf einem Erfolgskriterium für die individuellen Patienten, weil ein Patient ist ein Responder, erzielt einen Therapieerfolg, wenn seine Ausprägung einen bestimmten Cutpoint überschreitet. Das war ein halber Punkt oder ein Punkt bei dem "Multiple Sklerose"-Beispiel. Wir haben also die beiden Aspekte der klinischen Relevanz in einem Kriterium zusammen kombiniert und haben ein Maß erhalten, das leicht interpretierbar ist. Über Raten kann man sich ja leicht unterhalten und das trägt sicherlich zur Popularität der Responderanalysen extrem bei. Es gibt leider Gottes auch erhebliche Nachteile dieses Ansatzes - die seien nicht verschwiegen - durch die erwähnte Dichotomisierung, wir machen aus der Skala ja eine Aussage "ja/nein". Die ganz feinen Ausprägungen die diese Skala haben kann, in der viel Information steckt, auch über den einzelnen Patienten, resultiert am Ende in eine Aussage "Ja/Nein", "0/1", und damit ist Informationsverlust verbunden und damit ist wie man aus statistischer Sicht sagt "Powerverlust" verbunden. Also die Chancen zum Nachweis der klinischen Relevanz werden dadurch durchaus erheblich reduziert, wie wir sehen werden. Ein zweiter Nachteil ist eine gewisse Beliebigkeit des Cutpoints. In den seltensten Fällen ist ein Cutpoint zwingend. Also der Punkt, an dem man sagt "ja" oder wenn er darunter liegt "nein". Sie sehen es jetzt hier bei dem speziellen Beispiel der Multiplen Sklerose, der EDSS Score, welche Varianten da möglich sind. Aus der CHMP Guideline über Multiple Sklerose: Cutpoint 0 und 1 bei Ausgangswerten gößer 5.5 / kleiner-gleich 5.5. In der Publikation Kappos, in der Studie wurden die gleichen Cutpoints verwendet allerdings mit leicht variierten Ausgangswerten, die dann zu anderen Ergebnissen führen. Bei einer anderen Studie, die auch im NEJM publiziert worden ist, zur gleichen Substanz, aktiv kontrolliert, wurde nochmal eine Variante verwendet: Für den Ausgangswert 0 wurde da der Cutpoint bei 1.5 Punkten verwendet. Das ist jetzt nur eine der Möglichkeiten, wie variantenreich das sein kann. Daraus resultieren unterschiedliche Ergebnisse, klarerweise und es ist nichts, was einem zwingend sagt, welche Variante man zu verwenden hat. Und es gibt weitere Nachteile, die ich jetzt an der Stelle nicht weiter ausführen wollte, weil es einen alternativen Vorschlag gibt, den ich hier kurz skizzieren wollte. Der nennt sich "relativer Effekt" und sieht jetzt mathematisch aus. Was ist das? Das ist die Wahrscheinlichkeit, wenn ich einen Patienten mit zwei Therapien behandele, dass der Patient mit Therapie "2", hier also Wahrscheinlichkeit P, dass der Patient wenn er mit Therapie "2" behandelt wird, ein besseres Ergebnis erzielt, als wenn er mit Therapie "1" behandelt wird. Das ist, wenn man zum ersten Mal damit in Kontakt kommt, vielleicht ein bisschen ungewöhnlich. Aber man gewöhnt sich daran, wie Sie sehen werden. Ich hoffe, dass ich Sie dafür gewinnen kann, für dieses Maß. Man kann es z.b. so interpretieren, dass es die Wahrscheinlichkeit ist, dass der Arzt mit Wahl von Therapie "2" den Hippokratischen Eid erfüllt, "to help or at least do not harm". Wenn diese Wahrscheinlichkeit nämlich 0.5 beträgt, ist es egal, ob ein Patient mit Therapie "1" oder Therapie "2" behandelt wird und je weiter diese Wahrscheinlichkeit von 0.5 weg zu 1 geht, umso mehr spricht es für die Therapie "2".

5 Warum finde ich das Maß so schön? Es hat die Vorteile der Responderanalyse, weil es ein Maß ist für die Population, nämlich eine Wahrscheinlichkeit, dass ein Präparat besser wirkt als ein anderes und es ist basiert wiederum auf einem individuellen Erfolgskriterium und das Erfolgskriterium ist nun relativ naheliegend: Der Patient fährt besser wenn er Therapie "2" verwendet, als wenn er Therapie "1" verwendet. Es kombiniert also wieder diese beiden Aspekte. Sie sehen aber auch, dass es die Nachteile der Responderanalyse nicht in sich trägt, weil wir dichotomisieren hier nicht, wir haben die gesamte Information des Patienten in diesem Maß enthalten und damit entfällt auch die Beliebigkeit der Wahl des Cutpoints, weil wir gar keinen Cutpoint verwenden, sondern wir verwenden die gesamte Information der Verteilung über die Werte. Ja, es ist ein sehr allgemeines Konzept. Ich habe jetzt nichts darüber gesagt, wie die Variable skaliert ist, ich schweife nur ganz kurz in die biometrische Welt ab und hoffe, diejenigen, die das nicht so mögen, nicht zu verschrecken, und die anderen vielleicht noch ein bisschen begeistern zu können. Also es ist nichts ganz Neues, weil diese Wahrscheinlichkeit für normalverteilte Endpunkte nichts weiter ist, als eine transformierte Art der standardisierten Differenz, also dieses "Cohen's d", was ich ganz am Anfang gehabt hatte, unseres "0.2", das lässt sich hier übersetzen in diese Wahrscheinlichkeit, in der man diese Transformation anwendet. Bei binären Endpunkten ist es nichts weiter als eine Transformation der Ratendifferenz, die haben wir ja bei den Responderanalysen klaglos akzeptiert. p2 - p1, die Ratendifferenz und bei den Überlebenszeiten ist es z.b. nur eine Umtransformation des Hazard Ratios (HR) was bei den Überlebenszeiten ein übliches Maß ist, um Ergebnisse einzuschätzen. Aus statistischer Sicht angenehm ist, man kann es sehr gut schätzen und man kann Konfidenzintervalle dafür konstruieren, es gibt Methoden für die Fallzahlplanung für klinische Studien und es hat auch ein paar günstige statistische Eigenschaften, von denen ich Ihnen zwei zeigen möchte. Eine schöne Sache ist, dass mit diesem Maß statistische Signifikanz und klinische Relevanz letztlich versöhnt werden können, weil es eine 1:1-Beziehung zwischen dem P-Wert "Signifikanz" und dem Effektmaß gibt. Was hier angegeben ist, ist auf der X-Achse "n pro Gruppe", auf der Y-Achse das beobachtete Effektmaß und die Kurve zeigt an, wenn ich ein Ergebnis erzielt habe mit einem P-Wert 2.5 Prozent, dann zeigt mir das in Abhängigkeit von der Fallzahl pro Gruppe das beobachtete Effektmaß an. Habe ich also beispielsweise ein Studienergebnis erzielt mit einem P-Wert von 2.5 Prozent, bei einer Fallzahl pro Gruppe von Hundert, kann ich hier ablesen, dass das Effektmaß, das beobachtete Effektmaß knapp 0.6 ist. Wenn ich ein statistisch signifikanteres Ergebnis, einen P-Wert von 1 Prozent erzielt habe, bei der gleichen Fallzahl, ist das beobachtete Effektmaß entsprechend größer und bei noch kleinerem P-Wert eben entsprechend größer. Was ich darstellen wollte ist, dass damit in gewisser Weise die beiden Aspekte, "Signifikanz" und "Relevanz", hier in eine gemeinsame Strömung münden. Das ist, wie ich finde, eine elegante und schöne und eine allgemeine Eigenschaft. Was auch schön ist, ist wenn man sich die statistische Power anguckt, die man hat bei der Responderanalyse, und damit vergleicht, wenn man diesen relativen Effekt verwendet. Was ich hier angegeben habe, diese Kurve, kommt jetzt noch ein paar Mal so ähnlich, wieder in Abhängigkeit der Fallzahl pro Gruppe, die statistische Power zum Nachweis hier jetzt der statistischen Signifikanz, wenn der tatsächliche Effekt, der standardisierte Effekt, 0.5 beträgt, also in Cohen's Sprachweise eine mittlere Effektstärke vorliegt. Übersetzt in einen relativen Effekt bedeutet diese Zahl: Wenn ich diesen Effekt habe, habe ich abhängig von der Fallzahl pro Gruppe, die Power, eine statistische Signifikanz zu erreichen. Sie sehen, bei ungefähr 65 pro Gruppe habe ich eine Power von 80 Prozent, bei 85 Patienten pro Gruppe eine Power von 90 Prozent, um den Signifikanztest erfolgreich zu gestalten. Wenn ich eine Responderanalyse mit einem Kriterium, was ich nicht näher erläutern möchte, anwende, das ist eine bestimmte Responderanalyse mit dem gleichen

6 Effektmaß wie hier, dann sehen Sie, dass die Power deutlich weniger ist, als bei der statistischen Signifikanz. Und das möchte ich jetzt vergleichen mit einem der Responderanalyse analogen Kriterium für den relativen Effekt. Das ist die grüne Kurve. Was ich hier gemacht habe ist, das Responderkriterium, was ich mit der roten Kurve angewendet habe, 1:1 übersetzt, in ein Kriterium, das genauso streng ist für den relativen Effekt und Sie sehen, aufgrund der Tatsache, dass ich den Informationsverlust in der grünen Kurve nicht vorliegen habe, der bei der Responderanalyse vorliegt, gewinne ich deutlich an Power, habe ich also eine deutlich größere Chance, diese Relevanz mit diesem Kriterium nachzuweisen. Das liegt einfach daran, dass bei einem relativen Effekt kein Informationsverlust durch Dichotomisierung vorliegt, was sich hier in diesem Bild niederschlägt. Und umgekehrt bedeutet das natürlich, um die gleiche Power zu haben, dass ich deutlich niedrigere Stichprobenumfänge benötige als bei der Responderanalyse. Das war jetzt der erste Part, welche Methoden gibt es, welche sind im Gebrauch? Und als Zwischenbilanz würde ich sagen, ich persönlich würde welche bevorzugen, bei denen eben sowohl Interpretationen auf Patientenebene, als auch auf Populationsebene möglich sind, und das nimmt mich sehr stark ein für die Responderanalysen und für den relativen Effekt. Wenn ich mich jetzt bei der Methode festgelegt habe, dann bleibt immer noch die Frage wie groß muss denn der Effekt sein, damit ich ihn als klinisch relevant bezeichne? Und da wäre jetzt die Methode "0.2" wieder eben die, die sagt "ja, der standardisierte Effekt, der muss 0.2 sein, dann habe ich zumindest einen kleinen Effekt. So einfach ist es, Gott sei Dank, oder schlimmerweise - je nachdem, wie die Sichtweise ist - nicht, denn wie man leicht einsehen kann, ist diese Schwelle ab der man einen Effekt als relevant ansieht, von zahlreichen Faktoren abhängig, z.b. natürlich von der Schwere der Erkrankung, wie häufig ist die Erkrankung und von anderen Nutzen und Risiken der Behandlung jenseits der Wirksamkeit. Als Beispiel, selbst wenn ein Effekt klein ist, dann ist er eventuell klinisch relevant, wenn es sich um eine schwerwiegende Erkrankung handelt und wenn die Behandlung nicht mit Risiken verbunden ist. Aber ein großer Effekt kann umgekehrt klinisch irrelevant sein, wenn es sich beispielsweise um eine leichte und vorübergehende Befindlichkeitsstörung handelt, und die vorgeschlagene Behandlung vielleicht erhebliche Risiken in sich trägt. Klarerweise bei dem speziellen Präparat vom Beispiel ganz am Anfang war es so, dass es sich - und es wird sicherlich bei einer Wahl der Relevanzschranke in die Überlegung mit eingehen - es handelte sich um das erste Präparat bei Multipler Sklerose, das in Tablettenform eingenommen werden kann, das ist natürlich ein deutlicher Nutzen, was es vor anderen Vergleichspräparaten auszeichnet. Auf der anderen Seite kam es zu tödlich verlaufenden Herpes-Infektionen, was ein erhebliches Risiko darstellt und so kann man sich gut vorstellen, dass in diesem speziellen Fall bei der Wahl der Relevanzschranke, wo es um die Wirksamkeit geht bezüglich der EDSS-Skala, dass das in diese Überlegung mit eingeht. Leider nicht nur diese Faktoren, noch ein statistischer Aspekt: Die Wahl der Relevanzschwelle hängt auch ab vom Skalen-Niveau der Variablen und von der Definition des Endpunktes. Ich habe hier wieder das Beispiel, der Publikation genommen und den relativen Effekt betrachtet. Der beobachtete relative Effekt, also diese 0.13 Verschlechterung unter Placebo und diese 0.03 Verbesserungen unter Verum, die übersetzen sich in einen relativen Effekt von Sie erinnern sich, 0.5 war "es ist egal, welches Medikament ich nehme", es ist also ein schwacher Effekt, jetzt nominell schwach. Und wenn ich jetzt diese Variable, den EDSS-Score, mit verschiedenen Cutpoints in zwei Hälften teile, im Sinne einer Responderanalyse und mir dazu dann den relativen Effekt ausrechne, dann sehen Sie, geht durch diese Dichotomisierung schon mal Effekt verloren, und der ändert sich auch noch, der Effekt, je nachdem, wie ich den Cutpoint wähle.

7 Also dieser relative Effekt ist kein universelles Maß, wo man dafür auch sagen kann, da ist die Schranke gültig, sondern es hängt ganz genau davon ab, wie Sie die Variable definiert haben, auf welcher Skala. Und auch wenn Sie dichotomisieren, wenn Sie binäre Variablen haben, die das tun. Also auch von statistischen Eigenschaften der Zielgröße hängt diese Wahl ab. Dann gibt es noch eine Diskussion: Beobachteter Effekt oder Konfidenzintervall über die Relevanzschranke? Wenn wir uns jetzt auf ein Maß festgelegt haben, zum Beispiel den relativen Effekt oder die Responder, dann gibt es zwei Methoden, sich die Relevanz dieses Effektes anzugucken. Auch wenn Sie die Methode festgelegt haben und die Maßzahl, in einer CHMP-Guideline, die ich schon zitiert habe, wird gesagt, "es wird angeguckt der Punktschätzer und der muss über dieser Relevanzschranke liegen". Und in den IQWiG Methoden, aber auch bei NICE und anderen, wird so vorgegangen, dass es nicht ausreicht, dass der Effekt über dieser Schwelle liegt, sondern, dass das ganze Konfidenzintervall oberhalb dieser Schwelle liegt. Und das hat natürlich auch gewaltigen Einfluss, auf die Interpretation, welche der beiden Methoden Sie verwenden. Dieses Bild kennen Sie schon, das ist das Bild für die Signifikanz, abhängig von der Fallzahl, die Power dafür auf der y- Achse abgetragen, abhängig von der Fallzahl bei diesem gegebenen Effekt. Wenn Sie jetzt als Relevanzkriterium haben: Der beobachtete Effekt soll über 0.2 liegen, über einem standardisierten Effekt von 0.2, das war die niedrigste Schwelle für Cohen's Delta, dann sehen Sie die rote Kurve hier, die Power dafür. Wenn Sie die Schwelle erhöhen, 0.3, dann nimmt die Power ab. Und wenn Sie die Schwelle weiter erhöhen, nimmt die Power natürlich weiter ab. Wenn Sie allerdings jetzt fordern, nicht nur der Punktschätzer muss über dieser Schwelle liegen, sondern das Konfidenzintervall, dann zeige ich Ihnen jetzt die Kurve, die der roten Kurve entspricht, wo ich nur fordere, dass der Schätzer darüberliegt, und wenn ich jetzt fordere, das Konfidenzintervall liegt drüber, dann sehen Sie, dass damit eine deutliche Einbuße an Power verbunden ist, und umgekehrt eine deutliche Erhöhung der Fallzahl, wenn ich die Forderung erhöhe indem ich das Konfidenzintervall ins Spiel bringe. Jetzt die Frage, welchen Ansatz soll ich wählen? Man muss abwägen, welche Relevanzschwelle hat man gewählt? Wie sicher möchte man das absichern? Wenn man das mit dem beobachteten Effekt tut, dann hat man eine 50-prozentige Absicherung, entsprechend diesem Alpha von 0.5, ansonsten eine 95-prozentige Absicherung. Und man muss auch die realisierbare Fallzahl mit in Betracht ziehen, und da komme ich darauf zurück, auf den Punkt, der mir wichtig war: Methoden zur Fallzahlberechnung in klinischen Studien, müssen verfügbar sein, um eine solche Methode attraktiv zu machen. Warum ist das so? Klinische Studien sind immer auf ihre Ziele ausgerichtet, insbesondere die Fallzahlberechnung. Wenn wir jetzt aber die Beurteilung der klinischen Relevanz vor uns haben, dann müssen wir natürlich am Ende wissen, wie groß ist der Effekt, den wir erwarten? Aber auch welche Methode wird angewendet? Wie groß wird die Relevanzschwelle sein? Und messe ich den Erfolg am beobachteten Effekt oder am Konfidenzintervall? Und deswegen ist es ganz notwendig, diese Stellgrößen vor Beginn der Studie zu kennen, weil ich ansonsten möglicherweise eine zu geringe Fallzahl habe, ich zeige diese Bild nochmal, wenn ich nur für statistische Signifikanz geplant habe, nachher aber dieses Relevanzkriterium anlege, dann habe ich natürlich bei einer Fallzahl von 85 pro Gruppe, die mir 90 Prozent Power für die Signifikanz sichert, nur 50 Prozent Power für dieses Relevanzkriterium. Wenn ich das vor der Studie nicht tun kann, sondern nachträglich nur tun muss, dann können solche Überlegungen vielleicht dazu dienen, um diese besagte Abwägung zwischen diesen Stellgrößen Relevanzschranke, Methode, zu einem praktikablen Ergebnis zu führen. Ich komme zum Ende.

8 Wenn wir in die Fußgängerzone gehen und fragen: "Was war eigentlich das relevantere Ergebnis der NASA-Mondfahrten?" Dann sagen die einen, "ja der erste Mensch, dass der auf dem Mond war, das war das relevante Ergebnis." Und die anderen sagen:"die Teflon- Pfanne." Und jetzt haben wir gesehen, dass es bei der klinischen Relevanzbeurteilung nicht ganz so krass auseinandergeht. Die Willkür ist sicherlich nicht groß, und wenn Sie mich im Sinne der Veranstaltung fragen "Regeln oder Willkür?", dann würde ich sagen: Prinzipien sind gut. Und was könnten das für Prinzipien sein? Es dreht sich einmal um die Methode. Wie schon gesagt, halte ich für wichtig, dass das Ergebnis für den individuellen Patienten und für die Population interpretiert werden kann. Und das würde dann stark, wenn man dieser Argumentation folgt, für die Responderanalysen oder den relativen Effekt sprechen, als Methode, die angewendet wird. Dann geht es um, wenn man die Methode festzurrt, wie ist die Relevanzschwelle zu wählen. Die, haben wir gesehen, ist abhängig von Indikation, Prävalenz, anderen Nutzen und Risiken und noch weiteren Faktoren, so dass wir hier uns nicht auf die 0.2 werden einigen können, sondern das im jeweiligen Kontext festlegen müssen. Und last but least, die Frage, nehmen wir den beobachteten Effekt oder das Konfidenzintervall als Bewertung, ob etwas relevant ist, klinisch relevant ist, oder nicht. Dann hängt es auch von zahlreichen Faktoren ab, wie hoch ich die Relevanzschwelle wähle, wie realisierbar das mit der Fallzahl ist und wie hoch der Grad der gewünschten statistischen Absicherung ist, und da kann man ja letztlich nur sagen, dass es so sein sollte, das man eine sinnvolle Balance finden solle zwischen dem Notwendigen, um eben eine Bewertung auch sinnvoll vornehmen zu können, und dem insbesondere aus Fallzahlsicht Machbaren. Ja ich habe heute, das war ganz lustig, als ich mit dem Zug hergefahren bin - ich lese immer die Horoskope, ich weiß nicht, Sie vielleicht auch. Heute stand beim Steinbock: "Sie kommen voll auf Ihre Kosten, wenn Sie dem Gegenüber und sich selbst genug Zeit geben." (Lacht) Jetzt haben Sie mir Zeit gegeben, dafür danke ich Ihnen vielmals, und jetzt haben Sie die Zeit für die Diskussion. Ich stehe für Fragen sehr gerne zur Verfügung. Vielen Dank.