Anforderungen an die Qualität von Leitlinien aus der Sicht des IQWiG

Transkript

1 Anforderungen an die Qualität von Leitlinien aus der Sicht des IQWiG Dr. Claudia Mischke Medizinische Leitlinien Qualität und Unabhängigkeit sichern! 1. Juli 2017, Berlin

2 Inhalt Leitliniensynopsen: Hintergrund und Ablauf Anforderungen an die Qualität von Leitlinien Anforderungen an die Qualität an die Leitliniensynopsen Methodik Anforderungen an die Zusammenarbeit mit externen Sachverständigen (IQWiG) Diskussion / Fazit 2

3 Aufgaben gemäß 139a SGB V Leitliniensynopsen: Hintergrund (1) Der Gemeinsame Bundesausschuss [ ] gründet ein fachlich unabhängiges, rechtsfähiges, wissenschaftliches Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen und ist dessen Träger. [ ] (2) [ ] (3) Das Institut wird [ ] insbesondere auf folgenden Gebieten tätig: 1. Recherche, Darstellung und Bewertung des aktuellen medizinischen Wissensstandes zu diagnostischen und therapeutischen Verfahren bei ausgewählten Krankheiten, 2. Erstellung von wissenschaftlichen Ausarbeitungen, Gutachten und Stellungnahmen [ ] 3. Bewertungen evidenzbasierter Leitlinien für die epidemiologisch wichtigsten Krankheiten, 4. Abgabe von Empfehlungen zu Disease-Management-Programmen, 5. Bewertung des Nutzens und der Kosten von Arzneimitteln, 6. Bereitstellung von für alle Bürgerinnen und Bürger verständlichen allgemeinen Informationen zur Qualität und Effizienz in der Gesundheitsversorgung sowie zu Diagnostik und Therapie von Krankheiten [ ], 7. Beteiligung an internationalen Projekten zur Zusammenarbeit und Weiterentwicklung im Bereich der evidenzbasierten Medizin. 3

4 Leitliniensynopsen Leitliniensynopsen: Hintergrund 139b SGB V Das Institut leitet die Arbeitsergebnisse der Aufträge dem Gemeinsamen Bundesausschuss nach 91 als Empfehlungen zu. 4

5 Berichterstellung Auftragserteilung durch G-BA / BMG Leitliniensynopsen: Ablauf Formulierung der wissenschaftlichen Fragestellung(en) Berichtsplan (vorläufige Version) Anhörung Berichtsplan Informationsbeschaffung und wissenschaftliche Bewertung Vorbericht Anhörung Externes Review (optional) Zusammenführung und Bewertung der Stellungnahmen und des externen Reviews; Aktualisierung der Informationen Abschlussbericht C. Mischke / Anforderungen Das an IQWiG die Qualität stellt von sich Leitlinien vor aus Sicht des IQWiG 5

6 das Produkt Leitliniensynopsen: Ablauf 6

7 Leitliniensynopse: Anforderungen an die Qualität von Leitlinien Anforderungen an Leitlinien Einschlusskriterien für Leitlinien Methodische Qualität der eingeschlossenen Leitlinien Interessenkonflikte in den Leitlinien Diskordante Empfehlungen und good practice statements 7

8 Einschluss von Leitlinien Anforderungen: Leitlinien Einschlusskriterien E1 E2 E3 E4 E5 E6 E7 E8 E9 Patienten mit [z. B. Erkrankung]. Empfehlungen zu mindestens einem der in Abschnitt XXX genannten Versorgungsaspekte Empfehlungen für die Versorgung in Deutschland oder in einer anderen Industrienation Empfehlungen sind aufgrund einer formalen Kennzeichnung eindeutig zu identifizieren Publikationssprache ist Deutsch oder Englisch. Publikationstyp Leitlinie Publikation erfolgte ab [Monat und Jahr] als gültig gekennzeichnet und / oder Überarbeitungsdatum nicht überschritten Vollpublikation der Leitlinie E10 evidenzbasiert Empfehlungen basieren auf einer systematischen Literaturrecherche sind grundsätzlich mit GoR und / oder LoE versehen sind grundsätzlich direkt beziehungsweise indirekt mit den Referenzen der ihnen zugrunde liegenden Primärund / oder Sekundärliteratur verknüpft sind C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG 8

9 Methodische Qualität der eingeschlossenen Leitlinien Anforderungen: Leitlinien Manual-and-23-item-Instrument_2009_UPDATE_2013.pdf 9

10 methodische Bewertung mittels AGREE II Psychometrische Eigenschaften Interraterreliabilität (Brouwers et al. 2010) Anforderungen an Leitlinien (Brouwers et al. 2010) 10

11 Anforderungen an Leitlinien (Brouwers et al. 2010) 11

12 Anforderungen an Leitlinien IQWiG-Erfahrungen zur methodischen Bewertung mittels AGREE II Projekt mit 3 4 AGREE-Bewertungen pro Leitlinie: wissenschaftliche Mitarbeitende des IQWiG und externe Sachverständige Leitliniensynopsen: Bewertung durch 2 IQWiG - wissenschaftliche Mitarbeitende 12

13 Anforderungen an Leitlinien Ziele der AGREE-Bewertung innerhalb der Leitliniensynopsen Transparenz: methodische Stärken und Schwächen der eingeschlossenen Leitlinien AGREE-Cut-OFF für die Bewertung der methodischen Gesamtqualität von Leitlinien: Kennzeichnung von Empfehlungen / Kernaussagen, wenn diese (maßgeblich) auf Leitlinien mit schwacher methodischer Qualität beruhen Kein Kriterium für den Einschluss von Leitlinien 13

14 Interessenkonflikte in Leitlinien Anforderungen an Leitlinien AGREE-II-Instrument AGREE Reporting Checklist (Browers et al. 2016a; Browers et al. 2016b) 14

15 Leitliniensynopse Depression (2017) Leitlinie ACP 2016 BAP 2016 BAP 2015 DGBS 2014 DGKJP 2013 ICSI 2016 KCE 2014 KPCI 2012 NCCMH 2014 AGREE-II-Bewertung: standardisierte Domänenwerte und Gesamtbewertung NCCMH 2010 adults Domäne 1: Geltungsbereich und Zweck a Domäne 2: Interessengruppen a Domäne 3: Methodologische Exaktheit a Domäne 4: Klarheit und Gestaltung a Domäne 5: Anwendbarkeit a Domäne 6: Redaktionelle Unabhängigkeit a Gesamtbewertung b 92 % (20) 33 % (4) 59 % (9) 100 % d (21,5) 0 % c (3,5) 92 % d (22) 5,5 (12,5) 31 % (2) 31 % (3) 15 % c (1,5) 64 % (3) 0 % c (3,5) 58 % (8) 3,5 (2) 22 % c (1) 19 % c (1,5) 15 % c (1,5) 56 % (2) 0 % c (3,5) 71 % (12,5) 3 (1) 72 % (10) 89 % (21) 76 % (20) 78 % (7) 35 % (12,5) 63 % (10) 5,5 (12,5) 92 % (20) 72 % (13,5) 67 % (14) 86 % (12,5) 46 % (15) 75 % (15) 6 (19) 58 % (6,5) 39 % (5) 54 % (8) 89 % (15,5) 52 % (19) 88 % (19,5) 5 (8) 78 % (14) 67 % (12) 79 % d (22) 78 % (7) 46 % (15) 71 % (12,5) 6 (19) 36 % (3,5) 42 % (6) 75 % (18,5) 78 % (7) 13 % (9) 0 % c (1,5) 4,5 (5) 89 % (18) 72 % (13,5) 66 % (13) 89 % (15,5) 58 % (20,5) 38 % (6) 6 (19) 86 % (16,5) 81 % (17,5) 63 % (10) 75 % (4,5) 60 % d (22) 63 % (10) 5,5 (12,5) NCCMH 2010 physical 86 % (16,5) 78 % (16) 65 % (12) 75 % (4,5) 58 % (20,5) 63 % (10) 5,5 (12,5) NICE % (12,5) 75 % (15) 74 % (17) 89 % (15,5) 35 % (12,5) 38 % (6) 6 (19) NVL % (10) 92 % d (22) 78 % (21) 89 % (15,5) 8 % (8) 88 % (19,5) 6 (19) RANZCP % (6,5) 50 % (8) 39 % (5) 97 % (20) 0 % c (3,5) 88 % (19,5) 4,5 (5) RNAO % (8) 61 % (10,5) 64 % (11) 86 % (12,5) 33 % (11) 88 % (19,5) 5 (8) SIGN % (10) 83 % (19,5) 72 % (15) 81 % (9,5) 50 % (18) 38 % (6) 6 (19) SIGN % (12,5) 83 % (19,5) 75 % (18,5) 81 % (9,5) 46 % (15) 33 % (4) 6 (19) SNHS % d (22) 81 % (17,5) 36 % (4) 94 % (18,5) 48 % (17) 75 % (15) 5,5 (12,5) VADoD % (20) 61 % (10,5) 73 % (16) 100 % d (21,5) 17 % (10) 25 % (3) 5,5 (12,5) VADoD % (15) 53 % (9) 52 % (7) 83 % (11) 6 % (7) 0 % c (1,5) 5 (8) WFSBP 2013/ % (5) 47 % (7) 41 % (6) 94 % (18,5) 0 % c (3,5) 79 % (17) 4,5 (5) WFSBP % (3,5) 19 % c (1,5) 30 % (3) 44 % c (1) 0 % c (3,5) 75 % (15) Mittelwert (SD) 69,1 % (22,0) 60,4 % (22,6) 57,6 % (19,9) 82,1 % (13,8) 27,8 % (23,2) 59,5 % (27,7) 15 4 (3) 5,2 (0,9)

16 Leitliniensynopse Chronische Herzinsuffizienz (2015) Leitlinie Domäne 1: Geltungsbereich und Zweck a Domäne 2: Interessengruppen a Domäne 3: Methodologische Exaktheit a Domäne 4: Klarheit Domäne 5: Domäne 6: und Gestaltung a Anwendbarkeit a Redaktionelle Unabhängigkeit a Gesamtbewertung b ACCF % (18,5) 50 % (17,5) 85 % (21) 89 % (18) 31 % (14,5) 88 % (19,5) 5,5 (20) ACCF % (4) 36 % (12,5) 56 % (14) 83 % (15,5) 31 % (14,5) 50 % (7) 4,5 (14) ACCP % (21) 75 % (21) 76 % (20) 81 % (12) 10 % (7) 92 % (22) d 5,5 (20) AHA % (8) 28 % (8) 26 % (4) 53 % (3) 48 % (21) 79 % (16) 4 (10) CCS % (13) 44 % (15) 29 % (6) 53 % (3) 8 % (4,5) 58 % (8,5) 4 (10) CCS 2013 child 69 % (15) 56 % (19) 71 % (19) 83 % (15,5) 2 % (2) 67 % (13,5) 5 (17,5) CCS 2013 CRT 53 % (8) 47 % (16) 51 % (12) 92 % (19,5) 42 % (17,5) 67 % (13,5) 4,5 (14) CCS 2013 CRT Impl 78 % (18,5) 50 % (17,5) 41 % (10) 81 % (12) 44 % (19,5) 63 % (11) 4,5 (14) CCS 2013 HF 33 % (1,5) c 36 % (12,5) 37 % (7,5) 78 % (10) 13 % (9) 63 % (11) 3,5 (6,5) CCS 2013 Reha 33 % (1,5) c 28 % (8) 37 % (7,5) 72 % (6,5) 13 % (9) 58 % (8,5) 4 (10) CCS % (4) 28 % (8) 22 % (3) 81 % (12) 0 % (1) c 21 % (4) 2,5 (1,5) c CCS % (11,5) 25 % (6) 38 % (9) 83 % (15,5) 8 % (4,5) 63 % (11) 3,5 (6,5) CCS % (6) 33 % (10) 19 % (1) c 61 % (5) 29 % (13) 29 % (5,5) 3 (3,5) CCS % (4) 36 % (12,5) 21 % (2) 47 % (1) c 8 % (4,5) 17 % (2,5) 2,5 (1,5) c CSNZ % (14) 36 % (12,5) 28 % (5) 75 % (8,5) 27 % (12) 0 % (1) c 3,5 (6,5) ESC % (20) 22 % (5) 70 % (18) 97 % (22) d 42 % (17,5) 88 % (19,5) 5,5 (20) ESC % (16,5) 19 % (4) 69 % (17) 94 % (21) 44 % (19,5) 88 % (19,5) 5 (17,5) ESC % (16,5) 8 % (1) c 52 % (13) 92 % (19,5) 8 % (4,5) 17 % (2,5) 3,5 (6,5) HFSA % (11,5) 17 % (2,5) 59 % (15) 83 % (15,5) 13 % (9) 75 % (15) 4,5 (14) ICSI % (10) 58 % (20) 67 % (16) 72 % (6,5) 52 % (22) d 88 % (19,5) 4,5 (14) MQIC % (8) 17 % (2,5) 42 % (11) 53 % (3) 19 % (11) 29 % (5,5) 3 (3,5) NICE % (22) d 92 % (22) d 95 % (22) d 75 % (8,5) 40 % (16) 83 % (17) 6,5 (22) d Mittelwert (SD) 61,7 % (16,9 %) 38,2 % (19,9 %) 49,6 % (22,1 %) 76,3 % (14,5 %) 24,2 % (16,7 %) 58,3 % (27,8 %) 4,2 (1,0) 16

17 Anforderungen an Leitlinien Diskordante Empfehlungen und good practice statements Hintergrund: Um relevante Empfehlungen für ein DMP zu identifizieren, habe starke Empfehlungen besondere Bedeutung Beobachtung: diskordante Empfehlungen und good practice statements nehmen zu (Brito et al. 2013; Alexander et al. 2014, Alexander et al. 2016) Gefahr: Überstrapazieren dieser Optionen (Guyatt et al. 2016)? Mögliche Gründe: Fehlklassifikation der Evidenz Option Bewertung der indirekten Evidenz wird nicht genutzt Empfehlung nicht konsistent mit GRADE (Alexander et al. 2016, Guyatt et al 2016) 17

18 Anforderungen: Leitliniensynopse Anforderungen an die Qualität an die Leitliniensynopsen Die Methodik der Leitliniensynopsen: Qualitätssicherungsstufen im Prozess Zusammenarbeit mit externen Sachverständigen Umgang mit Interessenkonflikten 18

19 Qualität durch Methodik Auftragserteilung durch G-BA / BMG Leitliniensynopsen: Anforderung Formulierung der wissenschaftlichen Fragestellung(en) Berichtsplan (vorläufige Version) Umfangreiches mehrstufiges QSverfahren Anhörung Berichtsplan Umfangreiches mehrstufiges QSverfahren Informationsbeschaffung und wissenschaftliche Bewertung Vorbericht Umfangreiches mehrstufiges QSverfahren Anhörung Externes Review (optional) Zusammenführung und Bewertung der Stellungnahmen und des externen Reviews; Aktualisierung der Informationen Abschlussbericht Umfangreiches mehrstufiges QSverfahren C. Mischke / Anforderungen Das an IQWiG die Qualität stellt von sich Leitlinien vor aus Sicht des IQWiG 19

20 Beteiligung externer Sachverständiger bei der Berichterstellung Auftragserteilung durch G-BA / BMG Leitliniensynopsen: Anforderung Formulierung der wissenschaftlichen Fragestellung(en) Berichtsplan (vorläufige Version) Anhörung Berichtsplan Informationsbeschaffung und wissenschaftliche Bewertung Vorbericht Anhörung Externes Review (optional) Zusammenführung und Bewertung der Stellungnahmen und des externen Reviews; Aktualisierung der Informationen Abschlussbericht = Beteiligung: externe Sachverständigen C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG 20

21 Externe Sachverständige - Offenlegungspflicht Anforderungen: Leitliniensynopse Zur Vermeidung von potenziellen Interessenkonflikten müssen externe Sachverständige ihre Beziehungen offenlegen 21

22 Externe Sachverständige - Offenlegungspflicht Leitliniensynopsen: Anforderung Gemäß 139b Abs. 3 Satz 2 SGBV haben externe Sachverständige alle Beziehungen zu Interessenverbänden, Auftragsinstituten, insbesondere der pharmazeutischen Industrie und der Medizinprodukteindustrie, einschl. Art und Höhe von Zuwendungen offenzulegen, wenn sie für das Institut wissenschaftliche Forschungsaufträge durchführen möchten. Die Offenlegungen werden von der Interessenkonflikt(IK)-Kommission des Instituts bewertet. 22

23 Fazit Qualität der Leitlinien beeinflusst Aussagekraft der Leitliniensynopse Methodische Qualität: Bewertung mittels AGREE II ermöglicht trotz Grenzen des Instruments eine Einschätzung der methodischen Qualität Inhaltliche Qualität: Prüfung im Rahmen von Leitliniensynopsen nicht realisierbar Aber: Zunahme an diskordanten Empfehlungen und good practice statements zeigt u.a. die Relevanz der inhaltlichen Qualität von Leitlinien auch für die Leitliniensynopsen Beachten von Interessenkonflikten in beiden Produkten Leitlinien und Leitliniensynopsen kann helfen, Verzerrungen zu vermeiden 23

24 Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) Im Mediapark Köln Telefon Telefax claudia.mischke@iqwig.de und 24

25 Quellen Alexander PE, Gionfriddo MR, Li S-A, Bero L, Stoltzfus RJ, Neumann I et al. A number of factors explain why WHO guideline developers make strong recommendations inconsistent with GRADE guidance. J Clin Epidemiol 2016; 70: Alexander PE, Bero L, Montori VM, Brito JP, Stoltzfus R, Djulbegovic B et al. World Health Organization recommendations are often strong based on low confidence in effect estimates. J Clin Epidemiol 2014; 67(6): Brito JP, Domecq JP, Murad MH, Guyatt GH, Montori VM. The Endocrine Society guidelines: when the confidence cart goes before the evidence horse. J Clin Endocrinol Metab 2013; 98(8): Brouwers M, Kho ME, Browman GP, Cluzeau F, feder G, Fervers B, Hanna S, Makarski J on behalf of the AGREE Next Steps Consortium. AGREE II: Advancing guideline development, reporting and evaluation in healthcare. Can Med Assoc J. Dec 2010, 182:E ; Brouwers MC, Kerkvliet K, Spithoff K, on behalf of the AGREE Next Steps Consortium. The AGREE Reporting Checklist: a tool to improve reporting of clinical practice guidelines. BMJ 2016;354:i4852 Brouwers MC, Kho ME, Browman GP, Burgers JS, Cluzeau F, Feder G et al. Development of the AGREE II, part 1: performance, usefulness and areas for improvement. CMAJ 2010; 182(10): Guyatt GH, Alonso-Coello P, Schunemann HJ, Djulbegovic B, Nothacker M, Lange S et al. Guideline panels should seldom make good practice statements: guidance from the GRADE Working Group. Journal of Clinical Epidemiology 2016; 22:

26 Erstellung eines Rapid Report Auftragserteilung durch G-BA / BMG Formulierung der wissenschaftlichen Fragestellung(en) Projektskizze Informationsbeschaffung und wissenschaftliche Bewertung Optional: Externes Review Rapid Report C. Mischke / Anforderungen Das an IQWiG die Qualität stellt von sich Leitlinien vor aus Sicht des IQWiG 26

27 Alexander et al. 2016: