Effekte von Leitlinien wie können wir sie bewerten? Leitlinien: Attraktivität, Implementierung und Evaluation Arbeitstagung von AWMF und DNVF Frankfurt am Main Ulrich Siering Agenda Welche Faktoren beeinflussen die Effekte von Leitlinien? Welche Vorgehensweise schlägt die Cochrane Effective Practice and Organisation of Care Group (EPOC) vor, um Intervention zur Verbesserung der Leistungserbringung und Organisation im Gesundheitswesen zu untersuchen? Welche Rolle spielt die theoretische Fundierung der Implementierungsstudien? Fazit Ulrich Siering - Bewertung der Effekte von Leitlinien 2 1
Diffusion of Innovation in Health Care nach Titler 2001 Leitlinie Prozesse (Umsetzung der Ergebnisse Adressaten (Anwender- / Nach: Titler MG, Everett LQ. Translating research into practice. Considerations for critical care investigators. Crit Care Nurs Clin North Am 2001; 13(4): 587-604. Ulrich Siering - Bewertung der Effekte von Leitlinien 3 Eigenschaften der Leitlinie Hinderliche Faktoren Hohe Komplexität der Leitlinie (Einfach zu verstehen? Qualifikationen, Geräte, (Umsetzung etc. nötig? der Ohne großen Aufwand zu Prozesse testen? Keine besonderen Ergebnisse Schlechte Evidenzbasis. Keine Beteiligung der Adressaten an der Leitlineinerstellung. Widersprüchliche AdressatenEmpfehlungen in mehreren Leitlinien zur gleichen (Anwender- Thematik / Francke AL, Smit MC, de Veer AJ, Mistiaen P. Factors influencing the implementation of clinical guidelines for health care professionals: a systematic meta-review. BMC Med Inform Decis Mak 2008; 8: 38. Ulrich Siering - Bewertung der Effekte von Leitlinien 4 2
Leitlinie Implementationsstrategien Es werden unterschiedliche Implementationsstrategien beschrieben Prozesse (schriftliche Ergebnisse Materialien, (Umsetzung Präsentation der auf Kongressen, Workshops, etc., lokale Konsensprozesse, Fortbildung der Anwender, Einbindung lokaler Meinungsführer, Audit und Feedback, Adressaten Reminder, Barrierenanalyse) (Anwender- / Den aktiven Interventionen wird meist eine wenn auch geringe Wirksamkeit bescheinigt. Multifaktoriellen Implementierungsstrategien werden meist größere Auswirkungen zugeschrieben Francke AL, Smit MC, de Veer AJ, Mistiaen P. Factors influencing the implementation of clinical guidelines for health care professionals: a systematic meta-review. BMC Med Inform Decis Mak 2008; 8: 38. Ulrich Siering - Bewertung der Effekte von Leitlinien 5 Leitlinie Leistungserbringer: Hinderliche Faktoren fehlende Kenntnis Soziales der System Leitlinie, fehlende Vertrautheit (Organisation mit der / Leitlinie fehlende Übereinstimmung mit den Leitlinienempfehlungen (Umsetzung der Ältere / erfahrenere Ärzte Prozesse Ergebnisse Adressaten (Anwender- / Patienten: Hinderliche Faktoren Patienten lehnen Empfehlungen ab Fehlende Berücksichtigung von Komorbiditäten Francke AL, Smit MC, de Veer AJ, Mistiaen P. Factors influencing the implementation of clinical guidelines for health care professionals: a systematic meta-review. BMC Med Inform Decis Mak 2008; 8: 38. Ulrich Siering - Bewertung der Effekte von Leitlinien 6 3
Leitlinie Hinderliche Faktoren Fehlende Zeit fehlende personelleadressaten Ressourcen Fehlende strukturelle (Anwender- Voraussetzungen / Fehlende Unterstützung durch Peers, Vorgesetzte oder Meinungsführer Prozesse (Umsetzung der Ergebnisse Francke AL, Smit MC, de Veer AJ, Mistiaen P. Factors influencing the implementation of clinical guidelines for health care professionals: a systematic meta-review. BMC Med Inform Decis Mak 2008; 8: 38. Ulrich Siering - Bewertung der Effekte von Leitlinien 7 Leitlinie Prozesse (Umsetzung der Ergebnisse Adressaten In welchem Umfang (Anwender- werden / Leitlinienempfehlung durch die Zielgruppe einer Leitlinie umgesetzt (Prozessqualität) Ulrich Siering - Bewertung der Effekte von Leitlinien 8 4
Welche Auswirkungen haben die Umsetzung von Leitlinien auf die Versorgung (Ergebnisqualität) Leitlinie (LL) Prozesse (Umsetzung der Ergebnisse Adressaten (Anwender- / Ulrich Siering - Bewertung der Effekte von Leitlinien 9 Fehlende Ressourcen, fehlende Unterstützung Vergütungssystem bildet Empfehlungen nicht ab Empfohlene Prozesse führen nicht zu besseren Ergebnissen Leitlinie Prozesse (Umsetzung der Ergebnisse Komplexe Leitlinie, schlechte Evidenzbasis Adressaten (Anwender- / Adressaten lehnen Empfehlungen ab Fehlende / singuläre Implementationsstrategie Ulrich Siering - Bewertung der Effekte von Leitlinien 10 5
Cochrane Effective Practice and Organisation of Care Group (EPOC) Forschungsschwerpunkt: Intervention zur Verbesserung der Leistungserbringung und Organisation im Gesundheitswesen Bereits veröffentlicht: 70 systematische Übersichten, über 40 Protokolle für systematische Übersichten Ulrich Siering - Bewertung der Effekte von Leitlinien 11 Studientypen für EPOC Reviews (Cluster-) Randomisierte kontrollierte Studien (RCT) Nichtrandomisierte kontrollierte Studie (NRCT) Kontrollierte Vorher-Nachher Studien (CBA) Studien mit unterbrochenem Zeitreihendesign (ITS) Unsicherheit http://epoc.cochrane.org/sites/epoc.cochrane.org/files/uploads/epoc%20study%20designs%20about.pdf Ulrich Siering - Bewertung der Effekte von Leitlinien 12 6
Patient Utilisation, coverage or access Quality of care Equity Primäre Endpunkte EPOC Reviews Adverse effects or harms Social Health care provider Resource use http://epoc.cochrane.org/sites/epoc.cochrane.org/files/uploads/epoc%20outcomes.pdf Ulrich Siering - Bewertung der Effekte von Leitlinien 13 Patient : Utilisation, Mortalität, Morbidität, coverage or Lebensqualität access ggf. Surrogatparameter Gesundheitsverhalten (z. B. Adhärenz) Quality of care Equity Primäre Endpunkte EPOC Reviews Adverse effects or harms Social Health care provider Resource use Ulrich Siering - Bewertung der Effekte von Leitlinien 14 7
Utilisation, coverage or access: Anteil der Patienten, die eine bestimmte Patient Intervention Utilisation, (z. B. Impfung) coverage or erhalten haben, in ein Programm access eingeschrieben sind, Zugang zur Versorgung haben, etc. Quality of care Equity Primäre Endpunkte EPOC Reviews Adverse effects or harms Social Health care provider Resource use Ulrich Siering - Bewertung der Effekte von Leitlinien 15 Patient Quality Utilisation, of care: coverage Umsetzung or von Leitlinienempfehlungen (z. access B. Anteil der Leistungserbringer, die empfohlene Leistungen erbringen). Equity Primäre Endpunkte EPOC Reviews Adverse effects or harms Social Health care provider Resource use Ulrich Siering - Bewertung der Effekte von Leitlinien 16 8
Als Zielgröße nur sinnvoll, wenn belegt ist, dass die Leitlinie ihre Ziele erreichen kann. Es fehlen Instrumente, mit denen Sind die Empfehlungen (mit vertretbarem Aufwand) inhaltlich richtig? Anwendbar? überprüft werden kann, ob eine Leitlinie inhaltlich richtig ist. Problem Zielgrößen: Utilisation, coverage or access und Quality of care Aber: Widersprüchliche Empfehlungen Unterschiedliche Evidenzgrundlage Unzureichende Berücksichtigung von Interessenkonflikten Multimorbidität... As with the first version of the AGREE, the items and domains in AGREE II focus on methodologic issues relevant to guideline development and reporting. However, they do not evaluate the clinical appropriateness or validity of the recommendations themselves. Brouwers MC, Kho ME, Browman GP, Burgers JS, Cluzeau F, Feder G et al. AGREE II: advancing guideline development, reporting and evaluation in health care. CMAJ Canadian Medical Association Journal 2010; 182(18): E839-842. Ulrich Siering - Bewertung der Effekte von Leitlinien 17 Auch in den randomisierten Studien bleibt oft unklar, warum eine (nicht) Leitlinie wirkt. Problem Woran hat es gelegen? Mögliche Ursachen: Komplexität der Leitlinie? Unwirksame Leitlinie? Fehlende Detailkenntnis? Fehlende Akzeptanz? Fehlende Unterstützung?...? Ulrich Siering - Bewertung der Effekte von Leitlinien 18 9
Nur 10 % der in die systematische Übersicht zur Effektivität von Leitlinienimplemtierungstrategien von Grimshaw eingeschlossenen 235 Studien einhält eine explizite theoretische Grundlage. Folge: Es ist schwierig zu interpretieren, warum Interventionen positive, negative oder keine Effekte aufweist. Grimshaw JM, Thomas RE, MacLennan G, Fraser C, Ramsay CR, Vale L et al. Effectiveness and efficiency of guideline dissemination and implementation strategies. Health Technol Assess 2004; 8(6): iii-iv, 1-72. Davies P, Walker AE, Grimshaw JM. A systematic review of the use of theory in the design of guideline dissemination and implementation strategies and interpretation of the results of rigorous evaluations. Implement Sci 2010; 5: 14. Ulrich Siering - Bewertung der Effekte von Leitlinien 19 Evaluation of Drugs Pre-clinical Phase I Phase II Phase III Phase IV Evaluation of Implementation Strategies Theory Modeling Exploratory trial Definitive randomized control trial Long-term implementation Eccles M, Grimshaw J, Walker A, Johnston M, Pitts N. Changing the behavior of healthcare professionals: the use of theory in promoting the uptake of research findings. J Clin Epidemiol 2005; 58(2): 107-112. Ulrich Siering - Bewertung der Effekte von Leitlinien 20 10
Difficulties experienced by doctors and nurses in following guidelines for hand hygiene Change at Focus of intervention Kognitive Difficulties, Theorie: obstaclesfehlendes to change level of Wissen verhindert leitlinienkonformes Individual Cognitions I seldom see Handeln. any complications Lack of hard evidence Attitudes and motivation Gives irritation of hands Routines Costs too much time Sozialtheorie: Fehlende soziale I Normen forgot it during und fehlende rush Hours I hierarchische fall back in old routines Unter stützung Team or unit Social influence and leadership Nobody verhindern controls leitlinienkonformes Handeln. Management is not interested Hospital Organisational It is not feasible in normal work resources Organisationstheorie: Organisatorische Faktoren verhindern No guidelines in hospital on hygiene Ressources leitlinienkonformes Absence of facilitieshandeln. Grol: From best evidence to best practice: effective implementation of change in patients care. The Lancet Vol 362, 2003 Ulrich Siering - Bewertung der Effekte von Leitlinien 21 Annahme: Interventionen wirken dann am besten, wenn sie direkt auf bestimmte Barrieren zielen Tailored Implementation Interventions: Bspw. durch Fokusgruppen Qualitative Interviews Organisationsanalyse Unsicherheit: Wie werden Barrieren richtig identifiziert? 1. Identifikation von Faktoren, die die Gesundheitsversorgung positiv oder negativ beeinflussen 2. Entwicklung geeigneter Interventionen 3. Umsetzung und Bewertung der Interventionen Beeinflusst werden Inhalt der Intervention Interventionsmethode Unsicherheit: Wie kann ich die Interventionen am besten auf die Barrieren anpassen. Wensing, M. et al.: Tailored implementation for chronic diseases (TICD): A project protocol. Implementation Science 6(103), 2011 Baker, R. et al.: Tailores interventions to overcome identified barriers to change: effects on preofessional practice and health care. Cochrane Database of Systematic Reviews 2010, Issue 3 Ulrich Siering - Bewertung der Effekte von Leitlinien 22 11
Fazit Grundsätzlich sollten die Effekte von Leitlinien in randomisiertkontrollierten Studien untersucht werden. Werden andere Studientypen herangezogen, sollten Ergebnisse vorsichtig interpretiert werden. Wenn möglich sollten patientenrelevante Endpunkte betrachtet werden. Werden Prozessparameter untersucht, sollte der Zusammenhang zwischen Prozessen und Ergebnissen eindeutig belegt sein. Um die Effekte von Leitlinien bewerten zu können ist eine Auseinandersetzung mit der inhaltlichen Qualität von Leitlinien notwendig. Hier fehlen entsprechende Bewertungsinstrumente. ist eine weitere Auseinandersetzung mit der Frage notwendig, welche Faktoren die Umsetzung von Leitlinien beeinflussen. Ulrich Siering - Bewertung der Effekte von Leitlinien 23 Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) Im Mediapark 8 D-50672 Köln Telefon +49-221/3 56 85-510 Telefax +49-221/3 56 85-1 ulrich.siering@iqwig.de www.iqwig.de Photo: http://img.fotocommunity.com/images/koeln-rhein-erftkreis/koeln/koelnturm-im-mediapark-a24731976.jpg Ulrich Siering - Bewertung der Effekte von Leitlinien 24 12