Empirische Ansätze zur Evaluation von Qualitätsindikatoren

Transkript

1 Die Folien sind nur in Verbindung mit dem mündlichen Vortrag zu verwenden. Stand: Empirische Ansätze zur Evaluation von Qualitätsindikatoren Prof. Dr. med. Jürgen Stausberg Arzt für Medizinische Informatik und Ärztliches Qualitätsmanagement Essen

2 Definition Qualitätsindikator Ein Indikator ist ein quantitatives Maß, welches zum Monitoring und zur Bewertung der Qualität wichtiger Leitungs-, Management-, klinischer und unterstützender Funktionen genutzt werden kann, die sich auf das Behandlungsergebnis beim Patienten auswirken. Ein Indikator ist kein direktes Maß der Qualität. Er ist mehr ein Werkzeug, das zur Leistungsbewertung benutzt werden kann, das Aufmerksamkeit auf potentielle Problembereiche lenken kann, die einer intensiven Überprüfung innerhalb einer Organisation bedürfen könnten. Sens B, Fischer B, Bastek A, Eckardt J, Kaczmarek D, Paschen U, Pietsch B, Rath S, Ruprecht T, Thomeczek C, Veit C, Wenzlaff P. Begriffe und Konzepte des Qualitätsmanagements - 3. Auflage. GMS Med Inform Biom Epidemiol. 2007;3(1):Doc05.

3 Qualitätsindikatoren im PDCA-Zyklus Prioritätensetzung Schwachstellenanalyse Act Plan Check Qualitätsmessung Do Verbesserungsmaßnahmen PDCA-Zyklus nach Deming: Deming WE. Out of the crisis. Quality, productivity and competetive position. Cambridge: Cambridge University Press, 1982.

4 Ausweitung der Indikatorensets Kennzahlen nach 137 SGB V Trendanalyse : 205 Kennzahlen Trendanalyse : 292 Kennzahlen German Inpatient Quality Indicators (G-IQI) HELIOS Kliniken Gruppe, 2006/2007: 78 Kennzahlen Version 3.1, 2011: 185 Kennzahlen Version 4.0, 2012: 247 (+ x) Kennzahlen Indikatorenset des QKK e. V. Version 1.2, 2011: 51 Kennzahlen Version 2.2, 2012: 77 Kennzahlen Version 3.1, 2015: 90 Kennzahlen

5 Zunehmende Komplexität: Beispiel aus dem QSR-Verfahren

6 Evaluation 2015: Eminenz-basiert! RAND Appropriateness Method (RAM) AQUA Institut für angewandte Qualitätsförderung und Forschung im Gesundheitswesen GmbH, Hrsg.. Allgemeine Methoden im Rahmen der sektorenübergreifenden Qualitätssicherung im Gesundheitswesen nach 137a SGB V. Version November 2014, redaktionelle Überarbeitung vom 17. Februar 2015

7 Evaluationshierarchie Inhaltliche Güte Erreichung vorab definierter Ziele Verbesserung der Patientensicherheit Auffälligkeiten bei Aktendurchsicht Auswahl der Leistungserbringer gemäß Präferenzen gerechte Belohnung oder Bestrafung Beeinflussbare Unterschiede Leistungserbringer Regionen Versorgungskonzepte

8 Qualität von Indikatoren zur Unterstützung einer Aktendurchsicht Joint Commission on Accreditation of Healthcare Organisations. Primer on Indicator Development and Application. Measuring Quality in Health Care. Oakbrook Terrace, Illinois: Joint Commission on Accreditation of Healthcare Organisations, 1990.

9 Signal Ratio PSI der AHRQ McDonald K, Romano P, Geppert J, et al. Measures of Patient Safety Based on Hospital Administrative DataCThe Patient Safety Indicators. Technical Review 5 (Prepared by the University of California San Francisco-Stanford Evidence-based Practice Center under Contract No ). AHRQ Publication No Rockville, MD: Agency for Healthcare Research and Quality. August 2002

10 Evaluationshierarchie Inhaltliche Güte Erreichung vorab definierter Ziele Beeinflussbare Unterschiede Methodische Güte Ärztlichen Zentralstelle für Qualitätssicherung, 2001 Relevanz von klinischen Messgrößen für die Gesundheitsversorgung Qualität einer klinischen Messgröße Qualitätsdarlegung für klinische Messgrößen QUALIFY, 2007 Relevanz Wissenschaftlichkeit Praktikabilität

11 Evaluationshierarchie Inhaltliche Güte Erreichung vorab definierter Ziele Beeinflussbare Unterschiede Methodische Güte Ärztlichen Zentralstelle für Qualitätssicherung, 2001 QUALIFY, 2007 Beispiel: Evaluation von Indikatoren im Verein Qualitätsindikatoren für Kirchliche Krankenhäuser (QKK e. V.) Diskriminationsfähigkeit Interne Konsistenz Reliabilität

12 Quantitative Gütekriterien im QKK e. V. Diskriminationsfähigkeit Auftreten der Versorgungssituation Mindestanzahl Krankenhäuser mit Mindestanzahl Quartale mit einem Nennerfall Variation der Ergebnisse Mindestanzahl von unterschiedlichen Jahresergebnissen Auftreten von Ausreißern 5 % Ausreißer Interne Konsistenz Homogenität Variationskoeffizient unter 0,8 Stellvertreterfunktion Reliabilität Mindestzahl signifikanter und positiver Korrelationen mit anderen Indikatoren Test-Retest-Reliabilität mittlere Test-Retest-Reliabilität der Quartalsergebnisse 0,2 und höher

13 Evaluation 2012/2013: G-IQI (Version 4.0) Herzinsuffizienz, Altersgruppe J., Anteil Todesfälle Diskriminationsfähigkeit (41 Krankenhäuser) Auftreten der Versorgungssituation mindestens 28 KH (2/3) mit mindestens 5 Quartalen mit einem Nennerfall: 41 Variation der Ergebnisse mindestens 55 von 82 Jahresergebnissen (2/3) unterschiedlich: 58 Auftreten von Ausreißern 5 % Ausreißer: 3 von 41 Krankenhäusern Interne Konsistenz (147 G-IQI) Homogenität Variationskoeffizient unter 0,8: 0,48 Stellvertreterfunktion Reliabilität 5 und mehr signifikante und positive Korrelationen mit anderen Indikatoren: 7 Test-Retest-Reliabilität mittlere Test-Retest-Reliabilität der Quartalsergebnisse 0,2 und höher: 0,21

14 Zusammenfassung Die Evaluation von Qualitätsindikatoren bewegt sich auf einem experimentellen/methodischen Niveau. Dabei dominiert ein Eminenz-basierter Ansatz. Quantitative Messgrößen zur Evaluation von Qualitätsindikatoren sind anwendbar. Bei Anwendung von Qualitätsindikatoren außerhalb ihres originären Anwendungsbereiches ist eine neue Evaluation zwingend.

15 Ende