Weiterentwicklung der Messverfahren in der Qualitätssicherung

Transkript

1 Weiterentwicklung der Messverfahren in der Qualitätssicherung AQUA-Tagung 2013: Sektorenübergreifende Qualitätssicherung Qualität kennt keine Grenzen Kontinuität und Weiterentwicklung PD Dr. med. Günther Heller AQUA Institut für angewandte Qualitätsförderung und Forschung im Gesundheitswesen, Göttingen, Folie 1

2 Gliederung Einführung / Grundlagen der Qualitätsmessung Zufällige Fehler Mehrjährige Auswertungen (CUSUM, Follow-Up, Moving Average) Qualitätsindices / Composite Measures Mehrebenenmodelle Systematische Fehler Risikoadjustierung Dokumentationsfehler (Datenvalidität, int. /ext. Validitätsprüfung, Abgleich RD..) Kommunikation von risikoadjustierten Ergebnissen für die Patientenberatung Folie 2

3 Einführung / Grundlagen der Qualitätsmessung Beobachteter Wert = wahre Wert + Fehler zufällige Fehler wie auch systematische Fehler (Bias) Folie 3

4 Zufällige Fehler Diskriminationsfähigkeit der Qualitätsindikatoren Folie 4

5 Diskriminationsfähigkeit der Indikatoren Fallzahl benötigt um bei gegebenen QI (Prävalenz) eine Verdopplung des QI eines Hauses gegenüber dem Bundesdurchschnitt mit 80% Wahrscheinlichkeit bei einem 95% Signifikanzniveau zu erkennen (Dimick et al. 2004, Heller 2010) Ermittelt wird der Anteil der Häuser die diese Fallzahl erreichen Folie 5

6 Diskriminationsfähigkeit der Indikatoren QI-Schnellprüfung Prüfung von 302 QI (AQUA 2013: MP 3.0) 44% der QI: kein Haus erreicht diese Fallzahl 85% der QI: weniger als die Hälfte der Häuser erreichen diese Fallzahl Ausgeprägter zufälliger Fehler bei der Qualitätsmessung Folie 6

7 Mögliche Lösungen zufällige Fehler Mehrjährige Auswertungen: CUSUM Plots (AQUA 2013: MP 3.0) Folie 7

8 Mögliche Lösungen zufällige Fehler Mehrjährige Auswertungen: gleitende Durchschnittswerte (Eckardt 2008; AQUA 2013: MP 3.0) Folie 8

9 Mögliche Lösungen: Follow-Up (Heller: Krankenhaus-Report 2011) Folie 9

10 Mögliche Lösungen Zusammenfassen von Indikatoren Qualitätsindex: Bundesauswertung Neonatologie (AQUA 2012) (Mortalität, Hirnblutung, PVL, NEC, ROP, BPD) Folie 10

11 Mögliche Lösungen Mehrebenenanalysen / Empirische-Bayes-Analysen Berechnung der Ergebnisse unter Berücksichtigung einer Vorabinformation (informative prior) Random Effects (Coefficient) Modelle Bessere Prognostische Kraft der einrichtungsbezogenen Ergebnisse (Ash 2003; Dimick et al. 2010) Folie 11

12 Systematische Fehler / Risikoadjustierung Patienten einer Einrichtung sind systematisch anders als in einer anderen Einrichtung Was ist Risikoadjustierung? Risikoadjustierung ist ein Verfahren, um die Messergebnisse vergleichbar zu machen (systematischer Fehler) Im Bereich der Qualitätsmessung insbesondere für einrichtungsspezifische Indikatoren der Ergebnisqualität (Outcome) Fairer Vergleich von Krankenhausergebnissen soll ermöglicht werden Analyse von Qualitätsindikatoren innerhalb von Leistungsbereichen kann bereits als eine Maßnahme zur Risikoadjustierung angesehen werden Folie 12

13 Entwicklung der Risikoadjustierung in der ESQS? Schon immer ein Thema: BQS-Qualitätsreport 2001 logistische Regression zu Risikoadjustierung in der Koronarchirurgie BQS-Qualitätsreport 2008 Nachteil - Sehr heterogenes Vorgehen - Sachlich gerechtfertigt? - Verständlichkeit? Folie 13

14 Entwicklung der Risikoadjustierung in der ESQS? Vorschlag AQUA (Bund-Land Treffen Hannover: ) Alle Indikatoren auf (auch) risikoadjustiert darzustellen Alle Verfahren auf Basis von logistischen Regressionen Warum logistische Regressionen? - Am flexibelsten modellierbar - Einfluss zahlreicher Risikofaktoren kann berücksichtigt werden Folie 14

15 Allgemeine Bedeutung der logistischen Regression in der Wissenschaft Folie 15

16 Vorgehen Risikoadjustierung Identifikation von Ergebnisindikatoren Identifikation von potentiellen Risikofaktoren Was sind potentiellen Risikofaktoren? - Patienteneigenschaften (Alter, Begleiterkrankungen) - Faktoren, die bereits bei Krankenhausaufnahme bestanden - Faktoren, die nicht vom Krankenhaus beeinflusst werden können - Keine Prozessvariablen (Art) der Operation: z. B. Osteosynthese bzw. Endoprothese bei proximaler Femurfraktur - Nicht alle Faktoren die Prognosekraft besitzen: DD Prognosemodell Risikomodell ist demnach ein unvollständiges Prognosemodell Folie 16

17 Vorgehen Risikoadjustierung Berechnung eines Risikoadjustierungsmodell mit allen potentiellen Risikofaktoren Nur signifikante Einflussfaktoren Keine Risikofaktoren mit kontraintuitive Effekten Evaluation möglicher Multi-Kollinearitäts-Effekte (Varianz-Inflations-Faktoren) Nur inhaltlich begründete Interaktionseffekte im Modell Schätzen/ Berechnen eines gekürzten logistischen Regressionsmodells Evaluation der Modellgüte (ROC-Analyse / Hosmer-Lemeshow-Test) Iteratives inhaltlich begründetes Vorgehen, keine stepwise Prozeduren Folie 17

18 Beispiel eines logistischen Regressionsmodells Beispiel Neonatologie: Sterblichkeit für Risikogeburten (Bundesauswertung 2011) Folie 18

19 Beispiel eines logistischen Regressionsmodells Alle Modelle sind unter veröffentlicht Folie 19

20 Aktueller Stand der Risikoadjustierung AQUA: Qualitätsreport 2011 Anteil der Indikatoren, die mit Hilfe logistischer Regressionen risikoadjustiert werden, mehr als verdreifacht Orthopädie / Unfallchirurgie, Geburtshilfe, Neonatologie, Herzschrittmacher, Implantierbare Defibrillatoren, Koronarangiographie, ambulant erworbene Pneumonie, Cholezystektomie Folie 20

21 Berechnung krankenhausspezifischer Ergebnisse Für jedes Krankenhaus wird die durchschnittliche Rate für den der untersuchten Qualitätsindikator (z. B. Revisionsoperationen) ermittelt (O) Auf Basis der logistischen Regression wird für jeden Fall eine Wahrscheinlichkeit berechnet, ob dass das untersuchte Outcome eintritt Anschließend wird für jedes Krankenhaus eine durchschnittliche erwartete Eintrittswahrscheinlichkeiten errechnet (E) Anschließend wir ein Quotient aus O und E gebildet: O / E 1 bedeutet: Krankenhaus liegt risikoadjustiert auf dem Durchschnitt 2 bedeutet: Krankenhaus weist doppelt so viel Ereignisse auf, als (risikoadjustiert) erwartet 0.5 bedeutet: Krankenhaus weist halb so viele Ereignisse auf, als (risikoadjustiert) erwartet Folie 21

22 Interpretation krankenhausspezifischer Ergebnisse Verhältnis der beobachteten zur erwarteten Rate (O / E) an Todesfällen bei Risiko- Lebendgeburten in Hessen Folie 22

23 Mögliche Lösungen Risikoadjustierung Zusammenfassen von Indikatoren: Bsp. Orthopädie / Unfallchirurgie Folie 23

24 Weitere Anwendungen von Risikoadjustierungsgleichungen Auffälligkeitskriterien in der Datenvalidierung: Bsp. Aortenklappenchirurige AK 2a: Auffallend häufig Angaben von Risikofaktoren zum AKL-Score Zur Abschätzung der Indikationsqualität? Bsp. Standardisierte primäre Sektiorate (Becker & Eissler 2013) Folie 24

25 Weitere Anwendungen von Risikoadjustierungsgleichungen Anwendung in der Patientenberatung (Risikokommunikation) Verhältnis der beobachteten zur erwarteten Rate (O / E) an Todesfällen bei Risiko- Lebendgeburten in NRW Folie 25

26 Weitere Anwendungen von Risikoadjustierungsgleichungen Anwendung in der Patientenberatung (Risikokommunikation) Erwartete Sterblichkeit von Risikogeburten Folie 26

27 Diskussion Vorschlag AQUA: Mehrstufiges Modell der Auswahl eines geeigneten Krankenhauses 1. Berechnung des spezifischen Risikos des Patienten an Hand der von AQUA veröffentlichten Risikoadjustierungsgleichungen 2. Auswählen einer Klinik, die über a) ausreichend Erfahrung mit Patienten des ermittelten Risikos und b) gute Ergebnisse verfügt Diese Überlegungen wurden bei der Erarbeitung einer laienverständlichen Internetdarstellung der Versorgung von Früh und Neugeborenen mit sehr niedrigem Geburtsgewicht berücksichtigt ( ) Abnahme der Berichts / Internetportals am Folie 27

28 Zusammenfassung Überblick Historie / Verfahren / Sinn / Anwendung von Risikoadjustierungsverfahren in der medizinischen Qualitätssicherung? Credo Risikoadjustierung möglichst auf Basis von logistischen Regressionen - flexible Modellierung - zahlreiche Risikofaktoren können berücksichtigt werden - gleiche Metrik des O/E (Verständlichkeit / Praktikabilität) Immer Betrachtung / Analyse unter Berücksichtigung von O und E und Fallzahl im Trend, um Fehlinterpretationen vorzubeugen Beachtung des Boden- / Decken-Effektes zahlreicher Indikatoren (fehlende Diskriminationsfähigkeit von Indikatoren kann Risikoadjustierung nicht ausgleichen) Lösungsmöglichkeiten: Langzeitbeobachtung / regelhaftes Zusammenfassen von Indikatoren (Qualitätsindex) Folie 28

29 Zusammenfassung Einführung / Grundlagen der Qualitätsmessung DD Zufällige Fehler / Systematische Fehler Lösungsmöglichkeiten: Zufällige Fehler Mehrjährige Auswertungen (CUSUM, Follow-Up-Indikatoren, Moving Average) Qualitätsindices / Composite Measures Mehrebenenmodelle Lösungsmöglichkeiten: Systematische Fehler Risikoadjustierung Kommunikation von risikoadjustierten Ergebnissen für die Patientenberatung Dokumentationsfehler (Datenvalidität Auffälligkeitskriterien interne /externe Validitätsprüfung, Abgleich RD,..) Ziel ist eine Verbesserung der Trefferquote bei der Identifikation von Qualitätsproblemen, um mit möglichst zielgerichtet Qualitätsverbesserungsprozesse initiieren zu können Folie 29

30 Herzlichen Dank! AQUA Institut für angewandte Qualitätsförderung und Forschung im Gesundheitswesen GmbH Maschmühlenweg Göttingen Telefon: (+49) 0551 / Telefax: (+49) 0551 / office@aqua-institut.de Folie 30