Angemessene Risikoadjustierung - Überadjustierung vermeiden 4. Kongress. Qualitätsmessung und Qualitätsmanagement mit Routinedaten Potsdam, 05. Mai 2015 PD Dr. med. Günther Heller AQUA Institut für angewandte Qualitätsförderung und Forschung im Gesundheitswesen, Göttingen 2015 AQUA-Institut GmbH 1
Gliederung Einführung / Grundlagen der Qualitätsmessung Vorgehen Risikoadjustierung Probleme Überadjustierung Strategien zur Vermeidung von Überadjustierung 2015 AQUA-Institut GmbH 2
Einführung Beobachteter Wert = wahrer Wert + Fehler zufälligefehler wie auch systematische Fehler 2015 AQUA-Institut GmbH 3
Systematische Fehler / Risikoadjustierung Patienten einer Einrichtung sind systematisch anders als in einer anderen Einrichtung Was ist Risikoadjustierung? Risikoadjustierung ist ein Verfahren, um die Messergebnissevergleichbar zu machen Im Bereich der Qualitätsmessung insbesondere für einrichtungsspezifische Indikatoren der Ergebnisqualität (Outcome) Fairer Vergleich von Krankenhausergebnissen soll ermöglicht werden Analyse von Qualitätsindikatoren innerhalb von Leistungsbereichen kann bereits als eine Maßnahme zur Risikoadjustierung angesehen werden 2015 AQUA-Institut GmbH 4
Vorgehen Risikoadjustierung Identifikation von Ergebnisindikatoren Identifikation von potentiellen Risikofaktoren => Literaturrecherche & => Analyse von (Routine-)daten Was sind potentiellen Risikofaktoren? - Patienteneigenschaften (Alter, Begleiterkrankungen) - Faktoren, die bereits bei Krankenhausaufnahme bestanden - Faktoren, die nicht vom Krankenhaus beeinflusst werden können - Keine Prozessvariablen (Art) der Operation: z. B. Osteosynthese bzw. Endoprothese bei proximaler Femurfraktur - Nicht alle Faktoren die Prognosekraft besitzen: DD Prognosemodell Risikomodell ist demnach ein unvollständiges Prognosemodell 2015 AQUA-Institut GmbH 5
Vorgehen Risikoadjustierung Betrachtung der üblichen Fit-Maße (ROC, Pseudo r2, H-L-Test, ) sind von untergeordneter Bedeutung Beispiel: Perioperative Wundinfektion => Alter (geringe Erklärungskraft) => Diabetes (geringe Erklärungskraft) => sinnvolle Hygienemaßnahmen: erklärender Faktor (kein Risikofaktor) daher im Ergebnis eher moderate Modellgüte zu erwarten Würde man deswegen auf eine Risikoadjustierung nach Alter und Diabetes verzichten wollen? 2015 AQUA-Institut GmbH 6
Problem Überadjustierung 1)Nach Faktoren adjustiert, welche die Einrichtung beeinflussen kann => Bsp. unterschiedliche Therapieverfahren für eine Erkrankung 2)Nach Faktoren adjustiert, die sich unterschiedlich auf die Prognose von Patienten auswirken 2015 AQUA-Institut GmbH 7
Problem Überadjustierung 2) Risikofaktoren wirken sich unterschiedlich auf die Prognose einzelner Patienten aus => mögliche Ursachen unterschiedliche Prognose bildet unterschiedliche Versorgungsqualität ab => das ist das was erreicht werden soll zufälliger Fehler (random) kein Thema für die Risikoadjustierung Lösungsmöglichkeiten: => Erhöhung Nenner (und Zähler) Beobachtungsintervall verlängern (Mehrere Jahre, moving averages; CUSUM) => Erhöhung des Zählers Indexbildung, composite measures(heller 2008) => (empirische)-bayes-analysen 2015 AQUA-Institut GmbH 8
Problem Überadjustierung 3) Risikofaktoren wirken sich unterschiedlich auf die Prognose einzelner Patienten aus => mögliche Ursachen uneinheitliche Kodierung der Risikofaktoren (Heller & Schnell, Letter to the Editor) => : Pineet al. JAMA, 2007 => je mehr Risikofaktoren im Modell, desto besser der Modellfit (weiterer Grund im Kontext der Risikoadjustierung nicht zu sehr auf ROC- Kurven etc. zu schauen) => uneinheitliche Kodierung (APGAR-Score) kann bei identischer Qualität zweier Krankenhäuser zu unterschieden in der Risikoadjustierung führen Lösung => einheitliche Kodierung 2015 AQUA-Institut GmbH 9
Problem Überadjustierung 2) Risikofaktoren wirken sich unterschiedlich auf die Prognose einzelner Patienten aus => mögliche Ursachen Ähnliches Problem constantriskfallacy bei: Nicholl, J Epid Comm Health 2007 Mohammed et al. BMJ 2009 Hier aber nicht nur Kodierung, sondern ggf. auch Risikofaktoren selbst führen innerhalb der Risikogruppe zu unterschiedlichen Risiken => Modell fehlspezifiziert (falsche Risikofaktoren, Modell nicht vollständig genug) => Lösung: Modell richtig spezifizieren 2015 AQUA-Institut GmbH 10
Lösungsmöglichkeiten Vermeidung von Überadjustierung korrekte Modellspezifikation/-entwicklung => inhaltlich sinnvolle Risikofaktoren => alle relevanten Risikofaktoren enthalten? => bereits bei Modellentwicklung auf mögliche Kodierprobleme achten kritische Betrachtung / Reanalyse der Ergebnisse der Risikoadjustierung => idealerweise externe Validierungsstudie (..) => hat sich das Risiko innerhalb einer Einrichtung deutlich verändert und ist dies glaubhaft? => gibt es Hinweise auf Kodierprobleme => immer betrachten von rohen und risikoadjustierten Werten gemeinsam 2015 AQUA-Institut GmbH 11
Beispiel eines logistischen Regressionsmodells Beispielklinik: QSR-Klinikbericht (2008) 2015 AQUA-Institut GmbH 12
Lösungsmöglichkeiten Vermeidung von Überadjustierung korrekte Modellspezifikation/-entwicklung => inhaltlich sinnvolle Risikofaktoren => alle relevanten Risikofaktoren enthalten? => bereits bei Modellentwicklung auf mögliche Kodierprobleme achten Kritische Betrachtung / Reevaluation der Modelle Reanalyse der Ergebnisse der Risikoadjustierung => idealerweise externe Validierungsstudie (..) => hat sich das Risiko innerhalb einer Einrichtung deutlich verändert und ist dies glaubhaft => gibt es Hinweise auf Kodierprobleme => immer betrachten von rohen und risikoadjustierten Werten gemeinsam 2015 AQUA-Institut GmbH 13
Herzlichen Dank! AQUA Institut für angewandte Qualitätsförderung und Forschung im Gesundheitswesen GmbH Maschmühlenweg 8 10 37073 Göttingen Telefon: (+49) 0551 / 789 52-0 Telefax: (+49) 0551 / 789 52-10 office@aqua-institut.de www.aqua-institut.de 2015 AQUA-Institut GmbH 14