Control Charts statt League Tables Eine Methode zur Abbildung von Lernprozessen und Veränderungsdynamik im Rahmen von Qualitätssicherungsprojekten Karl Wegscheider, Eik Vettorazzi, Jan F. Kersten Universität Hamburg wegsch@econ.uni-hamburg.de 1
Aufgabenstellung Chirurgische Qualitätssicherung: Vergleich von Qualitätsindikatoren zwischen Zentren (Krankenhäusern /Abteilungen) Qualitätsindikatoren können - binär (z.b. Komplikation ja/nein) oder - stetig (z.b. erzielte Funktionsverbesserung) sein. 2
Internationaler Berichtsstandard: League Table 30-Tage Krankenhaus-Mortalität nach Myokardinfarkt Fixer Zeitraum (ein Jahr, zwei Jahre) 3
Mängel der naiven League Table-Aufarbeitung Sportlicher Wettbewerb betont. Aber eigentlich ist der Rangplatz völlig unwichtig, es kommt nur darauf an, unzulässige Abweichungen vom Standard zu vermeiden. Darstellung der Veränderungsdynamik / der Lernprozesse fehlt. Kein Vergleich im gleichen Lernstadium (unterschiedliche Patientenzahlen) 4
Alternative: Control Charts Tekkis et al, BMJ 2003: 5
Einfach zu konstruieren: unadjustierter Chart Binäre Größen: Kumulative Raten innerhalb von Kontrollbereichsgrenzen mit Binomialverteilung Stetige Größen: Kumulative Mittelwerte innerhalb von Kontrollbereichsgrenzen mit Normalverteilung 6
Vergleich von Rehakliniken bzgl. Entlassungs-LDL Control Chart für Anteil nicht leitliniengerecht (unadjustiert) Survival unadjustiert (Gd-Wert= 115 ) 1 Mittel 90% Grenze 95% Grenze 99% Grenze 0.8 0.6 Wsk 0.4 0.2 0 0 20 40 60 80 100 120 140 Anzahl Patienten Wegscheider, K (2004): Methodische Anforderungen an Einrichtungsvergleiche ( Profiling ) im Gesundheitswesen. Z.ärztl.Fortbild.Qual.Gesundh.wes. (2004) 98: 647-654. 7
Vergleich von Rehakliniken bzgl. Entlassungs-LDL Control Chart für LDL-Wert (unadjustiert) unadjustierte Mittel 140 Mittel 90% Grenze 95% Grenze 99% Grenze LDL bei Entlassung [mg/dl] 120 100 80 60 alter Guidelinewert neuer Guidelinewert 0 20 40 60 80 100 120 140 Anzahl Patienten 8
Unadjustierte Analyse Vorteile eigene Zahlen erkennbar leicht zu berechnen Veränderungsdynamik erkennbar gute Vergleichbarkeit bei unterschiedlicher Patientenzahl Nachteil keine Vergleichbarkeit in den Ausgangsbedingungen (patient mix) 9
Alternative: Adjustierte Analyse Adjustierungsvariable im Beispiel: Alter Ausgangswert Geschlecht Diagnose Konstruktion über mathematisches Modell, entwickelt an alten Daten (oder aktuellen) Optimale Modellierungsstrategie: Gemischtes Modell Zufälliger Effekt: Zentrum Feste Effekte: Adjustierungsvariablen anschließend: Verwendung der Regressionskoeffizienten der festen Effekte zur Adjustierung im Control Chart 10
Vergleich von Rehakliniken bzgl. Entlassungs-LDL Control Chart für LDL-Wert (adjustiert) kumulativer Chart 140 Mittel 90% Grenze 95% Grenze 99% Grenze LDL bei Entlassung [mg/dl] 120 100 80 60 alter Guidelinewert neuer Guidelinewert 0 20 40 60 80 100 120 140 Anzahl Patienten 11
Vergleich von Rehakliniken bzgl. Entlassungs-LDL Control Chart für LDL-Wert (adjustiert) kumulativer Chart 140 Mittel 90% Grenze 95% Grenze 99% Grenze LDL bei Entlassung [mg/dl] 120 100 80 60 alter Guidelinewert neuer Guidelinewert 0 20 40 60 80 100 120 140 Anzahl Patienten 12
Vergleich von Rehakliniken bzgl. Entlassungs-LDL Control Chart für LDL-Wert (adjustiert, gleitende Mittel) gleitende Mittel 140 Mittel 90% Grenze 95% Grenze 99% Grenze LDL bei Entlassung [mg/dl] 120 100 80 60 alter Guidelinewert neuer Guidelinewert 0 20 40 60 80 100 120 140 Anzahl Patienten 13
Ein weiteres Beispiel: Akupunkturstudie Akupunkturdaten adjustiert Reduktion Funktionseinschränkung (%) 50 45 40 35 30 25 20 0 500 1000 1500 2000 Anzahl Patienten Mittel 90% Grenze 95% Grenze 99% Grenze Anteil Akupunkturbehandlungen bis 10% größer 10 bis 20% größer 20 bis 30% größer 30% 14
Unser nächstes Ziel: Simultane Darstellung mehrerer Qualitätsendpunkte in einem Control Chart Problem: Skalierung stetige Zielgrößen: gemeinsame Skalierung durch Standardisierung binäre Zielgrößen: gemeinsame Skalierung auf Logodds-Skala? 15
Zusammenfassung Control Charts erlauben die Darstellung von Lernprozessen / Veränderungsdynamik bei Qualitätsvergleichen Faire Vergleiche erfordern aufwendige mathematische Modellierung im Hintergrund (wie bei League Tables) Begrenzungen: Control Charts können nur verwendet werden, wenn die Lernzeit (nicht identisch mit Kalenderzeit) vorliegt und genügend lang ist. Kumulative/gleitende Mittelwerte sind intuitiv schwer stochastisch zu interpretieren (abhängige Datenpunkte, Problem bei jeder Glättung) 16
17
18
Berechnung der adjustierten Indikatoren Binär: O E Mittelwert bzw. O E Sollwert Stetig: ( O E) + Mittelwert bzw. ( ) O E + Sollwert 19
Zum Vergleich: Ranking adjustiert 50 100 150 52 32 30 6 46 37 2 12 80 64 41 10 31 25 8 43 29 26 40 62 33 76 11 28 34 20 63 50 23 21 7 45 67 16 18 19 53 81 82 48 59 49 9 58 27 55 57 24 5 22 14 3 56 72 54 15 1 68 42 13 4 75 51 20