Grenzen der Objektivität - Qualität von Qualitätsvergleichen Qualitätstag der Krankenhäuser Deutsche Krankenhausgesellschaft Berlin, 09. Mai 2014
Objektivität Objektivität ist eines der Hauptgütekriterien eines Tests. Der Grad, in dem die Testergebnisse eines Tests unabhängig vom Untersucher sind. Idealfall: Verschiedene Untersucher kommen bei den selben Probanden zu gleichen Ergebnissen Unsere Situation: Verschiedene Qualitätsvergleiche können bei einem Krankenhaus zu durchaus unterschiedlichen Ergebnissen kommen. Durchführungsobjektivität Auswertungsobjektivität Interpretationsobjektivität»Präsentationsobjektivität«In Anlehnung an: Lienert / Raatz. Testaufbau und Testanalyse. Verlag Julius Beltz 2
Internes Reporting Standardisierte primäre Sectiorate (%) Qualität des Verfahrens ist ein»internes Qualitätsversprechen«3
Freiwilliges Public Reporting Primäre Sectiorate (%) Qualität des Verfahrens ist jetzt auch ein»externes Qualitätsversprechen«4
Public Reporting durch Dritte Standardisierte primäre Sectiorate (%) Medien Krankenkassen Krankenhäuser Andere Zukünftig: Institut für Qualität Qualität der Verfahren ist zukünftig eine verbindlich einzuhaltende Qualitätszusage 5
Fragen und Handlungen? Standardisierte primäre Sectiorate (%) K ist in unserer Stadt oder gehe ich doch besser zu G, N oder R? Zunehmende Fallzahl K ist o.k., der Wert ist im Limit und ich kenne die Kollegen gut. Ich arbeite mit denen weiterhin zusammen. P, Q und S: Vom Netz nehmen? Oder doch weiter Qualitätsentwicklung fördern? Oder Mindestmengen? Oder, oder, oder? Blick in die Zukunft Die Schwangere nimmt sich vor, bald an einer kostenlosen und vom Institut akkreditierten Fortbildung teilzunehmen. Die Gynäkologin hat an einem entsprechenden Expertenkurs (mit Fortbildungspunkten versehen) bereits teil genommen und darf die erworbene Beratungskompetenz in ihrer Praxis ausweisen. 6
Wie gut soll ein Qualitätsvergleich sein? Eine Information ist ein Unterschied, der einen Unterschied macht Statistische Signifikanz und klinische Relevanz! Beispiel: Standardisierte primäre Sectiorate KH-K 22% vs. Referenzwert 18% 7
Institut für Qualitätssicherung und Transparenz im Gesundheitswesen Das Institut hat zu gewährleisten, dass die Aufgaben nach Absatz 3 auf Basis der maßgeblichen, international anerkannten Standards der Wissenschaften erfüllt werden. Entwurf eines Gesetzes zur Weiterentwicklung der Finanzstruktur und der Qualität in der gesetzlichen Krankenversicherung (GKV-Finanzstruktur-und Qualitäts-Weiterentwicklungsgesetz-GKV-FQWG) http://www.bundesrat.de/shareddocs/drucksachen/2014/0101-0200/151-14.pdf? blob=publicationfile&v=1 (letzter Zugriff 04.05.2014) 8
Ergebnisqualität: Quellen der Variabilität mit Einfluss auf Rankings und P4P V(EQ)= V(Definitionen Datenqualität) + V(Case Mix) + V(Prozessqualität Strukturqualität) + V(Zufall) Dokumentation Kodierung Kodierrichtlinien POA-Kennzeichen ICD-Outcome-Kodes R-Adjustierung Beste Evidenz Vorgaben Fallzahlen 9
Qualität statistischer Modelle Sie sind prognostisch, nicht diagnostisch. Sie sind der Anfang und nicht das Ende. Die Entwicklung muss transparent und nach definierten Standards erfolgen. Alle relevanten Informationen zur Entwicklung und den statistischen Gütekriterien müssen der Öffentlichkeit zugänglich sein. Geheime Blackboxen führen nicht zu Akzeptanz. Standards und Qualitätskriterien gibt es in der Fachliteratur. 10
Qualität statistischer Modelle 11
Zunehmende Fallzahl Becker A, Eissler U (2014) zur standardisierten primären Sectiorate Siehe Literaturverzeichnis 12
Monitoring & Frühwarnsystem X-Achse: Geburten aus dem Jahr, aufsteigend nach Entlassungsdatum Zwischen den Limits: Statistisch unauffällig Außerhalb der Limits: Unter-/Überversorgung?»Weniger als erwartet«unterversorgung? Zwischen den Limits: Bedeutung der Trends? Endergebnis: Beobachtet = Erwartet!»Mehr als erwartet«überversorgung? 13
Zusammenfassung Transparenz ist ein legitimes Interesse aller Beteiligten insbesondere der Patienten. Ziel ist die Qualitätsverbesserung, die Messung, Beurteilung und Reporting sind kein Selbstzweck. Die Qualität der Definitionen, Daten, Modellentwicklung, Interpretation und Präsentation bestimmen die Qualität der Qualitätsvergleiche und somit ihre Akzeptanz. Eine wichtige Aufgabe wird auch die Entwicklung evidenzbasierter Referenzbereiche sein. Die grafische Darstellung von Ergebnissen sollte die Bedeutung von Fallzahlen intuitiv erfassbar machen (»Funnel Plots«) Eine fachlich qualifizierte und unabhängige Institution sollte alle Leistungserbringer nach einheitlichen, wissenschaftlich fundierten und transparenten Verfahren beurteilen. Auswertungen in kurzen Intervallen: Kontinuierliches Monitoring und Frühwarnsystem (»CUSUM, VLAD«) 14
Literatur Becker A (2012). Present-On-Admission-Kennzeichen (POA) für administrative Routinedaten in Krankenhäusern. Literaturübersicht und Handlungsempfehlungen. Eine Ausarbeitung für die Gesellschaft für Qualitätsmanagement in der Gesundheitsversorgung e.v. (GQMG). Quelle: http://gqmg.de/gqmg_about/position_empfehlung.htm Becker A (2013). Von Daten zu Informationen zu Entscheidungen wie können statistische Grafiken die klinische Qualitätsbewertung im Krankenhaus unterstützen? Data to Information to Decisions how can Statistical Graphics support Clinical Quality Evaluation in Hospitals? Interdisciplinary Contributions to Hospital Management: Medicine, Patient Safety and Economics. 18.12.2013 #017. http://www.clinotel-journal.de/article-id-017.html Becker A, Eissler U (2014). Die standardisierte primäre Sectiorate (SPSR) und ihre Anwendung im Qualitätsmanagement und für Krankenhausvergleiche. das Krankenhaus. 2014; 106(2): 115-130. bzw. Interdisciplinary Contributions to Hospital Management: Medicine, Patient Safety and Economics. 17.04.2013 #010. http://www.clinotel-journal.de/article-id-010.html Benchimol EI, Manuel DG, To T, Griffiths AM, Rabeneck L, Guttmann A (2011). Development and use of reporting guidelines for assessing the quality of validation studies of health administrative data. J Clin Epidemiol. 2011; 64(8): 821-829. PubMed-ID: 21194889 Burns EM, Bottle A, Aylin P, Darzi A, Nicholls RJ, Faiz O (2011). Variation in reoperation after colorectal surgery in England as an indicator of surgical performance: retrospective analysis of Hospital Episode Statistics. BMJ. 2011; 343: -. PubMed-ID: 2184674 Gaieski DF, Edwards JM, Kallan MJ, Carr BG (2013). Benchmarking the incidence and mortality of severe sepsis in the United States.. Crit Care Med. 2013; 41(5): 1167-1174. PubMed-ID: 23442987 Glance LG, Neuman M, Martinez EA, Pauker KY, Dutton RP (2011). Performance measurement at a "tipping point".. Anesth Analg. 2011; 112(4): 958-966. PubMed-ID: 21385976 Harrison DA, Brady AR, Parry GJ, Carpenter JR, Rowan K (2006). Recalibration of risk prediction models in a large multicenter cohort of admissions to adult, general critical care units in the United Kingdom. Crit Care Med. 2006; 34(5): 1378-1388. PubMed-ID: 16557153 Katzan IL, Spertus J, Bettger JP, Bravata DM, Reeves MJ, Smith EE, Bushnell C, Higashida RT, Hinchey JA, Holloway RG, Howard G, King RB, Krumholz HM, Lutz BJ, Yeh RW (2014). Risk adjustment of ischemic stroke outcomes for comparing hospital performance: a statement for healthcare professionals from the American Heart Association/American Stroke Association. Stroke. 2014 Mar;45(3):918-44. PubMed-ID: 24457296 Krumholz HM, Brindis RG, Brush JE, Cohen DJ, Epstein AJ, Furie K, Howard G, Peterson ED, Rathore SS, Smith, Spertus JA, Wang Y, Normand SL (2006). Circulation. 2006; 113(3): 456-462. PubMed-ID: 16365198 Lilford R, Mohammed MA, Spiegelhalter D, Thomson R (2004). Use and misuse of process and outcome data in managing performance of acute medical care: avoiding institutional stigma. Lancet. 2004; 363(9415): 1147-1154. PubMed-ID: 15064036 Patrick SW, Davis MM, Sedman AB, Meddings JA, Hieber S, Lee GM, Stillwell TL, Chenoweth CE, Espinosa C, Schumacher RE (2013). Accuracy of hospital administrative data in reporting central line-associated bloodstream infections in newborns. Pediatrics. 2013; 131 Suppl 1: S75-S80. PubMed-ID: 23457153 Shahian DM, Silverstein T, Lovett AF, Wolf RE, Normand SL (2007). Comparison of clinical and administrative data sources for hospital coronary artery bypass graft surgery report cards. Circulation. 2007; 115(12): 1518-1527. PubMed-ID: 17353447 Tu Yu-Kang, Gilthorpe MS (2007). The most dangerous hospital or the most dangerous equation? BMC Health Services Research 2007, 7:185 doi:10.1186/1472-6963-7-185 15
Vielen Dank! T +49 2205 920 460 F +49 2205 920 462 M +49 172 29 88 040 E becker@i-pdb.de W www.i-pdb.de Institut Prof. Dr. Becker Nonnenweg 120a 51503 Rösrath