Qualitätsindikatoren in den Qualitätsberichten der Krankenhäuser (Transparenz)

Transkript

1 Qualitätsindikatoren in den Qualitätsberichten der Krankenhäuser (Transparenz) 3. Qualitätssicherungskonferenz des Gemeinsamen Bundesausschusses am 28. November 2011 Dr. Thomas König AQUA Institut für angewandte Qualitätsförderung und Forschung im Gesundheitswesen, Göttingen, Folie 1

2 Qualitätsindikatoren in den Qualitätsberichten der Krankenhäuser Sinn von Transparenz auf Einrichtungsebene Limitierende Faktoren für Transparenz Historie und internationaler Vergleich QI-Schnellprüfung Experteninterviews Statistische Prüfung Finale Bewertungsrunde Ergebnisse Fazit & Ausblick Folie 2

3 Transparenz auf Einrichtungsebene hat einen Sinn. Möglicher Nutzen Verbesserung der rationalen Handlungswahl aller Teilnehmer am Gesundheitsmarkt Anreiz zur Qualitätsverbesserung durch öffentlichen Druck Belohnung besonders gut abschneidender Krankenhäuser (positive statt negative Sanktionen) Erreichbare Ziele (Edmond & Bearman, 2007) Möglichst breite Berichterstattung: Vermeidet Tunnelblick Pflichtberichterstattung vermeidet Misrepräsentation Folie 3

4 Limitierende Faktoren für Transparenz Nachfrageseite öffentliche Verständlichkeit 1. Laienverständlichkeit 2. Verständlichkeit für die Akteure im Gesundheitswesen 3. Medienkomptabilität öffentliche Rezeption sehr geringe Verwendung von relevanten Informationen, insbesondere bei Patienten sinkendes Vertrauen in Gesundheitsstatistiken und Wissenschaft (Murray, 2007) steigende Menge an verfügbaren Informationen Angebotsseite statistische Eigenschaften Diskriminationsfähigkeit, Reliabilität, Dokumentationsqualität auf Einrichtungsebene, insbesondere problematisch bei kleinen Fallzahlen und sentinel events empirische Evidenz insbesondere bei Indikatoren, die noch nicht lange in der Praxis evaluiert worden sind (Grad der) Risikoadjustierung verhindert gaming Folie 4

5 Historie 2007 Paradigmenwechsel: Verpflichtende Veröffentlichung von Qualitätsindikatoren QUALIFY (BQS): Standardisiertes Verfahren national 55 Qualitätsindikatoren (von insgesamt 180) bewertet, 31 zur Veröffentlichung empfohlen (Reiter et al. 2011) Urteil: effizient (Lüngen & Rath, 2011), aber nicht alle Indikatoren umspannend (Reiter et al, 2011: 47) Berichterstattung national einheitlich QI-Schnellprüfung (AQUA): Alle Indikatoren wurden einer einheitlichen statistischen und inhaltlichen Prüfung auf Veröffentlichungsfähigkeit unterzogen international USA NQF formalisierter Prozess zur Auswahl von zu veröffentlichenden Indikatoren keine operationalisierten Kriterien, um Indikatoren zu evaluieren freiwillige Mitgliedschaft Beispiel Krankenhausinfektionen keine national einheitliche Berichterstattung haben 13/14 Staaten verpflichtende Berichterstattung eingeführt (NV nicht öffentlich) UK QOF keine öffentlich einsehbaren Bewertungskriterien Folie 5

6 Ablauf der Schnellprüfung Befragung der Bundesfachgruppenmitglieder statistische Prüfung (außer Transplantationsverfahren) finale Bewertungsrunde (Fachkommission) innerhalb des AQUA- Instituts; für fachliche Einzelfragen wurden externe Fachexperten hinzugezogen Empfehlungen an den G-BA: Veröffentlichung Weiterentwicklung Follow-Up Empfehlungen an die Bundesfachgruppen: Qualitätsindizes Risikoadjustierung Folie 6

7 Befragung der Bundesfachgruppenmitglieder Aufbau der Bewertungsbögen Hintergrundinformationen zu den Qualitätsindikatoren Bewertungsbogen (9 Fragen je Qualitätsindikator) Anhang Rationale (wissenschaftliche Begründung der Qualitätsindikatoren) Ergebnisse: tabellarische und graphische Aufbereitung der Ergebnisse Folie 8

8 Statistischer Teil der QI-Schnellprüfung Ziele für Qualitätsindikatoren Statistische Bewertung 1. Hohe Diskriminationsfähigkeit: Eigenschaft, dass unterschiedliche Ergebnisse auch echte Unterschiede abbilden 2.Hohe Reliabilität: Zuverlässigkeit, stets das Gleiche zu messen Allgemeines Ergebnis Diskriminationsfähigkeit und Reliabilität sind hoch korreliert. Es wurden verschiedene Maßzahlen berechnet, die empirisch (Faktorenanalyse) eine hohe Übereinstimmung aufweisen. Vorgehen bei der Auswertung 1.Zunächst Einstufung der Diskriminationsfähigkeit 2.Wenn einer Einstufung der Diskriminationsfähigkeit als schlecht erfolgte, wurde die Reliabilität des Indikators betrachtet Folie 9

9 Diskriminationsfähigkeit Berechnung der Power des Qualitätsindikators Berechnung der Anzahl und des Anteils der Krankenhäuser, für die bei einem Qualitätsindikator sinnvolle (signifikante) Aussagen gemacht werden können. α: Fehler erster Art -- Signifikanz β: Fehler zweiter Art -- Power α<.05, 1-β>.80 (Standardwerte gemäß Cohen, [1969] 1988: 56) Vorgehensweise: Erforderliche Stichprobengröße bei einer Verdoppelung der Qualitätsindikatoren-Werte (Dimick et al. JAMA 2004) Benötigte Stichprobengröße hängt von der Prävalenz (Häufigkeit des Auftretens) eines Qualitätsindikators ab. Je näher die Prävalenz bei binären Daten an 0,5 ist, desto kleiner ist die erforderliche Stichprobengröße. Folie 10

10 Statistische Einstufung Diskriminationsfähigkeit 0 % der Krankenhäuser: schlechte Diskriminationsfähigkeit unter 10% der Krankenhäuser: mäßige Diskriminationsfähigkeit über 10 % der Krankenhäuser: gute Diskriminationsfähigkeit Vorgehensweise Reliabilität 1.Quartalisierung der Daten 2.Berechnung des durchschnittlichen Pearsons r Einstufung > 0,4 gut 0,2 0,4 mäßig < 0,2 schlecht Folie 11

11 Statistische Prüfung: Beispiel Mamachirurgie Zeitlicher Abstand zwischen Diagnose und Operationsdatum (Patientinnen mit angemessenem zeitlichen Abstand zwischen prätherapeutischer histologischer Diagnose und Operationsdatum bei Ersteingriff) Anzahl Lymphknoten (Patientinnen mit Entfernung von mindestens 10 Lymphknoten) Diskriminationsfähigkeit Prävalenz: 0,62 Minimale Fallzahl: 10 Anzahl der Krankenhäuser, die diese Fallzahl erreichen: 537 (70,7%) Test-Retest-Reliabilität durchschnittliches Pearsons r: 0,78 Diskriminationsfähigkeit Prävalenz: 0,93 Minimale Fallzahl: 63 Anzahl der Krankenhäuser, die diese Fallzahl erreichen: 41 (8,2%) Test-Retest-Reliabilität durchschnittliches Pearsons r: 0,45 statistische Einstufung: gut statistische Einstufung: mäßig Folie 12

12 Finale Bewertungsrunde im AQUA-Institut Teilnehmer ein interdisziplinäres Team vor Ort für jeden Leistungsbereich zusätzlich der jeweilige Bundesfachgruppenleiter für Einzelfragen telefonisch: Mitglieder der Bundesfachgruppen Materialen Ergebnisse der statistischen Bewertungen Ergebnisse der Befragung Vorgehensweise Zusammenspiel von statistischer Prüfung und Expertenbefragung daraus resultierend Empfehlungen an den G-BA und die Bundesfachgruppen Folie 13

13 Veröffentlichungsstatus der Indikatoren Qualitätsindikatoren QI-DB 2010 (davon sentinel events) Anteil 1 = Verpflichtende Veröffentlichung empfohlen. 2 = Verpflichtende Veröffentlichung empfohlen; Erläuterung und/oder leichte Anpassung notwendig. 3 = Veröffentlichung zum jetzigen Zeitpunkt nicht empfohlen. Ggf. nach Überarbeitung erneut prüfen. 48 (2) 12,3% 134 (10) 34,3% 108 (19) 27,7% 4 = Veröffentlichung nicht empfohlen. 26 (2) 6,7% neue Leistungsbereiche bzw. neue Felder ,0% GESAMT: % Folie 14

14 Ergebnisse der Qualitätsindikatoren im Einzelnen Darstellung der Ergebnisse im Einzelnen im Anhang 1 des Berichts Weiterführende Empfehlungen zu den Qualitätsindikatoren im Anhang 2 Detailinfos zu Befragungsergebnissen und statistischer Bewertung im Anhang 3 Folie 15

15 Fazit und Ausblick Ergebnisse der QI-Schnellprüfung 182 (46,7%) aller Indikatoren werden zukünftig auf Einrichtungsebene veröffentlicht Selektionsprozess ist transparent und öffentlich im Internet aufrufbar Verfahrensjahr 2011 Laienverständliche Benennung der Indikatoren (z.b. Letalität Sterblichkeit ) Risikoadjustierung von Ergebnisindikatoren Entwicklung von Indizes Folie 16

16 Herzlichen Dank! AQUA Institut für angewandte Qualitätsförderung und Forschung im Gesundheitswesen GmbH Maschmühlenweg Göttingen Telefon: (+49) 0551 / Telefax: (+49) 0551 / office@aqua-institut.de Internet: Folie 17