Veröffentlichungsfähigkeit von Qualitätsindikatoren

Transkript

1 Veröffentlichungsfähigkeit von Qualitätsindikatoren Panel Gütekriterien für Qualitätsindikatoren 7. Qualitätssicherungskonferenz des Gemeinsamen Bundesausschuss Berlin, 1. Oktober 2015 Thomas König, PhD AQUA Institut für angewandte Qualitätsförderung und Forschung im Gesundheitswesen, Göttingen 2015 AQUA-Institut GmbH 1

2 Agenda Ziele der Veröffentlichung Veröffentlichungsziele Veröffentlichungsbreite Kriterien der Veröffentlichungsfähigkeit Validität Differenzierungsfähigkeit Verständlichkeit Vermeidung von Fehlsteuerung Stand in der externen stationären Qualitätssicherung Statistische, harte Kriterien Expertenbewertung Gesamtüberblick Ausblick 2015 AQUA-Institut GmbH 2

3 Veröffentlichungsziele Verbesserung der rationalen Handlungswahl aller Teilnehmer am Gesundheitsmarkt durch Transparenz Anreiz zur Qualitätsverbesserung für Leistungserbringer öffentlicher Druck intrinsische Motivation der Leistungserbringer gute Qualität zu liefern Möglichkeit der Auswahl der Leistungserbringer durch die Patienten nur ein Bruchteil der Patienten informiert sich über die Leistungserbringer, zumeist über Freunde/Bekannte oder aus der Presse 2015 AQUA-Institut GmbH 3

4 Veröffentlichungsbreite möglichst breite Berichterstattung vermeidet Tunnelblick Pflichtberichterstattung vermeidet Misrepräsentation (Edmond & Bearman, 2007) 2015 AQUA-Institut GmbH 4

5 Kriterien der Veröffentlichungsfähigkeit Validität inhaltliche Validität Reliabilität Dokumentationsqualität Differenzierungsfähigkeit (discriminatory power) Verständlichkeit Fehlsteuerungsvermeidung Ossifikation Tunnelvision Myopie Gaming 2015 AQUA-Institut GmbH 5

6 Validität Empirische Evidenz Literaturfestigkeit Probephase in der externen Qualitätssicherung Bewertung durch Experten Grad der Risikoadjustierung 2015 AQUA-Institut GmbH 6

7 Fallzahl-Prävalenz-Problem Diskriminationsfähigkeit Berechnung der Anzahl und des Anteils der Krankenhäuser, an Hand des untersuchten Qualitätsindikators, sinnvolle (signifikante) Aussagen gemacht werden können α: Fehler erster Art -- Signifikanz β: Fehler zweiter Art -- Power α<.05, 1-β>.80 (Standardwerte gemäß Cohen, [1969] 1988: 56) Vorgehensweise: Erforderliche Stichprobengröße bei einer Verdoppelung der Qualitätsindikatoren-Werte (Dimick et al. JAMA 2004) Benötigte Stichprobengröße hängt von der Prävalenz (Häufigkeit des Auftretens) eines Qualitätsindikators ab Je näher Prävalenz bei binären Daten an 0,5 ist, desto kleiner ist die erforderliche Minimalstichprobengröße AQUA-Institut GmbH 7

8 Verständlichkeit öffentliche Rezeption, insbesondere durch die entscheidungsrelevanten Akteure (Patienten, überweisende Ärzte) sehr geringe Verwendung von relevanten Informationen, insbesondere bei Patienten sinkendes Vertrauen in Gesundheitsstatistiken und Wissenschaft (Murray, 2007) steigende Menge an verfügbaren Informationen 2015 AQUA-Institut GmbH 8

9 QI-Prüfung zur Veröffentlichungsfähigkeit statistische Prüfung Expertenbefragung 2015 AQUA-Institut GmbH 9

10 Statistischer Teil der QI-Prüfung 1. Einschätzung der Diskriminationsfähigkeit durch Anzahl der Krankenhäuser, die keines der Krankenhäuser: schlechte Diskriminationsfähigkeit bis 10% der Krankenhäuser: mäßige Diskriminationsfähigkeit mehr als 10% der Krankenhäuser: gute Diskriminationsfähigkeit Bewertung der Reliabilität (Zuverlässigkeit, stets das Gleiche zu messen) durch Quartalisierung der Daten und Berechnung des durchschnittlichen Pearsons r > 0,4 gut mäßig < 0.2 schlecht 0 % der Einrichtungen, die die Mindestanforderungen für Diskriminationsfähigkeit erfüllen AQUA-Institut GmbH 10

11 Diskriminationsfähigkeit revisited Beispiel Ambulant erworbene Pneumonie Indikator stat. Prüfung Anteil der auffälligen Einrichtungen, die signifikant unter dem Referenzwert liegen Erste Blutgasanalyse oder Pulsoxymetrie innerhalb von 8 Stunden nach Aufnahme mäßig 49% Antimikrobielle Therapie innerhalb von 8 Stunden nach Aufnahme (nicht aus anderem Krankenhaus) gut 44% Frühmobilisation innerhalb von 24 Stunden nach Aufnahme bei Risikoklasse 1 (CRB-65-SCORE = 0) gut 25% Frühmobilisation innerhalb von 24 Stunden nach Aufnahme bei Risikoklasse 2 (CRB-65-SCORE = 1 oder 2) mäßig 47% Verlaufskontrolle des CRP oder PCT innerhalb der ersten 5 Tage nach Aufnahme mäßig 38% Überprüfung des diagnostischen oder therapeutischen Vorgehens bei Risikoklasse 2 (CRB-65-SCORE = 1 oder 2) mäßig 28% Vollständige Bestimmung klinischer Stabilitätskriterien bis zur Entlassung gut 69% Erfüllung klinischer Stabilitätskriterien bis zur Entlassung schwach 48% Verhältnis der beobachteten zur erwarteten Rate (O / E) an Todesfällen (gut) 89% 2015 AQUA-Institut GmbH 11

12 Befragung der Bundesfachgruppenmitglieder 9-stufiger Skala folgender Aspekten: 1. Relevanz für Versorgungsqualität im Leistungsbereich 2. Verständlichkeit für Laien 3. Beeinflussbarkeit durch den Leistungserbringer 4. Angemessenheit der Risikoadjustierung 5. Risiko der Fehlsteuerung bei Veröffentlichung 6. Validität 7. Dokumentationsqualität 8. Angemessenheit des Referenzwerts 9. Gesamtbewertung, Eignung für öffentliche Berichterstattung Gesamtbewertung (u. Berücksichtigung der Einzeldimensionen) < 5 schlecht 5 - < 6 mäßig 6 - < 7 gut >= 7 sehr gut 2015 AQUA-Institut GmbH 12

13 Gesamtbewertung Teilnehmer: Interdisziplinäres Team, mit Bundesfachgruppenleiter für Einzelfragen telefonisch: Mitglieder der Bundesfachgruppen Ergebnisse der statistischen Bewertungen Ergebnisse der Befragung Zusammenspiel von statistischer Prüfung und Expertenbefragung Keine statistische Prüfung bei den Transplantationsverfahren aufgrund niedriger Fallzahlen 2015 AQUA-Institut GmbH 13

14 Veröffentlichungsstatus verpflichtende Veröffentlichung verpflichtende Veröffentlichung mit Erläuterung und/oder leichte Anpassung notwendig Veröffentlichung empfohlen Veröffentlichung nicht empfohlen, ggf. nach Überarbeitung erneut prüfen. Veröffentlichung nicht empfohlen 150 neue oder stark veränderte Indikatoren AQUA-Institut GmbH 14

15 Ausblick und Fragen Erhöhung der Prävalenz Indexbildung Verlängerung des Untersuchungszeitraums Wie sind auffällige Häuser tatsächlich verteilt? Legitimität der Überprüfung der Verständlichkeit Problem des Machtgefälles Befragung der betroffenen Gruppen statt Expertenbefragung? Messung der Dokumentationsqualität stichprobenartigen Datenvalidierung statistische Anomalitäten als Auslöser für Datenvalidierung 2015 AQUA-Institut GmbH 15

16 Herzlichen Dank! AQUA Institut für angewandte Qualitätsförderung und Forschung im Gesundheitswesen GmbH Maschmühlenweg Göttingen Telefon: (+49) 0551 / Telefax: (+49) 0551 / office@aqua-institut.de AQUA-Institut GmbH 16