Qualitätsindikatoren zur Bewertung von Datenqualität in klinischepidemiologischen

Transkript

1 Qualitätsindikatoren zur Bewertung von Datenqualität in klinischepidemiologischen Studien, Übersicht 1. Vorstellung der Arbeitsgruppe klinisch-epidemiologische Studien des Instituts für Biometrie 2. TMF-Leitlinie zur Datenqualität in der medizinischen Forschung 3. Beispiele zur Auswahl von Qualitätsindikatoren... Berechnung von Qualitätsindikatoren... Berechnung von Qualitätsscores... Erstellung von Qualitätsberichten 4. Zusammenfassung Folie 2 1

2 Arbeitsgruppe klinisch-epidemiologische Studien des Instituts für Biometrie Eine Auswahl unserer Projekte: Datenmanagement, Informationstechnik und Biometrie für klinische und epidemiologische Studien Kompetenznetz Degenerative Demenzen - AgeCoDe-Studie Verbundprojekt Komorbidität und Multimorbidität in der hausärztlichen Versorgung (MultiCare) Studie MultiCare1 - Multimorbiditätsmuster in der hausärztlichen Versorgung Studie MultiCare4 - Verbesserung der medizinischen Versorgung multimorbider Patienten mithilfe des Chronic Care Modells Simvastatin bei leichter kognitiver Störung (SIMaMCI) eine multizentrische randomisierte kontrollierte klinische Studie außerdem: Auswertung von Daten der Barmer GEK, Entwicklung eines medikationsbezogenen Chronic Disease Scores (Med-CDS), Depression im Alter (AgeMooDe) Folie 3 Maßnahmen zur Datenqualitätssicherung Präventionsmaßnahmen Design der pcrfs und ecrfs Schulungen etc. Maßnahmen während der Datenerfassung Plausibilitätsprüfungen im RDE-System Prüfung von Untersucher- bzw. Zentrumseffekten Maßnahmen zur Qualitätsverbesserung Queries Check der Rückläufe Feedback an die Zentren Folie 4 2

3 TMF-Leitlinie zur Datenqualität in der medizinischen Forschung M. Nonnemacher, J. Stausberg, D. Weiland Datenqualität in der medizinischen Forschung: Leitlinie zum adaptiven Management von Datenqualität in Kohortenstudien und Registern Schriftenreihe der TMF Band 4: Datenqualität in der medizinischen Forschung Leitlinie zum adaptiven Management von Datenqualität in Kohortenstudien und Registern Mwv Medizinisch Wissenschaftliche Verlagsges.; Auflage: 1., Auflage (April 2007) Folie 5 Was sind Qualitätsindikatoren? Ein Qualitätsindikator ist ein quantitatives Maß zur Bewertung von Qualität. Zur Bewertung der Ergebnisse sollten Referenzbereiche definiert werden. Kassenärztliche Bundesvereinigung Ärzteblatt PP 4, Ausgabe November 2005, Seite 517 auffällige Werte Bewertung unauffällige Werte Die Ausprägung des Indikators kann mit guter bzw. schlechter Qualität in Verbindung gebracht werden. Folie 6 3

4 Berechnung von Qualitätsindikatoren 1) Festlegung des Schwellenwertes (empirisch / auf Grundlage der Literatur) 2) Berechung der Rate (pro Zentrum, pro Visite, pro Formular, pro Studie) Anzahl fehlerhafter Werte Anzahl überprüfter Werte * 100 = Rate [in %] 3) Bewertung der Rate auffällige Werte unauffällige Werte Folie 7 Auswahl von Qualitätsindikatoren Folie 8 4

5 Datenbasis von Qualitätsindikatoren A. Indikatoren, die direkt aus den Daten erhoben werden können: - Fehlende Werte - Widerspruchsfreiheit - Nachweis bekannter Korrelationen - Fehlende kognitive Tests B. Indikatoren, die aus den Metadaten berechnet werden können: - Rekrutierungsrate - Schulungsrate (Schulung zum RDE-System) C. Indikatoren, die aus dem Originaldatenabgleich abgeleitet werden: - Übereinstimmungsfehler - Fehlende Werte - Auswertungsrelevante Fehler Folie 9 1. Qualitätsindikator: Fehlende Werte (1) 1) Festlegung des Schwellenwertes für eine auffällige Rate. Der Schwellenwert für die Rate wurde bei > 1 % festgelegt. 2) Berechung der Rate Definition Zähler: Definition Nenner: - Differenz zur erwarteten Itemzahl im Formular - Differenz zum Median ausgefüllter Items für das entsprechende Formular alle erwarteten Items (vorhandene und fehlende Items) Rate der fehlenden Werte (Werte eines Beispielzentrums): Fehlende Werte Vorhandene Werte Fehlende Werte * 100 = 0,81 % 3) Einteilung der Rate an Hand des Schwellenwertes Die Rate ist unauffällig. Folie 10 5

6 1. Qualitätsindikator: Fehlende Werte (2) Fragebogenweise Errechnung der Raten gibt Hinweise auf problematische Fragebögen Fehlermatrix Qualitätsindikator Fehlende Werte Fehlerrate > 1 % Fehlerrate > 5 % Folie Qualitätsindikator: Fehlende Werte (3) Screenshot aus dem RDE-System zu einem auffälligen Fragebogen Folie 12 6

7 2. Qualitätsindikator: Widerspruchsfreiheit Beispiel: AgeCoDe-Studie (einer der geprüften Widersprüche) Schwellenwert für die Rate: > 5 % Angabe zur finanziellen Selbständigkeit Functional Assessment und Psychosoziale Veränderungen (I-ADL / SIDAM) Rate der Widersprüche [%] = Ergebnisse: Anzahl der Widersprüche Anzahl der überprüften Zusammenhänge * 100 Folie Qualitätsindikator: Nachweis bekannter Korrelationen Schwellenwert für die Rate: > 15 % Vergleich verschiedener Subtests der CERAD Testbatterie 1. Berechnung der Korrelationskoeffizienten nach Spearman 2. Referenzwerte für Korrelationskoeffizienten aus einer gut etablierten Studie (AgeCoDe-Studie) Nur in einem Zentrum ergaben sich auffällige Werte. nicht-nachgewiesene Korrelationen Rate nicht-nachgewiesener Korrelationen [%] = * 100 überprüfte Korrelationen Lassen sich bekannte Korrelationen nicht nachweisen können auch Manipulationen der Daten die Ursache sein. Es kann aber auch andere Erklärungen geben. In unserem Fall gehen wir davon aus, dass eine Schulung der Interviewer in einem Zentrum sinnvoll wäre. Folie 14 7

8 4. Qualitätsindikatoren aus dem Originaldatenabgleich (1) Ziehung einer Zufallsstichprobe: Schwellenwert: Festlegung bei > 1 % (für auswertungsrelevante Fehler) Abgleich der Daten: ausgefüllte Fragebögen Eintrag in der Datenbank Suche nach: - Übereinstimmungsfehlern - fehlenden Werten Einteilung der Fehler: a) nicht-auswertungsrelevante Fehler b) auswertungsrelevante Fehler Berechnung der Fehlerraten: Anzahl fehlerhafter Datenpunkte Anzahl überprüfter Datenpunkte * 100 = Rate [in %] Folie Qualitätsindikatoren aus dem Originaldatenabgleich (2) Fehlerrate > 1 % Fehlerrate > 5 % Folie 16 8

9 Berechnung von Qualitätsscores Vergleich gleichartiger Studien, Visiten oder Studienzentren Zentrum 1 Zentrum 2 Folie 17 Gewichtung für Qualitätsscore Ebene Qualitätsindikator Gewichtung Organisation Rekrutierungsrate 1 Schulungsrate 1 Plausibilität Widerspruchsfreiheit 3 Nachweis bekannter Korrelationen 2 Richtigkeit Fehlende Werte bei mandatorischen Datenelementen 3 Nicht durchgeführte kognitive Tests 2 Originaldatenabgleich - Übereinstimmungsfehler 2 Originaldatenabgleich Fehlende Werte 2 Originaldatenabgleich Auswertungsrelevante Fehler 3 Folie

10 Qualitätsbericht pro Zentrum Folie 19 Qualitätsbericht über alle Zentren Folie 20 10

11 Säulendiagramme zum Vergleich mehrerer Zentren Folie 21 Kommunikation von Datenqualität Qualitätsindikatoren zentrumsweise formularweise visitenweise Qualitätsindikatoren studienweise Zentrum 1 Zentrum 2 Zentrum 3 Studien -zentrale Zentrum 5 Zentrum 4 interne Kommunikation Vergleich mit anderen Studien Berichterstattung/Publikationen Folie 22 11

12 Zusammenfassung Mit Hilfe von Qualitätsindikatoren können belegbare Aussagen zur Datenqualität in einer Studie / einem Register getroffen werden Kennzahlen können helfen, ein Bewusstsein für die Datenqualität zu schaffen Es können Qualitätsprobleme identifiziert werden Maßnahmen zur Sicherung der Datenqualität können überwacht und bewertet werden An Hand der Kennzahlen kann Datenqualität kommuniziert werden Folie 23 Vielen Dank für Ihre Aufmerksamkeit! Folie 24 12

13 Ausgewählte Literatur Arts, Danielle G. T.; Keizer, Nicolette F. de; Scheffer, Gert-Jan: Defining and improving data quality in medical registries: a literature review, case study, and generic framework. In: J Am Med Inform Assoc 9 (6), S Arts, Daniëlle; Keizer, Nicolette de; Scheffer, Gert-Jan; Jonge, Evert de (2002): Quality of data collected for severity of illness scores in the Dutch National Intensive Care Evaluation (NICE) registry. In: Intensive Care Med 28 (5), S Donabedian, A. (1988): The Quality of Care. How Can It Be Assessed? In: JAMA 260 (12), S Nonnemacher, Michael (2007): Datenqualität in der medizinischen Forschung. Leitlinie zum adaptiven Management von Datenqualität in Kohortenstudien und Registern. Berlin: Medizinisch Wissenschaftliche Verlagsgesellschaft (Schriftenreihe der Telematikplattform für Medizinische Forschungsnetze). Nahm, Meredith L.; Pieper, Carl F.; Cunningham, Maureen M. (2008): Quantifying data quality for clinical trials using electronic data capture. In: PLoS ONE 3 (8), S. e3049. Patel, V. et al (Eds) (2001): Data Quality Measurement and Assurance in Medical Registries. D.G.T Arts, N.F. de Keizer, E. de Jonge, on behalf of the NICE foundation. In: MEDINFO, S Folie 25 13