22. Rehabilitationswissenschaftliches Kolloquium 4.-6. März 2013 in Mainz Qualitätssicherungsverfahren der sozialmedizinischen Begutachtung der Deutschen Rentenversicherung Bund mittels Peer Review Heiner Vogel (1), André Strahl (1), Christian Gerlich (1), Hans-Dieter Wolf (1), Helga Mai (2), Jörg Gehrke (2) (1) Universität Würzburg, Abteilung für Medizinische Psychologie und Psychotherapie, Medizinische Soziologie und Rehabilitationswissenschaften (2) Deutsche Rentenversicherung Bund, Bereich Sozialmedizin Auftraggeber:
Projektablauf Projektphasen Zentrale Tätigkeiten Schulungsphase Reviewphase Kalibrierungsphase Peer-Schulung der Sozialmediziner Einführung in das Manual zum Peer Review-Verfahren Überprüfung der Interrater-Reliabilität im Peer-Review Jeder Peer beurteilt indikationsübergreifend ca. 42 Gutachten Kalibrierungsworkshop Kalibrierung unterschiedlicher Beurteilungsmaßstäbe in konsensorientierten Kleingruppen 2
Definition: Peer Review Verfahren der externen Qualitätssicherung im Gesundheitswesen International (z.b. RAND Corp.) National (z.b. Reha-Qualitätssicherung) Elemente des Peer Review Peer (gleichgestellter Fachkollege) Review-Objekt (z.b. Reha-Entlassungsbericht, sozialmediznische Gutachten Review (Qualitätsurteil) Übergeordnete Zielstellung: Trägervergleich 3
Peers Projektbeginn 21 gemeldete Sozialmediziner/-innen aus 12 teilnehmenden Rentenversicherungsträgern Drop-out = 1 Peer Schulungsphase Schulung von 20 Peers im Umgang mit dem Manual zum Peer Review-Verfahren Drop-out = 1 Peer Reviewphase Teilnahme von 19 Peers am Peer Review 4
Gutachten Voraussetzung zur Teilnahme am Verfahren: Erstgutachten auf Erwerbsminderungsrente Letze med. Rehabilitation vor mind. 1 Jahr Ziehung und Anonymisierung von 260 Gutachten bei den teilnehmenden DRV-Trägern 20 Gutachten wurden von jedem Peer bewertet 1 (Ziel: Beurteiler-Konkordanz) 240 Gutachten wurden von je zwei Peers geprüft (Ziel: Trägervergleich) 5 1 ausgenommen Gutachten des eigenen DRV-Trägers
Reviews Systematische Betrachtung der Gutachtenqualität durch einheitliche im Vorfeld definierte Qualitätskriterien Bewertungsgrundlage der Qualitätssicherung der Sozialmedizinischen Begutachtung : Manual zum Peer Review-Verfahren 6
Bewertungsgrundlage Manual zum Peer Review-Verfahren Übergeordnetes Kriterium Nachvollziehbarkeit des Gutachtens Mängel-Bewertung: Ampelbewertung Einzelkriterium Einzelkriterium Einzelkriterium Einzelkriterium Einzelkriterium. Einzelkriterium Formale Gestaltung Verständlichkeit Transparenz Vollständigkeit Medizinischwissenschaftliche Grundlagen Wirtschaftlichkeit Prüffragen A.1 A.2 Prüffragen B.1 B.2 B.3 B.4 Prüffragen C.1 C.2 C.3 Prüffragen D.1 bis D.9 Prüffragen E.1 E.2 Prüffragen F.1 F.2 Mängel-Bewertung: keine leichte deutliche gravierende 7
Bewertungsgrundlage Manual zum Peer Review-Verfahren Bewerten Sie die Nachvollziehbarkeit des Gutachtens anhand der Argumentationsführung Gutachtenauftrag Anamnese Befunde (Funktions-) Diagnosen Epikrise Sozialmedizinische Beurteilung der Leistungsfähigkeit Rehabedarf Bewertung Grün keine Brüche in der Argumentationskette 8
Bewertungsgrundlage Manual zum Peer Review-Verfahren Bewerten Sie die Nachvollziehbarkeit des Gutachtens anhand der Argumentationsführung Gutachtenauftrag Anamnese Befunde (Funktions-) Diagnosen Epikrise Sozialmedizinische Beurteilung der Leistungsfähigkeit Rehabedarf Bewertung Gelb Brüche können durch im Gutachten enthaltene sozialmedizinische Informationen überbrückt werden; Gutachtenergebnis wird für Peer nachvollziehbar 9
Bewertungsgrundlage Manual zum Peer Review-Verfahren Bewerten Sie die Nachvollziehbarkeit des Gutachtens anhand der Argumentationsführung Gutachtenauftrag Anamnese Befunde (Funktions-) Diagnosen Epikrise Sozialmedizinische Beurteilung der Leistungsfähigkeit Rehabedarf Bewertung Rot Brüche können auch mittels Neubewertung der sozialmedizinischen Informationen nicht mehr überbrückt werden 10
Zusammenfassende Datengrundlage Peers: 19 Gutachten 260 Erwartete Reviews: 805 Erstellte Reviews: 771 (Quote: 96%) Reviews der Gutachten die alle Peers beurteilt haben: 325 (Beurteiler-Konkordanz) Reviews der Gutachten die durch jeweils zwei Peers beurteilt wurden: 446 (Trägervergleich) 11
Ergebnisse zur Beurteiler-Konkordanz 12
Beurteiler-Konkordanz 1. Beurteiler-Übereinstimmung Übereinstimmung Nicht-Übereinstimmung 2. Beurteiler-Reliabilität Hohe Reliabilität Mittlere Reliabilität Niedrige Reliabilität 13
Beurteiler-Konkordanz 1. Beurteiler-Übereinstimmung Prozentuale Übereinstimmung Übereinstimmung mit dem Mehrheitsurteil Kontingenzkoeffizient Cohens Kappa 2. Beurteiler-Reliabilität Kendalls W Goodman und Kruskals T (Gamma) Spearman s Rho Kendall s Tau-b 14
Interpretationsnormen Übereinstimmung (Altman, 1991; Landis & Koch, 1977) Reliabilität (Bortz & Döring, 2006; Cohen, 1988) < 0,00 sehr gering < 0,20 schwach < 0,10 nicht relevant 0,00-0,20 schwach 0.21 0,40 leicht 0,10 0,30 klein 0.21 0,40 ausreichend 0.41 0,60 mittel 0,31 0,50 mittel 0.41 0,60 mittelmäßig 0,61 0,80 gut 0,51 1,0 groß 0,61 0,80 gut 0,81 1,00 sehr gut 0,81 1,00 sehr gut Allgemein: Schwelle für gute Konkordanz ab 0,7 Interpretationsnormen sind nicht absolut Adaption an den Forschungskontext ist notwendig 15
Interpretationsnormen Orientierung am empirischen Ergebnis (Farin et al., 2003, Neuderth, 2004) Spannweite Kendalls W: 0,15 bis 0,60 über alle Indikationen: 0,40 (Farin et al., 2003) 16
Höhe der Reliabilität 1 Beurteiler-Konkordanz 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 0,37 Kendalls W 0,45 Gamma Übergeordnetes Kriterium (n=771 Reviews) 17
Höhe der Reliabilität Beurteiler-Konkordanz 1 0,9 0,8 Übereinstimmung Reliabilität 0,7 0,6 0,5 0,4 0,3 0,2 0,42 0,2 0,45 0,29 0,31 0,37 0,1 0 CC Kappa Gamma Tau-b Rho Kendalls W Übergeordnetes Kriterium (n=771) 18
Vergleich mit dem Reha- Qualitätssicherungsverfahren Reha-Qualitätssicherungsverfahren der Deutschen Rentenversicherung Bund (Farin et al. 2003) Übergeordnetes Kriterium (EvaBegut) Indikation: Orthopädie Reha-Entlassungsberichte sozialmed. Stellungnahme Indikation: Neurologie Reha-Entlassungsberichte sozialmed. Stellungnahme Kendall s W 0,37 0,35 0,30 Die indikationsübergreifende Qualitätssicherung der sozialmedizinischen Gutachten hat eine äquivalente Güte wie das Reha-Qualitätssicherungsverfahren 19
Übergeordnetes Kriterium Ampel- Bewertung Formale Gestaltung Verständlichkeit Transparenz Vollständigkeit Medizinischwissenschaftliche Grundlagen Wirtschaftlichkeit A1 B1 C1 D1 E1 F1 A2 B2 C2 D2 E2 F2 B3 C3 D3 B4 Reliabilität klein mittel hoch D4 D5 D6 D7 D8 D9 Interpretation nach Bortz & Döring, 2006; Cohen, 1988
Zwischenfazit Arbeitskonzept: Beurteiler-Konkordanz Allgemein geforderte Konkordanz: nicht erreicht Kontextadaptierte Konkordanz: erreicht Mindestanforderungen: eingehalten (Testung gegen den Zufall) 21
Trägervergleich Externe Qualitätssicherung mittels Peer Review gibt konkrete Hinweise zum Optimierungsbedarf Darstellung der Ergebnisse in Form eines Trägervergleichs Qualitätsfördernder Wettbewerb 22
Beispiel: Trägerprofil Träger 37 34 29 18 18 19 31 12 8 82 82 41 69 88 92 erfüllte Qualitätspunkte 23
Fazit Verfahren einsatzfähig für die Routine Kontextadaptierte Konkordanz wurde erreicht Übergeordnetes Kriterium wichtig aber komplex zu beurteilen Überarbeitung des Manuals auf Basis der Forschungsergebnisse Optimierung einzelner Prüffragen Entfernung einzelner Prüffragen 24
Manual zum Peer Review-Verfahren (Stand: Oktober 2012) Übergeordnetes Kriterium Nachvollziehbarkeit des Gutachtens Mängel-Bewertung: Ampelbewertung Einzelkriterium Einzelkriterium Einzelkriterium Einzelkriterium Einzelkriterium. Einzelkriterium Formale Gestaltung Verständlichkeit Transparenz Vollständigkeit Medizinischwissenschaftliche Grundlagen Wirtschaftlichkeit Prüffragen Prüffragen Prüffragen Prüffragen Prüffragen Prüffragen A.1 A.2 B.1 B.2 B.3 B.4 C.1 C.2 C.3 D.1 D6 D.2 D7 D.3 D8 D.4 D9 E.1 E.2 F.1 F.2 Mängel-Bewertung: keine leichte deutliche gravierende 25
Diskussion Routinebeginn Mitte 2013 Kontinuierliche Weiterentwicklung des Manuals Empfehlung zu regelmäßigen Kalibrierungsworkshops für die Peers zur Arbeit an konkreten Fallbeispielen Positive Auswirkungen auf Gutachten Auswirkung von Qualitätssicherung auf Qualitätsmanagement Auswirkungen auf Validität der Gutachten 26
Vielen Dank für Ihre Aufmerksamkeit! Kontakt: Dr. Heiner Vogel Universität Würzburg AB Rehabilitationswissenschaften Tel: 0931-31-82718 Fax: 0931-31-87117 h.vogel@uni-wuerzburg.de www.psychotherapie.uni-wuerzburg.de