André Strahl (1), Christian Gerlich (1), Annette Müller-Garnn (2), Silke Brüggemann (2), Jörg Gehrke (2), Heiner Vogel (1)

Transkript

1 23. Rehabilitationswissenschaftliches Kolloquium März 2014 in Karlsruhe Entwicklung und Evaluation eines Peer-Schulungsprogramms für das trägerübergreifende Qualitätssicherungsverfahren der sozialmedizinischen Begutachtung der Deutschen Rentenversicherung André Strahl (1), Christian Gerlich (1), Annette Müller-Garnn (2), Silke Brüggemann (2), Jörg Gehrke (2), Heiner Vogel (1) (1) Universität Würzburg, Abteilung für Medizinische Psychologie und Psychotherapie, Medizinische Soziologie und Rehabilitationswissenschaften (2) Deutsche Rentenversicherung Bund, Bereich Sozialmedizin Auftraggeber:

2 Projektrahmen Manualisierung eines Prüffragenkatalogs zur Qualitätssicherung sozialmedizinischer Gutachten (QSGut) Evaluation und Aufwandschätzung zum Qualitätssicherungsverfahren der sozialmedizinischen Begutachtung (EvaBegut) Entwicklung eines Peer-Schulungsprogramms für das trägerübergreifende Qualitätssicherungsverfahren der sozialmedizinischen Begutachtung (SchuP) Laufzeit: September 2012 März 2014 Auftraggeber: Deutsche Rentenversicherung Bund Kooperation: 16 DRV-Träger 2

3 Hintergrund (I) Peer Review als Verfahren der externen Qualitätssicherung im Gesundheitswesen o International (z.b. RAND Corp.) o National (z.b. Reha-Qualitätssicherung) Elemente des Peer Review Peer (gleichgestellter Fachkollege) Review-Objekt (z.b. Reha-Entlassungsbericht, sozialmediznische Gutachten Review (Qualitätsurteil) Übergeordnete Zielstellung: Trägervergleich 3

4 Hintergrund (II) Systematische Betrachtung der Gutachtenqualität durch einheitliche im Vorfeld definierte Qualitätskriterien Bewertungsgrundlage der Qualitätssicherung der Sozialmedizinischen Begutachtung : Manual zum Peer Review-Verfahren (Stand: Januar 2013) 4

5 Hintergrund (III) Aufbau des Prüffragenkatalogs zum Peer Review-Verfahren 5

6 Hintergrund (IV) Reliabilitätspüfung EvaBegut Reha-QS der DRV Bund (Farin et al., 2003) Übergeordnetes Kriterium (EvaBegut) Indikation: Orthopädie Reha-Entlassungsberichte sozialmed. Stellungnahme Indikation: Neurologie Reha-Entlassungsberichte sozialmed. Stellungnahme Kendalls W 0,37 0,35 0,30 Die indikationsübergreifende Qualitätssicherung der sozialmedizinischen Gutachten hat eine vergleichbare Güte wie das Reha-Qualitätssicherungsverfahren 6

7 Projektablauf Entwicklungsschritte Konzeption (A) Erprobung und Evaluation (B) Zentrale Tätigkeiten Ausarbeitung des didaktischen Vorgehens Definition der Rahmenbedingungen Ausfertigung der Schulungsunterlagen Durchführung der Peer-Schulung (n=40 Sozialmediziner/-innen) Formative Schulungsevaluation Summative Schulungsevaluation 7

8 Entwicklungsschritte 8

9 Konzeption Entwicklungsschritte (I) Formative Evaluation Aufteilung der Schulung in zwei Module: Basismodul (½ Tag) Sozialmediziner, die erstmals als Peer arbeiten werden Summative Evaluation Anwendermodul (1½ Tage) Sozialmediziner, die das Basismodul durchlaufen haben bzw. als Peer tätig sind 9

10 I n h a l t e Entwicklungsschritte (I) Konzeption Formative Evaluation Summative Evaluation Aufteilung der Schulung in zwei Module: Basismodul (½ Tag) Sozialmediziner, die erstmals als Peer arbeiten werden Grundlegende Einführung zur Qualitätssicherung Wissenserwerb über das Peer Review-Verfahren Aufbau des Manuals Anwendermodul (1½ Tage) Sozialmediziner, die das Basismodul durchlaufen haben bzw. als Peer tätig sind selbständige und konsistente Arbeit mit dem Manual Arbeit mit konkreten Beispielgutachten 10

11 Schulungscurriculum Curriculum Basismodul (Projektversion, Februar 2013) Einheiten 4 Lernziele Dauer (h) 5 Dozenten Lernziele Moderation (Psychologe) B1: Der Peer kennt die Grundlagen der Qualitätssicherung in der Sozialmedizinischen Begutachtung B2: Der Peer kennt Inhalt und Aufbau des Manuals zum Peer Review-Verfahren B3: Der Peer kennt den formellen Ablauf des Peer Review-Verfahrens in der Routine B4: Der Peer kennt die Aufgaben in seiner Rolle als Peer Material Beamer, Flipchart, Manual, inkl. Schulungsmaterial, konsentierte Schulungsgutachten, Poster, Arbeitsblätter 11

12 Schulungscurriculum Curriculum Anwendermodul (Projektversion, Februar 2013) Einheiten 5 Lernziele Dauer (h) 14 Dozenten Lernziele Moderation (Psychologe), Co-Moderation (Sozialmediziner) A1: Der Peer wendet eine einheitliche Herangehendweise an die Beurteilung eines Sozialmedizinischen Gutachtens entlang der vorgegebenen Prüffragen an Material A2: Der Peer kann die Prüffragen für individuelle Gutachten beantworten, indem das Vier-Kategorien-Bewertungssystem regelhaft angewendet wird A3: Der Peer kann die Nachvollziehbarkeit von Gutachten gemäß der Ampelbewertung beurteilen A4: Der Peer kann Qualitätsdefizite nachvollziehbar dokumentieren A5: Der Peer kann den Reviewprozess eigenständig durchführen Beamer, Flipchart, Manual, inkl. Schulungsgutachten, Arbeitsblätter 12

13 Beispiel Schulungscurriculum Lernziel Zeitrahmen Begründung Inhalt und Ablauf/Methoden o Plenarvortrag o Gruppendiskussion o Übung o Kleingruppenarbeit Materialien Anmerkungen 13

14 Entwicklungsschritte (II) Konzeption Formative Evaluation Summative Evaluation Ziel: Prüfung der Akzeptanz, Umsetzbarkeit nach Manual Methode: strukturierte Teilnehmerbefragung Stichprobe 2 Schulungen á 20 Sozialmediziner Teilnehmende Sozialmediziner: n = 36 (4 missings) Erfahrung im sozialmed. Dienst: 12 Jahre (SD 7,2) Tätigkeit im sozialmed. Dienst: Gutachterliche Tätigkeit: n = 7 Prüfärztliche Tätigkeit: n = 8 Beides: n = 21 14

15 Anzahl der teilnehmenden Peers Allgemeine Beurteilung Erwartung erfüllt Schulung gelungen Schulung empfehlenswert gut auf Peer-Tätigkeit vorbereitet trifft gar nicht zu trifft eher nicht zu trifft eher zu trifft völlig zu 15

16 Anzahl der teilnehmenden Peers Allgemeine Beurteilung % 94% 89% 89% Erwartung erfüllt Schulung gelungen Schulung empfehlenswert gut auf Peer-Tätigkeit vorbereitet trifft gar nicht zu trifft eher nicht zu trifft eher zu trifft völlig zu 16

17 Anzahl der teilnehmenden Peers Beurteilung der Kleingruppenarbeit Wie hilfreich beurteilen Sie Beurteilen Sie die Arbeit in den Kleingruppen* 3% 3% % ungenügend mangelhaft ausreichend befriedigend 0 die Möglichkeit die Prüffragen in der Kleingruppe zu bearbeiten den kleingruppenorientierten Erfahrungsaustausch 64% gut sehr gut gar nicht hilfreich etwas hilfreich ziemlich hilfreich * Schulnotenskala 1 bis 6 sehr hilfreich 17

18 A M P E L E I N Z E L K R I T E R I E N Formale Gestaltung Selbsteingeschätzte Sicherheit im Umgang mit dem Manual Angaben zur Sicherheit in % Verständlichkeit Transparenz Vollständigkeit Med.wiss. Grundlag. Wirtschaftlichkeit Nachvollziehbarkeit Mängeldokument

19 Konzeption Ergebnis Entwicklungsschritte (III) Formative Evaluation Summative Evaluation gute Akzeptanz der Schulung bei Sozialmedizinern/-innen Kleingruppenarbeit wichtiger Bestandteil der Schulung Schulung nach Manual umsetzbar Sozialmedizinische Expertise in der Moderation unverzichtbar 19

20 Konzeption Entwicklungsschritte (IV) Formative Evaluation Ziel: Prüfung der Effektivität der Peerschulung Summative Evaluation Zielkriterium: Konkordanz mit dem internen Gutachtenkonsens Methode: Beurteilung von 3 Sozialmedizinischen Gutachten, deren konsentierte Bewertung im Vorfeld bereits vorlag Konsentierung erfolgte durch sozialmedizinische Expertengruppe (n = 7 Sozialmedizinern) Hypothese: Übereinstimmung mit Peer-Konsens > Übereinstimmung mit Expertenkonsens 20

21 Deutliche Mängel Gravierende Mängel Konsenswerte (I) [1] Peer-Konsens: Übereinstimmung mit Mehrheitsurteil (Modalwert) der Peers [2] Experten-Konsens: Übereinstimmung mit der konsentierten Expertenmeinung Berechnungsbeispiel: Reliabilitätsberechnung Modalwert Konsentierte Expertenmeinung Peer X1 Peer X2 Peer X3 Individuelle Beurteilung Individuelle Beurteilung Individuelle Beurteilung Gravierende Mängel Deutliche Mängel Deutliche Mängel

22 Konsenswerte (II) Beurteilung der Übereinstimmung mittels Kendalls W für mehrere Rater Gutachten 1 Gutachten 2 Gutachten 3 Peer- Konsens Expertenkonsens Peer- Konsens Expertenkonsens Peer- Konsens Expertenkonsens 0.55 > > > 0.51 Schulungsteilnehmer/-innen weisen im Vergleich zum externen Expertenkonsens eine höhere interne Konsistenz bei der Bearbeitung des Manuals auf 22

23 Zusammenfassung Schulungscurriculum mit differenzierten Durchführungshinweisen Kleingruppenarbeit als zentraler Bestandteil zur Angleichung der Peer-Beurteilungen Sozialmedizinische Gutachten mit Beispiellösungen Diskussion und Anwendung der Prüffragen im Team ermöglicht Antworttendenzen zur Diskussion zu stellen Gute interne Kongruenz der Beurteilungsmaßstäbe der Peers 23

24 Diskussion / Ausblick Empfehlung zur regelmäßigen Durchführung des Anwendungsmodul als regelmäßiger Kalibrierungsworkshop für aktiv tätige Peers Neu-Konsentierung der Schulungsgutachten auf Basis der Peer-Rückmeldungen notwendig Kontinuierliche Weiterentwicklung des Manuals Positive Auswirkungen auf Gutachten 24

25 Vielen Dank für Ihre Aufmerksamkeit! Kontakt: André Strahl M.Sc. Rehabilitationspsychologe Universität Würzburg AB Rehabilitationswissenschaften Tel.: Fax: