Dr. Heidemarie Keller

Transkript

1 Reliabilität und Validität der deutschen Version der OPTION Scale Dr. Heidemarie Keller Abteilung für Allgemeinmedizin, Präventive und Rehabilitative Medizin Philipps-Universität Marburg EbM & Individualisierte Medizin EBMKONGRESS März 2011, BERLIN

2 Patientenbeteiligung - Was messen wir?

3 Patientenbeteiligung Was messen wir?

4 OPTION Scale - Hintergrund Elwyn et al Attitude scale: 2 Rater; 186 Konsultationen: Gesamtscore: ICC 0.62, kappa 0.71, Cronbach s alpha 0.79; Konfirmatorische Faktorenanalyse: eindimensionale Struktur Elwyn et al Magnitude scale: 2 Rater; 186 Konsultationen: Gesamtscore: ICC 0.77, Intra-rater ICC 0.53; Item-Ebene: kappas , ICCs Schlussfolgerung: Instrument reliabel auf Gesamtscore-Level, nicht auf Item-Ebene. Goss et al Italienische Version: 2 Rater; 30 Konsultationen: Weighted kappa , Gesamtscore: ICC (Test Retest) 0.85 und 0.81, Cronbach s alpha 0.82: Reliabilität auf Gesamtscore- Ebene Loh et al Rater; 20 Konsultationen Depression: Inter-rater-Übereinstimmung 67%, Kappa 0.5, ICC 0.7, keine weiteren psychometrische Daten

5 Ziele Interrater - Reliabilität Zusammenhang zu externen Referenzrating für SDM (Validität)? Einflüsse von Arzt- (SDM-Expertise) und Patientencharakteristika (Alter, Geschlecht, Bildung, Risiko) t-test; Varianzanalyse

6 Die OPTION Scale (Elwyn et al 2003, 2005) Observing patient involvement in decisions Item 1. Problemdefinition 1. Der Arzt lenkt die Aufmerksamkeit auf ein bestimmtes Problem, das einer Entscheidung bedarf. 2. Equipoise 2. Der Arzt teilt mit, dass es mehr als einen Weg gibt, um mit dem identifizierten Problem umzugehen. 3. Der 3. Arzt Art klärt, der in Informationsdarbietung welcher Art und Weise der Patient Informationen erhalten möchte, um eine Entscheidung treffen zu können. 4. Optionen aufzählen 4. Der Arzt zählt Optionen auf, worunter auch die Option fallen kann, nichts zu tun. 5. Der 5. Arzt Optionen erläutert dem erläutern Patienten die Vor- und Nachteile der verschiedenen Optionen (nichts tun ist ebenfalls eine Option) 6. Der 6. Arzt Exploration exploriert die der Erwartungen Erwartungen (oder Ideen) eines Patienten, wie mit dem Problem (den Problemen) umgegangen werden soll. 7. Exploration der Befürchtungen 7. Der Arzt exploriert die Sorgen (Befürchtungen) des Patienten, wie mit dem Problem (den Problemen) umgegangen werden soll. 8. Verständnis überprüfen 8. Der Arzt vergewissert sich, dass der Patient die Informationen verstanden hat. 9. Der 9. Arzt Fragen bietet dem ermöglichen Patienten explizit Möglichkeiten an, während des Entscheidungsprozesses Fragen zu stellen. 10. Der 10. Arzt Ausmaß findet heraus, Patientenbeteiligung in welchem Ausmaß der Patient bei der Entscheidungsfindung beteiligt werden möchte. 11. Der Arzt weist darauf hin, dass es notwendig ist, eine Entscheidung 11. Notwendigkeit jetzt zu treffen (oder aufzuschieben). Entscheidung 12. Der Arzt weist darauf hin, dass es notwendig ist, noch einmal auf die 12. Entscheidung Evaluation zurückzukommen. der Entscheidung Beobachtung Die Kompetenz wird nicht beobachtet. 1 Ein minimaler oder oberflächlicher Versuch wird unternommen, die Kompetenz zu zeigen. 2 Die Kompetenz wird beobachtet und erreicht ein minimales Niveau Die Kompetenz entspricht einem guten Standard. 4 traditionell: Die Kompetenz entspricht einem sehr hohen Standard modifiziert: Der Arzt ermöglicht durch sein Verhalten aktive 4 Patientenbeteiligung

7 Design und Methoden Prozedere 4 Rater - OPTION traditionell und modifiziert in einem Crossover-Design Zusätzliches Rating [SDM ja / SDM nein] 2 Rater - Referenzrating - binäre Variable [SDM ja / SDM nein] Vergleich

8 Design und Methoden Stichprobe 14 Ärzte (5 w / 9 m; J) 40 Videos (Konsultationen) jeweils 2-4 Patienten, 14 m / 26 w Beratungsanlass: Herz-Kreislauf-Prävention

9 Reliabilität Interrater - Reliabilität: Wilcoxon Test für abhängige Stichproben Effektstärke d Übereinstimmung auf Item-Ebene: Spearman-Korrelation, weighted Kappa, Intraclass- Korrelationskoeffizient (ICC) Übereinstimmung Gesamtscore-Ebene: Pearson-Korrelation Interne Konsistenz: Cronbachs Alpha

10 Validität ROC Analyse - OPTION Gesamtscores vs SDM Referenz-Rating: - Cut-off Werte für SDM: ja und SDM: nein. Punkt-biseriale Korrelation - OPTION-Gesamtscores vs SDM Referenz-Rating: Dichotomisierte Skala: keine Patienteneinbeziehung = ratings 0-3 Patienteneinbeziehung = rating 4 PASW Statistics 18 and MedCalc

11 Ergebnisse Item-Ebene: große Differenzen zwischen den MW, Bewertungen meist im unteren Bereich (minimale Kompetenzen), geringe bis moderate Interrater-Reliabilität: mittlerer ICC 0.62, mittlerer Kappa 0.71, Cronbachs alpha 0.79 Gesamtscore-Ebene hohe Interrater-Reliabilität: Pearson-Korrelation 0.68 (p=0.01) R 1-3; 0.82 (p<0.001) R 2-4; Cronbachs alpha 0.90 Quasi-Validität: Punkt-biseriale Korrelation: r=.30 (p=.07), r=.32 (p=.05), r=.50 (p<.001) und r=.51 (p<.001) ROC Analyse: AUC 0.82, p<0.001; klare Unterscheidung zwischen SDM ja / nein; 95% CI ; Sensitivität 87.8%, Spezifität 76.2%, Cut-off = 12 Punkte (<minimale Kompetenz); Konsultationen mit älteren Patienten (> 63 J.) wurden höher geratet (p=0.037, Effektstärke d 0.48) Ärzte mit SDM-Expertise wurden höher bewertet (Effektstärke d 0.90)

12 Diskussion Option Scale ist reliabel auf Gesamtscore-Ebene Statistische Qualitätskriterien auf Item-Ebene heterogen Beste Übereinstimmung bei Items mit wenig Raum für Interpretationen Geringe Übereinstimmung bei Items mit viel Raum für Interpretationen OPTION Scale misst ärztliche Kompetenzen, was nicht heißt, dass SDM gemessen wird Validität konnte mit dieser Studie nicht eindeutig erfasst werden, eher Quasi-Validierung SDM Referenz-Rating kein Goldstandard gleiche Datenbasis aller Rater lediglich Interraterübereinstimmung? Roc-Analyse: Differenzierung in SDM: ja / nein ist möglich Indikator für Validität? Parameter für Interrater-Reliabilität zwischen OPTION und SDM Ratern? Cut-off gering, trotzdem SDM?

13 Diskussion - Limitationen Stichprobe (Ärzte, Patienten) Selektionsbias, abhängige Daten? lediglich ein Indexproblem OPTION Scale misst ärztliche Kompetenzen, was nicht heißt, dass kein SDM stattfindet Videorating SDM ist sehr viel komplexer, um mit einer solchen Skala erfasst zu werden

14 Vielen Dank! Dr. Heidemarie Keller