Elektronische Erfassung klinischer Fertigkeiten mit dem eosce System. Felix Schmitz, Universität Bern, Institut für Medizinische Lehre, ASCII

Transkript

1 Elektronische Erfassung klinischer Fertigkeiten mit dem eosce System Felix Schmitz, Universität Bern, Institut für Medizinische Lehre, ASCII

2 Was ist OSCE? Objective Structured Clinical Examination Does Postgraduate Shows how OSCE / internships Knows how Essay / Short Answer Q Knows MC-Test Animation Millers Pyramide

3 Agenda 1. Motivation für ein Projekt wie e-osce Problem Papierchecklisten 2. Bestandteile des e-osce Systems OSCE-Eval, OSCE-Track und OSCE-Editor 3. Evaluation des e-osce Systems Empirische Prüfung der Eignung von OSCE-Eval 4. Zusammenfassung & Diskussion Abzuleitende Implikationen

4 Motivation Problem Papierchecklisten (1) Missing Data (2) Leserlichkeit / Eindeutigkeit (3) Medienbruch [Scanprozess]

5 Bestandteile des e-osce Systems 3 Komponenten OSCE-Eval OSCE-Track OSCE-Editor

6 Demonstration

7 Anforderungen an OSCE-Eval (1) [Vergleichsweise] hohe Usability (2) [Vergleichsweise] tiefe kognitive Belastung (3) [Vergleichsweise] hohe Objektivität (4) [Vergleichsweise] hohe Akzeptanz Forschungsfrage Welche Methode eignet sich besser zur Leistungserhebung von OSCE Kandiaten: Mobile digitale Checklisten (OSCE-Eval) oder die gängigen Papierbögen?

8 Systematische Vergleichsstudie Mobile digitale Checklisten vs gängige Papierchecklisten VS PCL OSCE-Eval

9 Stichprobe & Design Mobile digitale Checklisten vs gängige Papierchecklisten 10 Examinatoren (2 Frauen) setzten an einem OSCE beide Methoden ein und beurteilten dieselben Fokus: Usability, kognitive Belastung, Objektivität, Akzeptanz & Datenqualität Einfaktorielles Inner-Subjekt Design Faktor: Checklisten-Typus (OSCE-Eval vs. PCL)

10 Hypothesen (H) Mobile digitale Checklisten vs gängige Papierchecklisten H1 & H2: Die Usability von OSCE-Eval ist höher... / die kognitive Belastung bei der Nutzung von OSCE-Eval tiefer als... PCL OSCE-Eval bietet exklusive Benutzerhilfen, e.g. Filterfunktion oder die grafische Codierung bestimmter Zustände,... Zudem dürfte Scrollen (vs. Umblättern) den Suchprozess vereinfachen. H3: Bewertungen werden durch die Nutzung v. OSCE-Eval verzerrt H4: OSCE-Eval und PCL werden unterscheidlich präferiert H5: Die Nutzung von OSCE-Eval resultiert in weniger Missings verglichen mit der Nutzung von PCL OSCE-Eval liefert visuelles Feedback für (un)bearbeitete Items innehralb einer oder zwischen mehreren Checklisten. Mit PCL ist dieser Support-Level nicht umsetzbar.

11 Messungen Mobile digitale Checklisten vs gängige Papierchecklisten Zufriedenheit mit Usability Adaptierte & überstezte Version des PSSUQ (Lewis, 1995): 16 Items, allesamt 7-Punkte Likert Skalen. BSP: Ich fühlte mich wohl bei der Benutzung von OSCE-Eval [PCL]. Kognitive Belastung Deutsche Version der RSME von Eilers, Nachreiner und Hänecke (1986). Kandidatenbewertungen 5 globale Ratingsskalen, die in beiden Posten zum Einsatz kamen: Anamnese, Untersuchung, Diagnose, Kommunikation und Gesamteindruck. Präferenz Mit welcher Methode möchten Sie künftig lieber arbeiten? (Skala: 1 = Papiercheckliste, 2 = OSCE-Eval). Missings Unbearbeitete ( leere ) Checklistenitems [Count]

12 Resultate Mobile digitale Checklisten vs gängige Papierchecklisten Zufriedenheit mit Usability 7 Overall Score Satisfaction with Usability MPCL = 5.6 (SEM = 0.3) MOSCE-Eval = 6.4 (SEM = 0.2) z = -1.94, p/2 = H1: akzeptiert 1 PCL OSCE-Eval

13 Resultate Mobile digitale Checklisten vs gängige Papierchecklisten 100 Kognitive Belastung MPCL = 89.2 (SEM = 12.3) MOSCE-Eval = 71.3 (SEM = 10.4) 75 z = -1.84, p(1-tailed) =.033 H2: akzeptiert 50 PCL OSCE-Eval

14 Resultate Mobile digitale Checklisten vs gängige Papierchecklisten Kandidatenbewertungen N MPCL MOSCE-Eval z p Anamnese Untersuchung Diagnose Kommunikation Gesamteindruck (.53) 3.52 (.23) (n.s.) (.35) 3.41 (.33) (n.s.) (.45) 3.87 (.40) (n.s.) (.37) 3.95 (.31) (n.s.) (.27) 3.67 (.27) (n.s.) H3: abgewiesen

15 Resultate Mobile digitale Checklisten vs gängige Papierchecklisten Präferenz 10 1 x pro PCL 8 x pro OSCE-Eval 1 Enthaltung 5 χ2(1,n=9) = 5.44, p =.02 H4: akzeptiert 0 PCL OSCE-Eval

16 Resultate Mobile digitale Checklisten vs gängige Papierchecklisten 10 Missings MPCL = 8.4 (SD = 7.5) MOSCE-Eval =.0 5 z = -2.81, p(1-tailed) =.003 H5: akzeptiert 0 PCL OSCE-Eval

17 Zusammenfassung & Diskussion Rückschluss auf Anforderungen [Vergleichsweise] hohe Usability [Vergleichsweise] tiefe kognitive Belastung [Vergleichsweise] hohe Objektivität [Vergleichsweise] hohe Akzeptanz + Bessere Datenqualität

18 Zusammenfassung & Diskussion Rückschluss auf Forschungsfrage Forschungsfrage Welche Methode eignet sich besser zur Leistungserhebung von OSCE Kandiaten: Mobile digitale Checklisten (OSCE-Eval) oder die gängigen Papierbögen? Antwort Die Ergnisse der Vergleichsstudie weisen darauf hin, dass OSCE-Eval - verglichen mit gängigen Papierchecklisten - die adäquatere Methdode zur Fremdbewertung von OSCE Kandidaten darstellt. Implikation Der Einsatz mobiler, digitaler Checklisten [OSCE-Eval] zur Fremdbeurteilung praktischer Fertigkeiten ist demjenigen von Papierbögen vorzuziehen.

19 Zusammenfassung & Diskussion Fragen, Hinweise, Empfehlungen?

20 Merci...!