SCHOTTISCH PRÜFEN PRÜFEN BEI RESSOURCENKNAPPHEIT

Transkript

1 SCHOTTISCH PRÜFEN PRÜFEN BEI RESSOURCENKNAPPHEIT Michael Schmidts University of Bern, Institut für medizinische Lehre

2 Van der Vleuten Prüfungsformel Prüfung = Reliabilität x Validität x Lernsteuerung x Akzeptanz x Ökonomie Ökonomie Validität Reliabilität (gute Messeigenschaften der Prüfung) Van der Vleuten, C. The assessment of professional competence: developments, research and practical implications. Advances in Health Science Education 1996, Vol 1: 41-67

3 Meine Definition von ökonomischem Denken: mit gleichen Mitteln mehr erreichen mit weniger Mitteln gleiches erreichen mit weniger Mitteln mehr erreichen

4 Prüfungsökonomie z.b. Aufwand / Anzahl Studierende Aufwand OSCE unstrukturierte mündliche Prüfung Multiple Choice 0 0 Anzahl Studierende

5 Prüfung als Messung Validität Was will ich messen? Habe ich das richtige Messinstrument? Reliabilität Ist die Messung präzise Fragestellung: Messinstrument: Valide? Körpergrösse Reliabel? 5

6 Prüfung als Messung Validität Was will ich messen? Habe ich das richtige Messinstrument? Reliabilität Ist die Messung präzise Fragestellung: Messinstrument: Valide? Körpergrösse Reliabel? 6

7 Prüfung: Grundrechenarten Test 1: 7 x 6 = % correct Test 2: 7 x 6 = = 59 X 18-7 = 12 X 33,3 % correct Test 3: 7 x 6 = = 59 X 18-7 = 12 X 3 x 4 = : 2 = 9 5 x 10 = : 5 = = 35 X = 93 66,6 % correct Valider und reliabler!

8 Sampling of questions (MC)

9 Sampling of stations (OSCE)

10 Cronbachs α

11 Generalisierbarkeitsmass Cronbach`s α Interne Konsistenz Fragestellung: Grundrechenarten und Musizieren Anzahl der Messungen Durchschnittliche Korrelation der Messungen Addieren Multiplizieren Subtrahieren Addie ren Multi plizi eren Subt rahie ren Tro m mel n Sing en Dividi eren Trommeln Singen Dividieren prüft Validität und Reliabilität 11

12

13 Cronbachs α Wie wird die interne Konsistenz besser? Korrelation der Fragen Fragen / Zeit

14 Relation between Cronbachs α and Number of exam tasks

15 Wieviel Cronbachs α ist genug? Konsequenz der Prüfungen? Downing, 2004: Formativ: α >= 0.7 Summativ: : α >= 0.8 High stakes: α >=

16 Cronbachs α across methods Testing time in hours MC 1 Oral² (same examiner for all cases) OSCE³ 1 0,62 0,31 0,47 2 0,76 0,47 0,64 3 0,93 0,47 0,78 4 0,93 0,48 0,88 1 Norcini et al Swanson Petrusa 2002

17 Doppeltes ökonomisches Dilemma mit Testing time in hours MC 1 praktischen Prüfungen OSCE³ 1 0,62 0,47 2 0,76 0,64 3 0,93 0,78 4 0,93 0,88 Aufwand OSCE MC 1) Informationsgewinn /sampling / hohes α dauert länger 2) Durchführungsaufwand ist höher 0 0 n Studierende

18 Ökonomische Strategien zur Erhöhung der Messgenauigkeit Korrelation der Stationen erhöhen Sampling in kürzerer Zeit Cronbachs α relativieren

19 Ökonomische Strategien zur Erhöhung der Messgenauigkeit Korrelation der Stationen erhöhen Key Validierung Beobachtertraining Checklisten vs. Globalskalen Sampling in kürzerer Zeit Scoring across Items (Modell Bern) Stationszeit kürzen (Modell Heidelberg) mit billigeren Test kombinieren (Modell Wien) Cronbachs α relativieren Sequentielles Testen Grenzfallkandidaten statt Cronbach α Programmatic Assessment

20 Ökonomische Strategien zur Erhöhung der Messgenauigkeit Korrelation der Stationen erhöhen Key Validierung Beobachtertraining Checklisten vs. Globalskalen Sampling in kürzerer Zeit Scoring across Items (Modell Bern) Stationszeit kürzen (Modell Heidelberg) mit billigeren Test kombinieren (Modell Wien) Cronbach relativieren Sequentielles Testen Grenzfallkandidaten statt Cronbach α Programmatic Assessment

21 Ökonomische Strategien zur Erhöhung der Messgenauigkeit Korrelation der Stationen erhöhen Key Validierung Beobachtertraining Checklisten vs. Globalskalen Sampling in kürzerer Zeit Scoring across Items (Modell Bern) Stationszeit kürzen (Modell Heidelberg) mit billigeren Test kombinieren (Modell Wien) Cronbachsα relativieren Sequentielles Testen Grenzfallkandidaten statt Cronbach α Programmatic Assessment

23 Ökonomische Strategien zur Erhöhung der Messgenauigkeit Korrelation der Stationen erhöhen Key Validierung Beobachtertraining Checklisten vs. Globalskalen Sampling in kürzerer Zeit 12 Stationen vs. Scoring across Items (Modell Bern) 200 Checklistenitems Stationszeit kürzen (Modell Heidelberg) mit billigeren Test kombinieren (Modell Wien) Cronbachs α relativieren Sequentielles Testen Grenzfallkandidaten statt Cronbach α Programmatic Assessment

24 Ökonomische Strategien zur Erhöhung der Messgenauigkeit Korrelation der Stationen erhöhen Key Validierung Beobachtertraining Checklisten vs. Globalskalen Sampling in kürzerer Zeit Scoring across Items (Modell Bern) Stationszeit kürzen (Modell Heidelberg) mit billigeren Test kombinieren (Modell Wien) Cronbachs α relativieren Sequentielles Testen Grenzfallkandidaten statt Cronbach α Programmatic Assessment 13 Minuten vs. 5 Minuten

26 Welches Messinstrument? Fragestellung Körpergewicht? Test A Test B? Test C? Test B und C valide? Test auf Korrelation Test A Test B Test A Test C

27 Praktische Fertigkeiten Messinstrumente Test A Test B? What time you have to open the tourniquette when drawing blood? Korrelieren Test A und Test B?

28 Stat 1 Stat 2 Stat 3 Stat 4 Stat5 Item 1-15 Item Stat 1 1 Stat 2,176 1 MC OSCE Combination, Vienna 2nd-year OSCE (2009, n = 105) 5 practical stations 2 additional MC stations (2 x 15 items) Stat 3,275,280 1 Stat 4,043,178,165 1 Stat 5,138,151,208,095 1 Item 1-15 Item 16-30,049,246,140,219,149 1,114,207,242,198,093,494 1

29 D Study varying combinations of written and practical stations (OSCE) x 5 practical + 2 written stations (α = 0,58) x 5 practical stations (α=0,50)

30 D Study varying combinations of written and practical stations (OSCE) 5 practical + 2 written stations (α = 0,58) 5 practical stations (α=0,50)

31 B. Verhoeven, J. Hamers, A. Scherpbier, R. Hoogenboom, C. Van Der Vleuten (2001): The effect on reliability of adding a separate written assessment component to an objective structured clinical examination, Medical Education 34 (7), P:

32 Ökonomische Strategien zur Erhöhung der Messgenauigkeit Korrelation der Stationen erhöhen Key Validierung Beobachtertraining Checklisten vs. Globalskalen Sampling in kürzerer Zeit Scoring across Items (Modell Bern) Stationszeit kürzen (Modell Heidelberg) mit billigeren Test kombinieren (Modell Wien) Cronbach relativieren Sequentielles Testen Grenzfallkandidaten statt Cronbach α Programmatic Assessment

33 Konfidenzintervall um den Messwert Wahre Punktzahl = gemessene Punkte +/- 1,96 x SD x (1 - α) 25 Chronbachs α niedrig Kandidatin erreicht 62% Bestehensgrenze : 66% 62% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% fail 66% pass score

34 Konfidenzintervall um den Messwert 25 True score = score +/- 1,96 x standard deviation x (1 - α) Test with low α e.g. 8 station OSCE Secure pass decision for students with scores > 82% 50% 82% 90% 95% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% fail 66% pass score

35 Pass/fail/borderline 25 50% < clear fail borderline clear pass > 82% 50% 82% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% fail 66% pass score

36 Sequential test shortosce longosce Screen all students many can already be judged as clear pass or clear fail High α exam only for borderline decisions (following screening) Petrusa ER. Clinical performance assessments. In: Norman GR, van der Vleuten CPM, Newble DI, eds. International Handbook for Research in Medical Education. Dordrecht: Kluwer Academic Publishers 2002;

37 7 station screening (n=105) Pass mark(50%) n = 65 (62%) pass 38% Further testing n = 23 n = score range12 13 Score range (α = 0,58)

38 Van der Vleuten Prüfungsformel Prüfung = Reliabilität x Validität x Lernsteuerung x Akzeptanz x Ökonomie Van der Vleuten, C. The assessment of professional competence: developments, research and practical implications. Advances in Health Science Education 1996, Vol 1: 41-67

39 Einsparungsmöglichkeit bis 35% Testaufwand % 2 tailed design 90.00% 80.00% 70.00% 60.00% 50.00% 40.00% effort screening effort further testing total effort 30.00% 20.00% 10.00% 0.00% initial number of stations

40 Ökonomische Strategien zur Erhöhung der Messgenauigkeit Korrelation der Stationen erhöhen Key Validierung Beobachtertraining Checklisten vs. Globalskalen Sampling in kürzerer Zeit Scoring across Items (Modell Bern) Stationszeit kürzen (Modell Heidelberg) mit billigeren Test kombinieren (Modell Wien) Cronbach relativieren Sequentielles Testen Grenzfallkandidaten statt Cronbachs α Programmatic Assessment

41 Cronbachs α relativieren Konzept Grenzfallkandidaten % Kandidatinnen für die aufgrund der Messunsicherheit um die Bestehensgrenze herum keine 95% sichere P/F Entscheidung getroffen werden kann. z.b. für 23% unserer Kandidatinnen können wir keine sichere pass/fail Entscheidung treffen

42 Grenzfallkandidaten bei Bestehensgrenze = 1 ½ SD unter dem Mittelwert, α = 0.8 Standardnormalverteilung: Mittelwert = 0, SD = 1 Bestehensgrenze MW 1 ½ SD % students Konfidenzintervall um Bestehensgrenze α = 0,9 18,0 26,6 %

43 Grenzfallkandidaten bei fixer Bestehensgrenze und verschiedenen α 80.00% Bestehensgrenze: SD 70.00% 60.00% 50.00% 40.00% Bestehensgrenze: SD 30.00% 20.00% 10.00% reliability α 43

44 Grenzfallkandidaten bei 2 verschiedenen Bestehensgrenzen, gleiches α = 0.8 Blau: Bestehensgrenze 1.5 SD unter dem Mittelwert Bestehensgrenze 2 SD unter dem Mittelwert % students Konfidenzintervall um Bestehensgrenze 12.4 % 26,6 %

45 Grenzfallkandidaten bei verschiedenen Bestehensgrenzen und fixem 80.00% 70.00% 60.00% 50.00% 40.00% r = 0.9 r = 0, % r = 0.7 r = % 10.00% 0.00% pass/fail score (scale unit SD) 45

46 Massnahmen zur Verminderung der Grenzfallkandiaten Bestehensgrenze: SD r = % 80.00% 70.00% 70.00% 60.00% 60.00% 50.00% 50.00% 40.00% 30.00% 1 h 40.00% 30.00% 20.00% 10.00% + 3 h 20.00% 10.00% 0.00% reliability α 0.00% pass/fail score (scale unit SD)

47 CH Eidgenössisches Staatsexamen Stationen OSCE, α = 0.67, MW-BG 2.2 SD 15% Grenzfallkan didaten

48 Schlussfolgerungen Viele falsch positive und falsch negative Entscheidungen (bis zu 40%) sind unter bestimmten Voraussetzungen auch bei akzeptabler Reliabilität (r = 0.8) möglich Senkung der Grenzfallkandidaten von 40% auf 20% macht den dreifachen Samplingaufwand, wie Senkung von 60% auf 40 % Abstand Bestehensgrenze zum Mittelwert hat den stärksten Einfluss auf Grenzfallkandidatinnen (Senkung des Abstands um ½ SD bringt % weniger Grenzfallkandidatinnen. Bei niedriger Bestehensgrenze kann a fast ignoriert werden 48

49 Konzept GrenzfallkandidatInnen Downing, 2004: Schmidts 2013 Formativ: α >= Formativ: GFK <= 40% Summativ: : α >= Summativ: GFK <= 20% High stakes: α >= High stakes: GFK <= 10% neue Notenskala?: Pass / fail / further testing needed? 49

50 Cronbachs α relativieren Continuous assessment Programmatic assessment

51 Single spot vs. continuous Single spot exam Multiple small exams Module pass Module Overall judgement pass fail fail 10 Station OSCE 3 Station OSCE 3 Station OSCE 3 Station OSCE Student 1 pass 90 % 70% 85% pass Student 2 fail 45 % 65% 80% pass Student 3 fail 40 % 60% 55% fail

52 Single spot, continuous, sequential Single spot Single spot exam continuous Multiple small exams Module pass Overall judgement pass fail fail sequential dual spot exam Module 1 ( ) 2 pass fail 1 Give feedback 2 allow remediation

53 continuous assessment Feedback Therapeutic /formative Overall judgement (summative) Diagnostic /summativ No surprise to the student prognostic van der Vleuten CPM, Schuwirth LWT, Assessing professional competence: from methods to programmes, Medical Education 2005 (39),

54 Aus ökonomischer Sicht......sollten Prüfungen gleichzeitig formativ und summativ sein Summativ Geheimhaltung der Fragen Auswertungsdauer Scores statt Freitext Formativ Reiches inhaltliches Feedback Unmittelbar Freitext minicex

55 Key take home messages MC ist nicht immer am billigsten OSCE ist immer am teuersten Es gibt Methoden, mit denen die Validität/Reliabilität (α) einer praktischen Prüfung preisgünstig verbessert werden können (z.b. Stationszeit kürzen oder sequentielles Testen) Der Abstand der Bestehensgrenze zum Mittelwert hat den stärksten Einfluss auf die Anzahl unsicherer Testentscheidungen Manche Prüfungen kann man durch höheren Aufwand nicht retten. Validität und Reliabilität müssen nicht in einem einzigen Testereignis ermittelt werden (continuous assessment)