15 Jahre Erfahrungen mit dem Eignungstest für das Medizinstudium EMS

Transkript

1 15 Jahre Erfahrungen mit dem Eignungstest für das Medizinstudium EMS Klaus-Dieter Hänsgen Zentrum für Testentwicklung, Universität Freiburg/Schweiz MME-Symposium Bern, 15. März ein Exportschlager

2 Die Ausgangssituation v.l.n.r. Anmeldungen (hell) und ; letzte Säule: Kapazität 2013 und 20%-Überschreitungskriterium Situation vor 1998 Kapazitätsüberschreitung: zirka 50% Überlastung der Betreuungskapazität Keine Studienreformen möglich Abbrüche rund 60% (teilweise indiziert durch verschärfte Prüfungen) Kapazität BaBeFrZh GeNeLa

3 Die Ausgangssituation v.l.n.r. Anmeldungen (hell) und ; letzte Säule: Kapazität 2013 und 20%-Überschreitungskriterium Kapazität BaBeFrZh GeNeLa

4 Zulassung Medizinstudium ist besonders - teures Studium (auch Berufsausbildung), bis CHF/Ausbildung - IUV-Beitrag Jahre 1-3; - «explodierende» Nachfrage (Ärztemangel, Verbesserung Arbeitsbedingungen, gute Perspektive) - Kapazitäten nicht beliebig erweiterbar (Klinikkapazitäten, Patienten, Technik, ) Numerus clausus/zulassungsbegrenzung - Deutschland: seit Schweiz: seit Österreich seit 2005 Innsbruck und Wien: 2005 Reihenfolge Eingang Anmeldung, EMS

5 Anforderungen an NC-Zulassungskriterien Gesetz: Zulassung nach Eignung Gerechtigkeit: Personen mit besseren Erfolgsaussichten (Studiendauer/-leistungen) bevorzugt zulassen Ökonomisch Bundesgerichtsurteile Schweiz zum NC: Rechtsgleichheit (Fairness) Willkürfreiheit (Objektivität) Weitere Vorgaben: Chancengleichheit (Alter, Geschlecht, soziale Schicht, Region, Sprache ) Wenig vorwissensabhängig und gering trainierbar

6 Was hätte man machen können? Schulnoten: Grosse kantonale und Unterschiede in Notenstrenge und verwendeter Skala, auch unterschiedliche Maturitätsquoten (16-34%); Ausgleichsverfahren durch die Zahl der Kantone unmöglich. Auch: befürchtete Rückwirkung auf Notenvergabe Beurteilte Praktika (Zürich): Auswahl aufgrund dieser Beurteilung. Problem: Vergleichbarkeit, Gerechtigkeit -> scheiterte an fehlenden Kapazitäten Interviews mit Teil der Personen an der Zulassungsgrenze: zu viel Aufwand

7 Test so gut wie Abiturnoten ohne Nachteile bei Vergleichbarkeit Hell, Trapmann, Weigand Hirn & Schuler( 2005): Die Validität von Prädiktoren des Studienerfolgs eine Metaanalyse.

8 Eignungstest für das Medizinstudium EMS ist ein System (DIN 33430, ÖNORM D4000) Jährlich neuer Test mit gleichbleibender Prognoseleistung Vorerprobte Aufgaben Information und Vorbereitungsmaterial Standardisierte Bedingungen an allen Abnahmestellen Eintages-Assessment (9 bis 17 Uhr mit 1 h Pause) Belastungsfaktor und Vorbereitungsfaktor (Motivation) sind gewollt

9 Struktur des EMS heute Allgemeiner Fähigkeitsfaktor 40% der Gesamtvarianz "Schlussfolgerndes Denken" 32% der Gesamtvarianz (2 Faktoren) 31% der Gesamtvarianz (3 Faktoren) "Werkzeugfunktionen" 26% der Gesamtvarianz Visuelle Fähigkeiten 21% Gesamtvarianz Merkfähigkeit 16% Gesamtvarianz Diagramme und Tabellen Med.-naturw. Grundverständnis Schlauchfiguren Konzentr. u. sorgf. Arbeiten Figuren lernen Textverständnis Planen und Organisieren Quant. und formale Probleme Muster zuordnen Fakten lernen

10 Einsatz des EMS Der Ausgangspunkt Deutschland bis 1996 TMS: Struktur Ergebnis einer Anforderungsanalyse, umfangreiche Erprobungen und Begleitforschung, Test von 1980 bis 1996 obligatorisch Schwesterprojekt Schweiz EMS: Seit 1998 Adaptation in franz. und ital. Sprache, Weiterentwicklungen, u.a. Untertests Planen und Organisieren, Konzentriertes und Sorgfältiges Arbeiten Tochterprojekt EMS Österreich Wien und Innsbruck: 2006 bis 2012 zeit- und inhaltsgleich mit Schweiz Deutschland seit 2007 wieder TMS: Wiedereinsatz für einzelne Bundesländer bzw. Universitäten (Selbstauswahlquote der Univ.)

11 Validität: Vorhersage Studienleistung Erste Validierungen mit Kohorten 1998 und Damals noch sehr milder NC, EMS-Leistungsspektrum grösser Mündliche Prüfung gesamt (Bern) Multiple Choice Prüfung gesamt (Bern) Physik und Physiologie Chemie und Biochemie Allgemeine und Humanbiologie I Allgemeine und Humanbiologie II Durchschnittsnote Gesamt Humanmedizin Veterinärmedizin Die Kohorten 1998 und 1999 erreichen den «Benchmark» (wegen mildem NC unkorrigerte Werte)

12 Vorhersage Studiendauer Nicht bestanden bestanden Testwert In den ersten Jahren wurden noch viele Personen mit schlechteren Testwerten zugelassen (rote Linien: Zulassungsgrenzen)

13 Vorhersage Studiendauer Testwert 1998 Nicht bestanden 1998 Bestanden 1999 Nicht bestanden 1999 Bestanden Signifikanter Mittelwertunterschied beim Testwert für die Gruppen Prüfung bestanden und Prüfung nicht bestanden Nahezu identisch in 2 aufeinanderfolgenden Jahren

14 Vorhersage Studiendauer damals Nachrückverfahren; für Zulassungsgrenze der ersten Runde: Nachrücker: Testwert unter Kriterium Testwert über Kriterium Nachrücker: Testwert unter Kriterium Testwert über Kriterium Erfolg 1. Vorprüfung Nicht bestanden Bestanden Anzahl Prozentverhältnis 60.3% 39.7% Anzahl Prozentverhältnis 21.9% 78.1% Erfolg 2. Vorprüfung Nicht bestanden Bestanden Anzahl 1 1 Prozentverhältnis 50.0% 50.0% (!) Anzahl Prozentverhältnis 14.8% 85.2% Die Zulassung von Personen mit schlechteren Testergebnissen kostet deutlich mehr Ressourcen!

15 «Bildungsökonomie» des Tests Mit NC: bis 90% der Beginnenden schaffen 2. Vorprüfung Ohne NC werden ca. 50% «herausgeprüft» binden aber Kapazitäten (auch incl. Repetenten)

16 Panik! NC sorgt für eine «Schere»??? rechts: im Bericht des SWTR dargestellter Bereich Immatrikulationen 1.Jahr (CRUS) Diplome (BfS) Bericht SWTR: Seit 1999 Rückgang Zahl der Arztdiplome Abnahme der Studierendenzahlen 7858 (1997) auf 7000 (2001) sei ein Teil der Antwort. Frage kommt auf: Bevorteilt der NC/EMS die Falschen? Humanmedizin, gesamte Schweiz Der erste Blick: Schere zwischen beiden Kurven öffnet sich. Aber Quelle: Immatrikulationen im 1. Jahr, die der CRUS von den Universitäten gemeldet werden - im Unterschied zu den Zahlen des BfS hier inclusive der Studienwechsler zur Medizin (Personen, die vorher in anderem Fach immatrikuliert waren), also die effektive Zahl der Studienanfänger; Vergebene Arztdiplome: Zahlen des BfS Material CRUS + ZTD zum NC und EMS

17 Immatrikulationen und Diplome NC Höhepunkt doppelter Mat.-Jahrgänge

18 Immatrikulationen und Diplome Nicht-NC

19 SP -Prüfungsergebnis Bern Vorhersage durch EMS ungeglättet mittlerer Wert SP geglättet Analyse Bern 2000 und 2001 sowie 2004 und 2005 (mit P. Eggli) Linear monotoner Zusammenhang zwischen Testwert und Prüfungsergebnis Schriftliche Prüfung der 2. Vorprüfung. r = EMS-Testwert Der Korrelationskoeffizient ist selektionskorrigiert, weil bei den Zugelassenen nicht mehr die gesamte Testwert-Variabilität vorhanden ist. Material CRUS + ZTD zum NC und EMS

20 Wien 2006 Korrelationen des SIP-1-Punktwertes (Wien) mit der EMS-Testleistung: Gesamt 0.42 (p <.000) korrigiert 0.53 Männer 0.40 (p <.000) korrigiert 0.50 Frauen 0.41 (p <.000) korrigiert 0.53 korrigiert bezieht sich auf das übliche Verfahren zum Ausgleich der Varianzverringerung beim Testwert durch die Zulassung der Besten.

21 Berufseignung: Soziale Kompetenzen? wünschenswert, weil im Medizinalberufegesetz als Studienziel: 1. Abschnitt: Allgemeine Ziele Art. 6 Kenntnisse, Fertigkeiten und Fähigkeiten Art. 7 Soziale Kompetenz und Persönlichkeitsentwicklung Definitionsproblem heterogen für verschiedene Fächer «idealisiert» und Bedeutung wenig empirisch belegt Frage, was zum Studienbeginn da sein muss und was während Studium gelernt werden soll. Erfassungsproblem Selbstbeurteilungserfahren ungeeignet wegen Verfälschbarkeit (sozial erwünschte Antwort leicht erkennbar) Wissenskomponente erfassen? Situational Judgment Tests?

22 SJT (Demobeispiel 1 Med. Univ. Graz) Sie arbeiten als Arzt oder Ärztin in einem Krankenhaus. Am Ende eines anstrengenden Arbeitstages schicken Sie versehentlich eine mit vertraulichen PatientInneninformationen an die falsche Person. Welche der folgenden Handlungsmöglichkeiten ist die effektivste? Sie entscheiden sich nach Hause zu gehen und sich um etwaige Probleme morgen zu kümmern. Sie entscheiden sich den Fehler zu ignorieren, eine an die korrekte Person zu schicken und es dabei zu belassen. Sie senden ein an die falsche Person und erklären Ihren Fehler. Dann schicken sie das an die korrekte Person. Sie suchen Ihren Chef, erklären ihm den Fehler und lassen ihn das Problem lösen. Sie gehen nach Hause, rufen Ihren besten Freund/Ihre beste Freundin an und erzählen ihm/ihr, was Ihnen passiert ist.

23 SJT (Demobeispiel 2 Med. Univ. Graz) Sie haben eine Patientin mit einer Hauterkrankung, die Sie noch nie gesehen haben. Sie befragen und untersuchen sie. Ihnen ist trotzdem nicht klar, woher der Ausschlag kommt. Was tun Sie als nächstes und was sagen Sie der Patientin? Ich habe keine Ahnung, worum es sich dabei handelt. Daher werde ich es sofort in einem Fachbuch nachschlagen. Das ist vermutlich gar nichts. Wenn es etwas Schlimmes wäre, würde es schneller voran schreiten. Warten wir noch ein wenig ab. Meistens verschwinden Ausschläge dieser Art von alleine. Ich kann nicht feststellen, um welchen Ausschlag es sich dabei handelt. Weitere Untersuchungen sind daher notwendig. Das sieht sehr komplex aus. Ich kann Ihnen keine Diagnose nennen.

24 Situational Judgment Test Lievens, F, Sackett, P.R. (2006): Video based versus written situational judgement tests: A comparison in terms of Predictive Validity. J. Appl. Psychology Korrelationen Videofassung vs. Textfassung Grade Point Average (GPA) Punktwert kognitiv orientierter Prüfungsleistung nach dem ersten Jahr Interpersonally orientated courses : interpersonelle und kommunikative Fähigkeiten bewertet Die videobasierte Form korreliert zu 0.07 mit GPA und 0.34 mit dem interpersonellen Kriterium (letzteres ist signifikant). Die Papierversion korreliert zu 0.10 mit GPA und nur zu 0.08 mit dem Kriterium interpersonelle Fähigkeiten. mehr:

25 Zukunft: Eignung und Neigung wichtig Matura Studienwahl??? and. Beruf od. Studium EMS weniger geeignet Medizinstudium Studienabbruch Studienwechsel keine/andere Berufstätigkeit Berufswahl Medizinberuf Fachgebiet incl. Weiterbildung «Verschärfung» des NC: Überrepräsentation der Besten in kognitiver Leistungsfähigkeit? Entscheiden sich die Richtigen für eine Bewerbung? Interesse für Hausarzt, Psychiater, Grosstiermedizin Nehmen die Richtigen Abstand von einer Bewerbung? Fehlende Fähigkeiten suboptimale Persönlichkeitseigenschaften fehlendes Interesse auf der Basis adäquater Erwartungen an Studium und Beruf

26 Self-Assessment? wenn voll anonym und freiwillig: ehrliche Fragenbeantwortung? objektive Rückmeldung auch bei weniger sozial erwünschter Merkmalsausprägung? SAMED (samed.unifr.ch) Online-Fragebogen, Vergleich mit Antworten Studierender der Jahre 1-3, ausführlicher Report über Stärken und Schwächen (36 Seiten) Studienrelevante Persönlichkeitsmerkmale Interessen Erwartungen an Studium und Beruf

27 Evaluation SAMED Schweiz Wie hilfreich war das Self- Assessment? Online-Durchführung Nachbefragung Sehr hilfreich 16% 13% 9% 7% Hilfreich 66% 58% 52% 48% Wenig hilfreich 17% 25% 34% 39% Gar nicht hilfreich 1% 4% 5% 6% Das Self-Assessment hat mich Online-Durchführung Nachbefragung Sehr bestärkt 17% 16% 11% 10% Bestärkt 47% 28% 29% 27% Kaum beeinflusst 27% 44% 54% 58% Unsicherer gemacht 9% 12% 6% 5% Online-Durchführung: unmittelbar nach Durchführung Nachbefragung: im Fragebogen anlässlich des EMS vgl. Bericht 19 des ZTD

28 EMS freiwillig (=als Self Assessment?) 2010 bis 2012 Eignungstest für das Medizinstudium (EMS) in Genf obligatorisch aber nichtselektiv eingesetzt: Die Teilnahme war Pflicht, alle Teilnehmenden konnten sich aber immatrikulieren. Erwartung. freiwilliger Verzicht der Leistungsschlechteren, schlechtesten 30/40% Beratungsgespräche angeboten Human- und Zahnmedizin zusammengefasst Genf: Jahr und EMS Kapazität 1. Jahr Anmeldungen Febr. (Überlastung) Bewerbungen (Rückzugsquoten) Immatrikulationen Überschreitung der Kapazität 2008 ohne 207* 419 (+102%) % 2009 ohne 207* 540 (+160%) % 2010 mit 207* 566 (+173%) 353 (-38%) % 2011 mit 207* 530 (+156%) 317 (-40%) % 2012 mit 207* 555 (+168%) 337 (-39%) % Vergleich NC (2012) (+335%) 2638 (-24%) kapazitätsentsprechend

29 Genf: ohne NC schlechtere Ergebnisse deutlich schlechtere Ergebnisse in Genf als in NC-Unis (auch zu französischsprachig in Freiburg)

30 Genf: weniger Vorbereitung weniger ernst genommen? Mittelwert ± Standardabweichung für Gesamt-Vorbereitungszeit in Stunden Universitäten mit NC Genf Jahr Deutschsprachig Italienischsprachig Französischsprachig Ohne NC % Personen unter 10 Stunden ± ± ± ± ± ± ± ± ± ± ± ± Bereitschaft Studienberatung: 2010 wollten nur 2, und 2012 nur 1 Person sich beraten lassen. Personen, die sich immatrikulieren, haben 2010 einen mittleren Testwert von 103, die sich nicht immatrikulieren einen mittleren Testwert von 98. Eimmatrikulieren sich aber noch zahlreiche Personen mit niedrigen Testwerten

31 Genf: Trotzdem gute Prognose im Jahr 1 Kohorte 2010: Korrelation EMS-Punktwert zu Prüfungs-Modul A 0.49 (n=239), Punkten im Prüfungs-Modul B 0.51 (n=228). (Maturitätsdurchschnitt:.48 mit Modul A (n=152) 0.50 mit Modul B (n=146), erfragt nach EMS) Erfolgsquoten (obere und untere 50% nach Punktwert): 44% zu 16% Erfolg für Modul A und 45% zu 15% Erfolg für Modul B. Übertritte ins zweite Jahr mittlerentestwerte für Erfolgreiche: Testwert 111) und Nicht-Erfolgreiche: Testwert 101. Kohorte 2011 Korrelationen zwischen Punktwert und Prüfungsergebnis für die beiden Module auf 0.32 gesunken.

32 EMS in Österreich Ansturm deutscher Studierender machte eine Quotenregelung notwendig: Platzverteilung 75% Matura Österreich 20% Matura anderes EU-Land 5% Matura Nicht-EU-Land Beispiel 2011: (Innsbruck und Wien) * 3266 aus Deutschland Österreich EU Nicht-EU Gültiger EMS * 105 Plätze % Zulassung 23% 7% 55%

33 Genderunterschiede beim Testwert AT Geschlecht 2007 männlich weiblich Total m n s m n s m n s EU nicht EU Österreich Geschlecht 2011 männlich weiblich Gesamt m n s m n s m n s EU nicht EU Österreich Differenz m:f Erwartung DE: um 2.0; CH zwischen 1.6 und 2 Bern Nr. 33

34 «Genderspezifische Auswertung» Bildung des Testwertes (immer m = 100, s = 10) Punktwert (P) (0-198) Männer: Punktwert (P) (0-198) Frauen: Punktwert (P) (0-198) Testwert *(P-m)/s m: Mittelwert P (alle) s: Standardabweichung P (alle) Testwert *(P-m m )/s m m m : Mittelwert P Männer s m : Standardabweichung P Männer Testwert *(P-m f )/s f m f : Mittelwert P Frauen s f : Standardabweichung P Frauen Bern Nr. 34

35 «Genderloo» in Wien

36 Genderunterschiede und Testwert Genderverhältnis bei verschiedenen Testwerten als Zulassungsgrenze: je höher, desto mehr Männer. Punkte: tatsächliche Zulassungsgrenzen/ Jahr 2011 erstmals getrennt Innsbruck und Wien Verschärfung NC über die Jahre wirkt sich mit aus Bern Nr. 36

37 Erklärungsversuche der Unterschiede Spiel (2008): klassische Rollenbilder als Ursache auch im Schulunterricht: Frauen haben bei gleichen Schulnoten deutlich schlechtere Testleistungen und zwar durchgängig für alle Schulnoten. Der Unterschied in der Testleistung beträgt somit 5,39 Punkte bei gleichen Schulnoten. Mädchen werden mehr für Fleiss und Anpassung gelobt - an Knaben werden höhere Leistungsanforderungen gestellt, speziell in Mathematik und Naturwissenschaften. Eder (2007): Benotungsunterschiede zwischen Jungen und Mädchen in Österreich: Jungen bekommen bei vergleichbaren Leistungen oft schlechtere Noten als Mädchen, bei Mädchen fliesst "Betragensbonus" in die fachliche Benotung mit ein ] Bern Nr. 37

38 Erklärungsversuche der Unterschiede In Deutschland und der Schweiz keine derartig hohen Unterschiede, PISA-Studie 2009 Naturwissenschaften (science) Differenz von -6 (das Mittel für alle Länder ist 0), für Mathematik von -19 (Mittel +14) zugunsten der Jungen in Österreich (negative Vorzeichen -> bessere Werte der Jungen). Lesekompetenz sind Frauen mit +41 besser, hier liegt das Mittel für alle Länder bei +39. [ Gleiche Notenmittelwerte bei der ersten Prüfung im Studium (SIP-1) für Männer und Frauen. Die zugelassenen Gruppen unterscheiden sich nicht hinsichtlich des Studienerfolges (um den Preis der geringeren Zulasssungsquote für Frauen). Evaluation 2007 zeigte sich, dass der SIP-Punktwert mit dem EMS-Wert für Frauen mit 0,53 - für Männer mit 0,50 korrelierte. Fragen für Männer und Frauen unterschiedlich? DIF-Verfahren überprüft: 2007 wiesen nur 2, 2008 nur 3 der 178 Items DIF auf. Zulassungstest in Graz zeigen, dass die Unterschiede vor allem im naturwissenschaftlichen Bereich liegen bewarben sich dort 57 % Frauen, zugelassen wurden nur 42 %. Diese Differenz von 15 % für alle Jahre und Orte ein Maximum. Unterschiede vor allem aus dem Wissensteil, insbesondere Physik. Dieser Testteil ähnelt am ehesten einer standardisierten Maturitätsprüfung. Bern Nr. 38

39 Danke für die Aufmerksamkeit Bern Nr. 39