Erfassung und Vergleich des Wissenserwerbs im Medizinstudium

Transkript

1 Erfassung und Vergleich des Wissenserwerbs im Medizinstudium Zusammenfassung Katrin Schüttpelz-Brauns Angesichts zunehmender Einführungen von kompetenzbasierten Modellstudiengängen befürchten Vertreter (natur-)wissenschaftlicher Grundlagenfächer der Humanmedizin, dass u. a. die Wissensvermittlung während des Medizinstudiums vernachlässigt wird. Um diese Befürchtung wissenschaftlich zu überprüfen, bedarf es zuverlässiger Methoden, die den Wissenserwerb während des Medizinstudiums erfassen und vergleichen. Dieser Artikel stellt Möglichkeiten der vor. Schlüsselwörter: kompetenzbasiert, Medizinstudium, Messung, Progress Test, Prüfungen, Tests, Wissenserwerb. Abstract In the light of increasing implementation of outcome-based curricula in medical education representatives of basic medical sciences worry about the probable neglect of knowledge acquisition. To test this misgiving scientifically you need dependable methods to measure and compare knowledge acquisition during medical education. This paper presents methods of measurements of knowledge acquisition. Keywords: assessment, knowledge acquisition, measurement, medical education, outcomebased, progress testing, tests. Seite 86

2 Einführung Die Qualität der Arztausbildung spielt eine große Rolle bei der Qualität der Gesund heits versorgung. In der Ärztlichen Approbationsordnung (ÄAppO) sind die Struktur, der Inhalt und die Dauer des Studiums der Humanmedizin exakt vorgeschrieben. Seit einigen Jahren nimmt im gesamten Bildungssektor die Bedeutung der Vermittlung von Kompetenzen immer mehr Raum ein. Auch im Studium der Humanmedizin zeigt sich diese Entwicklung in der Einführung kompetenzbasierter Modellstudiengänge, die sich an den CanMeds-Rollen (s Abb. 1) orientieren (Frank & Danoff, 2007) und durch 41 ÄAppO ermöglicht werden. Diese Modellstudiengänge erschweren die länderübergreifenden Qualitäts sicherungssysteme, Vergleiche und Mobilität (Hahn & Fischer, 2009, S. 3/3). Um diesem zu begegnen und einen Fachqualifikationsrahmen für das Studium der Humanmedizin zu erarbeiten, entwickeln Mitglieder der Gesellschaft für Medizinische Ausbildung (GMA), des Medizinischen Fakultätentages (MFT) Wissenschaftler & Lehrer Professionelles Handeln Medizinischer Experte Gesundheitsberater- & -fürsprecher Kommunikation Verantwortungsträger & Manager Interprofessionelle Zusammenarbeit und verschiedenen anderen Institutionen (Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften e.v., Bundesärztekammer, Bundesministerium für Bildung und Forschung, Bundesministerium für Gesundheit, Bundesvertretung der Medizinstudierenden in Deutschland e.v., Hochschulrektorenkonferenz, Institut für Medizinische und Pharmazeutische Prüfungsfragen, Kultusministerkonferenz, Verband der Universitätsklinika Deutschlands e.v., Wissenschaftsrat) einen nationalen kompetenzbasierten Lernzielkatalog Medizin (NKLM) (Hahn & Fischer, 2009). Die Fachgesellschaften der (natur-)wissenschaftlichen Grundlagenfächer befürchten nun Tendenzen, das Medizinstudium in eine reine Ausbildung von praktizierenden Ärzten umzugestalten, bei der im Hinblick auf die schnelle Erlangung von Berufskompetenz die Vermittlung von Wissen und wissenschaftlicher Kritikfähigkeit hinter das Training von Fertigkeiten zurück gedrängt wird (Anatomische Gesellschaft, Deutsche Gesellschaft für Medizinische Psychologie, Deutsche Physiologische Gesellschaft, Gesellschaft für Biochemie und Molekularbiologie und Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften, 2010). Es ergibt sich die Frage, ob die Möglichkeit besteht nachzuprüfen, ob die Umgestaltung des herkömmlichen Medizinstudiums in eine kompetenzbasierte Ausbildung die Wissensvermittlung in ausreichendem Maße gewährleistet. Abbildung 1. CanMeds-Rollen Heft 1/2011 Seite 87

3 Schüttpelz-Brauns Im Folgenden sollen daher Methoden zur Erfassung von medizinischem Wissen und seiner Entwicklung vorgestellt und hinsichtlich ihrer Anwendbarkeit bei Vergleichen zwischen verschiedenen Curricula diskutiert werden. mittels Befragung Um Wissenserwerb zu erfassen, können Fragen zur subjektiven Einschätzung des Wissens verwendet werden. Das Problem bei der subjektiven Einschätzung des eigenen Wissens(- zuwachses) ist die begrenzte Fähigkeit zur Selbst-Einschätzung, wie Colthart et al. (2008) in ihrem Literaturüberblick zum Thema Effektivität von Selbst-Einschätzungen schreiben. Sie zeigen, dass hoch fähige Personen sich eher unterschätzen, wohingegen weniger fähige Personen zu Überschätzungen ihrer eigenen Fähigkeiten neigen. Durch ein Training können nur die Urteile der hoch fähigen Personen an die Realität angepasst werden. Daher ist anzunehmen, dass Studien, die mittels Befragung den Wissenserwerb erfassen, das tatsächliche Wissen überschätzen können. Um diesem Problem zu begegnen und die Einschätzung im Sinne einer Triangulation zu validieren, können auch unterschiedliche Personen oder Institutionen (Fremdeinschätzungen) befragt werden (z. B. bei Distlehurst & Robbs, 1998). Bei der Fremdeinschätzung von Wissen können Beurteilungsfehler und Verzerrungstendenzen der Beurteiler auf die Einschätzung des Wissens wirken. Außerdem ist es möglich, Selbst- und Fremdeinschätzungen zu kombinieren (z. B. bei Santos-Gomez, 1990). Auf diesem Wege können die genannten Probleme nicht vollständig gelöst, sondern lediglich abgemildert werden. mittels konstruierter Tests Zur objektiven Erfassung von Wissen werden Tests herangezogen. Dies kann im Rahmen von eigens für die Studie entwickelten Fragen geschehen (z. B. bei Harter et al., 2009). Hier muss untersucht werden, ob die Gütekriterien (Reliabilität, Validität und Objektivität) erfüllt werden. Bei Vorher-Nachher-Messungen oder Verlaufsmessungen ergibt sich das Problem, dass weitere parallele Tests entwickelt werden sollten, damit kein Erinnerungseffekt auftritt. mittels innerfakultärer Prüfungen Eine weitere Möglichkeit, den Wissenserwerb mittels Tests zu erfassen, ist die Verwendung der Ergebnisse aus innerfakultären Prüfungen (z. B. bei Aaron et al., 1998). Auch hier ist die Qualität der Klausuren entscheidend für die Aussagekraft der Studien. Wie Jozefowicz et al. (2002) zeigen, ist die Qualität der innerfakultären Prüfungen jedoch stark schwankend. Auch für den deutschen Sprachraum ist anzunehmen, dass innerfakultäre Prüfungen keine einheitlich hohe Qualität aufweisen (Jünger et al., 2010; Möltner et al., 2010; Reindl et al., 2010). Die Prüfungen werden nicht speziell für die Fragestellung entwickelt, so dass der Einsatz sinnvoll ist, wenn nur Inhalte der Lehre erfasst werden sollen. Aufgrund der Eigenschaften von innerfakultären Prüfungen kann das Wissen nur einmalig und nicht im Verlauf erfasst werden. Außerdem kann der Einfluss der intensiven Vorbereitung auf die Prüfung nicht ausgeschlossen werden. Ein Teil dieses reproduzierten bzw. wiedererkannten Wissens wird nur kurzfristig gespeichert und im Laufe der Zeit nicht mehr abrufbar sein. Ein weiterer Nachteil der Verwendung innerfakultärer Seite 88

4 Erfassung und Vergleich des Wissenserwerbs im Medizinstudium Prüfungen ist die fehlende Vergleichbarkeit zwischen verschiedenen Fakultäten. mittels nationaler Abschlussprüfungen Der Vergleich des Wissensstandes über Fakultäten hinweg ist mit nationalen Abschlussprüfungen möglich. Außerdem ist hier eine curriculumsunabhängige Überprüfung des Wissens möglich. Das Institut für Medizinische und Pharmazeutische Prüfungsfragen (IMPP) veröffentlicht regelmäßig die Ergebnisse der Staatsexamen in Form von Mittelwerten und Standardabweichungen pro Fakultät in Deutschland. Diese Ergebnisse beziehen sich auf das Gesamtergebnis und lassen keine Differenzierung bzgl. der Fächer zu. Auch bei nationalen Staatsexamen bereiten sich die Studierenden intensiv vor. Vergleiche bzgl. der Wissensentwicklung sind aufgrund der Einzelpunktmessungen nicht möglich. mittels Progress Testing Der Progress Test Medizin (PTM) wird ein- bis zweimal pro Jahr an zehn medizinischen Fakultäten in Deutschland angeboten (s. Tab. 1). Er testet mit Hilfe von 200 Multiple-Choice-Fragen das Wissen, das ein Absolvent der Humanmedizin am ersten Tag seines Arbeitslebens abrufen können sollte. Die Studierenden erhalten nach dem Test eine Rückmeldung, welche die Testergebnisse enthält. Diese zeigen, wie sich das Wissen des Teilnehmers über die Zeit entwickelt und wie er/sie in einzelnen Fächern und Organsystemen abschneidet. Diese Ergebnisse werden auch im Vergleich zu den Ergebnissen der Kommilitonen des eigenen Semesters dargestellt. So können Wissensdefizite rechtzeitig erkannt und beseitigt werden. Die Entwicklung des PTM unterliegt einem strengen Qualitätssicherungsprozess und besitzt daher eine hohe diagnostische Leistungsfähigkeit (Kingreen et al., 2011). Da der PTM nicht benotet und ein sehr großes Stoffgebiet abgefragt wird, bereiten sich die Studierenden nicht auf den Test vor. Der Umstand, dass der PTM nicht benotet wird, die Studierenden jedoch zur Teilnahme verpflichtet werden, führt dazu, dass einige den Test unmotiviert ausfüllen. Diese Teilnehmer werden identifiziert und aus der weiteren Analyse ausgeschlossen (Brauns, 2007). Weitere Informationen zum deutschen PTM befinden sich bei Nouns & Brauns (2008), Nouns & Georg (2010) und Osterberg et al. (2006). Das Prinzip Progress Testing wird auf der ganzen Welt angewendet (Freeman et al., 2010), auch im Weiterbildungsbereich (Shen, 2000). Progress Tests wurden bereits zur Erforschung von medizinischem Wissenserwerb verwendet (Schmidmaier et al., 2010). Es kann die Entwicklung des Wissens verfolgt werden (Boshuizen et al., 1997; Custers, 2008; Verhoeven et al., 2002). Außerdem gibt es Ansätze zur Vorhersage des Ausmaßes von Wissen zu einem zukünftigen Zeitpunkt (Albers et al., 1989). Progress Tests eignen sich ebenfalls für Vergleiche sowohl auf nationaler Ebene (Albanese, 2008; Finucane et al., 2010; Muijtjens et al., 2007; Muijtjens et al., 2008) als auch auf internationaler Ebene (Albano et al., 1996; Verhoeven et al., 2005). Heft 1/2011 Seite 89

5 Schüttpelz-Brauns Tabelle 1 Übersicht über Medizinische Fakultäten Deutschlands, die angebotenen Studiengänge in Humanmedizin, die Größe und die Teilnahme am Progress Test Medizin (Teil 1) Bundesland Medizinische Fakultät(en) Studiengang 1 n 2 PTM Baden-Württemberg Albert-Ludwigs-Universität Freiburg RSG 2483 Ruprecht-Karls-Universität Heidelberg RSG 2316 Medizinische Fakultät der Universität Heidelberg (Mannheim) RSG, MSM 1454 Eberhard Karls Universität Tübingen RSG 4853 Universität Ulm RSG 2271 Bayern Friedrich-Alexander-Universität Erlangen- Nürnberg RSG 1968 Ludwig-Maximilians-Universität München RSG 4540 Technische Universität München RSG 1353 Universität Regensburg RSG 1263 Julius-Maximilians-Universität Würzburg RSG 1889 Berlin Charité - Universitätsmedizin Berlin RSG 3, RSM 3,4, 4897 MSM Hamburg Universität Hamburg RSG 3048 Hessen Johann-Wolfgang-Goethe-Universität Frankfurt am Main RSG 2587 Justus-Liebig-Universität Gießen RSG 2920 Mecklenburg- Vorpommern Philipps-Universität Marburg RSG 2369 Ernst-Moritz-Arndt-Universität Greifswald RSG 1305 Universität Rostock RSG 1481 Niedersachsen Georg-August-Universität Göttingen RSG 3096 Medizinische Hochschule Hannover RSG 3, MSM 1985 Anmerkung. 1 RSG: Regelstudiengang, MSM: Modellstudiengang Medizin, RSM: Reformstudiengang. Stand Quelle: 2 Anzahl der eingeschriebenen Studenten pro Bundesland. Stand Quelle: de ; 3 auslaufend; 4 Der Reformstudiengang Medizin der Charité-Universitätsmedizin Berlin ist in der Landkarte Hochschulmedizin nicht aufgeführt, besteht jedoch seit Seite 90

6 Erfassung und Vergleich des Wissenserwerbs im Medizinstudium Tabelle 2. Übersicht über Medizinische Fakultäten Deutschlands, die angebotenen Studiengänge in Humanmedizin, die Größe und die Teilnahme am Progress Test Medizin (Teil 2) Bundesland Medizinische Fakultät(en) Studiengang 1 n 2 PTM Nordrhein-Westfalen Rheinisch-Westfälische Technische Hochschule (Aachen) RSG 3, MSM 1705 Ruhr-Universität Bochum RSG, MSM 1920 Rheinische Friedrich-Wilhelms- Universität Bonn RSG 2015 Heinrich-Heine-Universität Düsseldorf RSG 2417 Universität Duisburg-Essen RSG 1720 Universität zu Köln RSG 3, MSM 2653 Westfälische Wilhelms-Universität (Münster) RSG 1959 Universität Witten/Herdecke MSM k.a. Rheinland-Pfalz Johannes Gutenberg-Universität Mainz RSG 2695 Saarland Universität des Saarlandes (Homburg) RSG 1693 Sachsen Technische Universität Dresden RSG 1779 Universität Leipzig RSG 2774 Sachsen-Anhalt Martin-Luther-Universität Halle- Wittenberg RSG 1653 Otto-von-Guericke-Universität Magdeburg RSG 1359 Schleswig-Holstein Christian-Albrechts-Universität zu Kiel RSG 1012 Universität zu Lübeck RSG 1482 Thüringen Friedrich-Schiller-Universität Jena RSG 1843 Anmerkung. 1 RSG: Regelstudiengang, MSM: Modellstudiengang Medizin. Stand Quelle: ; 2 Anzahl der eingeschriebenen Studenten pro Bundesland. Stand Quelle: ; 3 auslaufend; k.a. keine Angabe Heft 1/2011 Seite 91

7 Schüttpelz-Brauns Literatur Aaron, S., Crocket, J., Morrish, D., Basualdo, C., Kovithavongs, T., Mielke, B., & Cook, D. (1998). Assessment of exam performance after change to problem-based learning: differential effects by question type. Teaching and Learning in Medicine, 10(2): Albanese, M. (2008). Benchmarking progress tests for cross-institutional comparisons: every road makes a difference and all of them have bumps. Medical Education, 42(1): 4 7. Albano, M., Cavallo, F., Hoogenboom, R., Magni, F., Majoor, G., Manenti, F., Schuwirth, L., Stiegler, I., & van der Vleuten, C. (1996). An international comparison of knowledge levels of medical students: the Maastricht Progress Test. Medical Education, 30(4): Albers, W., Does, R. J. M. M., Imbos, Tj., & Janssen, M. (1989). A stochastic growth model applied to repeated tests of academic knowledge. Psychometrika, 54(3): Anatomische Gesellschaft, Deutsche Gesellschaft für Medizinische Psychologie, Deutsche Physiologische Gesellschaft, Gesellschaft für Biochemie und Molekularbiologie & Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fach ge sellschaften (2010). Medizin ohne Moleküle, Gewebe, Organsysteme und psychosoziale Grundlagen? Positionspapier zu Inhalten der medizinischen Ausbildung. Online: arbeitskreise/ studium_ molekulare_ biowissenschaften/positionspapier%20 Wissenschaftlichkeit% pdf (Heruntergeladen: ) ÄAppO: Approbationsordnung für Ärzte vom 27. Juni 2002 (BGBl. I S. 2405), die zuletzt durch Artikel 10 des Gesetzes vom 24. Juli 2010 (BGBl. I S. 983) geändert worden ist Boshuizen, H. P. A., van der Vleuten, C. P. M., Schmidt, H. G., & Machiels-Bongaerts, M. (1997). Measuring knowledge and clinical reasoning skills in a problem-based curriculum Medical Education, 31(2): Brauns, K. (2007). Identifikation von Musterkreuzern beim Progress Test Medizin. Dissertation. Mathematisch- Naturwissenschaftliche Fakultät II der Humboldt-Universität zu Berlin. Colthart, I., Bagnall, G., Evans, A., Allbutt, H., Haig, A., Illing, J., & McKinstry, B. (2008). The effectiveness of self-assessment on the identification of learner needs, learner activity, and impact on clinical practice: BEME Guide no. 10. Medical Teacher, 30(2): Custers, E. (2008). Long-term retention of basic science knowledge: a review study. Advances in Health Sciences Education, 15(1): Distlehorst, L. H. & Robbs, R. S. (1998). A Comparison of Problem-Based Learning and Standard Curriculum Students: Three Years of Retrospective Data. Teaching and Learning in Medicine, 10(3): Finucane, P., Flannery, D., Keane, D., & Norman, G. (2010). Cross-institutional progress testing: feasibility and value to a new medical school. Medical Education, 44(2): Frank, J. R., & Danoff, D. (2007). The CanMEDS initiative: implementing an outcome-based framework of physician competencies. Medical Teacher, 29(7): Freeman, A., van der Vleuten, C. P. M., Nouns, Z. M. &, Ricketts, C. (2010). Progress testing internationally. Medical Teacher, Seite 92

8 Erfassung und Vergleich des Wissenserwerbs im Medizinstudium 32(6): Hahn, E. G., & Fischer, M. R.(2009). Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM) für Deutschland: Zusammenarbeit der Gesellschaft für Medizinische Ausbildung (GMA) und des Medizinischen Fakultätentages (MFT). GMS Zeitschrift für Medizinische Ausbildung, 26(3):Doc35. Harter, C., Schellberg, D., Möltner, A., & Kadmon, M. (2009). Frontalunterricht oder interaktive Gruppenarbeit? Ein Vergleich des Lernerfolgs und der studentischen Evaluation für das Fach Biochemie. GMS Zeitschrift für Medizinische Ausbildung, 26(2):Doc23. Jozefowicz, R. F., Koeppen, B. M., Case, S., Galbraith, R., Swanson, D., & Glew, R. (2002). The Quality of In-house Medical School Examinations. Academic Medicine, 77(2): Jünger, J., Möltner, A., Lammerding-Köppel, M., Rau, T., Obertacke, U., Biller, S., & Narciß, E. (2010). Durchführung der universitären Prüfungen im klinischen Abschnitt des Medizinstudiums nach den Leitlinien des GMA-Ausschusses Prüfungen: Eine Bestandsaufnahme der medizinischen Fakultäten in Baden- Württemberg. GMS Zeitschrift für Medizinische Ausbildung, 27(4):Doc57. Kingreen, H., Schüttpelz-Brauns, K., Nouns, Z. M., & Schauber, S. (2011). Testmanual Progress Test Medizin. Dieter Scheffner Fachzentrum für medizinische Hochschullehre und evidenzbasierte Ausbildungsforschung. Charité Universitätsmedizin Berlin. Möltner, A., Duelli, R., Resch, F., Schultz, J. H., Jünger, J. (2010). Fakultätsinterne Prüfungen an den deutschen medizinischen Fakultäten. GMS Zeitschrift für Medizinische Ausbildung, 27(3):Doc44. Muijtjens, A., Schuwirth, L., Cohen- Schotanus, J., & van der Vleuten, C. (2007). Differences in knowledge development exposed by multi-curricular progress test data. Advances In Health Sciences Education: Theory and Practice, 13(5): Muijtjens, A. M. M., Schuwirth, L. W. T., Cohen-Schonatus, J., Thoben, A. J. N. M., & van der Vleuten, C. (2008). Benchmarking by cross-institutional comparison of student achievement in a progress test. Medical Education, 42(1): Nouns, Z. & Georg, W. (2010). Progress testing in German speaking countries. Medical Teacher, 32(6): Nouns, Z. M. & Brauns, K. (2008). Das Prinzip Progress Testing. Detaillierte Leistungsdarstellung und Lehrevaluation auf Basis der kontinuierlichen Wissensentwicklung der Studierenden. In: Dany, S., Szczyrba, B. & Wildt, J. (ed.). Prüfungen auf die Agenda Hochschuldidaktische Perspektiven auf Reformen im Prüfungswesen (S ). Bielefeld: W. Bertelsmann Verlag. Reindl, M., Holzer, M., & Fischer, M. R. (2010). Durchführung der Prüfungen nach den Leitlinien des GMA-Ausschusses Prüfungen: Eine Bestandsaufnahme aus Bayern. GMS Zeitschrift für Medizinische Ausbildung, 27(4):Doc56. Santos-Gomez, L., Kalishman, S., Rezler, A., Skipper, B., Mennin, S. P. (1990). Residency performance of graduates from a problem-based and a conventional curriculum. Medical Education, 24(4): Schmidmaier, R., Holzer, M., Angstwurm, M., Nouns, Z., Reincke, M., & Fischer, M. R. (2010). Querschnittevaluation des Medizinischen Curriculums München (MeCuM) mit Hilfe des Progress Tests Heft 1/2011 Seite 93

9 Schüttpelz-Brauns Medizin (PTM). GMS Zeitschrift für Medizinische Ausbildung, 27(5): Doc70. Shen, L. (2000). Progress Testing for Postgraduate Medical Education: a Four- Year Experiment of American College of Osteopathic Surgeons Resident Examinations. Advances In Health Sciences Education, 5(2): Verhoeven, B., Snellen-Balendong, H., Hay, I., Boon, J., van der Linde, M., Blitz-Lindeque, J. J., H. R., Verwijnen, G., Wijnen, W., Scherpbier, A., & van der Vleuten C. P. (2005). The versatility of progress testing assessed in an international context: a start for benchmarking global standardization? Medical Teacher, 27(6): Verhoeven, B.; Verwijnen, G.; Scherpbier, A. & van der Vleuten, C. (2002). Growth of medical knowledge. Medical Education, 36(8): Autorin Dr. rer. nat. Katrin Schüttpelz-Brauns Charité-Universitätsmedizin Berlin Kontaktadresse Dr. rer. Nat. Katrin Schüttpelz-Brauns Charité-Universitätsmedizin Berlin Dieter Scheffner Fachzentrum für medizinische Hochschullehre und evidenzbasierte Ausbildungsforschung Progress Test Medizin / Assessment-Bereich Charitéplatz Berlin katrin.brauns@charite.de Seite 94