Impressum Autorin: Silvia Macher, Mag.rer.nat. Qualitätsmanagement in der Lehre Büro des Vizerektors für Studium und Lehre 2005 Medizinische

Transkript

1 STANDARDISIERTE PRÜFUNGSMETHODEN IN DER MEDIZINISCHEN AUSBILDUNG Kapitel IV Multiple Choice-Aufgaben Medizinische Universität Graz 2005

2 Impressum Autorin: Silvia Macher, Mag.rer.nat. Qualitätsmanagement in der Lehre Büro des Vizerektors für Studium und Lehre 2005 Medizinische Universität Graz 2

3 INHALT INHALT IV MULTIPLE CHOICE-AUFGABEN... 4 ALLGEMEINE ANFORDERUNGEN... 4 AUSWAHL KONKRETER AUFGABENTHEMEN... 5 ERFASSBARE LEISTUNGEN... 5 MC-FRAGENTYPEN... 7 INHALTLICHE UND SPRACHLICHE FORMULIERUNG ÜBERPRÜFUNG DER FERTIG GESTELLTEN AUFGABEN Medizinische Universität Graz 3

4 Allgemeine Anforderungen IV MULTIPLE CHOICE-AUFGABEN MC-Prüfungen können und sollen eingesetzt werden um die Verfügbarkeit relevanten Fachwissens und die Kompetenz, dieses in konkreten Problemsituationen anzuwenden, zu erfassen. Um repräsentative Prüfungen zusammenstellen zu können, muss das relevante Fachwissen möglichst genau in Form eines Lernzielkataloges definiert und ein Blueprint erstellt werden (siehe Kapitel I). Letztlich stehen und fallen Reliabilität und Validität einer Prüfung jedoch mit der Qualität der einzelnen Prüfungsaufgaben (Items). Damit solche Items mit größtmöglicher Wahrscheinlichkeit für den Einsatz in einer Prüfung geeignet sind, müssen sie unten angeführten Ansprüchen genügen (die Auflistung der Kriterien kann auch als Checkliste bei der Itemkonstruktion verwendet werden). Validitätssteigernde Anforderungen 1. Das Thema der Frage muss relevant sein im Hinblick auf die ärztliche Tätigkeit bzw. die weitere Ausbildung Spitzfindigkeiten sind ebenso zu vermeiden wie Trivialitäten 2. Das Anspruchsniveau muss stimmen Prüfungen, die in erster Linie Verständnis und Anwendungskompetenz von Wissen erfassen sollen, dürfen nicht aus Items bestehen, die lediglich die Verfügbarkeit auswendig gelernter Einzelfakten erfordern 3. Ein Item soll auf einen klar definierten Inhalt bzw. auf ein Problem fokussiert sein und in sich ein geschlossenes Ganzes bilden Alle Antwortalternativen sollen aus der gleichen Kategorie stammen. Einschätzen müssen, ob eine vorgeschlagene Krankheitsursache eher richtig ist als eine vorgeschla-gene Therapie, hat keinen Bezug zur beruflichen Realität 4. Es muss eine eindeutig beste Antwort geben Inhalte mit kontroversen Lehrmeinungen sind für MC-Fragen ungeeignet, außer es wird explizit nach einer bestimmten Lehrmeinung gefragt Reliabilitätssteigernde Anforderungen Damit ein Item zur Reliabilität der Gesamtprüfung beitragen kann, muss es trennscharf sein, d.h. es muss im Sinne der Prüfung zwischen leistungsstarken und leistungsschwachen Kandidatinnen und Kandidaten differenzieren können. Folgende Aspekte ermöglichen hohe Trennschärfe: 1. Die Schwierigkeit der Einzelitems muss der Zielgruppe angepasst sein Besonders problematisch sind zu schwierige Items, bei denen auch sehr gute Kandidatinnen und Kandidaten darauf angewiesen sind, zu raten. Items, die von niemandem oder von allen gelöst werden können, leisten keinen Beitrag zur Differenzierungsfähigkeit der Prüfung 2. Das Item muss sprachlich klar formuliert sein Was geprüft werden soll, ist Fachwissen und nicht Sprachverständnis oder Interpretationsglück 3. Ungewollte Lösungshinweise müssen vermieden werden Es soll Fachwissen geprüft werden und nicht MC-Prüfungserfahrung 4. Ein Einzelitem muss inhaltlich in die Gesamtprüfung passen Medizinische Universität Graz

5 Auswahl konkreter Aufgabenthemen Blueprintkapitel und Prüfungsziele geben Themenbereiche vor, aus denen die einzelnen Items konstruiert werden können, wobei darauf zu achten ist, dass sich ein Fragenthema auf einen engen Teilaspekt beschränken soll (z.b. wahrscheinlichste Ursache einer Störung). Ein Hinweis dafür, dass ein bestimmtes Thema für eine MC-Aufgabe zu heterogen bzw. zu breit gefasst ist, liegt vor, wenn als Frage zu einem Thema nur formuliert werden kann Welche der folgenden Aussagen zu Krankheit X trifft zu/trifft nicht zu? Relevante Items ergeben sich hauptsächlich aus Teilaspekten eines Themenbereichs, mit denen ein Arzt besonders häufig konfrontiert ist, bei denen Fehler gravierende Folgen haben können oder über die Fehlmeinungen verbreitet sind. Die Relevanz von Fragenthemen kann mit der Frage Wie wichtig ist es, dass ein Arzt/eine Ärztin dieses Problem selbständig lösen bzw. die gestellte Frage richtig beantworten kann? überprüft werden. Eine Möglichkeit, zu relevanten und anwendungsbezogenen Items zu gelangen, ist das Heranziehen eigener Patientenfälle (sofern vorhanden) oder konsultativer Anfragen von Kollegen. Es sollte jedoch unbedingt vermieden werden, interessante Sonderfälle auszuwählen (vgl. Kapitel III). Um die fachliche Korrektheit von Items abzusichern und zu dokumentieren, können Lehrbücher herangezogen werden. Diese eignen sich ebenfalls sehr gut dazu, Falschantworten zu generieren (sog. Distraktoren). Zur Gewinnung von Fragenthemen sollte man jedoch auf den Einsatz von Lehrbüchern verzichten, da dadurch sehr leicht zu akademische Fragen (im negativen Sinn) entstehen. Zur Überprüfung der Anwendungsbezogenheit der einzelnen Themen kann man sich folgende Frage stellen: Stellt sich das Problem/die Frage einem Arzt/einer Ärztin in der Praxis auf diese Weise? Erfassbare Leistungen Entgegen der weit verbreiteten Ansicht, MC-Aufgaben könnten nur reines Faktenwissen erfassen, ist es durchaus möglich, auch komplexere Wissensinhalte zu prüfen. Abb.5 zeigt Beispielfragen aus der Biologie, die Leistungen auf fünf verschiedenen kognitiven Ebenen erfassen (die kognitiven Ebenen stammen aus der Taxonomie für die Klassifikation von Lehrzielen von Bloom) Medizinische Universität Graz 5

6 Fachwissen Welche der folgenden sind Ausgangsstoffe für die Photosynthese? (A) Kohlendioxyd, Sonnenlicht, Sauerstoff (B) Sonnenlicht, Sauerstoff, Kohlenhydrate (C) Wasser, Kohlendioxyd, Kohlenhydrate (D) Wasser, Kohlendioxyd, Sonnenlicht (E) Wasser, Wärme, Sonnenlicht Verständnis Angenommen man findet auf einem Planeten, auf dem es keinen molekularen Sauerstoff gibt, lebende Zellen, die jenen auf der Erde ähnlich sind. Welcher Zellbestandteil würde diesen Zellen am wahrscheinlichsten fehlen? (A) Chromosomen (B) Mitochondrien (C) Nucleus (D) Ribosomen (E) Zellmembran Anwendung Phenylketonurie ist eine autosomal rezessiv vererbte Erkrankung. Ungefähr jede fünfzigste Person hat das verantwortliche Gen heterozygot, zeigt aber keine Symptome der Krankheit. Wenn man zufällig einen symptomfreien Mann und eine symptomfreie Frau auswählt, wie hoch ist dann die Wahrscheinlichkeit, dass ein gemeinsames Kind der beiden an Phenylketonurie erkrankt? (A) 1/50 = 2% oder 2/100 (B) 1*50*0 = 0% (C) 1*50*0 = 100% (D) 0,02*0,02 = 0,0004 =0,04% oder 1/2500 (E) 0,02*0,02*0,25 = 0,0001 = 0,01% oder1/10000 Analyse Mitochondrien werden auch als Kraftwerke der Zellen bezeichnet, weil sie Energie für den Zellstoffwechsel bereitstellen. Welche der folgenden Betrachtungen unterstützt am besten dieses Konzept der Funktion von Mitochondrien? (A) In den Mitochondrien kommt ATP vor. (B) In den Mitochondrien befinden sich Enzyme des Krebs-Zyklus und Moleküle, die für die Zellatmung benötigt werden. (C) Mitochondrien befinden sich in fast allen Zellen von Tieren und Pflanzen. (D) Mitochondrien gibt es im Muskelgewebe im Überfluss. (E) Mitochondrien haben eine Doppelmembran. Bewertung Lässt man die relative Durchführbarkeit der folgenden Prozeduren außer Acht, welcher Forschungsansatz würde die zuverlässigsten und direktesten Hinweise auf evolutionäre Beziehungen zwischen verschiedenen Spezies liefern? (A) Analyse der Art des Krebs-Zyklus (B) Bestimmung des Gesamtproteingehalts der Zellen (C) Betrachtung von Form und Gestaltung des Endoplasmatischen Reticulums (D) Chemische Analysen der gespeicherten Nährstoffe in weiblichen Gameten (E) Detaillierter Vergleich der molekularen DNA-Struktur Abb.5 MC-Aufgaben zur Erfassung unterschiedlicher Wissensinhalte aus der Biologie auf fünf kognitiven Ebenen (Quelle: Bannister, 2002) Medizinische Universität Graz

7 MC-Fragentypen Bei MC-Prüfungen des US-amerikanischen National Board of Medical Examiners (NBME) wurden ursprünglich mehr als zehn verschiedene MC-Fragentypen eingesetzt, wobei die einzelnen Aufgabentypen mit Buchstaben etikettiert wurden (diese Nomenklatur wird in diesem Handbuch ebenfalls verwendet). Mit der Zeit stellte sich jedoch heraus, dass es im Sinne der Konstruktion, Beantwortung und Messqualität besser ist, sich auf weniger unterschiedliche Fragentypen zu beschränken. Daher sollen an dieser Stelle auch nicht alle möglichen MC-Fragentypen erläutert werden, sondern es werden die am häufigsten eingesetzten vorgestellt. Grundsätzlich werden bei MC-Aufgaben zwei Basistypen aufgrund ihrer Aufgabenstellung voneinander unterschieden: (1) Bei Best-Answer-Aufgaben wird die Zahl der auszuwählenden Antworten (zumeist eine) vorgegeben. Die Distraktoren müssen sich nicht wie schwarz von weiß von der richtigen Antwort abheben, sondern es ist möglich, Studierende eine praxisnahe Abwägung von Graustufen vornehmen zu lassen. Sie haben die Aufgabe, die eine am besten passende Antwort zu identifizieren. (2) Bei Richtig/Falsch-Aufgaben müssen die Studierenden für jede einzelne Antwort eine richtig/falsch-entscheidung treffen, weshalb bei solchen Items nur Antworten eingesetzt werden dürfen, die zu 100 Prozent richtig oder zu 100 Prozent falsch sind. Graustufen sind hier keinesfalls erlaubt! Dadurch birgt dieser Fragentyp jedoch die Gefahr, reines Faktenwissen zu prüfen, weshalb Best-Answer-Aufgaben in einer Prüfung quantitativ gegenüber Richtig/Falsch-Aufgaben dominieren sollten. Best-Answer-Aufgaben Abb.6 gibt einen Überblick über die im nächsten Abschnitt besprochenen Best-Answer- Aufgabentypen und die entsprechenden von den Studierenden zu bewältigenden Aufgaben. Typ Aufgabe A positive Einfachwahl aus fünf Antworten A neg negative Einfachwahl aus fünf Antworten B Zuordnung der richtigen aus fünf Wahlantworten zu mehreren Fragen R erweiterte Zuordnung (wie Typ B aber mit längerer Wahlantwortliste) PickN Mehrfachwahl bei erweiterter Zuordnung (wie Typ R aber mit mehr als einer richtigen Antwort) Abb.6 Best-Answer-Aufgabentypen Positive Einfachwahl aus fünf Wahlantworten (Typ A) Bei Typ A-Aufgaben (oft auch als Typ A pos bezeichnet) folgen auf eine konkrete Frage oder unvollständige Aussage fünf Antwortalternativen oder Ergänzungen, aus denen die am besten passende auszuwählen ist (siehe Beispiele 18 bis 20). Aufgaben vom Typ A werden bis heute am häufigsten bei MC-Prüfungen eingesetzt. Dieser Aufgabentyp hat sich international unter verschiedensten Gesichtspunkten auch unter testtheoretischen bestens bewehrt und sollte den Hauptanteil an bei MC- Prüfungen vorgegebenen Fragen ausmachen. Ein Anstieg der H + -Konzentration im Lumen des Duodenums löst die Ausschüttung großer Mengen an HCO reichem Pankreassaft aus. Der Stamm enthält die Informationsgrundlage Wodurch wird diese Reaktion hauptsächlich vermittelt? oder Diese Reaktion wird hauptsächlich vermittelt durch und die darauf bezogene Aufgabenstellung in Form einer Frage oder Aussage. (A) Cholezystokinin (B) Gastrin (C) Noradrenalin (D) Pankreozymin (E) Sekretin* Beispiel 18 Unter den 5 Wahlantworten gibt es nur eine richtige oder beste. Die anderen 4 dienen als Ablenker oder Distraktoren Medizinische Universität Graz 7

8 Bei einem narkotisierten Patienten werden während eines chirurgischen Eingriffs pco 2 und ph-wert auf einem Monitor aufgezeichnet. Der Patient wird mit einem mechanischen Respirator beatmet. Seine Anfangswerte sind normal (pco 2 = 40 mmhg, ph = 7,42). Was passiert mit den aufgezeichneten Messwerten, wenn die Ventilation verdoppelt wird? (A) Anstieg des arteriellen pco 2 und Anstieg des ph-wertes (B) Anstieg des arteriellen pco 2 und Abfall des ph-wertes (C) Abfall des arteriellen pco 2 und Anstieg des ph-wertes* (D) Abfall des arteriellen pco 2 und keine Änderung des ph-wertes (E) Abfall des arteriellen pco 2 und Abfall des ph-wertes Beispiel 19 Bei einem 78-jährigen Patienten sieht man einen 1 cm großen, hautfarbenen, im Zentrum eingesunkenen ulzerierten Knoten. Die umgebende Haut zeigt Zeichen einer chronischen Lichtschädigung. Welche Diagnose ist am wahrscheinlichsten? (A) Basalzellkarzinom (Basaliom)* (B) Gewöhnlicher erworbener Nävuszellnävus (C) Kongenitaler Nävuszellnävus (D) Malignes Melanom (E) Pilzinfektion Beispiel 20 Negative Einfachwahl aus fünf Wahlantworten (Typ A neg ) Bei Fragen vom Typ A neg folgen auf eine Frage oder unvollständige Aussage ebenfalls fünf Antwortalternativen oder Ergänzungen, aus denen jedoch die Ausnahme oder am wenigsten zutreffende Antwort auszuwählen ist. Die Negation ist unbedingt durch Fettdruck oder Unterstreichung hervorzuheben. Ansonsten wird dieser Itemtyp genauso konstruiert wie positive Typ A-Aufgaben. Drei typische Fragenformen für Typ A neg -Aufgaben sind: 1. Welche der folgenden Aussagen in Bezug auf Krankheit X ist falsch 2. Welche der folgenden Veränderungen gehört nicht zu den Zeichen einer chronischen X? 3. Bei einer Behandlung mit X sind folgende Komplikationen zu befürchten, außer: 4. Welche der folgenden Strukturen zählt nicht zu einem X? Beispiel 21 Aufgaben vom Typ A neg sind dann unbedingt zu stellen, wenn die Kenntnis wichtiger Ausnahmen wesentlich ist, was jedoch eher selten der Fall ist. Leider wird dieser Fragentyp aber nahezu inflationär verwendet. Bezüglich Trennschärfe und Reliabilität sind Typ A neg -Items im Durchschnitt durchaus mit positiven Typ A-Aufgaben vergleichbar, unter dem Gesichtspunkt der Validität einer Prüfung, sollte der Anteil an Typ A neg -Aufgaben zehn Prozent jedoch nicht überschreiten. Zuordnung (Typ B) Bei Aufgaben vom Typ B geht es darum, vorgegebenen Antworten Fragen zuzuordnen. Zu Beginn der Aufgabe werden fünf mit den Buchstaben A bis E gekennzeichnete Antwortmöglichkeiten vorgegeben. Danach folgt ein Verbindungs- oder Überleitungssatz, nach welchem zwei bis maximal fünf Fragen gestellt oder Aussagen präsentiert werden. Die Aufgabe der Kandidatinnen und Kandidaten besteht darin, für jede Frage bzw. Aussage die beste Antwort zu finden und zuzuordnen. Man kann diese Aufgaben auch so gestalten, dass eine Antwort mehr als einmal richtig sein kann, worauf bei der Prüfung aber hingewiesen werden muss. Es handelt sich bei Aufgaben dieses Typs also um eine Serie von Typ A-Fragen mit den jeweils gleichen Antwortalternativen (siehe Beispiel 22 und 23) Medizinische Universität Graz

9 (A) Becken ap (B) Aufnahme nach Dunn, Rippstein, Müller (C) Faux profil nach Lequesne (D) Computertomographie (E) Hüfte axial (cross table lateral) Welche radiologische Technik eignet sich beim Hüftgelenk am besten zur Ermittlung 1. der seitlichen Überdachung? (A)* (B) (C) (D) (E) 2. der vorderen Überdachung? (A) (B) (C)* (D) (E) 3. des Pfannendachwinkels? (A)* (B) (C) (D) (E) 4. der Ante-/Retroversion der Pfanne? (A) (B) (C) (D)* (E) Beispiel 22. Quelle: Bloch et al. (1999) Antwortalternativen Überleitungssatz Fragen (A) Nüchternblutzucker (B) Hämoglobin (C) Serumcholesterin (D) Serumeisen (E) TSH Die folgenden zwei Personen konsultieren Sie für einen Check-up. Bezeichnen Sie die zur körperlichen Untersuchung am ehesten angezeigte diagnostische Maßnahme: jähriger Bäcker, Gewicht 89 kg, Größe 175 cm. Er raucht seit 11 Jahren täglich ein Päckchen Zigaretten und treibt keinen Sport. Der Vater erlitt 48-jährig einen Herzinfarkt. Die körperliche Untersuchung ergibt keine Abnormalitäten. (A) (B) (C)* (D) (E) jährige Schülerin, Gewicht 67 kg, Größe 169 cm. Sie gibt an, sie fühle sich manchmal tagelang sehr müde und habe hie und da Kopfschmerzen. Sie fahre regelmäßig mit dem Fahrrad zur Schule und gehe gerne tanzen. Vor einem Jahr habe sie mit dem Rauchen angefangen und rauche jetzt etwa ein halbes Päckchen pro Tag. Der Vater habe 50-jährig einen Herzinfarkt gehabt. Die körperliche Untersuchung ergibt außer einer leichten Kyphose der Brustwirbelsäule keine Auffälligkeiten. (A) (B)* (C) (D) (E) Beispiel 23. Quelle: Bloch et al. (1999) Aufgaben vom Typ B, die ähnlich wie die beiden Beispielaufgaben gestaltet werden, sind hinsichtlich Reliabilität und Validität durchaus mit positiven Typ A-Aufgaben vergleichbar. Als Entscheidungsgrundlage, ob ein Typ A-Item ausreicht, oder doch eine Typ B-Aufgabe mit mehreren Items konstruiert werden kann, sollten Breite und Bedeutung des zugrunde liegenden Themas berücksichtigt werden (siehe Kapitel III). Aufgaben, deren Fragen Definitionen oder Eigenschaftsbeschreibungen enthalten, und deren Antworten aus den dazugehörigen Begriffen bestehen, sollten wenn möglich vermieden werden, da sie reines Begriffs- und Faktenwissen prüfen. Erweiterte Zuordnung (Typ R) Der Aufgabentyp R (Extended matching-items) stellt, wie der Name Erweiterte Zuordnung bereits andeutet, eine Erweiterung des Aufgabentyp B dar. Die Struktur von Typ R-Aufgaben entspricht der von Typ B-Aufgaben, allerdings ist die Liste der Antwortalternativen wesentlich länger (maximal 26 Möglichkeiten Anzahl der Buchstaben im Alphabet). Wesentlich ist, dass die Antwortmöglichkeiten immer alphabetisch geordnet werden, da die Antwortreihenfolge den Kandidatinnen und Kandidaten ansonsten als Lösungshinweis dienen könnte. Das zu Typ B-Aufgaben dargestellte Beispiel 23 könnte als Typ R-Aufgabe eine folgendermaßen verlängerte Optionsliste beinhalten: (A) EKG (B) Ergometrie (C) Hämoglobin (D) Nüchternblutzucker (E) Röntgenthoraxaufnahme Beispiel 24. Quelle: Bloch et al. (1999) (F) Senkungsreaktion (G) Serumcholesterin* (H) Serumeisen (I) Spirometrie (J) TSH 2005 Medizinische Universität Graz 9

10 Für die Konstruktion von Typ R-Aufgaben wird folgendes Vorgehen empfohlen: Ausgangspunkt soll eine Hauptbeschwerde sein, zu der eine Liste möglicher Antworten erstellt wird (z.b. mögliche Diagnosen). Diese Antwortliste wird herangezogen, um Patientenfälle zu formulieren (siehe Kapitel III), die schlussendlich als Items verwendet werden (siehe Beispiel 25). Aufgaben vom Typ R sind wie Aufgaben vom Typ B für inhaltlich breite Themen zu empfehlen, bei denen es durchaus Sinn macht, mehrere Fragen vorzulegen. Besonders gut geeignet ist der Einsatz von Typ R-Items dann, wenn der inhaltliche Ausgangspunkt ein eher unspezifischer Konsultationsgrund ist wie beispielsweise Atembeschwerden, Bauchschmerzen, Fieber, Müdigkeit o. ä. Aus der Zusammenstellung weiterer einzelner Befunde in den Fallbeschreibungen haben die Kandidatinnen und Kandidaten dann z.b. die wahrscheinlichste Diagnose, die beste nächste Abklärungsmaßnahme oder aussichtsreichste Behandlung abzuleiten. Experten gehen davon aus, dass die lange Liste möglicher Antworten die Erinnerungshilfe, die durch Wahlantworten ansonsten gegeben ist, eingeschränkt. Dies würde zu besserer Messqualität beitragen und man erhofft sich sogar, dass es für Studierende zu ineffizient und damit unattraktiv ist, die langen Listen durchzuprüfen. Stattdessen würden die Studierenden die Antworten selbst generieren, um dann in der alphabetisch geordneten Liste danach zu suchen. Symptom: Müdigkeit Antworten A. akute Leukämie B. Anämie bei chronischer Krankheit C. Depression D. Eisenmangel E. Epstein-Bar-Virusinfektion F. Folsäuremangel G. Glucose-6-Phosphat-Dehydrogenase-Mangel H. hereditäre Spärozytose I. Herzinsuffizienz J. Hypothyreose K. Lyme-Krankheit L. mikroangiopathische, hämolytische Anämie M. miliare Tuberkulose N. Vitamin B12-Mangel Überleitung: Wählen Sie bei jedem Patienten mit Müdigkeit die wahrscheinlichste Diagnose aus. Stämme: 1. Eine 19-jährige Frau ist seit einer Woche müde, hat Fieber und Halsschmerzen. Die Temperatur beträgt 38.3 C, es bestehen eine zervikale Lymphadenopathie und Splenomegalie. Eine erste Laboruntersuchung zeigt folgende Befunde: Leukozyten 5000/mm 3 (80% Lymphozyten mit vielen Atypien), GOT 200 U/l, normale Werte für alkalische Phosphatase und Serumbilirubin.(richtige Antwort: E) Ein 15-jähriges Mädchen klagt seit zwei Wochen über Müdigkeit und Rückenschmerzen. Ihre Haut ist blass und weist Petechien auf. Rücken und beide Oberschenkel sind berührungsempfindlich. Die Blutuntersuchung ergibt ein Hämoglobin von 7.0 mg%, Leukozyten von 2000/mm 3 und Thrombozyten von /mm 3. (richtige Antwort: A) Beispiel 25. Quelle: Bloch et al. (1999) Mehrfachwahl bei erweiterter Zuordnung (Typ PickN) Die Struktur von PickN-Aufgaben ist die gleiche, wie bei Typ R-Aufgaben (man könnte auch die Struktur von Typ A-Aufgaben anwenden), die Aufgabe der Kandidatinnen und Kandidaten besteht hier allerdings darin, nicht die eine beste Antwort zu finden, sondern zwei oder drei (wobei die Anzahl der richtigen Antworten vorgegeben werden muss). Frage 1 aus Beispiel 23 zu Typ B-Aufgaben könnte kombiniert mit einer längeren Antwortliste (Typ R) folgendermaßen als PickN-Item formuliert werden: Medizinische Universität Graz

11 (A) EKG (B) Ergometrie (C) Hämoglobin (D) Nüchternblutzucker (E) Röntgenthoraxaufnahme* (F) Senkungsreaktion (G) Serumcholesterin* (H) Serumeisen (I) Spirometrie (J) TSH Die folgende Person konsultiert Sie für einen Check-up. Bezeichnen Sie die zur körperlichen Untersuchung angezeigten diagnostischen Maßnahmen (wählen Sie 2) 28-jähriger Bäcker, Gewicht 89 kg, Größe 175 cm. Er raucht seit 11 Jahren täglich ein Päckchen Zigaretten und treibt keinen Sport. Der Vater erlitt 48-jährig einen Herzinfarkt. Die körperliche Untersuchung ergibt keine Abnormalitäten. Beispiel 26. Quelle: Bloch et al. (1999) Dieser Aufgabentyp hat seine Berechtigung unter anderem dadurch, dass medizinische Probleme oft mehr als nur eine vernünftige Lösung haben, eine Störung mehrere Ursachen haben kann oder es durchaus sinnvoll sein kann, mehrere diagnostische und/oder therapeutische Maßnahmen zu ergreifen. Überall dort, wo zur Auswahl der richtigen Antwort eine Grau-stufenabwägung vorgenommen werden muss, können Aufgaben dieses Typs eingesetzt werden. Bezüglich der Punktevergabe sollte berücksichtigt werden, dass die Itemschwierigkeit deutlich ansteigt, wenn nur bei richtiger Lösung der gesamten Aufgabe Punkte vergeben werden, anstatt für Teillösungen auch Teilpunkte zu vergeben. Insbesondere bei Aufgaben mit mehr als zwei richtigen Lösungen empfiehlt es sich aus Fairness- und messtechnischen Gründen (bessere Trennschärfe!) eine Teilpunktebewertung vorzunehmen (vgl. Typ K prim ). Richtig/Falsch-Aufgaben Abb.7 gibt einen Überblick über die in den nächsten Abschnitten vorgestellten Richtig/Falsch- Aufgabentypen und deren Anforderungen an Kandidatinnen und Kandidaten. Typ Aufgabe K bzw. K vierfache Entscheidung richtig/falsch E kausale Verknüpfung von zwei Aussagen RF/RF? Richtig/Falsch-Entscheid evtl. mit weiß nicht -Option Abb.7 Richtig/Falsch-Aufgabentypen Problematik Typ K- Aufgaben Ein Richtig/Falsch-Aufgabentyp, der vielerorts den größten Fragen-Anteil bei MC-Prüfungen ausmachte und zum Teil auch heute noch sehr oft Verwendung findet, ist der sog. Typ K. Aufgrund massivster messtheoretischer Probleme wird dringendst empfohlen, Fragen dieses Typs keinesfalls mehr zu verwenden, wenn die Möglichkeit besteht, Aufgaben mit mehr als einer richtigen Antwort einzusetzen! Weshalb? Das Prinzip derartiger Aufgaben besteht darin, zu jeder Frage vier Antwortalternativen und zusätzlich fünf mögliche Antwortmuster vorzugeben, aus denen das korrekte auszuwählen ist (siehe Beispiel 27 und 28). Das Cortiorgan ist lokalisiert 1. in der Cochlea 2. im Gehirn 3. im Innenohr 4. im Mittelohr (A) 1, 2 und 3 sind richtig (B) sind richtig* (C) sind richtig (D) nur 4 ist richtig (E) alle sind richtig Beispiel 27 Frage Antwortalternativen Antwortmuster 2005 Medizinische Universität Graz 11

12 Wodurch wird das Filtrations-Rückabsorptions-Gleichgewicht im Bereich der Mikrozirkulation in Richtung erhöhte Rückabsorption verschoben? 1. Erhöhung des arteriellen Blutdrucks 2. Erhöhung des kolloidosmotischen Drucks 3. Kompression der ableitenden Venen 4. Verminderung des zirkulierenden Blutvolumens (A) 1, 2 und 3 sind richtig (B) sind richtig (C) sind richtig* (D) nur 4 ist richtig (E) alle sind richtig Beispiel 28 Prüfungsexperten gingen früher davon aus, dass Typ K-Items detaillierte Fachkenntnisse oder das Verständnis verschiedenster Aspekte von Krankheiten, Prozessen oder Prozeduren testen würden. Man war der Überzeugung, dass zur korrekten Bearbeitung solcher Fragen sehr detaillierte Kenntnisse über das betreffende Thema vonnöten seien. Heute weiß man, dass Typ K-Items viel zu kompliziert sind, da sie von den Kandidatinnen und Kandidaten verlangen, dass sie sich die Antwortmuster ständig vor Augen halten, was ihre Bearbeitung unnötig erschwert. Weiters beinhalten die vorgegebenen Antwortmuster Lösungshinweise, wodurch Trennschärfe und Reliabilität erheblich beeinträchtig werden. Wird eine der vier Antwortalternativen als falsch erkannt, können gleich bis zu drei Antwortmuster verworfen werden, und die Ratewahrscheinlichkeit steigt auf 50%! Eine Möglichkeit, diese nicht unerheblichen Probleme zu umgehen besteht darin, stattdessen Aufgaben vom Typ K (K prim ) zu verwenden, die eine Weiterentwicklung von Typ K-Aufgaben darstellen. Vierfache Entscheidung richtig/falsch (Typ K prim /K ) Typ K -Aufgaben stellen eine Weiterentwicklung, der oben erwähnten und kritisierten Typ K-Items dar. Bei Aufgaben dieses Typs folgen auf eine Frage oder unvollständige Aussage vier Antwortmöglichkeiten, wobei für jede einzelne entschieden werden muss, ob sie richtig oder falsch ist. Damit die Studierenden einen Punkt erhalten, müssen die richtig/falsch-entscheidungen bei jeder der vier Alternativen korrekt sein. Bei einer Auswertungsvariante werden drei korrekte Beurteilungen mit einem halben Punkt bewertet. Jede bisher als Typ K-Item vorgegebene Prüfungsaufgabe kann ohne weiteres in eine Typ K -Aufgabe umgewandelt werden, indem einfach die Antwortmuster weggelassen werden. Die beiden oben genannten Beispiele zu Typ K-Items würden als Typ K -Items folgendermaßen aussehen. Das Cortiorgan ist lokalisiert (A) in der Cochlea* (B) im Gehirn (C) im Innenohr* (D) im Mittelohr Beispiel 27a Wodurch wird das Filtrations-Rückabsorptions-Gleichgewicht im Bereich der Mikrozirkulation in Richtung erhöhte Rückabsorption verschoben? (A) Erhöhung des arteriellen Blutdrucks (B) Erhöhung des kolloidosmotischen Drucks* (C) Kompression der ableitenden Venen (D) Verminderung des zirkulierenden Blutvolumens* Beispiel 28a Aufgaben vom Typ K können dann eingesetzt werden, wenn es um Sachverhalte geht, bei denen mehrere Aspekte bedeutsam sein können, bzw. wenn Probleme vorgegeben werden, deren Lösungen mehrere Elemente enthalten können. Im Gegensatz zu den Antwort-möglichkeiten bei PickN- Aufgaben, müssen die Antwortmöglichkeiten bei Typ K eindeutig richtig oder eindeutig falsch sein Medizinische Universität Graz

13 Fragenautoren sollten sich nicht dazu verleiten lassen, heterogene Typ K -Items zu konstruieren, deren Stamm beispielsweise lautet Für Krankheit X trifft zu:, und deren Antwortalternativen aus Ursache, Lokalisation, Differentialdiagnose und Behandlung bestehen. Aus messtechnischer Perspektive sind Typ K -Items eher bzw. häufiger problematisch als Aufgaben vom Typ A oder B. Ist eine einzige nicht funktionierende Antwortalternative enthalten, ist das gesamte Item unbrauchbar. Bezüglich Trennschärfe sind K -Items, die nach dem Alles-oder-Nichts-Prinzip ausgewertet werden (nur wenn alle vier Antworten korrekt beurteilt wurden wird ein Punkt vergeben), mit Items vom Typ A und Typ B vergleichbar, sie sind aber deutlich schwieriger und deshalb bei Studierenden unbeliebt. Werden bereits drei korrekte Teilantworten mit einem halben Punkt bewertet, weisen K -Items sogar bessere Trennschärfen auf als Typ A- oder Typ B-Items, ihre Schwierigkeit wird reduziert und sie stoßen bei Studierenden auf mehr Akzeptanz. Kausale Verknüpfung (Typ E) Bei Aufgaben vom Typ E werden zwei Aussagen X und Y durch das Wort weil miteinander verbunden. Die Kandidatinnen und Kandidaten müssen in einem ersten Schritt entscheiden, ob die beiden Aussagen X und Y unabhängig voneinander richtig oder falsch sind. Werden beide als richtig eingeschätzt, ist in einem zweiten Schritt zu beurteilen, ob die kausale Verknüpfung der beiden Aussagen ( X weil Y ) korrekt ist. Daraus resultieren die in Abb.8 genannten fünf Antwortmöglichkeiten: (A) +weil+ (B) +/+ (C) +/- (D) -/+ (E) -/- Beide Aussagen stimmen, die Weil-Verknüpfung ist korrekt Beide Aussagen stimmen, deren Weil-Verknüpfung ist falsch Die erste Aussage ist richtig, die zweite ist falsch Die erste Aussage ist falsch, die zweite ist richtig Beide Aussagen sind falsch Abb.8 Antwortalternativen bei Typ E-Aufgaben Bei der Konstruktion von Typ E-Fragen ist unbedingt darauf zu achten, dass beide Aussagen alle notwendigen Informationen beinhalten, damit sie unabhängig voneinander als richtig oder falsch beurteilt werden können. Im Fall des unten angeführten Beispiel 29 würde dies bedeuten, dass der Begriff niedermolekulares Heparin aus der ersten Aussage in der zweiten Aussage wiederholt werden muss, und nicht durch dieses ersetzt werden darf. Bei Heparin-induzierter Thrombozytopenie kann niedermolekulares Heparin (LMWH) eingesetzt werden weil niedermolekulares Heparin (LMWH) weniger Thrombozytopenie verursacht als unfraktioniertes Heparin A B C D* E +weil+ +/+ +/- -/+ -/- Beispiel 29. Quelle: Bloch et al. (1999) Items vom Typ E sind sehr gut dazu geeignet in Gebieten eingesetzt zu werden, in denen Kausalzusammenhänge von Bedeutung sind. So könnte damit beispielsweise in der Patho-physiologie oder Pharmakologie das Verständnis von Zusammenhängen und Mechanismen erfasst werden. Bedauerlicherweise werden solche Aufgaben aber allzu oft als Ausweg benutzt, wenn es Fragenautorinnen und autoren nicht gelingt, zu einem Thema plausible Distraktoren für Typ A-Items zu finden, was natürlich keine adäquate Lösung des Problems ist. Aus testtheoretischer Perspektive sind Items vom Typ E recht problematisch, da Kausalitäten in der Medizin eher selten schwarz/weiß zu beurteilen sind. So stellen sich Kandidatinnen und Kandidaten unter Umständen die Frage, ob die Kausalverbindung zwischen zwei Aussagen als korrekt zu beurteilen ist, wenn die zweite Aussage nur einen Grund unter mehreren darstellt. Dadurch wird die Entscheidung zwischen (A) und (B) nicht selten zur Ermessensfrage, und hängt nicht mehr ausschließlich vom Fachwissen der Kandidatinnen und Kandidaten ab. Außerdem ist es nicht einfach, plausibel erscheinende Items zu konstruieren, die eine oder zwei falsche Aussagen beinhalten, was wiederum dazu führt, dass ungewollte Lösungshinweise entstehen, die ihrerseits die Trennschärfe des Items vermindern. Es wird daher empfohlen, Typ E- Aufgaben nur äußerst sparsam einzusetzen Medizinische Universität Graz 13

14 Richtig/Falsch-Entscheid (Typ RF) evtl. mit Weiß nicht -Option (Typ RF?) Bei diesem Aufgabentyp werden ähnlich wie bei Typ E einzelne Aussagen vorgegeben, die als richtig oder falsch zu beurteilen sind, die Beurteilung kausaler Verknüpfungen fällt jedoch weg. Als verschärfte Variation kann auch wie in Beispiel 30 eine zusätzliche Option Weiß nicht angeboten werden, wobei dann falsche Antworten mit einem Punkteabzug bestraft werden. Dadurch soll einfachem Raten der richtigen Lösung entgegengewirkt werden. Es ist auch möglich, zunächst eine Fallbeschreibung vorzugeben um danach darauf bezogene Aussagen beurteilen zu lassen. 1. Bei Patienten, die unter ACE-Hemmer-Therapie zu husten anfangen, kann auf Angiotensin 2-Rezeptor- Antagonisten umgestellt werden, um den Husten zum Verschwinden zu bringen. Ja* Nein Weiß nicht 2. Bei anurischen Hämodialyse-Patienten kann ein Morbus Conn Ursache der schwer einstellbaren arteriellen Hypertonie sein Ja Nein* Weiß nicht Beispiel 30. Quelle: Bloch et al. (1999) Die Vorteile von RF-Aufgaben bestehen darin, dass sie relativ einfach zu konstruieren und zu revidieren sind und dadurch auch kleine Gruppen von Autorinnen und Autoren einen hinreichend großen Itempool zusammenstellen können. Die Beantwortung der Aufgaben erfordert vergleichsweise wenig Zeit, weshalb im Rahmen einer Prüfung ein breites Themenspektrum abgedeckt werden kann. Wie jede andere Methode hat auch diese diverse Nachteile. So wird fast ausschließlich Faktenwissen geprüft, was im Falle vorklinischer Grundlagenfächer noch akzeptabel wäre, wenn nicht testtheoretische Probleme hinzukommen würden. Um eine hinreichend reliable Prüfung zusammenzustellen, sind sehr viele Items notwendig. Bei RF-Items ohne die Weiß nicht -Option ist hauptsächlich die hohe Ratewahrscheinlichkeit von immerhin 50% für schlechte Reliabilitätswerte verantwortlich. Wählt man als Ausweg RF?-Items mit der Weiß nicht -Option, muss man jedoch ebenfalls mit unzureichender Reliabilität rechnen, da die Messung der fachlichen Kompetenz durch Miterfassung des Persönlichkeitsmerkmals Risikobereitschaft beeinträchtigt wird. Zusammenfassend ist anzumerken, dass RF- Items in einer Wissensprüfung als alleiniger Itemtyp nur als allerletzte Notlösung verwendet werden sollten, wenn aufgrund fehlender Personalressourcen die Konstruktion ausreichend vieler Items nach anderen Methoden nicht realisierbar ist. Inhaltliche und sprachliche Formulierung Entgegen der weit verbreiteten Ansicht, man könne mit MC-Items lediglich reines Faktenwissen prüfen, ist es wie bereits angesprochen durchaus möglich auch Problemlösefähigkeit und Verständnis komplexer Inhalte zu testen. Hierfür werden komplexe Problemsituationen vorgegeben, die mehrere zu interpretierende und zu integrierende Informationen enthalten. Für ein gutes Gelingen solcher Problemlöse-Aufgaben sind allerdings einige Grundregeln zu beachten (siehe auch Kapitel III). 1. Langer Stamm kurze Antworten Gute Items benötigen aus oben angesprochenen Gründen einen ausführlichen Itemstamm (Fall- oder Problembeschreibung). Bei Best-Answer-Aufgaben (Items der Typen A, B, R und PickN) ist es oft Aufgabe der Studierenden, die verschiedenen Antworten gegeneinander abzuwägen. Dies ist fast nur zu bewältigen, wenn die Antworten kurz und übersichtlich formuliert und dargestellt sind. Abb. 9 zeigt eine schematisierte Gegenüberstellung guter und schlechter MC-Itemstrukturen. 2. Einfache und klare Formulierungen Damit die Verfügbarkeit und Anwendungskompetenz von Fachwissen fair geprüft werden kann, ist es notwenig, die Items einfach, klar und in einer allgemein verständlichen Sprache zu formulieren. Dazu gehört auch, nur gebräuchliche Abkürzungen zu verwenden (z.b. EEG, CT o. ä.), ohne die ausgeschriebene Version in Klammern zusätzlich vorzugeben Medizinische Universität Graz

15 3. Keine Fangfragen Keinesfalls akzeptabel ist es, Items absichtlich kompliziert oder gar als Fangfragen zu formulieren. Die Itemschwierigkeit (Lösungswahrscheinlichkeit) soll allein durch die Komplexität der zugrunde liegenden Problematik, den kognitiven Anspruch (Verständnis, Problemlösen, Synthetisieren von Information) und die Feinheit der erforderlichen Differenzierung (inhalt-liche Nähe der Antwortalternativen zueinander) bestimmt werden, und nicht durch künstlich eingebaute Schikanen. Der Itemstamm Aufbau Die in den nächsten Abschnitten dargestellten Richtlinien gelten für alle bereits vorgestellten MC- Aufgabentypen. Konstruktionsregeln, die nur bestimmte Itemtypen betreffen, werden gesondert erläutert. Itemstämme, die nur aus einer Frage oder einer Aussage bestehen, erfassen im Allgemeinen reines Faktenwissen. Eine typische Frage dieser Art ist Welche Symptome kennzeichnen Krankheit X? Soll eine Aufgabe aber Fähigkeiten prüfen wie Informationsinterpretation und integration oder Problemlösefertigkeiten, sind zweiteilige Itemstämme vonnöten. Der erste Teil ist länger und enthält Informationen zu einem Patientenfall oder einem anderen relevanten Problem aus dem ärztlichen Tätigkeitsbereich. Diese Fall- bzw. Problembeschreibungen werden als Vignetten bezeichnet (siehe Kapitel III). Von der Vignette abgetrennt folgt als zweiter Teil des Itemstamms eine klare und kurze Fragestellung (siehe Beispiel 31). gute Struktur: langer Stamm mit Informationen (Vignette) und Fragestellung, kurze Antworten schlechte Struktur: kurzer Stamm (eigtl. bloße Frage), lange Antworten Stamm bzw. Frage Stamm & Fragestellung (A) (B) (A) (B) (C) (D) (E) (C) (D) (E) Abb.9 Gegenüberstellung gute vs. schlechte MC-Itemstruktur Ein am Termin geborener Säugling wiegt 3090 g. Er ist hypoton und hat eine geringe Saugkraft. Zyanose besteht keine. Er hat einen markanten Epikanthus, eine etwas große Zunge und seine fünften Finger weisen eine Einwärtskrümmung auf. Über sämtlichen präkordialen Auskultationsstellen ist ein lautes holosystolisches Geräusch zu hören. Zudem ist am oberen linken Sternalrand ein Schwirren (Thrill) zu palpieren, welches vom 2. bis zum 4. Interkostalraum reicht. Welcher kongenitale Herzfehler liegt am wahrscheinlichsten vor? Beispiel 31. Quelle: Bloch et al. (1999) Vignette Fragestellung 2005 Medizinische Universität Graz 15

16 Um Aufgaben dieser Art korrekt bearbeiten zu können, müssen die Studierenden zunächst die dargebotenen Informationen in ein Gesamtbild integrieren, um dieses dann adäquat interpretieren und eine korrekte Antwort generieren zu können. Vignetten sollten folgende Informationen beinhalten (je nach Fragestellung und Anspruchsniveau der Aufgabe können einer oder mehrere der genannten Punkte weggelassen werden, die Reihenfolge der Informationsdarbietung sollte jedoch nicht verändert werden): 1. Alter, Geschlecht, evtl. Beruf (wenn relevant) 2. Ort der Behandlung (z.b. Notaufnahme) 3. Konsultationsgrund 4. Dauer der Beschwerden 5. Anamnese (wenn relevant evtl. Familienanamnese) 6. Status, physische Befunde 7. evtl. Resultate der diagnostischen Untersuchungen 8. evtl. Anfangsbehandlung, Folgebefunde, etc. Der Informationsteil des Itemstamms muss nicht nur aus verbalen Beschreibungen bestehen. Es können auch Abbildungen wie Röntgenbilder, Fotos oder Laborbefunde eingebaut werden (siehe Beispiel 32 und 33). Geht es um präventive oder epidemiologische Aspekte, können auch Literaturzitate oder (Verlaufs-)Grafiken vorgegeben werden. Die mit 2 gekennzeichnete Struktur in dieser Abbildung ist ein(e) (A) Hoden (B) Müller-Gang (C) Rete testis (D) Urniere (E) Wolff-Gang* Beispiel 32 Magen-Fundus: die mit 2 bezeichnete Zelle in der Abbildung ist eine (A) Becherzelle (B) Belegzelle* (C) endokrine Drüsenzelle (D) Hauptzelle (E) Nebenzelle Beispiel 33 Formulierung Bei der Formulierung von Itemstämmen (Vignette plus Überleitung bzw. Fragestellung) sind folgende Punkte zu beachten: Sämtliche für die Beantwortung der Frage erforderlichen Informationen müssen im Stamm enthalten sein und dürfen nicht in den Antwortmöglichkeiten vorkommen. Itemstämme sollen so formuliert werden, dass die Beantwortung der Fragen auch möglich ist, ohne die Antwortalternativen zu sehen. Der Stamm soll keine überflüssigen Informationen enthalten, die zur Beantwortung der Frage nicht benötigt werden. Ausnahmen sind möglich, wenn ausdrücklich die Fähigkeit, relevante Informationen von Nebensächlichkeiten differenzieren zu können geprüft werden soll. Wird dies nicht beabsichtigt, beansprucht der unnotwendige Text lediglich wertvolle Prüfungszeit Medizinische Universität Graz

17 Der Stamm sollte so oft wie möglich positiv formuliert werden (bei Typ K -Aufgaben immer!). Wie bereits erläutert, beeinträchtigt die Verwendung von A neg -Items die Validität einer Prüfung und bei K -Items entstehen bei negativer Formulierung des Stamms doppelte Verneinungen ( es ist falsch, dass es falsch ist ). Diese tragen lediglich zur Verwirrung der Kandidatinnen und Kandidaten bei und sind aus testtheoretischer Perspektive unbedingt zu vermeiden. Das Item in Beispiel 34 stammt aus einem Themenbereich, bei dem die Kenntnis von Ausnahmen wesentlich ist. In diesem Fall könnte man eine Ausnahme machen, und es als K -Aufgabe vorgeben. Innerhalb einer Prüfung sollten jedoch nicht zu viele solcher Ausnahmen vorkommen! Welche der folgenden Pharmaka dürfen bei allergischem Asthma bronchiale nicht verabreicht werden? (F) Beta-Adrenozeptor-Blocker* (G) Alpha-Adrenozeptor-Agonisten (H) Muscarin-Rezeptor-Agonisten* (I) Theophyllin Beispiel 34 Die Antworten Die bisher dargestellten Richtlinien zur Aufgabenkonstruktion bzgl. Thema, allgemeiner Itemformulierung und Itemstamm gelten nicht nur für MC-Aufgaben, sondern sind auch bei Aufgaben mit offener Beantwortung zu berücksichtigen (z.b. schriftliche Kurzantwortfragen oder Fragen für Standardisierte mündliche Prüfungen). Die in diesem Abschnitt vorgestellten Anweisungen zur Antwortformulierung sind jedoch gänzlich MC-spezifisch und für diese Prüfungsform von größter Wichtigkeit. Jeder noch so sorgfältig und genau konstruierte Itemstamm kann durch die Vorgabe schlechter Antworten in einem völlig unbrauchbaren Item enden. Best-Answer-Aufgaben Inhaltliche Anforderungen Die einzelnen Prüfungsaufgaben sollen zur Reliabilität und Validität der Gesamtprüfung beitragen. Damit dies erreicht werden kann, darf die Auswahl der richtigen Antworten ausschließlich von der Verfügbarkeit des zu prüfen beabsichtigten Wissens abhängen, was wiederum nur mit der Erfüllung verschiedener formaler, inhaltlicher und sprachlicher Kriterien erreicht werden kann (siehe auch Kapitel III). Die Antwortalternativen sollen inhaltlich homogen sein, d.h. aus der gleichen Kategorie stammen (z.b. nur Diagnosen, nur Ursachen, nur Maßnahmen). Die Wahl von Distraktoren (falsche Antwortmöglichkeiten, sog. Ablenker) muss begründet sein (z.b. häufige Fehlmeinungen, falsche Konzepte, veraltete Ansichten). In jedem Fall sollte eine klar nachvollziehbare Verbindung zum Aufgabenthema bestehen. Unplausible, triviale oder völlig unsinnige Distraktoren können auch von den schwächsten Kandidatinnen und Kandidaten als falsch identifiziert und sofort ausgeschlossen werden. Die richtige Antwort wird nur geraten, wodurch das jeweilige Item seine Trennschärfe verliert. Um die Ratewahrscheinlichkeit möglichst gering und vor allem konstant zu halten, wird empfohlen, immer fünf Antwortalternativen vorzugeben (eine richtige/beste Antwort plus 4 Distraktoren). Können jedoch nur zwei oder drei sinnvolle Distraktoren gefunden werden, ist es besser, es bei diesen zu belassen und davon abzusehen, unbrauchbare Distraktoren dazu zu erfinden. Die Distraktoren müssen nicht zu hundert Prozent falsch sein, die richtige Antwort muss aber eindeutig die beste sein! Die Itemschwierigkeit wird umso höher, je näher sich Distraktoren und korrekte Antwort inhaltlich und bzgl. Wahrheitsgehalt sind. Jede Antwortmöglichkeit soll kurz sein und darf nur eine Aussage enthalten. Sich inhaltlich überschneidende Antwortmöglichkeiten sollten nur verwendet werden, wenn das zugrunde liegende Thema es unbedingt erfordert und nicht, um die Item-schwierigkeit zu erhöhen. Unbedingt verzichtet werden muss auf Antworten wie alle der genannten oder 1 und 3 sind richtig (vgl. Typ K-Items). Falls es sich bei solchen Antworten um Distraktoren handelt, wird das Raten immens erleichtert, da bei Identifizierung eines Elements als falsch die ganze Antwort ausgeschlossen werden kann Medizinische Universität Graz 17

18 Die Antwortmöglichkeit keine/s/r der genannten sollte wenn überhaupt nur in Ausnahmefällen eingebaut werden. Besser wäre es, überhaupt darauf zu verzichten. Bei Items, deren Antwortmöglichkeiten nicht absolut richtig oder absolut falsch sind und keine der genannten als Distraktor eingesetzt wird, kann es passieren, dass sehr gute Kandidatinnen und Kandidaten eine eigene, differenziertere Antwort als die vorgeschlagenen als korrekt ansehen und fälschlicherweise keine der genannten wählen. In Fällen wie diesem verliert das Item seine Trennschärfe. Möchte man dennoch nicht darauf verzichten, derartige Antworten einzusetzen, sollte man keine der genannten itemspezifisch umformulieren, wie in Beispiel 35. Zu berücksichtigen bleibt allerdings, dass wie auch immer keine der genannten umformuliert wird - diese Antwortmöglichkeit auch hin und wieder die richtige sein muss. Bei einem Probanden wurde eine Nierendurchblutung von 1000 ml/min, ein Hämatokrit von 0,50 und eine glomeruläre Filtrationsrate von 100 ml/min gemessen. Wie groß ist in etwa die glomeruläre Filtrationsfraktion? (A) 0,05 (B) 0,10 (C) 0,20* (D) 0,50 (E) kann aus diesen Angaben nicht errechnet werden Beispiel 35 Formale Anforderungen Bei formalen Anforderungen an Antwortalternativen geht es primär darum, unbeabsichtigte Lösungshinweise zu vermeiden, die prüfungserfahrenen aber leistungsschwachen Studierenden dabei helfen, die richtige Antwort auch ohne Fachkenntnisse zu identifizieren oder einzelne falsche Antworten auszuschließen, wodurch die Ratewahrscheinlichkeit erhöht wird. Außerdem soll der Einfluss von Antworttendenzen der Kandidatinnen und Kandidaten minimiert werden. Unbeabsichtigte Lösungshinweise entstehen zumeist, weil sich Fragenautorinnen und -autoren bei der Itemkonstruktion verständlicherweise auf die Formulierung der richtigen Antwort konzentrieren und Distraktoren weniger Aufmerksamkeit zukommen lassen. Aufgrund der eben angesprochenen Nebenerscheinungen schlechter Distraktoren, sollten diese aber genauso sorgfältig erarbeitet werden wie die korrekten Antworten. Grammatikalische Lösungshinweise entstehen, wenn Frage und Antwortalternative keinen sinnvollen Satz ergeben (siehe Beispiel 36). Ein 60jähriger Alkoholabhängiger mit status epilepticus wird von der Polizei zu Ihnen in die Notaufnahme gebracht. Die Luftwege des Patienten sind frei. Was ist der wichtigste erste Therapieschritt? Die intravenöse Gabe von (A) Untersuchung der Cerebrospinalflüssigkeit (B) Glucose mit Vitamin B1 (C) CT Scan des Kopfes (D) Phenytoin (E) Diazepam Beispiel 36. Quelle: Bloch et al. (1999) Um derartige Lösungshinweise auszuschließen, sollten zur Kontrolle die Antworten immer in Verbindung mit dem Fragesatz gelesen werden. Lösungshinweise durch nicht logische Abfolge der Antworten: Wäre es wie bei Beispiel 37 möglich, die Antworten in einer inhaltlich logischen Abfolge aufzulisten, sollte dies auch getan werden (z.b. bei therapeutischen Maßnehmen von abwarten bis medikamentös behandeln ) Medizinische Universität Graz

19 Wann soll eine vollständige Aufklärung vor einer Operation gemacht werden? (A) Vor der Anamnese (B) Beim Entschluss zur Operation (C) Mindestens 48 Stunden vor der Operation* (D) Kurz vor der Operation (E) Gar nicht Beispiel 37 Ist eine solche Reihung nicht möglich, sollten die Antworten vorzugsweise in alphabetischer Reihenfolge vorgegeben werden. Wenn Studierende die richtige Antwort nicht wissen, werden sie auch versuchen, aus der Antwortreihenfolge Hinweise zu gewinnen. Lösungshinweis durch Länge der korrekten Antwort: Distraktoren sollten möglichst gleich lang und differenziert sein wie die korrekte Antwort. Leider passiert es oft, dass die korrekte Antwort länger ist als die Distraktoren, da sie genauer ausformuliert wird (wie in Beispiel 38). Wie definiert sich der Begriff Entropie? (A) Einwärtskehrung der Lidränder, meist des Unterlids. (B) Zustand eines abgeschlossenen physikalischen Systems, der sich stets einem Zustand maximaler Wahrscheinlichkeit nähert (2. Hauptsatz der Thermodynamik).* (C) Schwere Krankheit der inneren Organe. (D) Die Zunahme von Ordnung in einem System. Beispiel 38 Lösungshinweise durch verbale Assoziation zwischen Stamm und richtiger Antwort (Wortwiederholung) kommen vor, wenn im Stamm und in der richtigen Antwort dasselbe Wort oder derselbe Wortteil vorkommen (siehe Beispiel 39). Ein 58jähriger Alkoholiker wird zu Ihnen in die Notaufnahme gebracht. Er war vor kurzem in stationärer psychiatrischer Behandlung. Er ist verwirrt und unruhig. Er spricht davon, die Welt als nicht real zu erleben. Dieses Symptom nennt man (A) Depersonalisation (B) Entgleisung (im Original: Derailment) (C) Derealisation* (D) Fokales Gedächtnis-Defizit (E) Signalangst Beispiel 39. Quelle: Case & Swanson (2002) Lösungshinweise durch absolute Aussagen: Für prüfungserfahrene Studierende sind Antwortmöglichkeiten, in denen absolute Aussagen wie nie, immer, ausschließlich oder alle enthalten sind, stets verdächtig und werden sehr schnell als Distraktoren enttarnt. Daher sollte versucht werden, diese und ähnliche absolute Begriffe zu vermeiden. Aufmerksamkeisfokussierende Lösungshinweise: Wenn sich zwei oder mehrere Antwortalter-nativen auf denselben Aspekt beziehen, wird die Aufmerksamkeit prüfungserfahrener Studierender sofort auf diese Antworten gelenkt, wie an Beispiel 40 nachvollziehbar ist. Die hypochrome mikrozytäre Anämie ist gekennzeichnet durch (A) kleine Erythrozyten mit vermindertem Hämoglobingehalt* (B) große Erythrozyten mit vermindertem Hämoglobingehalt (C) kleine Erythrozyten mit erhöhtem Hämoglobingehalt (D) verminderte Zellbildungsaktivität des Knochenmarks (E) Vitamin B 12 -Mangel Beispiel 40 Lösungshinweise durch Konvergenz bedeutet, dass die korrekte Antwort diejenige ist, die inhaltlich am meisten mit den Distraktoren gemeinsam hat. Die Ursache solcher Hinweise liegt darin, dass von 2005 Medizinische Universität Graz 19

20 Autorinnen und Autoren zunächst die richtige Antwort formuliert wird, und als Distraktoren Permutationen der richtigen Antwort eingesetzt werden (siehe Beispiel 41). Lokale Betäubungsmittel sind am effektivsten in der (A) anionischen Form, innerhalb der Nervenmembran wirkend (B) kationischen Form, innerhalb der Nervenmembran wirkend* (C) kationischen Form, außerhalb der Nervenmembran wirkend (D) ungeladenen Form, innerhalb der Nervenmembran wirkend (E) ungeladenen Form, außerhalb der Nervenmembran wirkend Beispiel 41. Quelle: Case & Swanson (2002) Bei diesem Beispiel würden prüfungserfahrene Studierende anionische Form ausschließen, da dieser Begriff nur einmal vorkommt. Außerhalb der Nervenmembran würde ebenfalls ausgeschlossen werden, da es seltener vorkommt als innerhalb. Übrig bleiben würden die Möglichkeiten (B) und (D). Da drei der fünf Möglichkeiten Ladungen enthalten, würden prüfungserfahrene Studierende schlussendlich mit (B) die korrekte Antwort wählen, ohne wirklich Fachwissen anwenden zu müssen. Antworttendenzen entgegenwirken kann man dadurch, dass innerhalb der Gesamtprüfung die richtigen Antworten gleichmäßig auf alle Antwortmöglichkeiten (A) bis (E) verteilt werden. Leider findet man noch allzu oft eine Häufung der richtigen Antwort an den Positionen (C) und (D). Unnötige Aufgabenschwierigkeit Lange, komplizierte oder doppelte Antworten: Ein häufig vorkommendes Problem von MC- Prüfungsaufgaben besteht darin, dass der Stamm irrelevante Information beinhaltet und die Antworten sehr lang und unnötig kompliziert sind. Wie bereits angesprochen, soll der Itemstamm sehrwohl lang und ausführlich formuliert werden, jedoch sollten nur für die Problemstellung relevante Informationen enthalten sein (außer man möchte prüfen, ob die Studierenden fähig sind, wichtige von unwichtiger Information zu unterscheiden). Numerische Daten werden inkonsistent dargestellt: Werden numerische Daten als Antworten verwendet, sollen diese in konsistenter Art und Weise dargestellt, und in aufsteigender Reihenfolge angeordnet werden. Ebenfalls zu beachten ist, dass innerhalb einer Aufgabe entweder Zahlen oder Wertebereiche verwendet werden sollen, und nicht eine Mischung aus Zahlen und Wertebereichen (sie Beispiel 42 und 43). Wie hoch ist die Wahrscheinlichkeit, dass Krankheit X zu Infertilität führt? (A) kleiner als 20% (B) 20 bis 30% (C) größer als 50% (D) 90% (E) 75% Beispiel 42. Inkonsistente Darstellung numerischer Information Bei Patienten mit Herzinsuffizienz, die einen Betablocker erhielten, starben innerhalb eines mittleren Beobachtungszeitraums von 1,3 Jahren 156 von 1327 Patienten. In der Kontrollgruppe starben 228 von 1320 Patienten. Die relative Risikoreduktion (RRR) beträgt (A) 17,3% (B) 5,5% (C) 11,8% (D) 31,9%* (E) 25,5% Beispiel 43. Ungünstige Reihenfolge numerischer Information Medizinische Universität Graz