Kurzübersicht gängiger Prüfungsformate

Transkript

1 Kurzübersicht gängiger Prüfungsformate Diese Kurzübersicht ist im Zuge der Weiterentwicklung des Curriculums Humanmedizin im Auftrag des Kernteams 4 (Prüfungen) entstanden. Es basiert auf dem Handbuch Standardisierte Prüfungsmethoden in der Medizinischen Ausbildung von Mag. Silvia Macher, 2005 (zu finden auf der Homepage der Medizinischen Universität Graz unter Information für Lehrende; und wurde durch neue Methoden und Formate, entsprechend der aktuellen Literatur (auszugsweise auf der letzten Seite), ergänzt. An der Erstellung dieser Kurzübersicht haben folgende Personen mitgearbeitet (alphabetisch und ohne akademische Grade): J. Bernhardt, T. Griesbacher, D. Ithaler, A. Kresse, K. Öttl, R. Roller-Wirnsberger und S. Vogl. Graz, im Juni 2012 Inhaltsübersicht: 1. Grundlagen des Prüfens 2 2. Das Multiple-Choice-Format (kurz MC) 5 3. Das Short-Case- und Key-Feature-Format (kurz SC u. KF) 6 4. Das Short-Answer-Format (kurz SA) 7 5. Strukturierte mündliche Prüfungen (kurz SMP) 8 6. Strukturierte Beobachtungen (kurz SB) 9 7. Objektiv strukturiertes klinisches Examen (kurz OSKE) mini-cex, DOPS und ähnliche Formate Zusammenfassung und Literatur 13 Kurzübersicht gängiger Prüfungsformate Seite 1 von 13

2 1. Grundlagen des Prüfens Merkregel: Bei vergleichbaren Studierendenzahlen und einem ähnlichen Qualitätsanspruch ist auch der Arbeitsaufwand (Vorbereitung, Durchführung und Nachbereitung/Auswertung) für alle Prüfungsformate annähernd gleich hoch! Grundlegende Überlegungen Die Bedeutung von Prüfungen im Rahmen der (medizinischen) Ausbildung lässt sich am kürzesten wie folgt definieren: Prüfen dient zum Überprüfen des Erreichens a priori definierter Lernziele! Dies bedeutet, dass Ergebnisse aus Prüfungen nur dann von Nutzen sind, wenn daraus gültig (valide) und zuverlässig (reliabel) auf eine Leistung geschlossen werden kann, die über das Lösen der konkreten Prüfungsaufgabe hinausreicht. Ziel einer Prüfung ist generell das Erfassen und Beurteilen von Wissen, Fertigkeiten und Kompetenzen, welche zuvor im Rahmen der Erstellung des Lehrplanes als Lernziele richtungsweisend sowohl für Lehrende als auch für Lernende definiert worden sind. Die Prüfung (und damit jede einzelne Prüfungsfrage) sollte das interessierende Konstrukt gut repräsentieren, muss also inhaltlich gültig sein. D.h. die fachlichen Inhalte müssen repräsentativ, wissenschaftlich korrekt und für den späteren Beruf relevant sein dies bedeutet für das Diplomstudium Humanmedizin: auf eine allgemein ausbaufähige Grundausbildung abzielend, keine Fachausbildungslernziele beinhaltend. Beim Erstellen von Prüfungsfragen ist prinzipiell zu beachten: Umständliche Formulierungen, ungewollte Lösungshinweise, subjektive Beurteilungen, generell Einflüsse von sachfremden Faktoren und Zufälligkeiten führen zu unzuverlässigen Messungen. Andererseits muss auch die Bestehensgrenze korrekt (und sinnvoll) gesetzt werden. Es sind im Wesentlichen diese drei Punkte zu beachten, da es sonst zu gravierenden Fehlentscheidungen aufgrund von unzuverlässig zustande gekommenen Ergebnissen kommen kann. Prüfungsinhalte und Lernziele Für die Entwicklung von Prüfungsinhalten sollte man stets folgende Schritte bedenken: vom Berufsbild bzw. einem Qualifikationsprofil ausgehend, gilt es übergeordnete und detaillierte (in Fachbereiche und Ausbildungstiefe heruntergebrochene) Schlüsselkompetenzen bzw. Lernziele und diese erfassende Prüfungsziele zu formulieren, die in einem Blueprint zusammengefügt werden, aus dem heraus letztendlich einzelne Prüfungsitems entstehen (nach Bloch et al., 1999). Gerade die untrennbare Verknüpfung von Lernzielen und das sich daraus ergebende Prüfungsformat ist zu betonen. Essentiell ist jedoch auch hervorzuheben, dass diese letztlich abgeprüften Lernziele entsprechend kommuniziert werden und die Lehre darauf abgestimmt ist! Kurzübersicht gängiger Prüfungsformate Seite 2 von 13

3 Wissenspyramide und Prüfungsformate Aufbauend auf die eine modifizierte Wissenspyramide von Miller lassen sich unterschiedliche Prüfungsforamte den erreichbaren Kompetenzen zuordnen. Hier wird schnell deutlich, dass es beinahe unmöglich ist, mit einem Format alle Kompetenzen abzufragen. Tabelle 1: Miller's Framework of Clinical Assessment (Miller GE: The assessment of clinical skills/competence/performance. Acad Med 1990, 65: S63 S67. Figure 1.) Reproduced with the permission of the copyright holder: with the corresponding appropriate methods of assessment: Bajammal et al. BMC Medical Education :53. Bestehensgrenze Bei der Festlegung von Bestehensgrenzen gilt es zu entscheiden, ob ein Kandidat/eine Kandidatin bestanden hat, also die notwendige Qualifikation erreicht hat. Dazu gibt es auf der einen Seite normorientierte Verfahren (basieren auf einem Vergleich mit einer Referenzpopulation, beispielsweise die besten 50 Personen, die besten 80% oder 60% richtige Antworten ) und auf der anderen Seite inhaltsorientierte Verfahren (basieren auf absoluten Standards von geforderten Kompetenzen, die von Experten/Expertinnen festgelegt werden, als Beispiel kann hier die Angoff- Methode erwähnt werden). Nebenaspekte Neben dieser Hauptaufgabe nämlich dem Unterscheiden ob Studierende eine bestimmte Qualifikation erreicht haben hat jedes Prüfungsinstrument auch einen großen Einfluss auf das Lernen, es dient sozusagen als Wegweiser für Lernende, kurz formuliert: Assessment drives Learning! Die Wahl der Prüfungsmethode wird jedoch nicht nur durch den Inhalt bzw. Gütekriterien einzelner Formate bestimmt, sondern auch durch personelle, strukturelle und finanzielle Rahmenbedingungen, sowie auch durch die Akzeptanz eines Formats unter den ausführenden Lehrenden, welche letztlich auch die Prüfungen zusammenstellen/durchführen sollten! Kurzübersicht gängiger Prüfungsformate Seite 3 von 13

4 MC SA SMP SB OSKE Objektivität *** ** * * ** Reliabilität ** * * * * Validität Fachwissen *** ** * * Interpretieren klinischer Information ** ** ** * * Erklären und Begründen * ** ** * Mündlich-sprachlicher Ausdruck *** ** ** Praktische Fertigkeiten ** *** Aufwand Aufwand Entwicklung *** ** ** ** **** Aufwand Durchführung * * *** ** *** Aufwand Auswertung * ** * ** * Tabelle 2: Test-Gütekriterien und Aufwandsabschätzungen folgender Prüfungsformate: Multiple-Choice (MC), Short- Answer (SA), Strukturierte mündliche Prüfung (SMP), Strukturierte Beobachtung (SB) und Objektiv Strukturiertes Klinische Examen (OSKE). Anzumerken ist dabei, dass unter strukturierte Beobachtungen auch Formate wie mini-cex, DOPS, etc. fallen. Je mehr Sterne, umso besser die Kennzahlen bzw. umso größer der Aufwand. Bearbeitet nach Bloch et al. (1999). Kurzübersicht gängiger Prüfungsformate Seite 4 von 13

5 2. Das Multiple-Choice-Format (kurz MC) Ein klassisches schriftliches Format um Faktenwissen und angewandtes Wissen objektiv und effizient prüfen zu können der Hauptaufwand entsteht während der Vorbereitung (Fragenerstellung und Review)! Das Multiple-Choice-Format kann als Sammelbezeichnung für eine Vielzahl an standardisierten, schriftlichen Fragen-(sub-)Typen verstanden werden, bei denen die richtige(n) von den zur Verfügung stehenden Antwortmöglichkeit(en) gewählt wird/werden. Auch wenn der Fokus auf dem Umfang und der Verfügbarkeit von Fachkenntnissen liegt, können mit dieser Methode höhere kognitive Fähigkeiten (z.b. Problemlösefähigkeiten) geprüft werden. Das Vorgehen gleicht dem bei anderen Prüfungsformaten, man beginnt mit dem Lernzielkatalog und erstellt einen Blueprint. Häufige Themen, typische Fehler, Probleme mit schwerwiegenden Folgen, eigene Patientenfälle und Lehrbücher können dabei hilfreich sein. Die Fragetypen können in zwei Gruppen eingeteilt werden: Best-Answer-Fragen, mit dem klassischen Typ-A-positiv (eine korrekte Antwort aus insgesamt fünf möglichen), dem negativ formulierten Typ-A-negativ, komplexeren Typen-B und -R, sowie dem Typ-PickN, bei dem die Anzahl der korrekten Antworten größer als eins sein kann. Zur zweiten Gruppe True-False- Fragen gehört der Typ-K-prim, bei dem alle Aussagen auf Korrektheit geprüft werden müssen, sowie klassische Typ-RF (Richtig/Falsch-Fragen). Um gute Fragen erstellen zu können (hohe Objektivität, Validität und Reliabilität) sind mehrere Punkte zu bedenken: relevantes Thema mit einem angemessenen Schwierigkeitsgrad, fokussiert und eindeutig formuliert, sowie vermeiden von ungewollten Lösungshinweisen (Cues), etc. Objektivität durch hohen Standardisierungsgrad Großer Itempool ermöglicht repräsentative Stichprobe (und damit hohe Reliabilität und Validität) Review-Prozess und Item-Analysen dienen der sukzessiven Fragenverbesserung Anwendungsfragen prüfen höhere kognitive Fähigkeiten 1 Aufwand der Durchführung und der Auswertung im Vergleich zu anderen Formaten geringer Der Fokus liegt auf Faktenwissen (Anwendungsfragen schwieriger und sprachlicher Ausdruck sowie praktische Fertigkeiten nicht prüfbar) Item-Formulierung kann schwierig und zeitaufwendig sein Wiederholte Verwendung muss gut überlegt werden Keine Item-Analyse bei kleinen Kandidatenzahlen und/oder zufällig ausgewählten Fragen (Online-Prüfungen) 1 Um (anwendungsnahe) MC-Fragen zu erstellen empfehlen wir sehr das Buch von Prof. J. Smolle: Klinische Fragen rasch und einfach erstellen. Ein Praxisleitfaden für Lehrende. (de Gruyter Verlag) Kurzübersicht gängiger Prüfungsformate Seite 5 von 13

6 3. Das Short-Case- und Key-Feature-Format (kurz SC u. KF) Schriftliche Formate, die ein Einbetten der Fragen in einen klinischen Kontext ermöglichen, etwas aufwändiger in der Erstellung, jedoch deutlich realistischer. Short-Cases stellen eine Variante dar, um die (sehr bereichsspezifische) Problemlösefähigkeit beurteilen zu können. Nicht nur im klinischen Kontext können auf diese Weise Patientenfälle bzw. vignetten erstellt werden und in MC- oder SA-Fragen integriert werden. Diese Idee einer kontextreichen Frage kann jedoch auch bei SMP-, SB- oder OSKE-Formaten eingesetzt werden. Anforderungen an Short-Cases: Authentizität ( rohe und nicht vorinterpretierte Informationen, Bildmaterial, etc.), Anlehnung an reale Patientenfälle, ausreichende und klare klinische Informationen, sowie Kontextinformationen, auch negative Befunde, etc. Das Key-Feature-Format konzentriert sich auf die kritischen Entscheidungen, bei der Lösung eines (klinischen) Problems und wurde 1987 von Page und Bordage vorgestellt. Frühere PMP-Fragen (Patient Management Problem) hatten den Nachteil einer niedrigen Reliabilität, da häufig nur ein, jedoch sehr langes, Problem abgehandelt wurde. Key-Feature-Fragen bestehen aus einer kurzen Darstellung einer klinischen Situation (auch Fragenstamm genannt), gefolgt von drei bis fünf Fragen, die sich, wie oben beschrieben, auf kritische Schritte zur Lösung des Falles konzentrieren. Klassischerweise handelt es sich dabei um Fragen zu Differentialdiagnosen, diagnostischen Untersuchungen, um Management-Fragen oder therapeutische Entscheidungen. Für die Antworteingabe kann dabei entweder das Write-Inoder das Short-Menu-Format, alternativ auch das Long-Menu-Format gewählt werden. Beurteilung der Problemlösefähigkeit im klinischen Bereich Kontextreiche authentische Fragen, die ebenso die Vorteile einer reinen MC-Frage behält Item-Formulierung oft schwieriger und zeitaufwendiger als bei reinen MC-Fragen Mischung von Write-In- und Short-Menu- Antwortformaten in der Umsetzung schwieriger Kurzübersicht gängiger Prüfungsformate Seite 6 von 13

7 4. Das Short-Answer-Format (kurz SA) Ein schriftliches Format, welches ein aktives Formulieren bei der Beantwortung erfordert und damit einen Mehraufwand beim Auswerten mit sich bringt. Das Short-Answer-Format wird wie das MC-Format bei schriftlichen Prüfungen eingesetzt, verlangen jedoch wie der Name schon sagt um kurze Antworten (Wörter oder Kurze Sätze), die jedoch aktiv formuliert (handschriftlich oder am PC) geschrieben werden müssen. Dieser Fragetyp kann in Kombination mit und als Alternative zu MC-Formaten eingesetzt werden. Man kann mit der Bezeichnung auch feine Unterschiede hervorheben: Short-Answer-Questions, Short- Essay-Questions, Long-Essay-Questions, Modified-Essay-Questions, etc. Bei großen Prüfungen steigt der Aufwand aufgrund der zusätzlichen Auswerte-Arbeit deutlich an. Ein computerbasiertes Long-Menu-Antwortformat könnte hier Abhilfe schaffen. Ein automatisiertes Auswerten mithilfe einer Erkennungssoftware wäre theoretisch möglich, birgt im momentanen Entwicklungsstand jedoch noch zahlreiche Schwierigkeiten. Auch hier dienen Schlüsselprobleme/Schlüsselkriterien als Ausgangspunkt, die Richtlinien sind weitgehend dieselben wie beim MC-Format. Nach langem Stamm schließen ein oder mehrere Fragen an. Ein Antwortschlüssel muss vorhanden und eindeutig sein. Die Beurteilung der Antworten durch mehr als einen Prüfer/eine Prüferin würde die Test-Kennzahlen verbessern. Objektivität und Reliabilität gut (wenn auch von der Formulierung der Frage und der Auswertung abhängig) Fragenformat näher an der Praxis, besser um Problemlösefähigkeiten zu prüfen Aktives Formulieren der Antwort notwendig, kein passives Wiedererkennen von gegebenen Optionen Aufwand der Erstellung kleiner als bei Multiple-Choice-Formaten, der Auswertevorgang jedoch wieder deutlich größer Alle beantworteten Fragen müssen (außer bei Vorhandensein einer automatisierenden Auswertesoftware) einzeln korrigiert werden Objektivität und Reliabilität leiden gegebenenfalls bei offener Fragestellung mit langen Antworten Um Objektivität und Reliabilität zu verbessern wären zwei unabhängige beurteilende Personen nötig Um höhere kognitiven Leistungen prüfen zu können ist auch hier eine sorgfältige Formulierung der Fragen notwendig Kurzübersicht gängiger Prüfungsformate Seite 7 von 13

8 5. Strukturierte mündliche Prüfungen (kurz SMP) Ein klassisches mündliches Format, welches ein strukturiertes Vorgehen erfordert, auf höhere kognitive Prozesse fokussiert sein soll und nur bei überschaubarer Anzahl an Kandidat/innen sinnvoll durchführbar ist. Die Strukturierte mündliche Prüfung stellt die verbesserte Variante der alten, teils wenig objektiven und wenig reliablen, mündlichen Prüfung dar. Dabei werden Maßnahmen getroffen, die auf eine Änderung der Vorbereitung, Durchführung und Nachbereitung abzielen, beispielsweise Training/Schulung der Prüfer/innen, Anwendung von Checklisten und Protokollen, etc. SMPs haben ein breites Anwendungsspektrum und können ebenso mit anderen Methoden kombiniert werden. Wichtig ist, dass bei solchen mündlichen Prüfungen sprachlich-kommunikative Fähigkeiten mit erfasst werden können. Die Anwesenheit von mindestens zwei Prüfer/innen trägt wesentlich zur Reliabilität bei. Auch hier werden die Inhalte und deren Gewichtung zu Beginn in Blueprints festgehalten. Man definiert nach Schlüsselproblem und fragen dann die Prüfungsfragen (beispielsweise: Verdachtsdiagnosen, Sofortmaßnahmen, Untersuchungen, etc.). Am Besten Fragen und Antworten genau ausformulieren, stichwortartiges Skizzieren birgt die Gefahr geringer Objektivität, Reliabilität und Validität. Der Ermessensspielraum muss daher für den Prüfer/die Prüferin eingeschränkt werden. Kandidaten/Kandidatinnen sollen ihre Prüfungsfragen schriftlich erhalten und sehen können, wie viel Zeit Ihnen zur Beantwortung zur Verfügung steht. Der Befragungsbogen des Prüfenden sollte alle Fragen inklusive korrekter Antworten enthalten, hierbei können auch Auffälligkeiten notiert werden. Gute Testgütekriterien (Objektivität, Reliabilität und Validität) bei gut vorbereiteten und durchgeführten strukturierten Prüfungen möglich Mündlich-sprachlicher Ausdruck zusätzlich beurteilbar Flexibilität während der Prüfung (bspw. Themenwechsel und vertiefende Diskussionen) gegeben Gut geeignet um komplexere Themen, Problemlösefähigkeiten, Argumentationen, etc. zu überprüfen Objektivität und Reliabilität sehr von der prüfenden Person und der strukturierten Vorgehensweise abhängig Vorbereitung und vor allem Durchführung anspruchsvoll (v.a. beim Verhindern von Einflüssen durch individuellen Stil und Beurteilungstendenzen) und zeitintensiv Nur für eine kleinere Anzahl an Kandidatinnen und Kandidaten geeignet Für Abfrage reines Faktenwissens (bzw. einfacherer Sachverhalte) unökonomisch Teils schwer kontrollierbare Störfaktoren Kurzübersicht gängiger Prüfungsformate Seite 8 von 13

9 6. Strukturierte Beobachtungen (kurz SB) Ein Überbegriff für das strukturierte Beobachten (und Bewerten) von Kandidat/innen in einer für den späteren Beruf repräsentativen Situation, in der die Interaktion (auch Anwendung von Gelerntem) im Vordergrund steht. Die Strukturierte Beobachtung kann dem Prüfen von praktischen Fertigkeiten (auch in Alltagsnahen) Situationen dienen. Geschulte Prüfer/innen bewerten den Kandidaten/die Kandidatin in repräsentativen und standardisierten Situationen anhand vordefinierter Kriterien. Die Faktoren Prüfer/in, Interaktion Prüfer/in Studierender und Problem/Situation sollten immer konstant sein. Im Fokus der SB stehen verbale, interaktive und vor allem praktische Fertigkeiten, am Anfang stehen Fall-Blueprint und Fertigkeiten-Blueprint. Zur Strukturierung sind Checklisten (nach dem Ja/Nein-Prinzip) hilfreich. Beispiele für diagnostische Punkte wären: spricht Patienten an, setzt Schmerzstimulus, beurteilt Zirkulation, prüft Karotispuls, prüft Luftwege und Atmung, benötigt weniger als 30 Sekunden, etc. Ebenso können skalierte Beobachtungsprotokolle eingesetzt werden (Kriterien werden mit abgestufter Skala bewertet). Beobachtung: mindestens zwei Beobachter/innen wären sinnvoll, diese sollten dieselbe Problemsituation beobachten. Bei Ressourcenknappheit besser je ein Prüfer für zwei Situationen, als zwei Prüfer für eine Situation. Gelegentlich macht auch das Beobachten durch Nicht- Fachspezialisten Sinn. Unauffälliges, ruhiges Beobachten außerhalb des Blickfeldes ist obligatorisch. Erlaubt das Beurteilen von komplexeren Vorgehen und praktisch durchgeführten Fertigkeiten Bei gut vorbereiteten und durchgeführten strukturierten Beobachtungen hohe Objektivität und Reliabilität Integrierung in mündliche Prüfungen (SMP) bzw. als OSKE möglich Gute Akzeptanz aufgrund des Praxisbezugs Objektivität und Reliabilität kann durch zahlreiche Störfaktoren beeinträchtigt werden (Umgebung, umstehende Personen, Beobachtet-Fühlen, etc.) (Video-) Aufzeichnungen möglich, jedoch nicht immer akzeptiert Sehr aufwendig (zeitintensiv, ressourcenintensiv) vor allem bei der Entwicklung, aber auch bei der Durchführung Probleme bei Standardisierung Kurzübersicht gängiger Prüfungsformate Seite 9 von 13

10 7. Objektiv strukturiertes klinisches Examen (kurz OSKE) Ein strukturiertes Beobachten/Bewerten von Kandidat/innen zur Überprüfung realistischer praktischer Fertigkeiten an einer geplanten Station und anhand einer vorbereiteten Checkliste. Es handelt sich um eine Methode besser einen flexiblen Prüfungsrahmen für die Prüfung vorwiegend klinisch-praktischer Kompetenzen. Die Leistungen werden anhand von Checklisten und Beurteilungsskalen bewertet. Bei Stationen mit Kontakt zu Patient/innen werden meist Standardisierte Patient/innen herangezogen, die darauf trainiert wurden eine Patientenrolle zu spielen. Diesen Prozedurstationen folgen meist Fragestationen, in denen schriftlich vorgelegte Fragen meist zur vorherigen Station passend beantwortet werden. Alle Stationen werden zirkelartig nacheinander durchlaufen. Folgende Schwerpunkte wären denkbar: Zwischenmenschlicher Umgang, technische Fertigkeiten, Interpretationsleistungen, etc. Standardisierte Patient/innen müssen einen Patienten vollständig, realistisch und zuverlässig verkörpern können, dabei gibt es bestimmte Voraussetzungen (beispielsweise Interesse an Kommunikation bzw. selbstreflektiertes Verhalten). Andererseits sind nicht alle, jedoch sehr viele Befunde simulierbar (beispielsweise Aphasie, Babinskireflex, Bauchschmerzen, Bewusstlosigkeit, Cheyne-Stokes-Atmung, Druckschmerzen und Fazialisparese). Planung für eine Einzelstation: Blueprint und Prüfungsziel, Rekrutierung von Autor/in, Patient/in, Prüfer/in, Verantwortlichen, Fallerstellung und Review, Standardisierung und Strukturierung, Instruktion aller Beteiligten, Erstellung der schriftlichen Unterlagen und Protokolle, Planung der Anmelde- und Auswerte-Prozesse, etc. Stationstypen und Anzahl: nach dem Schwerpunkt Prozedur- und Fragestationen (siehe oben), nach Länge kurze und lange Stationen (5-7 bzw Minuten), in Summe mindestens 20 Stationen empfohlen (in 4 Stunden 36 kurze oder 15 lange Stationen möglich), jedoch nicht zu hektisch, da sonst keine natürliche Gesprächssituation zustande kommen kann. Natürlich ist die Kombination mit schriftlichen Kurzantwortfragen oder standardisierten mündlichen Fragen sinnvoll und möglich. Entwurf und Planung einer Station: Fallplanung und Ausarbeitung, damit verbunden Review und Überarbeitung, Standardisierte Patienten und deren Training, Instruktionen und Einrichtungsgegenstände, Checklisten und Protokolle, Beurteilung mit Itemgewichtung, etc. Fertigkeiten und Handlungskompetenzen prüfen als Ergänzung Nicht nur Resultate sondern auch Vorgehen und Techniken beurteilbar Reliabilität durch Zahl der Aufgaben Vorbereitung und Durchführung zeit- und ressourcenintensiv Zahlreiche Störfaktoren Viele kurze Stationen bringen Stress und unnatürliches Verhalten generell sollte Zahl der Stationen höher sein, um eine gute Reliabilität zu gewährleisten Kurzübersicht gängiger Prüfungsformate Seite 10 von 13

11 8. mini-cex, DOPS und ähnliche Formate Ein strukturiertes Beobachten/Bewerten einer Arzt-Patienten-Interaktion im Rahmen der Weiterbildung, mit konstruktivem Feedback und Maßnahmen zur Korrektur für die Begleitung einer Ausbildungsphase gedacht. Die Abkürzung mini-cex steht für Mini Clinical Evaluation Exercise und DOPS für Direct Observation of Procedural Skills. Diese Formate wurden für die ärztliche Weiterbildung konzipiert und stellen Momentaufnahmen von realen Arzt-Patienten-Interaktionen dar. Solche Interaktionen werden direkt beobachtet und beurteilt, anschließend bekommt der Auszubildende einerseits konstruktives Feedback durch den Weiterbildner, andererseits wird gemeinsam ein Maßnahmenplan entwickelt, um vorhandene Schwächen zu korrigieren. Solche Beobachtungen dauern in der Regel 20 Minuten, Feedback und Erarbeitung von Maßnahmen eingeschlossen. Diese Formate sollen bzw. müssen regelmäßig angewendet werden und von guten Klinikern mit pädagogischer Erfahrung durchgeführt werden, um eine sinnvolle Ergänzung darzustellen. Um einen guten Lerneffekt zu erzielen, sollte ein Feedback zu verschiedenen Krankheitsbildern, unterschiedlicher Komplexität, an verschiedenen Orten und mit jeweils anderem Fokus angestrebt werden. Ärztliche Kompetenz in einer realen Situation, d.h. in einer realen Umgebung mit echten Patienten Es wird ein Vorgehen beurteilt, kein punktuelles Endergebnis Konstruktives Feedback und ein Massnahmenplan zur Verbesserung steht im Vordergrund Die Reliabilität kann durch ein standardisiertes Vorgehen mit Checklisten oder durch mehrere Beobachter/innen verbessert werden Durchführung zeit- und ressourcenintensiv, v.a. mitten im klinischen Alltag Zahlreiche Störfaktoren Reliabilität nicht mit schriftlichen Prüfungen vergleichbar Besser zur begleitenden Betreuung in einer Ausbildungsphase geeignet, denn als Prüfungsinstrument Ähnliche Formate finden Sie auf der Folgeseite Kurzübersicht gängiger Prüfungsformate Seite 11 von 13

12 Welche Formate werden noch in der medizinischen Ausbildung eingesetzt? Um dem Versuch einer vollständigen Auflistung näher zu kommen sollte man auch weichere Formate erwähnen. Weicher soll im diesem Zusammenhang bedeuten, dass diese zwar wertvolles Feedback für die Kandidaten geben können, jedoch wenig geeignet sind, schwerwiegende und folgenreiche Entscheidungen zu stützen. Anders ausgedrückt wird hier von formativen Prüfungen gesprochen (im Gegensatz zu summativen Prüfungen, die weniger Feedback geben, als Konsequenzen nach sich ziehen). Hier sind Folgende zu nennen: 360-Grad-Evaluation Bei der 360-Grad-Evaluation handelt es sich um ein Messinstrument (meist in Form eines Fragebogens), welches von mehreren Personen im Einfluss- bzw. Wirkungsbereich einer Person ausgefüllt wird. Im klinischen Bewertungs-Szenario könnten dies Vorgesetzte, Mitarbeiter/innen, Kolleg/innen, Patient/innen oder auch deren Angehörige sein. Im Fragebogen werden verschiedene Aspekte wie beispielsweise Fertigkeiten, professionelles Verhalten, Kommunikation und klinisches Denken bzw. Argumentieren abgefragt. Die Summe der Bewertungen der einzelnen Personen ergibt die Gesamtbewertung der zu bewertenden Person. Dieses Format kann interessante Einblicke in das Handeln und Verhalten einer Person geben, die Vorbereitungen mit Verteilen und Zusammenführen/Auswerten der zahlreichen Fragebögen ist jedoch auch ressourcen-intensiv (kann jedoch auch gut automatisiert werden). Zudem müssen alle bewertenden Personen geschult sein, um der Subjektivität bei den Bewertungen entgegenzuwirken. Checklist-Evaluation Hierbei handelt es sich grob gesagt um Fragebögen zu wichtigem bzw. erwünschtem Verhalten (generell Kompetenzen). Nach der Beobachtung klinisch-relevanter Kleinaufgaben werden alle Teilschritte bzw. Teilaspekte per Checkliste (Komplett Teilweise Fehlend) bewertet. Diese Ergebnisse sind eine geeignete Form, um Feedback zu geben und damit self-assessment zu unterstützen. Um qualitativ hochwertige Aussagen zu erhalten, sollte bei der Erstellung der Checkliste Inhalt und Methodik stimmen bzw. die Checkliste durch einen Konsens von Experten zustande kommen. Global Rating Dieses Format ist der Checkliste ähnlich auch hier werden klinisch-relevante Kleinaufgaben bewertet jedoch werden hier gröbere Kategorien an Kompetenzen (beispielsweise Patienten- Betreuung, medizinisches Wissen, Kommunikation, etc.) bewertet. Ein genereller Eindruck sollte hier in Form einer mehrstufigen Bewertungsskala dokumentiert werden. Die Qualität betreffend sollte ein ähnliches Vorgehen wie oben beschrieben angestrebt werden. Andererseits sollte man Formate erwähnen, die auf eine Beobachtung einer längerfristigen Entwicklung Wert legen, dazu zählen unter anderem Procedure- und Case-Logs ebenso wie (Kompetenz-) Portfolios. Gerade Log-Aufzeichnungen von Kandidat/innen ergeben dort Sinn, wo beispielsweise unterschiedliche Operationen oder Operationstechniken gesehen und/oder assistiert werden sollten. Allgemeiner ausgedrückt, lässt sich damit dokumentieren, ob und in welchem Zeitraum (und Ausmaß) Studierende bestimmte Teilaufgaben gemacht bzw. bestimmte Teilbereiche einer Abteilung gesehen hat. Portfolios können dort unterstützen, wo andere Formate weniger geeignet sind, dies jedoch nur dann wenn Einigkeit bzgl. der Kriterien bzw. der Standards vorhanden ist. Kurzübersicht gängiger Prüfungsformate Seite 12 von 13

13 9. Zusammenfassung und Literatur Zusammenfassung genannter Prüfungsformate Zusammenfassend würde man schriftliche, mündliche und beobachtende Formate unterscheiden. Schriftliche Formate könnte man allgemein gesprochen in offene (SA-Formate) und geschlossene (typischerweise MC-Formate) Fragenformate einteilen, wobei man auch kontextreiche (Short-Case- bzw. KF-Formate) von kontextarmen (oft in MC-Formaten) Fragen unterscheiden würde. Gerade mündliche und beobachtende Formate können und werden häufig in verschiedener Weise kombiniert. Als Beispiel könnte man hier einen mitgebrachten EKG-Streifen vom Studierenden befunden und interpretieren lassen. Hier spannt sich ein Bogen von reinen Strukturiert mündlichen Prüfungen bis zu Objektiven Strukturierten Klinischen Examen bei denen klinische Fertigkeiten im Fokus stehen. Bei letztgenannten Formaten können Standardisierte Patienten, Dummies und Modelle unterstützen. Mini-CEX- und DOPS-Formate sind vergleichsweise in vivo -Formate, also Beobachtungen bei klinischen Tätigkeiten im realen Umfeld (die oft stärker in der Weiterbildung eingesetzt werden). Empfohlene Literatur 1. Anderson J. Multiple-choice questions revisited. Medical Teacher Berendonk C, Beyeler C. Strukturiertes Feedback in der ärztlichen Weiterbildung: Mini-CEX und DOPS. Academic Medicine. 2004;79(10 Suppl):S Epstein R. Assessment in medical education. The New England journal of medicine Frey P. Computer-based Assessment: Potentials and Drawbacks. GMS Z Med Ausbild Kopp V, Möltner A. Key-Feature-Probleme zum Prüfen von prozeduralem Wissen: Ein Praxisleitfaden GMS Z Med Ausbild Möltner A, Schellberg D, Jünger J. Basic quantitative analyses of medical examinations. GMS Z Med Ausbild Schulze J, Drolshagen S. Format und Durchführung schriftlicher Prüfungen. GMS Z Med Ausbild. 2006; Schuwirth LWT, Vleuten CPM van der. General overview of the theories used in assessment: AMEE Guide No. 57. Medical teacher. 2011;33(10): Schuwirth LWT, Vleuten CPM van der. Different written assessment methods: what can be said about their strengths and weaknesses? Medical Education. 2004;38(9): Smolle J. Klinische MC-Fragen rasch und einfach erstellen. Ein Praxisleitfaden für Lehrende. Berlin, New York: de Gruyter; (ISBN: ) 11. Wass V, Vleuten C van der, Shatzer J, Jones R. Assessment of clinical competence. The lancet Weih M, Harms D, Rauch C, Segarra L. Qualitätsverbesserung von Multiple-Choice-Prüfungen. Der Nervenarzt Kurzübersicht gängiger Prüfungsformate Seite 13 von 13