Durchführen eines Peer-Reviews im Item-Management-System (IMS) Zur Sicherung der Fragenqualität ist im IMS ein Review-System integriert. Sie können dort somit bei jeder Frage alleine im "Einzelreview" oder mit KollegInnen im "Gruppenreview" fremde Fragen mit Hilfe einer Checkliste bewerten. Sie können grundsätzlich bei allen Fragen, bei denen Sie ein Leserecht haben, einen Peer-Review durchführen. Dies gilt auch für Fragen aus dem öffentlichen Pool. Einzelreview Um einen Einzelreview durchführen zu können, müssen Sie die entsprechende Frage aufrufen. Sind Sie als Reviewer freigeschaltet, ist der Review -Button (nur bei Fragen von anderen AutorInnen) aktiviert, über den das Fenster Einzelreview geöffnet werden kann. Auf der linken Seite des Fensters sehen Sie die Frage, auf der rechten Seite können Sie die Review-Checkliste ausfüllen. Folgende Punkte stehen Ihnen zur Bewertung mittels Ampelsystem in der Checkliste zur Verfügung: Formaler Review: Fragetyp ist zulässig (k.o.-kriterium): Entspricht der Fragetyp den Vorgaben? Versteckte Lösungshinweise (k.o.-kriterium): Weist das Item unbeabsichtigt formal oder inhaltlich auf richtige oder falsche Antworten hin? Bitte beachten Sie: o Die Frage darf keine versteckten Lösungshinweise enthalten (Cues). o Die Antworten müssen grammatikalisch mit der Frage übereinstimmen. o Die Antwortalternativen sollen gleich lang sein. o Absolute Aussagen (immer, nie, etc.) deuten auf Falschaussagen hin. o Hinweise, welche die Aufmerksamkeit auf zwei bis drei Antworten fokussieren, sollten vermieden werden (z.b. wenn Schlagwörter aus der richtigen Antwort noch in ein bis zwei anderen Antwortalternativen vorkommen). o Vermeiden Sie sog. Konvergenz-Cues, was bedeutet, dass die sehr oft richtige Antwort die meisten Elemente mit anderen Antwortalternativen gemeinsam hat. Beantwortbar ohne Kenntnis der Antwortoptionen: Durch folgende Punkte können Sie vermeiden, dass die Ratewahrscheinlichkeit für die Beantwortbarkeit der Frage zu hoch wird: o Die Frage sollte auch ohne Kenntnis der Antwortalternativen zu beantworten sein. Wenn nicht, ist die Frage möglicherweise zu heterogen. o Die Schwierigkeit der Frage soll mit dem Ausbildungsniveau übereinstimmen. 1
Homogenität der Antwortoptionen: Sind die Antworten ähnlich lang, komplex und schwer? o Die Antwortalternativen sollten auch inhaltlich homogen sein und sich somit auf das gleiche Thema beziehen. Bei diffusen Fragenthemen ist dies häufig nicht der Fall. Im System sind zusätzlich Kriterien für einen formalen Review hinterlegt die automatisiert überprüft werden. Wenn z.b. die richtige Antwort länger ist als die anderen Antworten, wird dies links unter der Frage angeführt. Inhaltlicher Review: Item passt zur Klassierung: Passt das Item zum angegebenen Fach, Unterfach usw.? Item ist inhaltlich korrekt (k.o.-kriterium): Ist die Frage inhaltlich richtig? Ausbildungsniveau: Ist das Niveau der Frage dem Ausbildungsstand der zu prüfenden Leistung angemessen? o Neben der allgemeinen Schwierigkeit wäre auch zu beachten, dass zusätzlich zum Faktenwissen auch die Fähigkeit des Anwendens/Beurteilens durch Abstrahieren und Transferieren getestet werden kann. Fallvignette/Anwendungsbezug: Bei Fallvignetten sollten die meisten der folgenden Punkte der Reihe nach enthalten sein: o Alter, Geschlecht, evtl. Beruf, Herkunft/Ethnie (z.b. eine 27-jährige Studentin ) o Ort der Behandlung (z.b. in der Hausarztpraxis ) o Grund der Konsultation (z.b. wegen starker Bauchschmerzen ) o Dauer (z.b. seit 3 Tagen ) o Anamnese, evtl. Familienanamnese (relevante Punkte) o Status, physische Befunde o evtl. Resultate der diagnostischen Untersuchung o evtl. Anfangsbehandlung, Folgebefunde, etc. Hat die Frage einen klinischen Bezug? Die Frage sollte ein klar beschriebenes Problem beinhalten und eine klare Relevanz für das ärztliche Handeln besitzen. Für die ärztliche Praxis relevant sind Fragen, die die Fähigkeit prüfen, Informationen zu interpretieren, integrieren und theoretische Kenntnisse auf ein konkretes Problem anwenden zu können. Frage (und stamm) ist/sind verständlich und plausibel (k.o.-kriterium): Ist die Frage und ggf. der Fragestamm verständlich, klar und plausibel formuliert? Folgende Punkte sollten dabei beachtet werden: o Die Frage ist ohne Antwortalternativen zu beantworten und in sich homogen. o Die Frage enthält ausschließlich Informationen die zur Beantwortung relevant sind. o Es sollte das Antwortformat one-best-answer verwendet werden im Gegensatz zu one-right-answer (trifft am ehesten zu/ist am wahrscheinlichsten anstatt ist richtig/trifft zu). o Typ-A-Fragen sollten möglichst positiv und ohne negative Formulierungen gestellt werden. Konstruktionen wie ist nicht, am unwahrscheinlichsten sollten vermieden werden. Antworten sind verständlich und plausibel (k.o.-kriterium): Sind die Antworten verständlich, klar und plausibel formuliert? o Alle Antworten sollen in die gleiche inhaltliche Kategorie fallen, kurz sein und nur 1 Aussage aufweisen. o Die Distraktoren sollten plausibel sein, indem sie beispielsweise häufige Fehlmeinungen, falsche Konzepte oder überholte Auffassungen behandeln. Es sollte ein klar nachvollziehbarer Bezug zum Thema der Frage bestehen. o Zu bedenken ist, dass die Frage umso schwieriger wird, je näher sich die korrekte Antwort und die Distraktoren hinsichtlich Inhalt und Richtigkeit sind. o Um die Ratewahrscheinlichkeit zu minimieren sollten immer 5 Antwortalternativen vorgegeben werden. Sollte es aus diversen Gründen nur 3 sinnvolle Distraktoren geben 2
ist es besser 4 Antwortoptionen zu geben anstatt eine absurde Antwort anzubieten, dabei sind auch die Vorgaben für das jeweilige Modul zu beachten. Abgeschlossen wird der Einzelreview indem man diesen rechts unten speichert. Gruppenreview Der Gruppenreview funktioniert analog zum Einzelreview, die am Gruppenreview teilnehmenden KollegInnen müssen ebenfalls im System angelegt sein. Über den Review-Button der Item-Anzeige kann der Gruppenreview gestartet werden. Auf der rechten Seite unter dem Reiter Reviewer können Sie die Gruppe auswählen, aus welcher die Teilnehmer die den Gruppenreview durchführen, stammen. Danach können die einzelnen Reviewer dieser Gruppe mittels Drag&Drop auf die rechte Seite gezogen werden. Die auszufüllende Checkliste finden Sie unter dem Reiter "Review". Abgeschlossen wird der Gruppenreview indem man diesen rechts unten speichert. Einsehen von Review-Ergebnissen Die Review-Ergebnisse werden in Form von Sternen (1-5) angezeigt: Ist zu einer Frage kein Review abgegeben worden, sind 5 leere, graue Sterne zu sehen Wurde mindestens ein k.o.-kriterium gefunden, wird 1 Stern vergeben Für alle anderen Ergebnisse werden die Sterne durch einen Algorithmus berechnet, maximal werden 5 Sterne vergeben. Gibt es für ein Item mehrere Reviews wird ein Mittelwert daraus berechnet und angezeigt. Wenn das Item nach einem Review geändert wurde, erscheinen die Sterne grau hinterlegt. Direkt in der Item-Übersicht kann man sich das Review-Ergebnis zu jeder Frage in der Spalte Review anzeigen lassen. Sollte diese Spalte bei Ihnen noch nicht angezeigt werden, kann diese über das Menü Spalten Ihrer Ansicht noch hinzugefügt werden. Um den/die Review(s) genauer ansehen zu können, muss die Frage geöffnet werden. Im 2. Reiter Review wird dann die Liste der erstellten Reviews ausgegeben. 3
An dieser Stelle ist es möglich einen vorhandenen Review anzuklicken und die einzelnen Bewertungen bzw. die Erläuterungen anzusehen. Sollten Sie AutorIn einer Frage sein, zu welcher es bereits einen Review gibt oder Sie dementsprechende Rechte besitzen, kann die Frage an dieser Stelle editiert werden. Benachrichtigung über durchgeführte Item Reviews Als AutorIn einer Frage haben Sie die Möglichkeit sich darüber benachrichtigen zu lassen, sobald an Ihrer/n Frage(n) ein Review durchgeführt wurde. Diese Funktion können Sie selbst in den Benutzereinstellungen aktivieren. Wenn Sie die Benutzerdaten öffnen und die Funktion Bearbeiten wählen, erscheint der Reiter E- Mail Benachrichtigungen. Die nun angeführte Liste enthält als zweiten Punkt Durchgeführte(s) Item Review(s). Dort ist es möglich sowohl bei Systeminterne Benachrichtigung (Benachrichtigung nur im System) als auch bei E-Mail Benachrichtigung ein Häkchen zur Aktivierung zu setzen. Indem Sie die Auswahl speichern, werden Sie zukünftig über Review-Aktivitäten an Ihren Fragen durch das System in Kenntnis gesetzt. Überarbeiten von Fragen durch die/den AutorIn Es gibt auch die Möglichkeit für die/den AutorIn direkt über die Review-Ansicht das Item zu editieren (Button rechts unten). Dies ist jedoch nur möglich, wenn man einen Review startet und nicht wenn man einen bereits bestehenden Review öffnet. 4
Danach sehen Sie die gleiche Maske, wie bei der Erstellung einer Frage. Wenn eine Frage bearbeitet wurde wird angezeigt, dass sich der Review auf eine veraltete Version der Frage bezieht (graue Sterne). 5