Rektorat E-Learning ZHAW Merkblatt Test- Items 1. Einführung Dieses Merkblatt dient der Erstellung von Test-Items auf der Grundlage der oben angegebenen Quellen. Es soll Ihnen einerseits dienen, die formalen Kriterien für die Erstellung von Fragetypen einzuhalten, andererseits aber auch Tipps geben, wie Sie gute Test-Items erstellen können. Das Merkblatt gibt keinen Aufschluss darüber, wie Testtypen technisch auf der Lernplattform Moodle erstellt werden. 2. Fragetypen Bei den Fragetypen werden zwei verschiedene Formate unterschieden. Es gibt den Typ geschlossene Formate und den Typ offene Formate. Bei den geschlossenen Formaten sind die Antwortmöglichkeiten vorgegeben. Dies bedeutet, dass Studierende eine Auswahlmöglichkeit für die korrekte(n) Antwort(en) zur Verfügung gestellt bekommen. Dieser Typ eignet sich, um elektronische Prüfungen automatisch auszuwerten. Bei den offenen Formaten müssen Studierende ihre Antwort(en) selbst formulieren; es gibt keine Antwort-Wahl-Möglichkeit. Im Gegensatz zu den geschlossenen Formaten müssen offene Formate manuell korrigiert werden. An der ZHAW stehen auf der Lernplattform Moodle verschiedene Fragetypen zu Verfügung. Nachfolgende Darstellung zeigt, zu welchen Formaten sie gehören: Geschlossene Formate Offene Formate Auswahlaufgaben: Single- und Multiple- Choice Wahr/falsch Multiple-Choice (Einfach- und Mehrfachauswahl) Lückentet (Eine Auswahl -> Multichoice) Ordnungsaufgaben: Zu- und Umordnung Drag and Drop auf Markierung (Zuordnung) Zuordnung (Zuordnung) Anordnungsfrage ( Ordering ) Spezielle Aufgabentypen: Hinterlegte Mathematik-Formeln Freitetaufgabe Freitet Kurzantwort Ergänzungsaufgaben Lückentet (Shortanswer) Berechnet Einfach Berechnet Berechnete Multiple-Choice-Frage Dok-Verantwortlicher: liur, Aktualisierung 2013 wsam. Stand des Merkblattes: 29. Juli 2013
3. Lernziele Fragen überprüfen die Lernziele. Daher sollen die gestellten Aufgaben auch das ganze Spektrum der Taonomiestufen überprüfen. Die nachfolgende Tabelle gibt einen Überblick über die Fragetypen auf der Lernplattform Moodle sowie deren Eignung für die Überprüfung der verschiedenen Taonomiestufen nach Anderson und Krathwohl (2001). Fragety- Kognitive Prozessdimension pen 1 erinnern 2 verstehen 3 anwenden 4 analysie- 5 beurteilen 6 (er-) (erkennen, (interpretie- (ausführen, ren (überprüfen, schaffen erinnern) ren, veran- implementie- (differenzie- bewerten) (generieren, schaulichen, ren) ren, organi- planen, klassifizieren, sieren, zu- entwickeln) zusammen- ordnen) fassen, folgern, vergleichen) Drag and Drop Markierungen Freitet Anordnung ( Ordering ) Kurzantwort Lückentet (Aus- (Auswahl) Lückentet (Freitet) Multiple- Choice Wahr / falsch Zuordnung 2
4. Einsatzgebiete von Fragetypen Fragentyp Beschreibung Einsatzgebiet Drag and Drop auf Markierung Anordnung ( Ordering ) Freitet Kurzantwort Lückentet (Auswahl) Lückentet (Freitet) Multiple-Choice* Wahr/falsch Zuordnung Vorgegebene Bildausschnitte müssen markiert werden Vorgegebene Begriffe müssen in die korrekte Reihenfolge gebracht werden Freie Eingabe von Schriftzeichen Grafiken oder Zahlen. Die Formulierung erfolgt in ganzen Sätzen Freie Eingabe von Schriftzeichen oder Zahlen. Der Umfang ist kleiner als beim Freitet. Es können auch Begriffe abgefragt werden. Zwei oder mehrere Antworten stehen zur Auswahl, wovon eine korrekt ist In Tetpassagen oder Grafiken sind bestimmte Begriffe oder Werte einzusetzen Eine oder mehrere Antworten von einer Auswahlmöglichkeit sind richtig Behauptungen müssen verifiziert oder falsifiziert werden Vorgegebene Bausteine müssen miteinander verknüpft werden Überprüfung von Faktenwissen, Lernziele auf der Stufe 1 und 2 Überprüfen von Strukturen, festen Prozessen und Zusammenhängen, Lernziele auf der Stufe 1 und 2 Transfer- und Analysedenken kann überprüft werden. Eignet sich vor allem für Lernziele höherer Stufen. Keine automatische Auswertung möglich. Transfer- und Analysendenken kann überprüft werden. Eignet sich für Lernziele höherer Stufen. Automatische Auswertung möglich, aber tendenziell kompliziert zu erfassen. Einstiegsfragen oder Fragen zur Auflockerung. Hohe Ratewahrscheinlichkeit, Lernziele auf der Stufe 1 Abfragen von Begriffen oder Werten in einem Gesamtkontet, Lernziele auf den Stufen 1-3 Je nach Konstruktion der Fragetypen sind Lernziele auf allen Stufen überprüfbar Überprüfung von Verständnis. Hohe Ratewahrscheinlichkeit. Lernziele auf Stufe 1, 2 und 3 Überprüfung von Strukturen und Zusammenhängen, Lernziele auf der Stufe 1 und 2 3
Spezielle Aufgabentypen mit hinterlegten Mathematik-Formeln: Bei drei Fragentypen können Sie mathematische Formeln hinterlegen, mit deren Hilfe jede/r Student/in eine Aufgabe basierend auf derselben Formel, aber mit anderen Zahlen erhält. Die meisten Funktionen bietet der Fragentyp Berechnet. Der Fragentyp Einfach berechnet ist eine vereinfachte Version davon. Der Fragentyp Berechnete Multiple-Choice-Frage funktioniert wie der Fragentyp Multiple-Choice, es lassen sich bei den Antwortmöglichkeiten aber Formeln hinterlegen. Alle drei Fragetypen funktionieren mit demselben Synta. *Für Lernziele höherer Stufen muss der Fragetet entsprechend angepasst werden. So können z. B. Ursache-Wirkungsfragen konstruiert werden, die mit dem Fragentyp MC gelöst werden müssen. Es können auch Szenarien beschrieben werden und danach Fragen dazu gestellt werden Tipp: Um Lernziele höherer Taonomiestufen zu überprüfen, kann anstelle von was auch warum gefragt werden. Dazu können für Begründungen Freitetfelder offenstehen. Anstelle von der korrekten Antwort kann auch nach der besten Antwort gefragt werden 5. Aufbau von Multiple- Choice Fragen Fragen bestehen aus einem Stamm und aus Antworten. Die Antworten können entweder offen sein oder geschlossen. Anhand einer Multiple-Choice Frage wird die Fragenstruktur aufgezeigt. Links ist eine gute Struktur, rechts eine schlechte Struktur abgebildet. 4
Stamm: Der Stamm ist ausführlich und stets positiv formuliert. Die Idee sollte im Stamm klar zum Ausdruck kommen. Falls der Kontet nicht mit der Frage klar wird, sollte er vorgängig geklärt werden. Mögliche Antwortoptionen sollten nicht schon im Stamm vorformulieren werden. Die Frage überprüft ein Lernziel. Geben Sie einen Hinweis, wie Studierende die Aufgabe lösen müssen. Geben Sie einen Hinweis, wie viele Punkte die für die Aufgabe vergeben wird. Tipp: Arbeiten Sie mit Farben für Anweisungen, was Studierende tun müssen (z. B. blau) und der Punktzahl, die bei dieser Frage erreicht werden kann (rot). Beispiel dazu von der Uni Bremen. Beispiel für Prüfungsfragen verschiedener Taonomiestufen: http://uebung.eassessment.uni-bremen.de/webtrainer-assistent/demologin.asp?id=217 Inhalt: Überprüfen Sie ein spezifisches Lernziel und keinen trivialen Inhalt. Inhalte sollten unabhängig von anderen Items sein. Stellen Sie keine Fragen über Meinungen. Stellen Sie Studierenden nicht absichtlich Fallen. Tipp: Lassen Sie Inhalte durch weitere Fachperson kontrollieren (Vieraugenprinzip). Format: Stil: Platzieren Sie die Auswahlmöglichkeiten vertikal nicht horizontal Achten Sie darauf, dass für die Antwortmöglichkeiten nicht gescrollt werden muss, da mitunter nicht alle Antwortmöglichkeiten gesehen werden. Achten Sie auf korrekte Grammatik, Orthografie und Interpunktion. Verwenden Sie eine adäquate Sprache; benutzen Sie den gleichen Stil wie in der Vorlesung. Halten Sie sich kurz, so dass der Leseaufwand gering bleibt. Tipp: Lassen Sie Grammatik, Orthografie und Interpunktion durch eine weitere Person kontrollieren (Vieraugenprinzip). 6. Auswahl Nach Möglichkeit sollte nur eine Möglichkeit richtig resp. die beste Möglichkeit richtig sein. Die Auswahlmöglichkeiten sollten sich nicht aufeinander beziehen. Die Auswahlmöglichkeiten sind in etwa gleich lang. Die Auswahlmöglichkeiten sind gleichwertig. Vorgegebene Antworten sind positiv formuliert. Geben Sie keine Hinweise auf die richtige Antwort (immer, nie, ) 5
Verwenden Sie plausible Distraktoren (Falschantworten). Humorvolle Antworten sollten vermieden werden. Tipp: Gute Distraktoren lassen sich durch offene Fragetypen in formativen Tests finden. So erhalten Sie authentische Falschantworten von Studierenden. 7. Checkliste für geschlossene Fragentypen Studierende haben sich Regeln zu Eigen gemacht, mit denen sie bei geschlossenen Fragentypen die richtige Antwortalternative herausfinden können, ohne dass sie die richtige Antwort kennen. Um diesem Umstand vorzubeugen, erhalten Sie eine Checkliste, mit welcher Sie die gängigsten Studentenregeln beim Erraten von Antwortoptionen eliminieren können: Check absolute Wörter wie immer, nie kommen nicht vor. Keine grammatikalische Hinweise zwischen Frage und Antworten Fachbegriffe vermeiden oder gleichwertig verwenden Alle Antworten sind etwa gleich lang Begründung Keine Regel ohne Ausnahme. Kommen diese Wörter vor, ist die Antwort wahrscheinlich falsch. Fallfehler bei Antwortmöglichkeiten schliessen falsche Antworten bereits aus. Fehler finden sich häufiger in Distraktoren. Eine Antwort, die den Fachbegriff enthält oder am wissenschaftlichsten klingt, ist richtig. Die längste Antwort ist oft die richtige Antwort 8. Quellen o E-Learning Weiterbildung im Internet. Das Plato-Cookbook für internetbasiertes Lernen (Seufert, Back, Häusler, Berger 2001). o Guide to Writing Objective Tests (Scottish Qualifications Authority 2007). o Multiple-Choice - Was nun? Vortrag von Dr. Karsten Wolf 2010 (nicht mehr online verfügbar). o Multiple-Choice Item Writing Guidelines (Haladyna et al. 2002, auf der Originalseite nicht mehr online verfügbar) o Wegweiser für gute Multiple-Choice Fragen der ETH (ELBA E-Learning Baukasten ETH). 6