Leitfaden zur Merkmal-orientierten Testzusammenstellung

Transkript

1 Leitfaden zur Merkmal-orientierten Testzusammenstellung Erstellt im Rahmen des Projektes: ZUVEL - Zuverlässige und vergleichbare Leistungsermittlung mit E-Assessments Autor: Yvonne Winkelmann, 4. März 2014 Anmerkung: Voraussetzung für eine merkmal-orientierte Testzusammenstellung ist ein ausreichend großes Aufgabenset. Die Einzelaufgaben müssen im ONYX Editor mit entsprechenden Metadaten zur Merkmalbeschreibung (bspw. Klassifikationsschema) versehen werden. Der ONYX Aufgabenpool ermöglicht Ihnen eine einfache Verwaltung der Einzelaufgaben Im Projekt ZUVEL wurde ein sehr umfangreiches Metadatenset zur Klassifikation der Einzelaufgaben erarbeitet und im ONYX Editor umgesetzt. Auf diese Weise können neben den Standard-Metadaten, wie Titel, Beschreibung und Schlagworten, die Aufgaben hinsichtlich Lernziel, Fachbereich, Modul, Zielgruppe und Schwierigkeitsgrad. Diese Klassifikations-Metadaten ermöglichen Ihnen eine einfache Suche innerhalb vorhandener Aufgaben und bilden die Voraussetzung für die folgenden Arbeitsschritte.

2 Beispielklausur Mathematik Für diesen Leitfaden soll eine Mathematik-Klausur mit 9 Aufgaben aus 3 verschiedenen Themenbereichen ( Analysis, Geometrie und Stochastik ) zusammengestellt werden. Aus jedem Themenbereich soll jeweils eine Aufgabe mit dem Schwierigkeitsgrad leicht, mittel und schwer aus einem Set vergleichbarer Aufgaben ausgewählt werden. Themenbereich 1: Analysis Aufgabe 1: Leicht Aufgabe 2: Mittel Aufgabe 3: Schwer Themenbereich 2: Geometrie Aufgabe 1: Leicht Aufgabe 2: Mittel Aufgabe 3: Schwer Themenbereich 3: Stochastik Aufgabe 1: Leicht Aufgabe 2: Mittel Aufgabe 3: Schwer Im Folgenden werden die einzelnen Schritte zur Testzusammenstellung erläutert: STEP 1. Erstellen Sie einen neuen Test im ONYX Editor STEP 2. Strukturieren Sie Ihren Test mit Sektionen STEP 3. Fügen Sie die Aufgaben auf Basis der Metadatenbeschreibung zum Test hinzu... 4 STEP 4. Stellen Sie nun die zufällige Aufgabenauswahl ein.... 7

3 STEP 1. Erstellen Sie einen neuen Test im ONYX Editor. Klicken Sie dazu den Button Neuer Test in der Testressourcen-Ansicht des ONYX Editors. Vergeben Sie einen Titel für Ihren Test. Durch Bestätigung des Neuen Test erstellen -Dialoges mit dem OK -Button, wechseln Sie automatisch in die Test-Bearbeitenansicht. STEP 2. Strukturieren Sie Ihren Test mit Sektionen. Sie können einen Test in beliebig viele Sektionen untergliedern. Dies ermöglicht Ihnen Inhalte nach Themen oder dem Schwierigkeitsgrad voneinander abzugrenzen. Im mittleren Bereich der Test-Bearbeitenansicht wird Ihnen die Teststruktur angezeigt. Wählen Sie den obersten Test-Strukturbaustein und nun den Button + Sektion, um eine neue Sektion hinzuzufügen. Wählen Sie nun den neu hinzugefügten Sektions-Strukturbaustein Neue Sektion und vergeben Sie den gewünschten Titel. Auf diese Weise können Sie vorbereitend die leere Teststruktur aufbauen. Die Aufgaben zum jeweiligen Schwierigkeitsgrad sollen später zufällig gewählt werden. Dazu wird das Aufgabenset des Schwierigkeitsgrades innerhalb einer Sektion gespeichert, aus welcher dann zufällig eine Aufgabe ausgewählt wird. Als Grundlage werden pro Themenbereich jeweils 3 Untersektionen zum Schwierigkeitsgrad ( Leicht, Mittel, Schwer ) angelegt. Die Sektionsgliederung kann für den Test-Teilnehmer ausgeblendet werden. Für die angestrebte Mathematik- Beispielklausur, sollen die Sektionen zum Themenbereich für den Teilnehmer sichtbar sein, die Sektionen zum Schwierigkeitsgrad nicht.

4 Wählen Sie in der Teststruktur eine Sektion aus, um diese im rechten Bereich Sektion bearbeiten zu bearbeiten. Im Menü-Tab Optionen können Sie die Sichtbarkeit der Sektion einstellen. Aktivieren Sie die Option Sektion ausblenden, um die Sektionsgliederung für den Teilnehmer zu verbergen. Für die Mathematik-Beispielklausur wurden die Option Sektion ausblenden für alle Sektionen zum Schwierigkeitsgrad ( Leicht, Mittel, Schwer ) aktiviert. STEP 3. Fügen Sie die Aufgaben auf Basis der Metadatenbeschreibung zum Test hinzu. Im linken Bereich der Test-Bearbeitenansicht finden Sie den Schnellzugang Aufgabenpool mit der Möglichkeit gezielt Aufgaben auf Basis von Metadaten, welche beispielsweise Klassifikationsmerkmale enthalten, zu suchen. Für die Mathematik-Beispielklausur sollen zur Sektion Leicht innerhalb der Sektion Analysis alle Aufgaben mit den folgenden Metadaten hinzugefügt werden: Metadatum Fachbereich = Mathematik / Analysis Metadatum Schwierigkeitsgrad = Leicht Um nach ausgewählten Metadatenfeldern zu suchen, kann die erweiterte Suche genutzt werden. Klicken Sie hierfür in das Suchfeld. Es öffnet sich automatisch ein Kontextmenü mit dem Link Erweiterte Suche. Klicken Sie auf den Link, öffnet sich der Dialog Erweiterte Suche. Die erweiterte Suche enthält alle Metadatenfelder, kategorisiert nach den Metadatenkategorien Allgemein, Autor, Klassifikation und Technik. Die relevanten Metadaten für das Mathematik-Klausurbeispiel finden sich in der Kategorie Klassifikation.

5 Nach Bestätigung des Dialogs mit dem Button Suchen, werden im linken Menü alle gefunden Testaufgaben angezeigt.

6 Anmerkung: Mittels MouseOver über den Aufgabentitel werden Ihnen weitere Informationen zur Aufgabe angezeigt. Zudem haben Sie die Möglichkeit sich eine Vorschau der Einzelaufgabe anzeigen zu lassen, bevor Sie diese Ihrem Test hinzufügen. Dies erleichtert Ihnen insbesondere bei großen Aufgabenpools die Auswahl. Die Testaufgaben können dem Test einfach als Kopie hinzugefügt werden. Für unser Beispiel sollen alle Testaufgaben gewählt werden. Wählen Sie hierfür einfach die Funktion Alle auswählen unterhalb der Suchergebnisse. Möchten Sie einzelne Aufgaben auswählen, werden die Inhalte durch markieren der Checkbox ausgewählt. Fügen Sie nun die Aufgaben der aktuell, gewählten Sektion Leicht im Themenbereich Analysis mit dem Button Elemente hinzufügen der hinzu. Dies kann für alle anderen Schwierigkeitsgrade und Themenbereiche in selber Form durchgeführt werden.

7 STEP 4. Stellen Sie nun die zufällige Aufgabenauswahl ein. Dem Test-Teilnehmer soll pro Schwierigkeitsgrad innerhalb eines Themenbereiches nur eine Aufgabe des Aufgabensets angezeigt werden. Hierfür muss den Sektionen zum Schwierigkeitsgrad noch eine zufällige Aufgabenauswahl hinzugefügt werden. Wählen Sie in der Teststruktur eine Sektion zum Schwierigkeitsgrad ( Leicht, Mittel, Schwer ) aus, um diese im rechten Bereich Sektion bearbeiten zu bearbeiten. Im Menü-Tab Optionen können Sie die zufällige Aufgabenauswahl einstellen. Aktivieren Sie die Option Zufällige Auswahl, indem Sie die Anzahl der auszuwählenden Aufgaben eintragen. Für die Mathematik-Beispielklausur soll genau eine Aufgabe pro Schwierigkeitsgrad gewählt werden. In der Testdurchführung wird nun für jeden Teilnehmer eine andere Aufgabenzusammenstellung erstellt. Durch die gezielte Auswahl von Aufgaben auf Basis der Klassifikations-Merkmale soll dennoch eine vergleichbare Klausur entstehen. Anmerkung: Bei einer generischen Testzusammenstellung mit zufälliger Aufgabenauswahl ist es gegebenenfalls wünschenswert die Aufgabentitel für die Testdurchführung auszublenden. Deaktivieren Sie dafür in der Test-Konfiguration die Option Aufgabentitel anzeigen, wenn Sie Ihren Test als Kursbaustein in einen OPAL-Kurs eingebunden haben.