Testtheoretische Methoden zur automatischen Leistungsdifferenzierung im E-Learning am Beispiel von Orthografietrainer.net

Transkript

1 Testtheoretische Methoden zur automatischen Leistungsdifferenzierung im E-Learning am Beispiel von Orthografietrainer.net Dr. Hans G. Müller Universität Potsdam

2 Leistungsdifferenzierung im Unterricht Durch Entwicklung und Einsatz von Fördermaterialien, binnendifferenzierte Unterrichtsgestaltung [...] werden Lernsituationen individualisiert und (leistungs-)differenziert gestaltet. (KMK-Beschluss zur Förderung leistungsschwächerer Schülerinnen und Schüler vom ) Probleme: hoher Vorbereitungsaufwand hohe diagnostische Kompetenz des Lehrenden

3 Voraussetzungen für automatische Leistungsdifferenzierung im E-Learning In der Regel bereits vorhanden: Heterogener Aufgabenpool Heterogener Benutzerpool Automatische Korrekturmöglichkeiten Zusätzlich zu erarbeiten: zentrale Datenbank zur Erfassung der Lösungsversuche Statistisches Modell zur Auswertung

4 Grundgedanken der IRT

5 Grundgedanken der IRT

6 Grundgedanken der IRT

7 Ablauf der Kompetenztests auf Orthografietrainer.net Vortest (Kompetenz prüfen, Material bereitstellen) Zwischentest (Trainingserfolg prüfen, Material bereitstellen) Nachtest (Trainingserfolg prüfen) Übungsphase (Bearbeitung des Trainingsmaterials) Übungsphase (Bearbeitung des Trainingsmaterials)

8 Anforderungen an ein automatisch leistungsdifferenzierendes E-Learning-System Qualitative Leistungsmessung = Feststellung der Kompetenzart Welche Sorte von Aufgaben beherrsche ich bereits und welche sollte ich noch üben? Quantitative Leistungsmessung = Feststellung der Kompetenzhöhe Welchen Schwierigkeitsgrad beherrsche ich bereits und wie kann ich ihn steigern?

9 Qualitative Leistungsdifferenzierung Fragen: Welche Aufgabenarten beherrscht eine Person und welche nicht? Welche Aufgabenarten sollte eine Person bearbeiten? Probleme: Wie viele Kompetenzen müssen angenommen werden? Welches fachdidaktische Modell soll zugrunde-gelegt werden?

10 Qualitative Leistungsdifferenzierung

11 Qualitative Leistungsdifferenzierung

12 Qualitative Leistungsdifferenzierung

13 Qualitative Leistungsdifferenzierung

14 Qualitative Leistungsdifferenzierung

15 Quantitative Leistungsdifferenzierung Fragen: Wie hoch ist die Kompetenz einer Person? Ist die Erledigung der Aufgabe X bereits erfolgversprechend? Probleme: Wie lassen sich verlässliche Messwerte der Kompetenz gewinnen? Wie lässt sich die erreichte Kompetenz steigern?

16 Quantitative Leistungsdifferenzierung perfekt rasch-skalierbare Daten schwerlich rasch-skalierbare Daten

17 Quantitative Leistungsdifferenzierung Die ICC (item characteristic curve) als Grundlage der IRT

18 Quantitative Leistungsdifferenzierung

19 Ablauf der Erstellung des individuellen Trainingsplans auf Orthografietrainer.net Auswahl der Testaufgaben (quantitativ) Auswahl der Übungen (qualitativ) Aufg1. -> Üb. 3 Aufg2. -> Üb. 7 Aufg3. -> Üb. 13 Aufg4. -> Üb. 1 Aufg5. -> Üb. 12 Aufg6. -> Üb. 9 Selektion nach Erfolgserwartung (quantitativ) Üb. 3 Üb. 13 Üb. 1 Üb. 9 DB

20 Chancen für die Fachdidaktik Untersuchung der Gültigkeit von Fehlertypologien Modellgeltungstests machen Vergleich der Modellgüte verschiedener Modelle möglich Das erlaubt auch Kritik der qualitativen Methoden der Leistungsdifferenzierung Optimierung der Diagnoseinstrumente

21 Chancen für die Fachdidaktik Untersuchung der Struktur fachspezifischer Kompetenzen Kompetenz sagt noch nichts über verwendete kognitive Strategien aus Aufgabe: Voraussage der Aufgabenschwierigkeit aus Eigenschaften der Testaufgaben Rückschlüsse auf mentale Strukturen

22 Chancen für die Fachdidaktik Ermittlung verschiedener Lernertypen IRT kann Personengruppen separieren, für die gleiche Aufgaben unterschiedlich schwierig sind Mögliche Rückschlüsse auf unterschiedliche Lernstrategien Anpassung von Lernweg auf Lernertyp

23 Chancen für die Fachdidaktik Optimierung der Lernparameter Festlegung vieler Grenzwerte beruht auf Plausibilitätsargumenten und könnte der Optimierung bedürfen Bsp. Anforderungsniveau: Wo liegt die beste Steigerungshöhe beim Lernen? Feinjustierung des E-Learning-Systems

24 Besten Dank Hans G. Müller Universität Potsdam