Lernen mit Tests, Tests für das Lernen: E-Assessments ausschöpfen. Jörn Loviscach

Transkript

1 Lernen mit Tests, Tests für das Lernen: E-Assessments ausschöpfen 1 Jörn Loviscach

2 Was ist der Flächeninhalt der Oberfläche einer Kugel mit Radius r? o π r² o 2 π r o 4 π r² o 4 /3 π r³ 2

3 Sind E-Assessments schwach? 3 Traditionelle Prüfungen: Klausur: Jedes Mal identische Aufgabentypen? Mündliche Prüfung: Kandidatin davor war top? Präsentation: Ein Erklärvideo nachinszeniert?

4 Die wahren Herausforderungen von E-Assessments liegen woanders! 4

5 Wozu prüfen? Tiefe und Authentizität Produktion Auswertung Identität Learning Analytics und Adaptivität Motivation und Lernen Wo wollen wir hin? 5

6 Wozu prüfen? Tiefe und Authentizität Produktion Auswertung Identität Learning Analytics und Adaptivität Motivation und Lernen Wo wollen wir hin? 6

7 Wozu prüfen? 7 Beratung/Diagnostik Lernunterstützung: formativ Zertifikat: summativ

8 Wozu prüfen? Tiefe und Authentizität Produktion Auswertung Identität Learning Analytics und Adaptivität Motivation und Lernen Wo wollen wir hin? 8

9 Was lernt man? 9 Test Wiseness versus Learning Outcomes : Validität der Prüfung Gilt aber schon für viele Abiturklausuren? vgl. Constructive Alignment : alles an Lernzielen ausrichten

10 Tiefe 10

11 Schnell zu MC mit mehr Tiefe 11 Die Antworten eine nach der anderen abfragen Foster/Miller. A new format for multiple-choice testing [ ]. Psych Sc Quarterly, Was ist der Flächeninhalt der Oberfläche einer Kugel mit Radius r? o π r² o 2 π r o 4 π r² o 4 /3 π r³

12 Schnell zu MC mit mehr Tiefe 12 Fragen auf mehreren Ebenen stellen: Two-Tier Multiple Choice Test Treagust. Development and use of diagnostic tests to evaluate students misconceptions in science. Int J Sci Edu, 1988.

13 Andere einfache Maßnahmen 13 Lückentexte beim Sprachenlernen Freitexteingaben in Mathematik usw. (automatische Umformung?) MC mit mehreren richtigen Antworten Schulze et al. Einfluss des Fragenformates in Multiple-Choice-Prüfungen auf die Antwortwahrscheinlichkeit [ ]. GMS Z Med Ausbild

14 Immer nur Tiefe? 14 Testwiseness vermeiden: Immer! Aber: Alles Komplexe verlangt, das Handwerkszeug zu beherrschen. Fluch des Konstruktivismus: Üben ist verpönt?

15 Authentizität 15

16 Authentizität 16

17 Authentizität 17 Video-Fallbeispiele Planspiele Virtual Reality

18 Authentizität Cognitive Overload 18 Didaktisierung schadet Selbstständigkeit vermindert Transfer nötig Didaktisierung nutzt Muster statt Einzelfälle Komplexitätsreduktion, weniger Cognitive Overload Dosierte Authentizität? z.b. Worked Examples

19 Wozu prüfen? Tiefe und Authentizität Produktion Auswertung Identität Learning Analytics und Adaptivität Motivation und Lernen Wo wollen wir hin? 19

20 Technischer Produktionsaufwand 20

21 So simpel wie möglich 21 Audience Response System: Folie mit Fragen LearningApps.org: Zusammenklicken capira.io: Interaktion aus Seminar in Video

22 Bibliotheken 22 Aufgaben weltweit sammeln: LON-CAPA In Sammlungen passende Aufgaben finden? als Lehrende(r) als Student(in) Anbindung an örtliches LMS? (Nötig?)

23 Simulationen & Co. 23 Geogebra: vielleicht noch im Kleinen produzierbar VR, Planspiele, : ohne Kooperation kaum möglich Anbindung an örtliches LMS? (Nötig?)

24 Inhaltlicher Produktionsaufwand 24

25 Erstellung summativer MC-Aufgaben 25 Korrektheit, Validität, Niveau, Rechtsfragen Kreuzen in der Medizin: Institut für medizinische und pharmazeutische Prüfungsfragen Großer öffentlich zugänglicher Fragenpool?

26 Erstellung formativer MC-Aufgaben 26 Übliche Fehler/Missverständnisse sammeln Aufgaben so stellen, dass Fehler erkennbar und unterscheidbar Concept Tests : Aufgaben, die Missverständnisse offenbaren (Aber nicht zum Pauken!)

27 Wozu prüfen? Tiefe und Authentizität Produktion Auswertung Identität Learning Analytics und Adaptivität Motivation und Lernen Wo wollen wir hin? 27

28 Übliche Auswertung 28 Automatik MC (elektronisch oder Scannerklausur) eingeschränkter Freitext Hilfskräfte (Offshore? Crowdworker?) Freitext Skizzen Programme

29 Neue Ideen zur Auswertung 29 Automatisch geprüfte Programmieraufgaben (aber: Rechnungen mit Gleitkommazahlen?) Gegenseitig (anonym?) bewerten: Peer Assessment Jeder kann bewerten: öffentliches Projekt-Portfolio Texte auswerten mittels Maschinenlernen?

30 Daten oder Informationen? 30 Objektivität Validität, Reliabilität Flache Rückmeldung an Lehrende und Lernende Formale Probleme? Alternative Lösungen? Unübliche Missverständnisse?

31 Wozu prüfen? Tiefe und Authentizität Produktion Auswertung Identität Learning Analytics und Adaptivität Motivation und Lernen Wo wollen wir hin? 31

32 Identitätskontrolle 32 Ausweiskontrolle? (Klassisch nicht immer gemacht?) Ausweis vor Webcam halten? Hochschul-Log-in Facebook- oder LinkedIn-Seite als schwer fälschbare Identität?

33 Selbständigkeit der Prüfungsleistung 33 E-Klausursaal BYOD, SEB Zu Hause: Weitwinkel-Aufzeichnung, wird (?) später im Zeitraffer begutachtet (offshore?) Plagiatsprüfung?

34 Wettrüsten 34 Aufgaben in Foren posten Aufgaben als Auftragsarbeit/Ghostwriting (offshore) CAMEO : In MOOCs zweimal anmelden Northcut et al.

35 Wozu prüfen? Tiefe und Authentizität Produktion Auswertung Identität Learning Analytics und Adaptivität Motivation und Lernen Wo wollen wir hin? 35

36 Learning Analytics 36 Ideen: Probleme im Lehr-/Lernmaterial finden Navi fürs Studium Frühwarnsystem Aber vielleicht kontraproduktiv? (vgl. Massenscreeings; Kennzahlen)

37 Adaptivität 37 Plausibel: Nutzermodell lernen Schwierig: automatisch Lernpfade wählen; zu viele individuelle Probleme x² = 23 ist eine Differentialgleichung. Die vierte Potenz jeder Matrix ist die Einheitsmatrix.

38 Adaptivität 38 Sehr schwer: automatisch passende Fragen/ Erklärungen generieren Lernsequenz zur Punkt-Richtungs-Form how-to-make-course-adaptive-without.html

39 Wozu prüfen? Tiefe und Authentizität Produktion Auswertung Identität Learning Analytics und Adaptivität Motivation und Lernen Wo wollen wir hin? 39

40 Wer macht formative Tests mit? 40 Medizin: bulimisch kreuzen üben Wie ich MOOCs belege : Videos auf 150% Tempo, alle Quizze überspringen Wenn Quizze optional: Prokrastination, Matthäus-Effekt

41 Test helfen, aber 41 Testing Effect Roediger & Karpicke. Test-Enhanced Learning [ ]. Psychol Sci, Tests kosten Zeit, können frustrieren Lernillusionen: Lieber nochmal lesen oder Videos gucken statt zu testen.

42 Motivation 42 Alte Klausuren werden intensiv studiert (und faktisch auswendig gelernt). Spaß daran, etwas zu können Kein Spaß an Dauerfrust Gamification, Spiele: Etwas für alle? Langfristige Folgen?

43 Wozu prüfen? Tiefe und Authentizität Produktion Auswertung Identität Learning Analytics und Adaptivität Motivation und Lernen Wo wollen wir hin? 43

44 Das Dieselgate der Bildung 44 Versuch, Prüfungsergebnisse zu optimieren Summative Prüfung: nach wenigen Monaten vergessen Vaccination Theory of Education Postman & Weingartner. Teaching as a subversive activity

45 Geht es um den Stoff? 45 Elektronische Prüfungen alle zwei Jahre?

46 Geht es um etwas anderes? 46 Higher-Order Thinking Trainability? Durchhaltevermögen? Umgang mit Cognitive Overload?? Und was heißt das für E-Assessments?

47 47 Kurs über günstige MOOC-Produktion, ab 17. Mai: moocs4all.eu