Online Wissensüberprüfung mit GIA (Graphisch- Interaktive Assessments)

Transkript

1 Online Wissensüberprüfung mit GIA (Graphisch- Interaktive Assessments) ein Werkzeug zur effizienten Gestaltung von Online-Assessments i3mainz

2 GIA Ein Werkzeug für Online Wissensüberprüfung Onlinetests GIA Ergebnisse

3 Motivation : Onlinetests und -prüfungen Aktuelle Lösungen Multiple-Choice Fragen Entwicklung in den vergangenen Jahren: mehr graphisch basierte Fragen Hot-Spot, Drag & Drop, Plug-In benötigt (Shockwave, Flash) Fragebögen haben eine feste Struktur Erstellung ist zeitaufwendig und kostenintensiv

4 GIA (Graphisch-Interaktive Assessments) Ziel für GIA: Entwicklung eines Werkzeugs mit folgenden Merkmalen GIA Graphisch basierte Tests Einfache Test-Erstellung Anzeige ohne Plug-Ins Erstellung Test Korrektur Automatische Auswertung modularer Aufbau Erweiterbarkeit

5 GIA: Beispiel einer graphischen Frage

6 GIA Ansatz: Erweiterbarkeit durch Templates Template-Struktur entstanden durch: Fragenanalyse Generalisierung Aufteilung in Komponenten Basis der Entwicklung von GIA Interaktion Graphik Erstellung Darstellung Auswertung

7 Komponenten der Templates Interaktion Graphik Erstellung Darstellung Auswertung Interaktion Verwaltung und Auswertung der Events des Lernenden und des oder Autors z.b. Kontrolle des Verhaltens des Erstellungs- und Auswertemoduls Graphik Vektor- und Rastergraphiken, welche den graphischen Teil der Frage betreffen. Erstellung Formulare, welche während des Erstellungsvorganges benötigt werden zur Eingabe der für die jeweiligen Frage benötigten Parameter Darstellung Definition des grundsätzlichen Layouts der Frage beschrieben Auswertung Routinen zur Auswertung einer graphischen Frage

8 Technische Umsetzung des Komponentenmodells PHP and HTML Verwendung für die Erstellung, Darstellung, Auswertung und Verwaltung des Systems. Erstellung Darstellung Auswertug. Javascript Interaktion mit der Graphik Interaktion mit der Graphik Überprüfung der Eingaben SVG (Scalable Vector Graphics) Graphische Komponenten Interaktion Graphik

9 GIA: Erstellung von neuen Tests (1) GIA-Modul zur Erstellung von Tests Vordefinierte Fragetemplates area (Legen eines Polygons) image (Filterung eines Rasterbildes) graph (Mathematischer Graph)... Internetbasierte Fragenerstellung Unterstützung bei der Erstellung eines Fragebogens Personifizierte Prüfungen

10 GIA: Erstellung einer Area -Frage

11 GIA: Erstellung einer Rasterbild -Frage

12 GIA: Erstellung einer Point -Frage

13 GIA Erstellung: Hinzufügen der Metadaten Metadaten zur Organisation Strukturierung der Fragen zur besseren Auffindbarkeit In GIA: Aufteilung in Kapitel und Unterkapitel

14 GIA: Präsentationsmodul (2) Präsentationsmodul Anforderungen an GIA: Ohne Plug-In lauffähig Unterstützung von verschiedenen Grafikformaten Raster Vektor Standardisierte Technologien XML-basiert Web-basierter Zugang Realisierung in GIA: Scalable Vector Graphics (SVG) 2D Vektorgraphiken fürs Internet Funktionalität: Textbasierte Beschreibung Vektorgraphiken Nahtloses Zoom Online-Zeichnen möglich

15 GIA: Beispielfragen im Präsentationsmodul

16 GIA: Beispielfragen im Präsentationsmodul

17 GIA (3) Evaluation module Zeigt dem Korrektor die gegebenen und vorgegebenen Antworten. Ermöglicht eine individuelle Änderung der vorgeschlagenen Punktwerte. Alternativ: vollautomatische Evaluierung

18 GIA: Evaluation module Evaluation of a graphical question ( buffer ) Auswertung mit Algorithmen aus der Computergraphik und Bildverarbeitung, Separate Algorithmen für jeden Fragetyp Legend Point of intersection Buffer of the author Answer of the learner BoundingBox author BoundingBox learner

19

20 GIA: Auswertemodul für graphische Fragen

21 Inhaltsübersicht Onlinetests GIA Ergebnisse

22 Ergebnisse Funktionsfähige Plattform Rel. kurze Autorierungszeiten Automatische Überprüfung Benutzer Profile werden gespeichert Einsatz in zwei Bereichen FH Mainz: Diplom-, Bachelor- und Masterstudiengang Projektpartner (Continuing Medical Education)

23 Evaluierung: Erprobung der Anwendbarkeit bei allen Anwendergruppen Lernender Erstellung von Fragen (Professor) Neue Templates (Mitarbeiter) Wiederverwendbarkeit der Plattform GIA-Plattform

24 Evaluierung Einsatz an der Fachhochschule Mainz Usability Tests mit 50 Studierenden der Geoinformatik und Vermessung mit dem Ziel: Testen der Funktionalität des Prototypen Verwendbarkeit der Fragetemplates Generelle Akzeptanz Ausgewählter Einsatz in Bachelor/Master Tests mit verschiedenen Autoren (Professoren und Mitarbeitern) mit den folgenden Zielen: Erprobung der Anwenderfreundlichkeit Vergleich des Zeitaufwandes.

25 Ergebnis des Usability-Tests Vielleicht Vielleicht Nein Vielleicht Ja Nein NeinJa Ja Ja Nein Vielleicht GIA zur Wissensüberprüfung? 76 % 2 % 22 % GIA als Klausurersatz? 30 % 34 % 36 % Graph. Fragen vorteilhafter? 89 % 0 % 11 %

26 Evaluierung: Erstellung neuer Templates Beispiel Variantenkonstruktion Erstellung Interaktion Darstellung Graphik Auswertung Interaktion Graphik Erstellung Darstellung Auswertung

27 Evaluierung: Erstellung neuer Templates Beispiel Variantenkonstruktion Erstellung Interaktion Darstellung Graphik Auswertung

28 Evaluierung: Widerverwendbarkeit der GIA Plattform Einsatz im medizinischen Umfeld

29 Zusammenfassung der Ergebnisse Zusammenfassung Flexible und schlanke Architektur Mehrere Templates Funktionierender Prototyp Weitere Einsatzmöglichkeiten Problem based Learning Umfragen Feedback nach einem Semester

30 Offene Punkte und Ausblick Definition der graphischen Fragen ist nicht trivial Problem ist die Vorhersehbarkeit aller korrekten und nicht korrekten Antworten Spezielle versus generelle Templates Spezielle Templates erlauben schnelles Authoring, sind jedoch nur eingeschränkt einsetzbar Generelle Templates sind universell Einsetzbar, in der Bedienung und Erstellung sehr komplex

31 Ausblick: Nächste Schritte Weiterer Einsatz in der Vorlesung der FR Geoinformatik und Vermessung Weitere Verbreitung z.b. Firmen und andere Hochschulen Mobiles Lernen

32 Fragen? Leonhard Dietze Institut i3mainz Fachhochschule Mainz

33 Projekt GIA: Organisatorisches Projekt: Online Wissensüberprüfungen Laufzeit: 18 Monate ( ) Budget: 100T Förderung durch das BMBF (Bundesministerium für Bildung und Forschung) Personelle Besetzung Ein wissenschaftlicher Mitarbeiter: Leonhard Dietze Studentische Mitarbeiter Thomas Albrecht Markus Bernhard Martin Kaiser Henrik Langer Rainer Schütze Michael Zlaugotnis