Online Wissensüberprüfung mit GIA (Graphisch- Interaktive Assessments) ein Werkzeug zur effizienten Gestaltung von Online-Assessments i3mainz
GIA Ein Werkzeug für Online Wissensüberprüfung Onlinetests GIA Ergebnisse
Motivation : Onlinetests und -prüfungen Aktuelle Lösungen Multiple-Choice Fragen Entwicklung in den vergangenen Jahren: mehr graphisch basierte Fragen Hot-Spot, Drag & Drop, Plug-In benötigt (Shockwave, Flash) Fragebögen haben eine feste Struktur Erstellung ist zeitaufwendig und kostenintensiv
GIA (Graphisch-Interaktive Assessments) Ziel für GIA: Entwicklung eines Werkzeugs mit folgenden Merkmalen GIA Graphisch basierte Tests Einfache Test-Erstellung Anzeige ohne Plug-Ins Erstellung Test Korrektur Automatische Auswertung modularer Aufbau Erweiterbarkeit
GIA: Beispiel einer graphischen Frage
GIA Ansatz: Erweiterbarkeit durch Templates Template-Struktur entstanden durch: Fragenanalyse Generalisierung Aufteilung in Komponenten Basis der Entwicklung von GIA Interaktion Graphik Erstellung Darstellung Auswertung
Komponenten der Templates Interaktion Graphik Erstellung Darstellung Auswertung Interaktion Verwaltung und Auswertung der Events des Lernenden und des oder Autors z.b. Kontrolle des Verhaltens des Erstellungs- und Auswertemoduls Graphik Vektor- und Rastergraphiken, welche den graphischen Teil der Frage betreffen. Erstellung Formulare, welche während des Erstellungsvorganges benötigt werden zur Eingabe der für die jeweiligen Frage benötigten Parameter Darstellung Definition des grundsätzlichen Layouts der Frage beschrieben Auswertung Routinen zur Auswertung einer graphischen Frage
Technische Umsetzung des Komponentenmodells PHP and HTML Verwendung für die Erstellung, Darstellung, Auswertung und Verwaltung des Systems. Erstellung Darstellung Auswertug. Javascript Interaktion mit der Graphik Interaktion mit der Graphik Überprüfung der Eingaben SVG (Scalable Vector Graphics) Graphische Komponenten Interaktion Graphik
GIA: Erstellung von neuen Tests (1) GIA-Modul zur Erstellung von Tests Vordefinierte Fragetemplates area (Legen eines Polygons) image (Filterung eines Rasterbildes) graph (Mathematischer Graph)... Internetbasierte Fragenerstellung Unterstützung bei der Erstellung eines Fragebogens Personifizierte Prüfungen
GIA: Erstellung einer Area -Frage
GIA: Erstellung einer Rasterbild -Frage
GIA: Erstellung einer Point -Frage
GIA Erstellung: Hinzufügen der Metadaten Metadaten zur Organisation Strukturierung der Fragen zur besseren Auffindbarkeit In GIA: Aufteilung in Kapitel und Unterkapitel
GIA: Präsentationsmodul (2) Präsentationsmodul Anforderungen an GIA: Ohne Plug-In lauffähig Unterstützung von verschiedenen Grafikformaten Raster Vektor Standardisierte Technologien XML-basiert Web-basierter Zugang Realisierung in GIA: Scalable Vector Graphics (SVG) 2D Vektorgraphiken fürs Internet Funktionalität: Textbasierte Beschreibung Vektorgraphiken Nahtloses Zoom Online-Zeichnen möglich
GIA: Beispielfragen im Präsentationsmodul
GIA: Beispielfragen im Präsentationsmodul
GIA (3) Evaluation module Zeigt dem Korrektor die gegebenen und vorgegebenen Antworten. Ermöglicht eine individuelle Änderung der vorgeschlagenen Punktwerte. Alternativ: vollautomatische Evaluierung
GIA: Evaluation module Evaluation of a graphical question ( buffer ) Auswertung mit Algorithmen aus der Computergraphik und Bildverarbeitung, Separate Algorithmen für jeden Fragetyp Legend Point of intersection Buffer of the author Answer of the learner BoundingBox author BoundingBox learner
GIA: Auswertemodul für graphische Fragen
Inhaltsübersicht Onlinetests GIA Ergebnisse
Ergebnisse Funktionsfähige Plattform Rel. kurze Autorierungszeiten Automatische Überprüfung Benutzer Profile werden gespeichert Einsatz in zwei Bereichen FH Mainz: Diplom-, Bachelor- und Masterstudiengang Projektpartner (Continuing Medical Education)
Evaluierung: Erprobung der Anwendbarkeit bei allen Anwendergruppen Lernender Erstellung von Fragen (Professor) Neue Templates (Mitarbeiter) Wiederverwendbarkeit der Plattform GIA-Plattform
Evaluierung Einsatz an der Fachhochschule Mainz Usability Tests mit 50 Studierenden der Geoinformatik und Vermessung mit dem Ziel: Testen der Funktionalität des Prototypen Verwendbarkeit der Fragetemplates Generelle Akzeptanz Ausgewählter Einsatz in Bachelor/Master Tests mit verschiedenen Autoren (Professoren und Mitarbeitern) mit den folgenden Zielen: Erprobung der Anwenderfreundlichkeit Vergleich des Zeitaufwandes.
Ergebnis des Usability-Tests Vielleicht Vielleicht Nein Vielleicht Ja Nein NeinJa Ja Ja Nein Vielleicht GIA zur Wissensüberprüfung? 76 % 2 % 22 % GIA als Klausurersatz? 30 % 34 % 36 % Graph. Fragen vorteilhafter? 89 % 0 % 11 %
Evaluierung: Erstellung neuer Templates Beispiel Variantenkonstruktion Erstellung Interaktion Darstellung Graphik Auswertung Interaktion Graphik Erstellung Darstellung Auswertung
Evaluierung: Erstellung neuer Templates Beispiel Variantenkonstruktion Erstellung Interaktion Darstellung Graphik Auswertung
Evaluierung: Widerverwendbarkeit der GIA Plattform Einsatz im medizinischen Umfeld
Zusammenfassung der Ergebnisse Zusammenfassung Flexible und schlanke Architektur Mehrere Templates Funktionierender Prototyp Weitere Einsatzmöglichkeiten Problem based Learning Umfragen Feedback nach einem Semester
Offene Punkte und Ausblick Definition der graphischen Fragen ist nicht trivial Problem ist die Vorhersehbarkeit aller korrekten und nicht korrekten Antworten Spezielle versus generelle Templates Spezielle Templates erlauben schnelles Authoring, sind jedoch nur eingeschränkt einsetzbar Generelle Templates sind universell Einsetzbar, in der Bedienung und Erstellung sehr komplex
Ausblick: Nächste Schritte Weiterer Einsatz in der Vorlesung der FR Geoinformatik und Vermessung Weitere Verbreitung z.b. Firmen und andere Hochschulen Mobiles Lernen
Fragen? Leonhard Dietze Institut i3mainz Fachhochschule Mainz http://gia.fh-mainz.de {boehm,dietze}@geoinform.fh-mainz.de
Projekt GIA: Organisatorisches Projekt: Online Wissensüberprüfungen Laufzeit: 18 Monate (01.02.2003-31.07.2004) Budget: 100T Förderung durch das BMBF (Bundesministerium für Bildung und Forschung) Personelle Besetzung Ein wissenschaftlicher Mitarbeiter: Leonhard Dietze Studentische Mitarbeiter Thomas Albrecht Markus Bernhard Martin Kaiser Henrik Langer Rainer Schütze Michael Zlaugotnis