E- Assessment NRW. Erstellt: ILIAS Summative Assessments

Transkript

1 ILIAS Summative Assessments Das Learning Management System ILIAS bietet neben vielen weiteren Funktionen auch die Möglichkeit E- Assessments zu erstellen und durchzuführen. Im summativen Bereich, also den zum Abschluss einer Lehrveranstaltung stattfindenden Assessments (Klausuren), wird ILIAS bereits seit mehreren Jahren an den Universitäten Köln, Düsseldorf und Bonn in unterschiedlichen Fachbereichen eingesetzt. Hierbei werden mit dem System an jeder der drei Universitäten pro Jahr mehrere Tausend Prüfungsfälle durchgeführt. Vorteile: Open Source: Keine Lizenzkosten Open Source: Eigene Anpassungen möglich Große Entwicklercommunity Große Community im Bereich E- Assessments Nachteile: Open Source: Kein direkter Support vom Hersteller 1

2 INHALTSVERZEICHNIS 1 ALLGEMEINE INFORMATIONEN ZUM GOOD PRACTICE BEISPIEL DIDAKTISCHE EINSATZSZENARIEN UND EINSATZMÖGLICHKEITEN EINSATZGEBIETE DER SOFTWARE WELCHE EINSATZMÖGLICHKEITEN GIBT ES? MÖGLICHE FRAGETYPEN ERFAHRUNGEN MIT DER SOFTWARE UND VERBREITUNG DISZIPLINÄRE EIGNUNG KONKRETER EINSATZ DER SOFTWARE ANSPRECHPARTNER AN DEN DURCHFÜHRENDEN UNIVERSITÄTEN TECHNIK SOFTWARE- UND HARDWAREEINSATZ SYSTEMANFORDERUNGEN AUF CLIENT- UND SERVER- SEITE UNTERSTÜTZE STANDARDS UNTERSTÜTZTE SCHNITTSTELLEN UNTERSTÜTZUNG/ SUPPORT VORHANDENE SUPPORTSTRUKTUREN (SOFTWARE- /HARDWAREPROVIDER) SPECIAL INTEREST GROUPS, COMMUNITIES USW. VON NUTZERN SCHULUNGEN AUF TECHNISCHER UND DIDAKTISCHER EBENE AUFWAND KOSTEN ZEIT ANZAHL DER TEILNEHMER MÖGLICHE PROBLEMSTELLUNGEN TECHNISCH DIDAKTISCH

3 8.3 RECHTLICH SONSTIGES ALTERNATIVEN UND VERGLEICHBARE SYSTEME IN AUSWAHL BEWERTUNG UND EVALUATION EVALUATIONEN WEITERE EINSATZSZENARIEN DER SOFTWARE ZUR EVALUATION

4 Good Practice Summative Assessments mit ILIAS 1 Allgemeine Informationen zum Good Practice Beispiel Das Learning Management System (LMS) ILIAS wurde in den Jahren 1997 und 1998 an der Universität zu Köln entwickelt und steht seit dem Jahr 2000 unter der GPL (GNU General Public Licence) als Open Source Software zur Verfügung. Seit Version 3 aus dem Jahr 2004 ist ILIAS XML- basiert hat ILIAS endgültig den Projektstatus verlassen. Seitdem übernimmt der Verein ILIAS open source e- Learning e.v. die Koordination der Weiterentwicklung der Software. ILIAS wird mittlerweile auf mehreren Tausend Installationen weltweit zur Verfügung gestellt und durch eine aktive Community ständig weiterentwickelt. Als LMS bietet ILIAS mehr als die Funktionen die für E- Assessments notwendig sind. Und auch im Bereich der E- Assessments bietet ILIAS mehr als die meisten anderen LMS und Software für E- Assessments. Mit Aufgaben, Tests, Umfragen, Portfolios und dem Plug- in LiveVoting verfügt ILIAS über alle Funktionalitäten die derzeit bei diagnostischen, formativen und summativen Assessments zum Einsatz kommen. Dies ist insofern eine Besonderheit, da oft an einer Institution mehrere Softwares eingesetzt werden um diese unterschiedlichen Anwendungsszenarien durchführen zu können. Für die Universitäten als Provider bietet ILIAS den Vorteil, dass nur eine Software installiert gepflegt und administriert werden muss. Für die Nutzer 1 bietet sich der Vorteil, dass diese sich nicht in unterschiedliche Systeme einarbeiten müssen. Im Bereich der summativen Assessments wird ILIAS seit mehreren Jahren an den Universitäten Köln, Düsseldorf und Bonn in unterschiedlichen Fachbereichen für Prüfungen eingesetzt. Hierbei werden mit dem System an jeder der drei Universitäten pro Jahr mehrere Tausend Prüfungsfälle durchgeführt. 2 Didaktische Einsatzszenarien und Einsatzmöglichkeiten 2.1 Einsatzgebiete der Software ILIAS ist für unterschiedlichste didaktische Szenarien geeignet. Es kann vor, begleitend und nach einer Lehrveranstaltung eingesetzt werden. Hier soll es in seiner Funktion als Prüfungssoftware betrachtet werden. Mit seiner Hilfe können benotete Massenprüfungen unter Aufsicht durchgeführt werden. Somit steht bei diesem Szenario die abschließende Lernstandsüberprüfung in Form einer Klausur im Mittelpunkt. 2.2 Welche Einsatzmöglichkeiten gibt es? 1. Klassische E- Klausur: Dieses Szenario bietet sich für alle Veranstaltungen an, die mit der Prüfungsform Klausur (E- Klausur) abgeschlossen werden. 1 Aufgrund der besseren Lesbarkeit wird einheitlich die maskuline Version von Personenbezeichnungen verwendet. Diese Form ist als geschlechtsunabhängig zu verstehen. 4

5 Lehrende können mit Hilfe des Lernobjekts Tests in ILIAS überprüfen, ob Studierende die Ziele eine Lehrveranstaltung erreicht haben. Hierzu bietet Tests in ILIAS die Verwendung von verschiedensten Fragetypen an. Darunter sind auch Freitextfragen und Datei- hochladen- Fragen sowie über Flash oder ein JAVA Applet eingebettete Fragen. Von diesen Fragetypen lassen sich alle außer dem Freitext und dem Datei- Upload automatisch auswerten, was die Korrekturzeit erheblich verkürzen kann. Allerdings dürften die Lehrenden am Anfang mehr Arbeit in die Erstellung einer Klausur investieren müssen als dies bei einer Papierklausur der Fall ist. Über mehrere Semester amortisiert sich dieser Mehraufwand allerdings dadurch, dass einmal erstellte Fragen aus dem Fragenpool wieder verwendet oder leicht abgeändert wiederverwendet werden können. Zusätzlich lassen sich im Gegensatz zu einer Papierklausur recht einfach unterschiedliche Medien (z.b. Video, Audio, Bilder) integrieren. Studierende bekommen durch die (teil- )automatisierte Auswertung in ILIAS schneller ein Ergebnis ihrer Prüfung, als bei Papierklausuren. 2. Essay- Klausur: Dieses Szenario bietet sich für alle Veranstaltungen an, die mit der Prüfungsform Klausur (E- Klausur) abgeschlossen werden und in der Klausur ein komplexerer Sachverhalt erläutert werden soll. Lehrende können mit Hilfe der Freitext- Fragen im Lernobjekt Tests in ILIAS komplexe Fragen stellen, die die Studierenden dann in Essayform beantworten. Hierbei ist keine automatische Auswertung der Antworten möglich. Allerdings profitieren die Lehrenden bei der Auswertung davon, dass die Antworten in gut lesbarer Maschinenschrift vorliegen und somit schneller korrigiert werden können. Auch ist es möglich eine maximale Zeichenzahl, die zur Beantwortung einer Frage erlaubt ist, festzulegen. Studierende können durch die Beantwortung der Freitext- Fragen in ILIAS so arbeiten wie sie es beim Erstellen von Essays und Hausarbeiten am Computer gewohnt sind. Änderungen und Korrekturen des Textes sind leichter möglich als in einer handschriftlich erstellten Essay- Klausur. 3. Klausur mit Zusatzsoftware (Performanzprüfung): Dieses Szenario bietet sich für alle Veranstaltungen an, die mit der Prüfungsform Klausur (E- Klausur) abgeschlossen werden und bei denen ein Kompetenzerwerb im Fokus steht, der durch den Einsatz zusätzlicher Software nachgewiesen werden kann. Lehrende können mit Hilfe von ILIAS den Studierenden die Aufgabenstellung und eventuell zu bearbeitende Dateien zukommen lassen. Die Studierenden bearbeiten die Aufgabenstellung mit Hilfe zusätzlicher Software (z.b. Statistiksoftware oder Programmierumgebung), die auf dem Klausurrechner installiert ist und laden die von ihnen erstellte(n) Datei(en) anschließend mittels des von den Lehrenden eingesetzten 5

6 Fragetyps Datei- hochladen hoch. Die Lehrenden erhalten so bequem alle Dateien, können diese auswerten und anschließend in ILIAS die Noten vergeben. Studierende können in der Klausur mit Zusatzsoftware erworbene Kompetenzen im praktischen Einsatz demonstrieren. 2.3 Mögliche Fragetypen Es gibt die Möglichkeit folgende Fragetypen zu verwenden: Single- Choice- Fragen (Einfachauswahl), Multiple- Choice- Fragen (Mehrfachauswahl), Kprim- Choice- Fragen (besondere Form der Mehrfachauswahl), Fehler/Worte- markieren- Frage, Lückentext- Fragen (Freitext oder Auswahlfeld), Numerische- Antwort- Fragen, Formelfragen, Text- Teilmengen- Fragen (z.b. drei Antworten aus zehn richtigen), Zuordnungsfragen (Paare), Anordnungsfragen (Reihenfolge), ImageMap- Fragen ("Hotspot", Suchbild), Freitext- Fragen, Datei- hochladen- Fragen und über Flash oder ein JAVA Applet eingebettete Fragen. 3 Erfahrungen mit der Software und Verbreitung 3.1 Disziplinäre Eignung ILIAS kommt bei summativen Prüfungen in unterschiedlichsten Fachbereichen zum Einsatz. Nach wie vor sind, wie auch in den meisten anderen Softwarelösungen, Aufgabentypen in den mathematischen, naturwissenschaftlichen und informatischen Fächern nur schwer abbildbar. Um Aufgabentypen für Informatiker in ILIAS zu integrieren und somit kompetenzorientiertes Prüfen in der Informatik zu ermöglichen, wird derzeit am Institut für Informatik der Universität zu Köln ein Plug- in für Aufgaben in der Programmiersprache JAVA entwickelt. In 2015 soll eine erste Klausur mit dem Plug- in geschrieben werden: koeln.de/8075.html Um höherwertige mathematische Aufgaben in ILIAS verwenden zu können, wurde im Projekt optes ein Plug- in zur Integration eines Computer- Algebra- Systems in ILIAS- Tests entwickelt. Dieses kann die Antworten der Studierenden auswerten. Weitere Informationen finden Sie unter: Konkreter Einsatz der Software Im Bereich der summativen Assessments wird ILIAS als Prüfungssoftware an den Universitäten Bonn, Düsseldorf und Köln in unterschiedlichsten Fachbereichen eingesetzt. In Bonn werden Klausuren an der Medizinischen, Landwirtschaftlichen, Philosophischen und Mathematisch- Naturwissenschaftlichen Fakultät durchgeführt, mit insgesamt ca Klausurfällen pro Semester. Für genauere Informationen wenden Sie sich bitte an die genannten Ansprechpartner. 6

7 3.3 Ansprechpartner an den durchführenden Universitäten Uni Bonn: ecampus, bonn.de HHU Düsseldorf: Claudia Dehling, Uni Köln: ILIAS Helpdesk, ilias- koeln.de 4 Technik 4.1 Software- und Hardwareeinsatz Für E- Prüfungen mit ILIAS wurde über mehrere Jahre hinweg eine von der Hauptentwicklung des Learningmanagementsystems getrennt bestehende ILIAS ea Version entwickelt. Seit ILIAS 4.4 wurde diese jedoch wieder in den Hauptentwicklungsstrang von ILIAS integriert: details/article/migration- von- ilias- test- features.html Die aktuelle Version von ILIAS ist 5.0. (Februar 2015). Die Universitäten in planen bei E- Prüfungen allerdings direkt von der von ihnen derzeit für E- Prüfungen genutzten ILIAS ea Version 4.3 auf die ILIAS Version 5.0 zu wechseln. 4.2 Systemanforderungen auf Client- und Server- Seite Client: ILIAS ist eine internetgestützte in PHP programmierte Plattform, mit den Hardwareanforderungen an einen Standard PC, Laptop oder Mac mit Internetzugang. Zusätzlich zum Webbrowser mit Flash Player sollten Java und JavaScript für extern erstellte Lernmodule installiert sein. Da es im Rahmen von E- Prüfungen in der Regel wünschenswert ist, den Studierenden nur Zugriff auf ihre Klausur in ILIAS zu geben und nicht auf alle Websites im Internet, wird oft ein spezieller Browser eingesetzt, der den Studierenden nur den Zugriff auf den ILIAS- Klausurserver erlaubt. Weit verbreitet und anerkannt ist hierbei der an der ETH Zürich entwickelte Safe Exam Browser (SEB): Server: Für die serverseitige Beurteilung sind diverse Entscheidungskriterien zu betrachten. Wichtig sind in erster Linie die Anzahl der gleichzeitigen Nutzerzugriffe, Anzahl/Umfang der angebotenen Lerninhalte und deren Formate, das Verhältnis der Zugriffe von Lehrenden und Lernenden, sowie die Betrachtung und Nutzung von Zusatzfunktionen (z.b. Mail, Forum, Chat ). 7

8 Sollten evtl. weitere von ILIAS unabhängige Dienste genutzt werden, sind diese ebenfalls mit einzubeziehen. Wichtig sind hierbei die aus der Konfiguration resultierenden Systemantwortzeiten. Diese sollten unter 1,0 Sekunden liegen, um negative Auswirkungen im Bereich der Usability zu vermeiden. Dabei sollte die Anbindung des Webservers an das Netzwerk zugunsten geringer Latenzzeiten mit mindestens 100 Mbit/sec erfolgen. Allgemein lässt sich festhalten, dass genügend Arbeitsspeicher zur Verfügung stehen sollte, erst recht wenn zusätzliche Dienste angeboten werden sollen. Für einen verzögerungsfreien Betrieb wird bei 40 gleichzeitig angemeldeten Benutzern, ein Arbeitsspeicher von 4 GB empfohlen. Ein sicherer und leistungsfähiger Betrieb kann und sollte durch ein RAID- System (verhindert Datenverlust durch Redundanz) mit schnellen SCSI- /SATA- Festplatten gewährleistet werden. Hier sollte im Normalfall der Festplattenspeicher mit 250 GB ausreichend groß bemessen sein. Hiervon werden ca. 25 GB vom Betriebssystem und ILIAS selbst in Anspruch genommen, der Rest entfällt auf die Datenbank und das File System. Ab einer Nutzeranzahl von mehr als 1000 Nutzern, wird die Trennung von WEB- und Datenbankserver empfohlen. Bei E- Prüfungen mit ILIAS sollten stets vom LMS für den Lehrbetrieb getrennte Server aufgesetzt werden, um die Serverlast auf dem E- Assessment- ILIAS, besser kalkulieren und verteilen zu können. Die durch eine zu hohe Last entstehenden Serverausfälle können damit vermieden werden. Die Universität zu Köln stellt Informationen und Daten über ihr eigenes ILIAS- Cluster unter folgendem Link für Interessierte zur Verfügung: ilias.uni- koeln.de/index.php?id=250 [Link kann unter Umständen abweichen, ilias.uni- koeln.de/ - > ILIAS an der UzK - > ILIAS- Hardware] Weitere Informationen zu den Soft- und Hardwareanforderungen können unter folgendem Link eingesehen werden: ayout&cmdclass=illmpresentationgui&cmdnode=b0&baseclass=illmpresentationgui 4.3 Unterstütze Standards Von ILIAS werden diverse Standards zum Erstellen und Importieren von bereits erstelltem Lehrmaterial wie z.b. XML, JavaScript, LaTeX und OpenOffice unterstützt. Ebenfalls ist es als LMS für eine vollständige SCORM- Unterstützung zertifiziert

9 4.4 Unterstützte Schnittstellen Durch diese breite Unterstützung von externen Datenformaten bietet ILIAS auch die entsprechenden Schnittstellen für Java Applets, QTI und SCORM an. AICC- und HTML- basierte Lernmodule können genauso wie Open Office Dokumente importiert werden. 5 Unterstützung/ Support 5.1 Vorhandene Supportstrukturen (Software- /Hardwareprovider) ILIAS ist ein Open Source Projekt und bietet daher keinen regulären Support an, wie man ihn von kommerziell erhältlichen Softwarelösungen kennt. Interessierte, Anwender und Entwickler organisieren sich in Foren, welche vom ILIAS open source e- Learning e.v. bereitgestellt werden. Hier werden auch umfangreiche Benutzerdokumentationen zu ILIAS kostenfrei angeboten: Schulungen und diverse Anpassungen können von externen Drittanbietern oder sogenannten ILIAS Premium Partnern eingekauft werden 5.2 Special Interest Groups, Communities usw. von Nutzern ILIAS Special Interest Group E- Assessment (SIG- EA): ILIAS Special Interest Group E- Portfolio: eassessments mit ILIAS: Es besteht weiterhin eine Austauschgruppe der E- Learning-, Medien und Rechenzentren der Uni Koblenz- Landau, Uni Mainz, Uni Trier, Uni Regensburg und Uni Bonn. Hier finden Sie alle Special Interest Groups zu ILIAS: Schulungen auf technischer und didaktischer Ebene Schulungen und diverse Anpassungen können von externen Drittanbietern oder sogenannten ILIAS Premium Partnern eingekauft werden. Hier empfiehlt es sich, entsprechende Mitarbeiter einer Grundschulung zu unterziehen und das Wissen anschließend intern weiterzugeben. 6 Aufwand 6.1 Kosten Dadurch, dass ILIAS ein Open Source Projekt und damit lizenzfrei in der Nutzung ist, fallen hier sehr geringe Kosten an. Lediglich die Infrastruktur (Hardware) muss 9

10 angeschafft werden. Zusätzlich zur eigenen Infrastruktur müssen natürlich noch die Personalkosten betrachtet werden, welche für die Administration und den Support innerhalb der Hochschule anfallen. Diverse externe Dienstleister bieten ILIAS auch als Cloud Computing Lösung an. Hierbei wird die benötigte Infrastruktur sowie ein verbindlicher Support vom Dienstleister bereitgestellt und von der Universität gemietet. Des Weiteren gibt es ebenfalls zahlreiche Dienstleister, welche Schulungen für ILIAS anbieten. Hier empfiehlt es sich, entsprechende Mitarbeiter einer Grundschulung zu unterziehen und das Wissen anschließend intern weiterzugeben. 6.2 Zeit 1. Technische Einrichtung Um das System in einer Grundkonfiguration auf einem Server zu installieren, benötigt ein Systemadministrator maximal ein Arbeitstag. Weitere Anpassungen in ILIAS, die Anbindung an die Authentifizierung, die Anbindung an die Netzwerkinfrastruktur, sowie die Einrichtung der Clients für Prüfungen mit ILIAS stellen einen komplexen Prozess dar der sich über mehrere Wochen hinziehen kann. Der genaue zeitliche Aufwand für die technische Einrichtung variiert je nach technischer Ausstattung, bestehender Infrastruktur der Hochschule, angestrebtem Einsatzzweck und den Vorkenntnissen der Mitarbeiter. Vor der ersten Klausur sollte genügend Vorlaufzeit eingeplant werden, um das System ausgiebig testen zu können. 2. Didaktische Einarbeitung Die didaktische Einarbeitungszeit ist individuell und variiert je nach verwendeter Einsatzmöglichkeit stark. Der Lehrende muss sich zunächst in das System einarbeiten, einen Fragenpool erstellen und letzten Endes die eigentliche Prüfung zusammenstellen. Dies gestaltet sich je nach bisheriger Arbeitsweise und Fragestellung des Lehrenden mehr oder weniger zeitaufwändig. Wurden in der Vergangenheit bereits geschlossene Fragetypen genutzt, so lassen diese sich ebenso wie Freitextaufgaben recht schnell nach ILIAS übertragen. Sollen allerdings vorher verwendete offene Fragetypen in geschlossene, automatisch auswertbare Fragetypen umgewandelt werden, so nimmt dies einige Zeit in Anspruch. Mit zunehmender Erarbeitung eines Fragenpools durch den Lehrenden, nimmt die Zeit für die Erstellung summativer Assessments ab, da auf den bereits existierenden Fragenpool zurückgegriffen werden kann. Generelle Schulungen zu ILIAS für Dozenten sollten mit 4-6 Stunden eingeplant werden. Für spezielle Schulungen zur Erstellung von didaktisch fundierten Fragen sollten noch einmal ca. 4 Stunden eingeplant werden. Wie lange die Erstellung eines Fragenkatalogs und des daraus resultierenden summativen Assessments dauert, ist immer stark von dessen Umfang abhängig. 10

11 3. Einsatz in der Lehrveranstaltung Wie bei allen summativen E- Assessments müssen mit Rechnern ausgestattete Räume zur Verfügung gestellt werden und für die Dauer der Durchführung des Assessments Aufsichtspersonal gestellt werden. Zur Vorbereitung der Studierenden auf E- Prüfungen mit ILIAS sollten maximal zwei Zeitstunden ausreichend sein. Dies kann durch eine Probeklausur im späteren Klausurraum geschehen. 7 Anzahl der Teilnehmer ILIAS ist ein skalierbares System und eignet sich daher sowohl für kleine Gruppen, als auch sehr große Gruppen. Die Anzahl der Teilnehmer an E- Prüfungen mit ILIAS ist daher hauptsächlich abhängig von der Größe der Prüfungsräume weniger von der Serverkapazität. Derzeit werden bereits Klausuren durchgeführt bei denen mehr als 200 Prüflinge gleichzeitig auf einen ILIAS- Server zugreifen. Nutzungszahlen von ILIAS an der Uni Köln finden Sie hier: ilias.uni- koeln.de/index.php?id=273 8 Mögliche Problemstellungen 8.1 Technisch Wie bei allen Server- Client- Systemen können Probleme entweder Server-, Netzwerk- oder Clientseitig auftreten. Da ILIAS eine Open Source Softwarelösung ist, gibt es im Gegensatz zu kommerziellen Softwares keinen direkten Support- Ansprechpartner. Dieser sollte in erster Linie das ZIM/HRZ der jeweiligen Hochschule sein, um bei Problemen direkt helfen bzw. diese selbstständig beheben zu können. Es gibt eine Bug Reporting Community ( in welcher Nutzer Bugs melden können und der aktuelle Status dieser einsehbar ist. (Ist der Fehler schon gemeldet? Wie weit ist die Fehlerbehebung? Wie kann ich den Fehler evtl. bis zur offiziellen Behebung vermeiden?). Hauptsächlich ist bei summativen Assessments der Session- Bug (auch ILIAS- Geist oder 100/99- Bug genannt) ein Problem. Dieser ist auf einen Fehler im Datenbankmanagement in ILIAS ea zurückzuführen, was bei gleichzeitigem Klicken der Studierenden mit dem Autospeichern doppelte Einträge in der Datenbank erzeugt. Dieser Fehler kann in ihrer ILIAS- Installation auftreten. In der ILIAS Version 5.0 ist dieser Fehler bisher nicht aufgetreten, sodass vieles dafür spricht, dass er endgültig behoben ist. 11

12 Gelegentlich wurde beim Export der Klausuren im PDF- Format in ILIAS ea auch Text abgeschnitten. Daher müssen die Exporte, die als Sicherung und zur Einsicht beim Prüfungsamt bestimmt sind, überprüft werden. 8.2 Didaktisch Die durch ILIAS unterstütze Lehrveranstaltung sollte im Vorfeld geplant werden, um einen didaktisch sinnvollen Einsatz zu gewährleisten. Diese Planung ist unabhängig von der für summative Assessments verwendeten Software notwendig und kein spezifisches Merkmal einer mit ILIAS unterstützten Veranstaltung. Je nach Größe der Gruppen von zu prüfenden Studierenden, kann es der Fall sein, dass eine Prüfung in mehreren Durchgängen geschrieben werden muss, weil die Prüfungsräume zu klein sind. In diesen Fällen müssen die unterschiedlichen Gruppen getrennt werden, um sich nicht über die Klausur austauschen zu können. Ist es nicht möglich die Gruppen der einzelnen Durchgänge voneinander zu trennen, so ist es nötig, dass die Lehrenden einen größeren Fragenpool anlegen, sodass die Studierenden Klausuren mit unterschiedlichen Fragen bekommen. Hierbei stellt sich die Herausforderung, im Sinne der Chancengleichheit vergleichbare Aufgaben zu stellen. Dies ist allerdings kein spezifisches Merkmal einer mit ILIAS durchgeführten Klausur, sondern trifft auf alle E- Prüfungen zu. Des Weiteren kann es unter Umständen bei der Umstellung von klassischen Stift- und Papier Klausuren für die Lehrenden eine Herausforderung darstellen, die neuen Fragetypen didaktisch sinnvoll einzusetzen. Auch dies ist kein spezifisches Merkmal einer Veranstaltung in der mit Hilfe von ILIAS geprüft wird. 8.3 Rechtlich Als juristische Grundlage ist es notwendig elektronische/softwaregestützte Prüfungsverfahren in die Prüfungsordnungen, derjenigen Studiengänge aufzunehmen die mit ILIAS (oder auch anderen Systemen) E- Prüfungen durchführen. Dies ist an den zu Beginn genannten drei Universitäten bereits geschehen. Studierende müssen über prüfungs- und datenschutzrechtliche Aspekte aufgeklärt werden. Ebenfalls muss der Einsatz von ILIAS als Prüfungselement rechtlich abgeklärt und abgesichert werden. Nur qualifizierte digitale Signaturen entsprechen rechtlich einer handschriftlichen Unterschrift. Für summative Assessments, die als Modulprüfungen dienen sollen, fehlten in ILIAS ea digitale Signaturen. Diese garantieren, dass die Antworten der Studierenden nach Abschluss der Klausur nicht mehr verändert wurden und senken somit den Erfolg von eventuellen Widerspruchsverfahren deutlich. In ILIAS 5.0 besteht die Möglichkeit in den Testeinstellungen digitale Signaturen zu aktivieren. Damit die Studierenden ihre Klausuren aber tatsächlich signieren können, muss in ILIAS ein Signatur- Plug- in installiert und aktiviert werden. Ein entsprechendes Plug- in, das auf dem DFN- PKI Zeitstempeldienst basiert, wird derzeit an der Universität Halle- Wittenberg entwickelt: 12

13 Hierbei handelt es sich allerdings nur um eine fortgeschrittene Signatur, die rechtlich noch nicht abgesichert ist. Auch im Projekt optes werden derzeit digitale Signaturen für Prüfungen mit ILIAS entwickelt. Hierbei wurde neben fortgeschrittenen Signaturen auch ein Prozess zur Verwendung qualifizierter elektronischer Signaturen erarbeitet. Weitere Informationen finden Sie hier: Sonstiges ILIAS fehlen bisher Funktionalitäten zur Abbildung des gesamten Prüfungsprozesses (Koordination der Beteiligten, Raumbuchung usw.) 9 Alternativen und vergleichbare Systeme in Auswahl LPLUS Moodle IQ[kju:]L OPS 10 Bewertung und Evaluation 10.1 Evaluationen Im Verbundprojekt der Dualen Hochschule Baden- Württemberg, der Hochschule Ostwestfalen- Lippe und des Vereins ILIAS open source e- Learning e.v. in Zusammenarbeit mit der Helmut- Schmidt- Universität Hamburg und der Zeppelin Universität wurden erste E- Prüfungen mit ILIAS durchgeführt und evaluiert: Die weiter aufgeführte Evaluation bezieht sich nicht speziell auf den Einsatz von ILIAS für Assessments, sondern auf den Einsatz von ILIAS als LMS. In ihr werden allerdings teilweise auch die Assessmentfunktionalitäten berücksichtigt. Einführung des LMS an der Uni der Bundeswehr München, Stand 2012: teaching.org/praxis/erfahrungsberichte/einfuehrung- des- learning- managementsystems- ilias/berichtilias 13

14 10.2 Weitere Einsatzszenarien der Software zur Evaluation Die Einführung eines Verfahrens zum Einsatz von qualifizierten digitalen Signaturen würde sich zur Evaluation eignen, da ILIAS mit einem solchen Verfahren einen großen Schritt in Richtung der Verbesserung der Rechtssicherheit E- Prüfungen machen würde. Die Evaluation eines der zuvor erwähnten Plug- ins zur Durchführung kompetenzorientierter E- Prüfungen würde sich ebenfalls eignen, da diese das Einsatzspektrum von ILIAS für E- Prüfungen erheblich erweitern. 14