Evaluationsbericht des Learning Content Management Systems Ilias 3.8.0

Transkript

1 Evaluationsbericht des Learning Content Management Systems Ilias September 2007 bis Januar 2008 verfasst von: Guido Vollbach MOSEL-Support-Team Institut für Wissensmedien (IWM)

2 Inhaltsverzeichnis I Einleitung...4 II Tool-Evaluation Kursgestaltung Usability der Kurserzeugung und Editierung Import/ Export von Inhalten Strukturierung der Inhalte Bedingtes Freischalten von Inhalten Kommunikation/ Diskussion an bestimmten Inhalten Eigene Inhaltsbereiche für Lerner Inhalte-Browser/ Verwaltung der Inhalte auf dem Server Autorenwerkzeuge Kollaboratives Lernen Test-Tools Flexible Kursverwaltung Studierende Usability Kommunikationstools Import/Export von Inhalten von Lernern Administration/Technik Browserspezifität Stabilität Skalierbarkeit Java Script, Scripting, Cookies etc Lizenzen Technischer Administrationsaufwand Flexible Anbindungsmöglichkeiten externer Tools/Skripte Evaluationswerkzeuge (für Forschung)...12 III Szenarien Inhalte Kooperation/Kommunikation Online-Klausuren Organisation...14

3 5 Reine Online-Kurse Rückmeldung zum Lernfortschritt/Selbsttests Propädeutika Begleitung zu Praktika...15 IV Anhang...16

4 I Einleitung Die Abkürzung ILIAS steht für Integriertes Lern-, Informations- und Arbeitskooperations-System. Die Software wurde 1997/98 an der Universität zu Köln entwickelt. Seit 2000 erfolgt die Softwareentwicklung in einem Kooperationsnetzwerk namens ILIAS Open Source, an dem Institutionen und Einzelpersonen beteiligt sind. Zwischen 2002 und 2004 erfolgte eine grundlegende Neuentwicklung der technologischen Basis (modular, XML-basiert, RBAC), die ab Version 3 wirksam wurde. Die evaluierte Version ist die Version vom Mittlerweile ist die Version erschienen, welche unter anderem SCORM 2004-Kompatibilität mitbringt.

5 II Tool-Evaluation Die Inhalte der Tool-Evaluation sind Anhang I zu entnehmen, während die konkrete Evaluationsanweisung den Gegenstand von Anhang II bildet. 1 Kursgestaltung 1.1 Usability der Kurserzeugung und Editierung Designänderungen am einzelnen Kurs sind nicht möglich, da Ilias so genannte System Styles verwendet. Dadurch sind nur Änderungen am Komplett-Design möglich, aber nicht am Design eines einzelnen Kurses. Es besteht allerdings die Möglichkeit, dass die Benutzer einen eigenen Style auswählen, wenn die Option vorher vom Administrator erlaubt wurde und mehrere Styles zur Auswahl stehen. Des Weiteren besteht die Möglichkeit, so genannten Content Styles zu verwenden, welche sich dann auf Ilias-Lernmodule beziehen und vom Kursdozenten gewählt werden können. Bestehenden Kurse können entweder importiert oder kopiert werden. 1.2 Import/ Export von Inhalten Inhalte Inhalte wie z.b. PDF-Dateien lassen sich relativ einfach einbinden. Ilias unterstützt bei der Einbindung von Dokumenten eine automatische Versionierung, wodurch man immer Zugriff auf seine durchgeführten Änderungen hat. Die meisten Inhalte lassen sich exportieren, manche allerdings nicht wieder importieren. Im Forum ist es z.b. nur möglich, einen Thread als HTML- Datei zu exportieren; es ist aber nicht möglich, ihn wieder ins Forum zu importieren Didaktische Strukturen Bei Ilias Lernmodulen ist ein Export sowie Import problemlos möglich. Sie lassen sich als XML, HTML oder SCORM exportieren und als entsprechendes Lernmodul wieder importieren. Des Weiteren lassen sich die meisten Inhalte auch innerhalb von Ilias direkt kopieren, beispielsweise in einen weiteren Kurs Tests/ Umfragen Tests sowie Fragen und auch die Ergebnisse können exportiert und wieder importiert werden; ebenso können sie innerhalb des Systems kopiert werden.

6 1.2.4 Verwendung von Standards Ilias unterstützt AICC, SCORM 1.2 und seit der letzten Version 3.9 auch SCORM 1.3. Zusätzlich existiert noch ein SOAP-Schnittstelle (vgl. auch Anhang IV). 1.3 Strukturierung der Inhalte Es gibt drei Möglichkeiten, in Ilias seine Inhalte zu strukturieren. Die Standard-Option ist hierbei eine alphabetische Sortierung der Objekte im Kurs; zusätzlich gibt es noch die Möglichkeit, die Objekte nach dem Datum ihrer Aktivierung zu sortieren. Zudem ist auch manuelle Strukturierung möglich. 1.4 Bedingtes Freischalten von Inhalten Inhalte können anhand von Tests, Übungen oder auch Kursen freigeschaltet werden. Bei Tests gibt es die Optionen Bestanden, Nicht Bestanden und Teilgenommen zur Auswahl, bei Übungen und Kursen ist nur eine Freischaltung durch die Option Bestanden möglich. Eine Freischaltung anhand von vorgegebenen Punkten oder anhand speziell erstellter Spalten ist nicht möglich. 1.5 Kommunikation/ Diskussion an bestimmten Inhalten In Ilias ist es möglich, an bestimmten Objekttypen, wie zum Beispiel dem Ilias Lernmodul, eine öffentliche Notizfunktion mit einzubinden, welche es den Studierenden und Dozenten erlaubt, direkt unter dem dargestelltem Inhalt zu diskutieren, sprich unterhalb der dargestellten Seite. Des Weiteren steht den Studierenden auch immer eine private Notizfunktion zur Verfügung, um sich unter Inhalten direkt Notizen machen zu können. 1.6 Eigene Inhaltsbereiche für Lerner Es gibt existiert außer dem Forum oder den öffentlichen Notizen keine direkte Möglichkeit für den Datenaustausch von Lernenden untereinander. Allerdings ist es möglich, dass der Dozent den Lernenden einen eigenen Inhaltsbereich einrichtet, in dem die entsprechenden Tools von Ilias benutzt werden dürfen. 1.7 Inhalte-Browser/ Verwaltung der Inhalte auf dem Server In Ilias existiert nicht direkt ein Inhalte-Browser (im Sinne eines Datei-Managers). Es ist allerdings möglich, seine Inhalte kursübergreifend zu kopieren, also als eigenständige Dateien im System zu benutzen. Man kann aber auch Dateien im System verlinken, wodurch die Dateien nur einmal im System vorhanden sind und somit bei einer Änderung der Ursprungsdatei auch alle verlinkten

7 Daten aktualisiert werden. Daher lassen sich auch Inhalte nicht direkt kategorisieren; allerdings ermöglicht einem die Suchfunktion von Ilias, Dateitypen zu filtern so wie das Suchen in den sehr umfangreichen Metadaten, welche man für die Inhalte anlegen kann. Momentan ist es nur über ein Zusatzmodul möglich, WebDAV in Ilias zu benutzen. Ab Version 3.10 soll allerdings ein WebDAV-Zugriff direkt enthalten sein. 1.8 Autorenwerkzeuge HTML-Editor Es gibt in Ilias zwei Editoren: Eine recht veraltete Version bei der Erstellung von Ilias- Lernmodulen, welche die Grundfunktionen in HTML kennt und relativ primitiv wirkt. Der andere Editor, der bei der Erstellung von Fragen benutzt wird, macht einen eher brauchbaren und modernen Eindruck. Dieser aktuellere Editor steht einem allerdings bisher nur im Aufgabenbereich zur Verfügung. Bei den Lernmodulen hat man nur Zugriff auf das ältere Modell WebDAV (oder vergleichbares, z.b. Oo-Anbindung an ILIAS) WebDAV wird ab der Version 3.10 in Ilias mit aufgenommen. Des Weiteren ist es in Ilias möglich, durch das Tool elaix Ilias-Lernmodule direkt in OpenOffice zu erzeugen und in Ilias zu importieren Formeleditor Über einen LaTeX Parser ist es möglich, Formeln darzustellen. 1.9 Kollaboratives Lernen Flexible Gruppenbildung für Tutor/ Dozent Der Dozent hat die Möglichkeit, Gruppen anzulegen und aus drei Arten der Gruppenbildung auszuwählen. Folgende Arten sind möglich: Direkter Beitritt: Die Studierenden tragen sich selbst in die Gruppen ein. Antrag mit Bestätigung: Die Studenten tragen sich ein und der Dozent muss die Eintragung bestätige. Beitritt mit Gruppenpasswort: Der Dozent vergibt hier ein Passwort für die Gruppe. Es ist in Ilias nicht möglich, eine maximale Gruppengröße einzustellen oder automatisch mehrere

8 Gruppen zu erzeugen. Man hat allerdings die Möglichkeit, Gruppen mit deren Einstellungen und Inhalten zu kopieren Gruppenarbeitsbereiche mit eigener Inhalteverwaltung Durch die sehr granulare Rechteverwaltung in Ilias ist es möglich, den Studierenden alle Tools in ihrem Gruppenbereich zur Verfügung zu stellen Autorentools für Lerner-Gruppen Wenn es vom Dozenten freigeschaltet wurde, können Studenten auf die entsprechenden Tools und deren Editoren zugreifen. Ansonsten gibt es keine Autorentools für Studenten, da für die Tools Notizen und Forum, welche Studenten für Feedback oder Kommunikation nutzen können, kein HTML-Editor vorgesehen ist Elaborierte Kommunikationstools Es gibt in Ilias die Möglichkeit, s innerhalb von Ilias zu verschicken oder sich die s an seine richtige -Adresse weiterleiten zu lassen. Des Weiteren gibt es die Möglichkeit, den Chat, das Forum sowie öffentliche Notizen innerhalb von Lernmodulen zu verwenden Dateienaustausch für Studenten Es kommt hier drauf an, wie die Rechte vom Dozenten gesetzt wurden. Es ist in Ilias durchaus möglich, den Studierenden Ordner oder Inhaltsbereiche zur Verfügung zu stellen, in denen Inhalte erzeugt werden können Group Decision Tools Ilias bietet in diesem Fall nur die Möglichkeiten, über das Forum, den Chat, die -Funktion oder die öffentlichen Notizen zu kommunizieren. Funktionen, die ein Brainstorming oder WhiteBoard bereit stellen, existieren nicht Test-Tools Automatisierte Auswertung von MC-Tests Die automatisierte Auswertung von Multiple-Choice-Tests ist in Ilias möglich.

9 Optionen für MC-Fragen Es ist möglich, die Fragen und die Antworten zu mischen Elaborierte Zugriffssteuerung Die Zugriffsteuerung bietet die Möglichkeiten, die Anzahl der Versuche festzulegen, eine maximale Bearbeitungsdauer und ein Zeitfenster einzurichten. Des Weiteren ist es möglich, ein Testkennwort zu vergeben sowie eine maximale Teilnehmerbegrenzung für die gleichzeitige Teilnahme anzugeben Statistische Standard-Auswertungsfunktionen Es besteht die Möglichkeit, sich die Ergebnisse der einzelnen Nutzer anzeigen zu lassen sowie eine aggregierte Übersicht der Ergebnisse. Die einzelnen Funktionen der Auswertung sind eine Ansicht der Einzelauswertung der Leistung der Studierenden mit Median und Rang der Teilnehmer sowie eine Einzelansicht der Antworten. Ebenso ist auch eine aggregierte Auswertung für alle Nutzer und Fragen Export der Test-Ergebnisse Die Ergebnisse lassen sich als CSV sowie als Excel-Datei exportieren Flexible Kursverwaltung Definition von Feldern in der Kurs-Userdatenbank Nicht möglich Individualisierung von User-Privilegien Dies ist in Ilias sehr umfassend gelöst: der Dozent hat die Möglichkeit, bei jedem Objekt die Nutzerrechte zu setzen (d.h. nicht nur global für einen Kurs), welche das Anzeigen, den Lesezugriff, das Kopieren, das Schreiben, das Löschen oder das Erzeugen beinhalten. Diese Zuweisungen sind sowohl für alle Mitglieder oder auch für Gruppen möglich Vernetzung unterschiedlicher Kurse In Ilias ist es möglich, Abhängigkeiten kursübergreifend zu gestalten.

10 2 Studierende 2.1 Usability Benutzerfreundlichkeit der Oberfläche Nach kurzer Einarbeitung ist das System einfach und intuitiv zu bedienen Single Sign-On Single Sign-On ist in Ilias durch LDAP, Radius und Shibboleth möglich. 2.2 Kommunikationstools Flexible Einbindung in andere Tools Da in Ilias alle Tools über absolute Links verfügen, besteht die Möglichkeit, Tools untereinander zu verknüpfen Logging-Funktionen Ilias unterscheidet hier zwischen Zugriffsstatistik und Lernfortschritt. Diese Optionen müssen allerdings erst von einem Administrator (dann allerdings systemweit) aktiviert werden Forum Hier werden die Standard-Funktionalitäten zur Verfügung gestellt. Einzig interessant sind die Auswahl der Sortierung nach Antworten oder nach Datum bzw. eine Druckfunktion Chat Standard Chat-Funktionalität Kalender Eine Kalender ist vorhanden; leider hat er ein paar Fehlfunktionen, wodurch teilweise Termine nicht gespeichert werden. Allerdings soll ab der Version 3.10 ein Überarbeitung des Kalenders verfügbar sein.

11 2.2.6 Mail Die Mail-Funktion ist simpel, aber trotzdem einfach verständlich gehalten. Es existiert ein Adressbuch, bei dem auch neben eigenen Einträgen direkt die Kurse oder die Gruppen zur Auswahl stehen. Eine Weiterleitung an die externe E-Mmail-Adresse ist auch durchführbar Verlinkung von Foren an Textstellen Die Art von Verlinkung ist durch die in Ilias genutzten absoluten Links möglich. Man kann also durch Hyperlinks auf Ilias-Funktionen verlinken. 2.3 Import/Export von Inhalten von Lernern Wie schon an anderer Stelle erwähnt, ist der Im-/Export, wenn der Dozent die Rechte vergibt, durchaus möglich. Ansonsten bietet sich das Forum oder das Übungs-Tool an. 3 Administration/Technik 3.1 Browserspezifität Außer bei der Benutzung des Kalenders traten keine Probleme auf; weder mit dem Internet Explorer noch mit Firefox oder Opera. 3.2 Stabilität Während der Testphase traten keine Probleme mit Ilias auf. 3.3 Skalierbarkeit Hardwareabhängig. 3.4 Java Script, Scripting, Cookies etc. Cookies müssen aktiviert sein; Javascript ist allerdings keine zwingende Vorraussetzung. 3.5 Lizenzen Ilias ist Open Source und steht unter der GPL Lizenz. 3.6 Technischer Administrationsaufwand Da ein fertiges VMware Image genutzt wurde, lässt sich darüber keine konkrete Aussage treffen.

12 3.7 Flexible Anbindungsmöglichkeiten externer Tools/Skripte API Die API-Dokumentation bei Ilias umfasst eine vollständige Funktionsreferenz sowie einen Programmers-Guide mit Richtlinien zu den Programmierungsstandards für Ilias-Erweiterungen Offene Schnittstellen Ilias verfügt über eine SOAP-Schnittstelle zur Realisierung von Webservices (vgl. auch Anhang IV). In der Dokumentation werden folgende Funktionen beschrieben: Benutzer-, Rollen-, Gruppenverwaltung sowie der Dateiupload. 4 Evaluationswerkzeuge (für Forschung) Sobald in Ilias die Optionen für Zugriffsstatistiken und Lernfortschritt von Administrator aktiviert wurde, ist es dem Dozenten möglich, den Lernfortschritt der einzelnen Ilias- oder HTML- Lernmodule festzulegen und protokollieren zu lassen. Dazu kann der Dozent auswählen, ob es eine automatische Auswertung der Studentenbewegung gibt und somit Lernmodule oder Kurse als erfolgreich bewertet werden oder ob er nur Zugriffsstatistiken bekommen will. Die Funktion Lernfortschritt gibt Auskunft über die Bearbeitung des Kurses durch die Studierenden. So kann anhand der Statusanzeige für den jeweiligen Studenten unterschieden werden, ob der Status Noch nicht begonnen, In Bearbeitung, Bestanden oder nicht Bestanden ist. Diese Daten können vom Dozenten auch anonymisiert werden. Dieser Lernfortschritt existiert für den Kurs global und für alle Objekte einzeln im Kurs. Die Zugriffsstatistiken sind dem Administrator vorbehalten. Sie geben Auskunft über Zugriffe pro Tag oder pro Uhrzeit oder über Zugriffe von bestimmten Benutzern eines bestimmten Zeitraums.

13 III Szenarien In Anhang III werden die der szenarienbasierten Evaluation zugrunde liegenden elearning- Szenarien beschrieben. 1 Inhalte Dem Dozenten ist es möglich, Inhalte aller Art auf die Plattform hochzuladen und sie den Studierenden zur Verfügung zu stellen. Des Weiteren stehen dem Dozenten drei verschiedene Ansichten zur Verfügung, mit denen er seine Inhalte präsentieren kann: eine alphabetische Sortierung nach Titel, eine zeitlich geordnete nach dem Datum der Aktivierung oder eine manuelle Sortierung. Es kann ein Forum für Fragen erstellt werden. Bei Lernmodulen ist es zusätzlich noch möglich, öffentliche Notizen direkt unter den bereitgestellten Inhalten zu hinterlassen. 2 Kooperation/Kommunikation 1. Der Dozent muss die Gruppen anlegen (siehe Punkt 1.9.1). Bei der Erstellung einer Gruppe wird automatisch ein Gruppenordner angelegt, in den der Dozent für die Gruppen Inhalte oder Tools zur Verfügung stellen kann, welche die Gruppenmitglieder dann benutzen können. Neben dem Gruppenordner bekommen die Gruppenmitglieder gleichzeitig auch einen Eintrag in ihr Adressbuch der -Funktion von Ilias sowie die Möglichkeit, im Kalender Gruppentermine festzulegen. Wenn ein Präsentationsbereich angelegt werden soll, empfiehlt es sich, den Gruppenordner mit zwei weiteren Ordnern aufzuteilen: einmal in einen internen Ordner für die Gruppenarbeit sowie einen weiteren Präsentationsordner. Der Präsentationsordner würde dann für die anderen Kurs-Mitglieder sichtbar und lesbar sein, so dass die Gruppe dort ihre Ergebnisse vorstellen kann. Es ist ebenso möglich, dass die Gruppen einen eigenen Fragenpool anlegen und diesen exportieren, um die Fragen den anderen Studierenden zur Verfügung zu stellen. Natürlich können die Studenten auch direkt einen Test in ihrem Präsentationsordner erstellen. Die Möglichkeit, Umfragen zu erstellen, bietet Ilias selbstverständlich auch. 3 Online-Klausuren Ilias bietet mehrere Fragetypen an: unter anderem Anordnungsfrage, Freitextfrage, Imagemap, Java- Applet, Lückentext, Multiple Choice (Einfach- oder Mehrfachauswahl), Nummerische Frage, Text- Teilmenge, Zuordnungsfrage. Die Testeinstellungen erlauben das Mischen der Fragen sowie bei

14 Fragen mit mehreren Antwortmöglichkeiten das Mischen der Antworten. Es kann ein Zeitrahmen angegeben werden sowie eine maximale Bearbeitungsdauer. Eine Einschränkung der Versuche ist ebenso möglich wie eine Vergabe eines Aufsichtspassworts. Eine Einschränkung des IP-Bereichs ist nicht vorgesehen; es kann allerdings eine Begrenzung der maximalen gleichzeitigen Teilnehmer angegeben werden. Die Abhängigkeit des Tests von einer vorher bestandenen Übung oder eines Probetests ist möglich. Die Inhalte anhand einer Datumsfreigabe sowie der Bedingung, dass vorher eine Übung abgesendet wurde, ist möglich; allerdings mit der Einschränkung, dass die Übung als Bestanden markiert wurde. 4 Organisation In Ilias ist es möglich, Sitzungstermine anzulegen. Diese werden dann gesondert über den Lerninhalten des Kurses angezeigt. Man kann dort die terminlichen Daten angeben, Inhalte mit anhängen und weitere Informationen eintragen. Auch ist es möglich, dass sich die Teilnehmer für die Sitzung anmelden. Allerdings wird der Termin nicht in den Kalender von Ilias eingetragen. Dort besteht natürlich auch die Möglichkeit, einen Sitzungstermin festzulegen, bei dem die Studenten dann allerdings nicht die Möglichkeit haben, sich anzumelden. Die Gruppen müssen vom Dozenten vorher eingerichtet werden. Eine maximale Personenanzahl in den Gruppen ist nicht einstellbar. Der Dozent kann im Mail-System von Ilias auswählen, ob er Nachrichten an den Kurs, eine bestimmte Gruppe oder an einzelne Teilnehmer verschicken möchte. Das Forum kann vom Dozenten eingerichtet und unterteilt werden. 5 Reine Online-Kurse Das Hochladen von Video- und Tondateien sowie Folien funktioniert problemlos; genauso wie das Freischalten von Inhalten anhand eines bestimmten Datums. Das Bearbeiten und Abgeben von Übungen in Gruppen stellt auch kein Problem dar. Auch das Schreiben der Online-Klausur funktioniert (siehe Punkt 3). Das automatische Freischalten bei 50% funktioniert allerdings nicht, da weder eine angepasste Spalte ( Berechnet -Spalte) in der Kursteilnehmer-Übersicht durch den Dozenten erstellt werden kann noch die Freischaltung von Klausuren so etwas unterstützt; außer, die Klausur gilt bei 50% als bestanden. 6 Rückmeldung zum Lernfortschritt/Selbsttests Begleitend zu jeder Sitzung eines Seminars können Materialien veröffentlicht werden. Der Dozent kann für jede Einheit einen Test erstellen, der automatisch ausgewertet wird oder den Studenten

15 direkt nach beantworten der Frage mitteilt, ob die Frage korrekt beantwortet wurde oder nicht. Auch ist es dem Dozenten möglich, den Selbsttest anonym durchzuführen. Zwar werden die Ergebnisse dann immer noch gespeichert; allerdings wurden die Namen der Studenten für die Testautoren unkenntlich gemacht. Somit hat der Dozent die Möglichkeit, die Güte seiner Fragen zu überprüfen, ohne die Ergebnisse eines bestimmten Studenten einsehen zu können. Die Ergebnisse sind für den Studenten einsehbar; ebenso wie eine Auswertung pro Frage. Sie sind nur auf der Dozenten-Seite nicht mehr personalisiert. 7 Propädeutika Es lassen sich Anwendungen als SCORM- oder AICC Module einbinden. Auch das Verlinken auf externe Seiten stellt kein Problem dar. Das Inkludieren einer externen Seite in einen Frame von Ilias ist allerdings nicht ohne Weiteres möglich. 8 Begleitung zu Praktika Hier gibt es mehrere Möglichkeiten. Die einfachste wäre ein Forum, in dem der Student sein Praktikum regelmäßig protokolliert. Nachteilig an dieser Lösung ist allerdings, dass Dateien nur angehängt werden können. Eine Blog-Funnktion existiert in Ilias bisher nicht. Für mehr Möglichkeiten würde sich ein Ilias-Lernmodul anbieten, bei dem jeder Student sein eigenes Kapitel hat und auf einzelnen Seiten sein Praktikum protokolliert. Vorteil hierbei wäre, dass die Studenten einen HTML-Editor zur Verfügung hätten und auch Bilder oder Flash-Dateien einbinden könnten und diese direkt angezeigt werden. Eine sehr umfangreiche Lösung wäre es natürlich, jedem Studenten noch seinen eigenen kompletten Arbeitsbereich einzurichten, in dem jeder Student die Tools von Ilias selbstständig nutzen kann. Dafür müsste allerdings jeder Student seine eigene Gruppe bilden, damit jeder einen eigenen Gruppenarbeitsbereich hat. Ansonsten sollte man dann wie in Punkt 2 erläutert vorgehen und einen Präsentationsordner und einen internen Ordner anlegen, der den persönlichen Aufzeichnungen des jeweiligen Studenten vorbehalten ist. Die Bereitstellung von Materialien durch den Dozenten stellt kein Problem dar. Die organisatorischen Dinge wurden in Punkt 4 schon erläutert und sind ebenfalls unproblematisch.

16 IV Anhang - Bewertungsmatrix für die Tools (Anhang I) - Evaluationsanweisung für die Tool-Evaluation (Anhang II) - Szenarienbeschreibung für die szenarienbasierte Evaluation (Anhang III) - Schnittstellendokumentation (Anhang IV) Literaturverzeichnis elaix Ilias Information Center Resources Ilias open source Forums Ilias Software Development Ilias User Documentation Wikipedia