Evaluation der Selbstlernmodule Dokumentation des Evaluationsprozesses - Pilotphase im Cluster Dresden - April 2010

Transkript

1 Sächsisches E-Competence Zertifikat Evaluation der Selbstlernmodule Dokumentation des Evaluationsprozesses - Pilotphase im Cluster Dresden - April 2010 [Dokumentation des Evaluationsprozesses Zielsetzung, Planung und Durchführung der Pilotphase im Cluster Dresden]

2 Inhalt 1. Einleitung Definition des zu evaluierenden Gegenstandes Zielsetzung der Evaluation Planung der Evaluation Definition der Untersuchungsschwerpunkte Definition der Stichprobe Bewertung und weitergehende Nutzung Berichtslegung Teiluntersuchungen - Zielsetzungen und Beispiele für Optimierungsmöglichkeiten Evaluation der Akzeptanz des Moduls T14_E-Learning-Standards Evaluation des Lernerfolges des Moduls T14_E-Learning-Standards Evaluation der Usability des Moduls T14_E-Learning-Standards Zusammenfassung... 6 Impressum... 6 Lizenz... 6 Titel Dokumentation der Evaluation, Cluster Dresden, 04/2010 Seite 2 von 6

3 1. Einleitung Die Evaluation der Selbstlernmodule ist Bestandteil des Arbeitspaketes 5 - Pilotphasen. Laut Projektantrag wird zeitlich versetzt in drei Pilotphasen (je eine pro Cluster) vorhandenes Material zu Testzwecken eingesetzt. Die Pilotphasen finden zu folgenden Zeitpunkten statt: 1. Pilotphase: April Pilotphase: November Pilotphase: Mai 2011 Die erste Pilotphase fand im Cluster Dresden statt. Die Dokumentation des Evaluationsprozesses ist Bestandteil des Arbeitspaketes 6 und dient darüber hinaus als Grundlage für die Durchführung der weiteren Pilotphasen. Darüber hinaus ist die Evaluation Teil des Qualitätssicherungskonzeptes (Arbeitspaket 4). Der Ablauf der Evaluation erfolgte nach folgendem Grundgerüst: Definition des zu evaluierenden Gegenstandes Zielsetzung der Evaluation Planung der Evaluation Datenerhebung und Auswertung Bewertung und weitergehende Nutzung Berichtslegung 2. Definition des zu evaluierenden Gegenstandes In dieser Evaluation geht es darum, das im Rahmen des Projektes SECo erstellte Weiterbildungsangebot bzw. Teile des Angebotes (einzelne Module) hinsichtlich ihrer Qualität, Funktionalität, Wirkung und ihrem Nutzen zu analysieren und zu bewerten. Dies erfolgt auf der Grundlage einer systematisch erhobenen Datenbasis. Dabei sollen Daten erhoben werden, die Aufschluss über die Qualität der bisher erstellten (Teil-)Module geben. 3. Zielsetzung der Evaluation Die Evaluation zielt auf eine Verbesserung der entwickelten Module bzw. einzelner Komponenten. Die Evaluation hat demzufolge eine Kontroll- und Entscheidungsfunktion, d.h. dass die verschiedenen Pilotphasen dazu beitragen sollen, das Weiterbildungsangebot zu optimieren und dadurch dessen Qualität zu kontrollieren und sicherzustellen. Darüber hinaus dient die Evaluation dazu, die bereits erstellten Lernmodule hinsichtlich des Erreichens der eingangs beschriebenen Ziele zu beurteilen. Gleichzeitig soll es Ziel sein, aus den Ergebnissen der Evaluation heraus, die Effizienz der Arbeitsabläufe während der Titel Dokumentation der Evaluation, Cluster Dresden, 04/2010 Seite 3 von 6

4 Modulkonzeption und -produktion zu erhöhen. Damit wird also nicht nur das Produkt, sondern auch der Prozess evaluiert und ggf. verbessert. 4. Planung der Evaluation 4.1 Definition der Untersuchungsschwerpunkte Die Evaluation setzt sich laut Projektantrag aus drei Untersuchungsschwerpunkten zusammen: Evaluation der Akzeptanz Evaluation des Lernerfolgs Evaluation der Usability (Gebrauchstauglichkeit) Die Untersuchungsschwerpunkte beziehen sich jeweils auf das Referenzmodul T14_E- Learning-Standards. 4.2 Definition der Stichprobe Für alle drei Teiluntersuchungen werden Studierende der sächsischen Hochschulen als Probanden herangezogen. Die Probanden werden im Vorfeld angesprochen und über die notwendigen, anonymen Angaben informiert. In der ersten Phase wurden 16 Probanden gewonnen. 4.3 Bewertung und weitergehende Nutzung Nach der Datenerhebung erfolgte deren Auswertung. Dabei sollen Schlussfolgerungen aus den Ergebnissen sowie erkannte Problembereiche in den Vordergrund gestellt werden. Darauf hingehend sollen Optimierungsmöglichkeiten abgeleitet werden und es soll aufgezeigt werden, wie die Ergebnisse in die Praxis der weiteren Modulproduktion umgesetzt werden können. 4.4 Berichtslegung Die Berichtslegung erfolgt in Form einer Zusammenfassung der drei Teiluntersuchungen. Dieser Bericht enthält die Dokumentation des Arbeitsplans sowie der Ergebnisse der Untersuchungen. Der Bericht dient damit als Entscheidungshilfe für die Optimierung der Module und Kontrolle der Qualität. Titel Dokumentation der Evaluation, Cluster Dresden, 04/2010 Seite 4 von 6

5 5. Teiluntersuchungen - Zielsetzungen und Beispiele für Optimierungsmöglichkeiten 5.1 Evaluation der Akzeptanz des Moduls T14_E-Learning-Standards In dieser Teilevaluation ging es um den Einfluss der Modalität des Moduls T14_E-Learning- Standards auf dessen Akzeptanz. Die Modalität beschreibt dabei, wie viele Sinnesmodalitäten beim Lernenden angesprochen werden. Aus verschiedenen Theorien u. a. zum Lernen mit Medien wird die Hypothese abgeleitet, dass ein multimodales Lernmodul (Kombination aus visuellem und auditivem Lernmaterial) eine höhere Akzeptanz beim Lernenden hervorruft als ein monomodales Lernmodul. Der Begriff der Akzeptanz wird dabei über die Freude bei der Nutzung und die Lernmotivation definiert. Basierend auf dem theoretischen Hintergrund und der durchgeführten Teiluntersuchung werden Optimierungsmöglichkeiten abgeleitet, um eine hohe Akzeptanz hervorzurufen. Diese wurden z. T. bereits in dem SECo-Modul umgesetzt, können jedoch an einiger Stelle noch optimiert werden. Einbindung des Sprechertextes: Erläuterungen zu Animationen bzw. umfassenderem Bildmaterial i.d.r. immer als gesprochenen Text Vermeidung redundanter Inhalte Darbietung der Präsentationsinhalte in räumlicher und zeitlicher Nähe Erläuterung in gesprochener Form ist für das Verständnis z.b. der Graphik essentiell und dienen nicht nur zur Unterhaltung Gestaltung der Audiosequenz: Angemessene Sprechgeschwindigkeit und Betonung Kurze, prägnante Sätze mit klaren Bezügen untereinander Steuerungsmöglichkeiten (Start, Pause, Wiederholung) Audiosequenz ist auf die Sprech- und Hörgewohnheiten der zukünftigen Nutzer abgestimmt 5.2 Evaluation des Lernerfolges des Moduls T14_E-Learning-Standards In der Teilevaluation ging es um den Lernerfolg des Lernmoduls TE14_E-Learning- Standards. Dabei wurden Merkmale computerbasierter Informationspräsentation, die als potenziell lernförderlich 1 gelten, betrachtet: Codierung Sinnesmodalität Interaktivität Ziel dieser Teilevaluation war es, die Kombination aller Komponenten in einem E-Learning- Modul im Vergleich zu einer äquivalenten Skript-Version zu betrachten. Letztere gibt denselben Inhalt wieder und versucht, die multimodalen Elemente der elektronischen Variante bestmöglich abzubilden. So wurden für die Skript-Version sämtliche Grafiken übernommen, der Sprechertext wurde verschriftlicht und die Animationen comicartig dargestellt. 1 Lernen wird im Rahmen der Untersuchung mit dem Aufbau verbaler Informationen beschrieben, wohlwissend, dass komplexe und interaktive E-Learning-Szenarien auch den Aufbau höherer Formen der Wissensrepräsentation bedingen. Dabei kann wiederum nicht außer Acht gelassen werden, dass verbale Informationen stets als Grundstein für die folgenden Stufen angesehen werden müssen. Titel Dokumentation der Evaluation, Cluster Dresden, 04/2010 Seite 5 von 6

6 Basierend auf der durchgeführten Teiluntersuchung werden folgende Optimierungsmöglichkeiten abgeleitet: Alleinstehendende Audiodateien sollen durch eine Verschriftlichung der Sprechertexte ergänzt werden. So können Lern- bzw. Lesetempo den individuellen Gewohnheiten besser angepasst werden, Wiederholungen sind deutlich einfacher möglich. Verbesserungswürdig sind zudem die Möglichkeiten zur Interaktion, beispielsweise in Form von Simulationen. 5.3 Evaluation der Usability des Moduls T14_E-Learning-Standards Das Ziel der Arbeit bestand darin zu überprüfen, ob der Lernende den Lerngegenstand, welcher in Form verschiedener Medientypen wie z.b. Text, Video oder Animation zu Verfügung steht, ungehindert erreicht. Die Leitkriterien Effizienz, Effektivität und Zufriedenheit aus der DIN EN-ISO-Norm 9241 umreißen die Fragestellung der Untersuchung. Ziel sollte es sein, eventuell vorhandene Fehler in der Dialoggestaltung ausfindig zu machen, die eine Barriere für den Lernenden darstellen können. Die identifizierten Probleme aus der Usability-Testung wurden in Form einer Fehlerliste zusammengestellt und an den technischen Support übergeben. 6. Zusammenfassung Die drei Teilevaluationen an der Hochschule Zittau/Görlitz (mit Studierenden) haben gezeigt, welche Stärken und Schwächen in einem bereits fertig gestellten SECo-Modul für die Untersuchungsschwerpunkte Usability, Akzeptanz und Lernerfolg erkannt wurden. Die daraus abgeleiteten Schlussfolgerungen und Optimierungsmöglichkeiten werden allen beteiligten Autoren zur Verfügung gestellt und sind Teil des im Qualitätssicherungskonzept verankerten KVP-Prinzips (kontinuierlicher Verbesserungsprozess). Gleichzeitig finden sie in den beiden folgenden Pilotphasen Berücksichtigung. Impressum SECo - Sächsisches E-Competence Zertifikat Bearbeiter: Sandra Döring Kontakt: sandra.doering@seco-sachsen.de Lizenz Das Dokument wurde unter der Creative Commons Lizenz mit den Attributen Namensnennung und gleiche Bedingungen bereitgestellt. Titel Dokumentation der Evaluation, Cluster Dresden, 04/2010 Seite 6 von 6