Die fünf Ws der Evaluation von E-Learning

Transkript

1 Die fünf Ws der Evaluation von E-Learning Qualitätskontrolle und Qualitätssicherung sollten zu festen Bestandteilen der Entwicklung und Durchführung internetbasierter Lernmaßnahmen zählen gilt doch die Qualität einer solchen Maßnahme als wesentliche Voraussetzung für ihre erfolgreiche Implementierung. Tatsächlich ist in den vergangenen Jahren ein großer Teil der Pilotprojekte und Modellversuche zum E-Learning von Evaluationsmaßnahmen begleitet worden. 1 Diese reichen von hoch kontrollierten experimentellen Laborstudien bis zu wenig strukturierten Aufzeichnungen von Erfahrungen und Feldbeobachtungen. Nicht immer jedoch hat man den Eindruck, dass Evaluationen tatsächlich zielführend im Sinne einer Qualitätskontrolle oder -verbesserung des Lernangebots sind. Das Anliegen des vorliegenden Artikels ist es, dem Leser einen Überblick über verschiedene Ansätze und Methoden der Evaluation internetgestützter Bildungsmaßnahmen zu geben und deren spezifische Vor- und Nachteile herauszuarbeiten. Anhand von fünf Leitfragen wird dargestellt, welche Überlegungen bei der Evaluation internetbasierter Lernmaßnahmen anzustellen sind, um diejenige Vorgehensweise zu ermitteln, die im Kontext der zu bewertenden Maßnahme aussagekräftige Ergebnisse verspricht. 1 Erste Frage: Warum soll das Bildungsangebot überhaupt evaluiert werden? Evaluation fängt mit einer Zielsetzung an. Dabei lassen sich zwei grundsätzliche Anliegen von Evaluation unterscheiden, nämlich die entwicklungsbegleitende Optimierung eines Lernangebots (formative Evaluation) und seine im Anschluss an die Implementierung durchgeführte abschließende Bewertung (summative Evaluation). Die Festlegung auf ein formatives oder summatives Vorgehen ist z. B. wesentlich für die Auswahl der zu untersuchenden Aspekte und deren Granularität. So bietet es sich an, Einzelheiten zu Schwierigkeiten beim technischen Umgang mit einer Lernplattform zu ermitteln, solange noch technische Verbesserungen hieran vorgenommen werden können, während z. B. die Lerneffektivität und insbesondere der Lerntransfer einer Maßnahme sinnvoll erst nach Abschluss derselben beurteilt werden können. 1 Z. B. Daun & Hauske 2003; Glowalla, Glowalla & Kohnert 2000; Kopp, Balk & Mandl 2002; Reinmann-Rothmeier et al. 2001; Stark & Mandl 2003; Unger 2003.

2 In der Diskussion um die Evaluation von Bildungsmaßnahmen hat die entwicklungsbegleitende Evaluation zunehmend an Stellenwert gewonnen. 2 Grund dafür ist, dass Erkenntnisse einer Evaluation nach Abschluss einer Bildungsmaßnahme häufig geringen praktischen Nutzen haben. Aufgedeckte Mängel und Probleme können zu diesem Zeitpunkt nur noch konstatiert, nicht jedoch beseitigt werden. Vor diesem Hintergrund erscheint es sinnvoll, bereits in der Entwicklungsphase evaluative Maßnahmen durchzuführen. Für internetbasierte Lernmaßnahmen gilt dies in besonderem Maße, denn häufig handelt es sich um Pilotprojekte. Bei Entwicklern/innen, Lehrenden und Lernenden liegen also noch wenige oder keine Erfahrungen zu diesem Format vor. Fehlentwicklungen können deshalb nur durch frühzeitige Erprobung entdeckt werden. 2 Zweite Frage: Was soll evaluiert werden? So trivial dies klingt, scheint es doch keine Selbstverständlichkeit zu sein, dass auf die Festlegung des Evaluationsgegenstands besondere Sorgfalt zu verwenden ist. Mangelt es einer Evaluationsstudie an präzisen Formulierungen ihres Gegenstands, sind entsprechend schwammige und letztlich unbrauchbare Ergebnisse zu erwarten. Die Festlegung des Evaluationsgegenstands sollte zunächst an den Zielen der Maßnahme orientiert werden. Besteht das Ziel eines E-Learning-Angebots in einer Veränderung von Lernstrategien und der Förderung der Selbstständigkeit der Lernenden, reicht es nicht aus, die Akzeptanz der Lernenden abzufragen. Ist das Ziel eine Steigerung der Lerneffektivität im Vergleich zu klassischen Unterrichtsformaten, sollte die Maßnahme auch im Hinblick auf ihren Lernerfolg mit diesen verglichen werden. Nun ist es in vielen Projekten leider so, dass die Entwicklungsziele selbst unpräzise oder überhaupt nicht expliziert werden. Den Evaluatoren obliegt es in diesem Fall, Evaluationsgegenstände festzulegen. Dabei kann die Akzeptanz für die Ergebnisse der Evaluation erheblich gesteigert werden, wenn in diesen Prozess die an der Entwicklung und Durchführung beteiligten Gruppen (z. B. Entscheider/innen, Entwickler/innen, Lehrende, Lernende) einbezogen werden und gemeinsam vereinbart wird, worauf sich der Blick der Evaluation richten sollte. Ein zentraler Evaluationsgegenstand bei der Evaluation von Bildungsmaßnahmen ist traditionell ihre Lerneffektivität. Dies gilt auch für internetbasierte Lernangebote, da hier häufig der Nachweis zu führen ist, dass Lernende in diesem For- 2 Molenda, Pershing & Reigeluth

3 Die fünf Ws der Evaluation von E-Learning mat, wenn nicht bessere, so doch zumindest die gleichen Lernerfolge erzielen wie in herkömmlichen Unterrichtsformaten. In der Evaluationsforschung ist schon früh darauf hingewiesen worden, dass die Betrachtung des Lernerfolgs ganzheitlich erfolgen sollte, um informative Ergebnisse zu liefern. So formuliert Stufflebeam 3 in seinem CIPP-Modell (Context, Input, Process, Product), dass neben dem eigentlichen Lernergebnis ( Product ) drei weitere Felder zu betrachten sind: Der Kontext des Lernangebots, d. h. Rahmenbedingungen der Integration des Angebots in bestehende Bildungsstrukturen, die Abstimmung der Inhalte auf Wünsche und Bedürfnisse der Teilnehmer usw. Bei internetbasierten Lernangeboten interessiert in diesem Bereich u. a., welchen Stellenwert internetbasierte Angebote im Studium haben oder ob Studienleistungen, die in einem Online-Seminar erbracht werden, in gleicher Weise anerkannt werden wie die aus herkömmlichen Seminaren. Eine weitere wichtige Frage im Kontext des Lernangebots ist, ob das Angebot allein über das Internet vermittelt wird oder E-Learning in Kombination mit Präsenzphasen eingesetzt wird. Bezogen auf die Teilnehmer/innen sind bei der Evaluation von internetbasierten Lernangeboten besonders deren computer-technische Vorkenntnisse und Bedürfnisse zu berücksichtigen, da sich immer wieder zeigt, dass technische Probleme eine der größten Hürden für das erfolgreiche Lernen in einem Online-Seminar darstellen. 4 Der Input, d. h. die Ressourcen, die für die Entwicklung und Implementierung zur Verfügung stehen. Internetbasierte Lernangebote stellen hier besondere Anforderung an die technischen Ressourcen, da ein ausreichender Zugang zu den internetbasierten Lernmaterialien die unabdingbare Voraussetzung für das erfolgreiche Lernen in einem Online-Seminar ist. Die technische Ausstattung der Teilnehmer/innen, bzw. die Zugangsmöglichkeiten, die ihnen durch die Universität (bzw. Bildungsinstitution) gegeben werden, ist also eine wichtige Input-Variable, die bei der Evaluation von internetbasierten Lernangeboten erhoben werden sollte. Auch die personellen Ressourcen sind bei der Evaluation von Online-Seminaren von großer Bedeutung, da der Lernerfolg entscheidend von der Unterstützung durch entsprechend geschulte Tutoren/innen abhängt. 3 Stufflebeam 1972, Jonas, Boos & Walther

4 Der Prozess der Entwicklung und Implementierung. Die Prozessevaluation ist bei internetbasierten Lernmaßnahmen von besonderer Bedeutung, weil bisher noch wenig darüber bekannt ist, wie Lernende und Lehrende sich in einer virtuellen Lernumgebung verhalten. Umfangreiche Analysen der Interaktions- und Lernprozesse in einem Online-Seminar können deshalb wichtige Informationen darüber liefern, warum die Lernergebnisse so ausfallen wie sie ausfallen. Im Rahmen der Prozessevaluation kann z. B. betrachtet werden, welche technischen Funktionen der virtuellen Lernumgebung und welche der angebotenen Lernmaterialien und -werkzeuge die Lernenden nutzen und ob es dabei Probleme gibt; wie die Lernenden miteinander und mit den Tutoren/innen interagieren, wie sie das Angebot beurteilen, usw. Für die Evaluation gilt also, dass die Untersuchung dieser unterschiedlichen Evaluationsfelder sowohl für die entwicklungsbegleitende Verbesserung wie auch für die abschließende Bewertung wesentlich aussagekräftigere Ergebnisse erwarten lässt als die einseitige Betrachtung des Lernerfolgs. Die Analyse des Lernerfolgs, bzw. des Produkts der Maßnahme kann darüber hinaus unterschiedlich weit gefasst sein. Kirkpatrick 5 unterscheidet diesbezüglich vier Ebenen der Evaluation, die in der Form einer Pyramide angeordnet sind (Abb. 1). Abb. 1: Evaluationsmodell von Kirkpatrick (1975, 1994). 5 Kirkpatrick 1975,

5 Die fünf Ws der Evaluation von E-Learning Besonders gern und häufig werden Evaluationen von internetbasierten Lernangeboten auf der Reaktionsebene durchgeführt. Diese Ebene erfasst, wie die Lernenden die Maßnahme, bzw. die Materialien beurteilen. So werden beispielsweise subjektive Einschätzungen zur Akzeptanz, Lernwirksamkeit, Problemen usw. erhoben. Zwar haben Evaluationen auf dieser Ebene einen gewissen Informationswert, da die Akzeptanz der Lernenden ausschlaggebend dafür ist, dass sich diese überhaupt mit dem Lernmaterial auseinandersetzen und damit eine Grundlage für erfolgreiches Lernen darstellt. Auch sind subjektive Aussagen zu Problemen und Schwierigkeiten sicherlich dienlich, um Hinweise für die Optimierung des Lernangebots zu erhalten. Kirkpatrick weist jedoch darauf hin, dass der Wert von Evaluationen der Lernerreaktion als alleiniger Analyseebene begrenzt ist, da sie z. B. keine Informationen darüber liefern, was tatsächlich gelernt wurde oder ob es einen Lerntransfer in den Alltagskontext der Lernenden gibt. Evaluationen auf der Reaktionsebene sollten deshalb zumindest um Tests ergänzt werden, mit denen der tatsächliche Lernerfolg gemessen wird (Ebene 2). Auch dies gehört, wenn auch seltener als die Evaluation auf der Reaktionsebene, noch zur gängigen Praxis bei der Evaluation internetbasierter Lernmaßnahmen. Kirkpatrick zeigt auf, dass über der Ebene der Lernerfolgsmessung noch zwei weitere Ebenen liegen, die für die Beurteilung des Erfolgs einer Bildungsmaßnahme eigentlich noch bedeutsamer sind, nämlich zum einen die Frage, ob es zu einem Transfer des gelernten Wissens in die Anwendungspraxis der Lernenden kommt (Verhaltensebene) und ob sich durch eine veränderte Anwendungspraxis gar die Organisationen und Systeme, in denen die Lernenden ihr neues Wissen anwenden, insgesamt verändern (Ergebnisebene). Evaluationen auf den Ebenen 3 und 4 sind meist nur im Zusammenhang einer summativen Evaluation sinnvoll, da Informationen über Lerntransfer und Ergebnisse auf organisationaler Ebene erst gewonnen werden können, nachdem die Maßnahme im Feld implementiert wurde. Der Evaluationsprozess wird von Ebene 1 bis 4 zunehmend schwieriger und zeitaufwändiger. Gleichzeitig liefert die Evaluation jedoch auf den höheren Ebenen häufig bedeutsamere Information, um den Erfolg einer Bildungsmaßnahme zu beurteilen. Kirkpatrick empfiehlt, alle Ebenen in die Evaluation einzubeziehen, um ein vollständiges Bild des Erfolgs einer Bildungsmaßnahme zu erhalten. 3 Dritte Frage: Wann soll evaluiert werden? Schon bei der Frage nach dem Warum der Evaluation wurde darauf hingewiesen, dass zunächst die Entscheidung zu treffen ist, ob formativ oder summativ zu evaluieren ist und dass bei der Evaluation internetbasierter Lernangebote die 79

6 noch sehr lückenhaften Erfahrungen mit diesem Format für ein formatives Vorgehen sprechen. Innerhalb eines formativen Ansatzes muss nun noch entschieden werden, zu welchen Zeitpunkten Evaluationsdurchgänge durchgeführt werden. Von Vertretern des Instruktionsdesigns wird dabei zunehmend die Auffassung vertreten, mit der Evaluation eines Lernangebots möglichst frühzeitig im Entwicklungsprozess zu beginnen. 6 Aus der Software-Entwicklung wurde der Ansatz des Rapid Prototyping übernommen, bei dem zunächst mit möglichst geringem Aufwand ein erster Entwurf des Lernmaterials gestaltet wird, der dann einigen Testlernern oder Evaluatoren vorgelegt und auf der Grundlage von deren Feedback weiterentwickelt wird. Die Lernmaßnahme durchläuft zahlreiche Feedbackschleifen, von denen man sich verspricht, eine optimale Passung der Bildungsmaßnahme mit den Bedürfnissen der Zielgruppe zu erreichen. 7 Auch während der Implementierungsphase sind Evaluationen sinnvoll, um Rückmeldungen über aktuelle Probleme und Bedürfnisse der Lernenden zu erhalten. Durch entsprechende Anpassungen und Veränderungen kann mitunter verhindert werden, dass Teilnehmer/innen den Kurs abbrechen. 8 Auch hinsichtlich der Validität der Ergebnisse sind Evaluationen in der Durchführungsphase sinnvoll, denn wartet man damit bis zum Abschluss eines Kurses, können häufig nur noch die Teilnehmer befragt werden, die den Kurs erfolgreich zu Ende geführt haben. Den Evaluatoren entgeht damit die Perspektive der Abbrecher, die in Hinblick auf Probleme und Optimierungspotenzial besonders wertvoll ist. 4 Vierte Frage: Wer soll evaluieren? Schließlich stellt sich die Frage nach den Protagonisten der Evaluation. Zu unterscheiden ist hier die externe Evaluation von der internen Evaluation. Bei der externen Vorgehensweise führen Personen die Evaluation durch, die weder an der Entwicklung noch an der Implementierung der Maßnahme beteiligt sind. Externen Evaluatoren wird eine größere Neutralität bei der Bewertung der Maßnahme zugesprochen. Bei der Befragung der Beteiligten erhalten sie mitunter offenere Antworten insbesondere, wenn es um kritische Aspekte der Maßnahme geht. Die interne Evaluation wird dagegen von den Beteiligten selbst durchgeführt. Sie hat den Vorteil, dass die Beteiligten häufig ein besseres Verständnis des gesamten Entwicklungs- und Implementierungsprozesses haben, so dass sie Ergebnisse, Potenziale und Probleme der Maßnahme besser bewerten können. 6 Molenda, Pershing & Reigeluth 1996; Tripp & Bichelmeyer Tripp & Bichelmeyer Jonas, Boos & Walther

7 Die fünf Ws der Evaluation von E-Learning Weiterhin wird zwischen experten- und nutzerbasierten Evaluationsansätzen unterschieden. Experten beurteilen die Maßnahme auf der Basis ihres Fachwissens im Bereich des dargebotenen Lerninhalts, bzw. auf der Grundlage medienoder fachdidaktischer Expertisen. Sie versetzen sich in die Situation der Lernenden und prüfen die Qualität des Lernangebots auf unterschiedlichen Ebenen (inhaltliche, technische, didaktische Aspekte). Dabei fallen die Ergebnisse genauer aus, wenn die Experten/innen gleichzeitig auf verschiedenen Ebenen über Erfahrung und Wissen verfügen (sowohl auf inhaltlicher als auch auf fach- und mediendidaktischer Ebene). 9 Die Bewertung ist dabei in der Regel durch Heuristiken, Checklisten, Bewertungsleitfäden oder Kriterienkataloge strukturiert. Nielsen nennt im Kontext der von ihm entwickelten heuristischen Evaluationsmethode eine Zahl von drei bis fünf Experten als ausreichend, um zu aussagekräftigen Evaluationsergebnissen zu gelangen. Expertenevaluationen gelten als vergleichsweise wenig aufwändig und damit als eine kostengünstige Form der Evaluation. Sie werden in frühen Phasen des Entwicklungsprozesses besonders empfohlen, da sie auch an sehr einfachen Prototypen durchgeführt werden können und schnell Ergebnisse liefern. 10 Grundsätzlich können sie jedoch in allen Phasen des Entwicklungsprozesses und auch summativ eingesetzt werden. Unter nutzerbasierten Evaluationsansätzen werden dagegen Verfahren zusammengefasst, bei denen die Ergebnisse in irgendeiner Form durch die Befragung bzw. Beobachtung der Lernenden gewonnen werden (z. B. Nutzertest, Nutzerbefragung, Logfile-Analyse). Sie haben den Vorteil, dass sie auf der tatsächlichen Interaktion der Lernenden mit dem Material beruhen. Deshalb wird ihren Ergebnissen eine größere Validität zugeschrieben als denen expertenbasierter Verfahren, wo sich die Evaluatoren lediglich vorstellen, wie sich die Lernenden vermutlich verhalten werden. 11 Die meisten nutzerbasierten Verfahren sind jedoch aufwändiger in der Durchführung als Expertenbeurteilungen, besonders, wenn Lernende bei der Interaktion mit dem Lernmaterial beobachtet werden sollen. Auch erfordern nutzerbasierte Verfahren das Vorliegen eines zumindest in Teilen funktionsfähigen Prototypen, so dass sie im Entwicklungsprozess weniger gut unmittelbar zu Beginn eingesetzt werden können als expertenbasierte Verfahren. 9 Nielsen Sweeney, Maguire & Shackel Tergan

8 5 Fünfte Frage: Wie soll evaluiert werden? Kommen wir zur letzten Frage nach der Methode der Evaluation. Hier steht ein breites Repertoire von Untersuchungsmethoden der empirischen Sozialwissenschaften zur Verfügung. Am häufigsten angewandt wird sicherlich die Befragung von Lernenden und Lehrenden. Bei Online-Lernangeboten wird diese häufig internetgestützt mithilfe von HTML-Formularen durchgeführt, wodurch der Auswertungsaufwand reduziert werden kann. Befragungen sind geeignet, um die subjektiven Eindrücke der Teilnehmer/innen einer internetbasierten Bildungsmaßnahme zu erheben. Für die Erfassung objektiver Daten, z. B. des Lernerfolgs oder der Nutzungshäufigkeit bestimmter Systemfunktionen empfiehlt sich jedoch die Kombination mit objektiveren Verfahren, z. B. Tests oder Logfile- Analysen. Auch sollte man sich darüber im Klaren sein, dass Befragungen durch Antworttendenzen verzerrt sein können, so z. B. durch sozial erwünschtes Antwortverhalten. Aus der Software-Evaluation übernommen werden kann das Verfahren des Nutzertests, bei dem vorab einige typische Aufgaben und Interaktionen mit dem System festgelegt werden und einige Testnutzer oder Testlerner bei deren Ausführung beobachtet werden. In einem Beobachtungslabor kann die Interaktion zusätzlich auf Video für die Analyse aufgezeichnet werden. Solche Nutzertests können interessante Einsichten in die Bedienungsfreundlichkeit des Systems geben und sind deshalb besonders in der Entwicklungsphase sinnvoll. 12 Ein weiteres Verfahren, das sich speziell für die Evaluation von E-Learning- Angeboten eignet, ist die Analyse von System-Logfiles. 13 Damit können echte Verhaltensdaten der Nutzer von diesen unbemerkt erhoben werden. Der Vorteil von Logfile-Analysen ist, dass die Interaktion der Nutzer mit dem System nicht durch eine künstliche Beobachtungssituation verzerrt wird. Allerdings ist es zur angemessenen Interpretation von System-Logfiles hilfreich, zusätzlich qualitative Daten zu erheben, indem die Nutzer z. B. in einem Interview oder Fragebogen gebeten werden, zu erläutern, warum und wann sie welche Systemfunktionen genutzt, bzw. nicht genutzt haben. Außerdem ist es unter versuchsethischen Gesichtspunkten erforderlich, die Lernenden, bevor sie an einer E-Learning- Maßnahme teilnehmen, darüber aufzuklären, dass die Logfiles zu Forschungszwecken analysiert werden sollen. 12 Reeves & Hedberg Z. B. Shuyler & Maddox

9 Die fünf Ws der Evaluation von E-Learning Speziell auf die Evaluation von E-Learning-Angeboten zugeschnitten sind schließlich Kriterienkataloge, mit denen die Bildungsmaßnahme anhand allgemein gültiger Gütekriterien für gutes Instruktionsdesign bewertet wird. Solche Kataloge umfassen zumeist Dimensionen wie technische, fachliche und mediendidaktische Aspekte. Kriterienkataloge sind beliebt, weil sie als Evaluationswerkzeuge von der Stange kaum Entwicklungsaufwand bedeuten. Genau darin liegt jedoch auch ein entscheidender Mangel: Sie lassen sich nur unzureichend auf die Besonderheiten der jeweils evaluierten Maßnahme anpassen. Oft treffen ganze Teile des Katalogs auf die vorliegende Maßnahme nicht zu, dafür werden andere, eventuell entscheidende Gestaltungs- oder Durchführungsaspekte nicht durch den Kriterienkatalog abgefragt. Ein weiterer Kritikpunkt an Kriterienkatalogen ist ihre Unhandlichkeit, da im Bestreben, eine möglichst umfassende Beurteilung des Angebots zu ermöglichen, in einigen Katalogen Hunderte von Bewertungsaspekten zu beurteilen sind. Auch wird Kriterienkatalogen zum Teil Techniklastigkeit vorgeworfen. Es wird deshalb empfohlen, Kriterienkataloge ebenfalls nur in Verbindung mit anderen, nutzerorientierten Verfahren einzusetzen Resümee Fassen wir zusammen: Der Gehalt einer Evaluation kann erheblich gesteigert werden, wenn sie bereits früh im Entwicklungsprozess einsetzt, um Fehlentwicklungen vorzubeugen, klare, an den Entwicklungszielen der Maßnahme orientierte Fragen stellt, den Erfolg der betrachteten Maßnahme ganzheitlich auf verschiedenen Ebenen und in ihrem Kontext beurteilt, verschiedene Perspektiven berücksichtigt: die von Entscheidern und Entwicklern, von Lehrenden und Lernenden, von direkt Beteiligten und externen Experten, verschiedene Methoden miteinander trianguliert. Evaluationen können so entscheidend zur Qualität von E-Learning-Maßnahmen beitragen. Doch müssen sich die Evaluatoren darüber im Klaren sind, dass ihr Erfolg von einem komplexen Bedingungsgefüge von Faktoren abhängt, die in einer gelungenen Evaluation angemessene Berücksichtigung finden müssen. 14 Vgl. zusammenfassende Diskussionen bei Fricke 2000 oder Tergan