A Respecification of the DeLone and McLean Model to Measure the Success of an Electronic Mediated Learning Systems (EMLS)

Transkript

1 A Respecification of the DeLone and McLean Model to Measure the Success of an Electronic Mediated Learning Systems (EMLS) Franz Lehner Michael Scholz, Verena Dorner Vortrag im Rahmen der MKWI 2014, Feb 2014, Paderborn

2 Agenda Electronic Mediated Learning (E-Learning) Begriffsverständnis u. Erfahrungshintergrund Szenario der Studie Evaluation vs. Erfolgsmessung von EMLS bzw. E-Learning (-Systemen) Konzeption der Studie und Ergebnisse Zusammenfassung 2

3 Electronic Mediated Learning (E-Learning) - Begriffsverständnis und Erfahrungshintergrund

4 Electronic Mediated Learning - E-Learning EML bzw. E-Learning setzt Lernen voraus. Es bezeichnet die teilweise oder vollständige Unterstützung der damit zusammenhängenden Prozesse und Aktivitäten (Lehren, Lernen im engeren Sinne einschließlich Lernerfolgsmessung, Datenverwaltung, Administration etc.) mit informations- und kommunikationstechnischen Mitteln. Anmerkungen zum Begriffsverständnis: E-Learning ermöglicht teilweise neue oder innovative Lernformen, die ohne Einsatz dieser technischen Mittel nicht möglich wären. Sowohl die eingesetzten technischen Mittel, als auch die Bezeichnungen für diesen Einsatz haben sich im Lauf der Zeit geändert. E-Learning und EML sind heute eine allgemein akzeptierte Sammelbezeichnung, die aber keine Aussage über Lernorganisation, Theorie, Paradigma, etc. beinhalten. 4

5 Ebenenmodell für den Einsatz von E-Learning* * Es gibt alternative Gliederungsansätze: z.b. nach Lernorganisation, Interaktionslevel, etc. 5

6 Allgemeiner Rahmen für EML autonom/ selbstorganisiert Nicht institutionelle /offene/freie Angebote Institution bietet an Service/ Angebote Entwicklung Betrieb/Angebot Controlling, Evaluation Marktstrategie Budget Geschäftsmodell Organisation Ressourcen, Kosten nutzt Benutzer zusätzlich autonome Lernformen Lernprozess Lernziele Voraussetzungen Media Literacy 6

7 Online Sprachkurs Kursumfang: 4 Semester à 4 SWS (24 ECTS-Credits) Konzept: Blended Learning mit progressivem Anstieg der online- Komponente Niveau: Vorbereitung für UNIcert I 7

8 Entwicklung und Einsatz OCP 8

9 Szenario für die Studie

10 Ausgangssituation Bachelor-Grundlagenvorlesung und begleitende Übung, regelmäßig mehr als 700 Teilnehmer, in den vergangenen Jahren als Präsenzveranstaltung durchgeführt Praktische Herausforderungen: Zufriedenheit der TeilnehmerInnen Lernerfolg Lernsituation/Lernatmosphäre Fragestellungen aus der Forschung: Mess- und Bewertungsprobleme (was misst man und wie misst man) Generalisierbare Aussagen / situative Gestaltungsregeln für EML 10

11 Lernumgebung / Lehrveranstaltung 11

12 Videogestützte Vorlesung 12

13 Integrierte Übungen und Selbsttests 13

14 Ergänzende Tools zum selbständigen Üben 14

15 Ergänzende Demo-Beispiele / Webcasts 15

16 Evaluation vs. Erfolgsmessung von E-Learning (-Systemen)

17 Evaluation von E-Learning / EML Traditionelles Vorgehen E-Learning- Aktivitäten, EMLS Nutzen? Methodisch unterstütztes Vorgehen EMLS Ziele situationsspezifische Umsetzung modellgestützte Nutzenmessung Nutzen = Zufriedenheit, Lernerfolg, Qualität des Systems, Kostenreduktion, Bnutzerfreundlichkeit? 17

18 Nutzung der Evaluationsergebnisse Evaluationsergebnisse Verbesserung Lernumgebung technisch inhaltlich didaktisch Bedürfnisse der Teilnehmer 18

19 Evaluationsmodelle 4-Ebenen Evaluations-Modell von Donald L. Kirkpatrick 19

20 Phasen und Vorgehen bei der Evaluation Phasen der Qualitätssicherung nach Reinmann-Rothmeier/Mandl/Prenzel (1994) 20

21 Konzeption der Studie und Ergebnisse

22 Ziel und Forschungsmodell Die System-Qualität gilt als der wichtigste Faktor in Bezug auf die Zufrieden-heit, die Nutzungsintensität und den Nutzen sowohl für den einzelnen Nutzer als auch für die Organisation. Es existieren aber nur wenige Modelle für die Evaluation von EMLS (meistens sind es adaptierte DeLone-McLean-Modelle) und mit Fokus auf dem Nutzen füe die Organisation. Ziel: Entwicklung und Test eines Messmodells zur Evaluierung von EMLSs auf der individuellen Ebene, das von Systembetreibern genutzt werden kann, um EMLS zu analysieren und darauf aufbauend, den Nutzen zu verbessern Success Model for EMLS 22

23 Aktualisiertes Modell für den IS-Erfolg als Basis DeLone / McLean (2003) 23

24 Untersuchungsmodell für EML-Qualität - Teilmodell 1-24

25 Zusammenhang zwischen EML-Qualität, Nutzung, Zufriedenheit und Nutzen - - Teilmodell 2-25

26 Ergebnisse (1) Teilmodell 1 musste angepasst werden! Die Systemqualität setzt sich aus zwei unabhängigen Dimensionen zusammen, nämlich Zuverlässigkeit und einfache Bedienbarkeit des Systems. 26

27 Ergebnisse (2) Teilmodell 2 wurde bestätigt. 27

28 Zusammenfassung

29 Einige praktische Implikationen der Studie 1. Neues 4-Faktoren-Messmodell für EMLS-Qualität mit guten psychometrischen Eigenschaften 2. Servicequalität ist die wichtigste Einzelgröße mit Einfluss auf die EML- Qualität. 3. EML-Qualität beeinflusst sowohl die Lernerzufriedenheit als auch die Nutzungsintensität des EML-Systems positiv 4. Lernerzufriedenheit und Nutzungsintensität wiederum beeinflussen den individuell wahrgenommenen Nutzen positiv. 5. Mit Hilfe des DeLone / McLean-Modells kann somit erklärt werden, warum manche Lernende das System wenig oder gar nicht nutzen. Obwohl Lernerzufriedenheit und Nutzungsintensität von der Systemqualität abhängen, hat die Nutzungsintensität keinen Einfluss auf die Akzeptanz. Eine verpflichtende Nutzung eines EMLS ist daher nicht empfehlenswert (Die Nutzungsintensität kann aber über die Verbesserung der EML- Qualität beeinflusst werden) 6. Eine regelmäßige Wiederholung der Messung wird empfohlen, da sich Benutzererwartungen im Verlauf der Zeit ändern 29

30 Restriktionen und Hinweise Ergebnisse nur aus einer einzigen Studie und nur an einer einzelnen Organisation (Universität) Teilnehmer waren ausschließlich Studierende eines einzelnen Kurses Mögliche direkte Einflüsse von Zuverlässigkeit, Einfache Bedienbarkeit, Informationsqualität und Servicequalität auf die Nutzung und Akzeptanz wurden nicht untersucht (nur indirekte) Die Systemqualität wird durch Zuverlässigkeit und einfache Bedienbarkeit abgebildet. Es gibt zwar bsher kein allgemein genutztes bzw. anerkanntes Maß für die Systemqualität, es gibt aber deutliche Hinweise, dass noch weitere Aspekte wie z.b. Anpassbarkeit, Verfügbarkeit und Interaktivität eine Rolle spielen könnten. Erfolg wurde auf der individuellen Ebene gemessen; das Modell kann aber um organisatorische Aspekte ergänzt werden Zusätzliche Erfahrungen Besondere Situation einer Massenlehrveranstaltung - ein schlechtes Evaluationsergebnis ist noch kein Beweis für den Misserfolg einer E- Learning-Maßnahme E-Learning generell: Wandel von der Design-Orientierung zu einer Didaktik- Orientierung erforderlich! 30

31 Item-Liste mit Quellen 31

32 Item-Liste mit Quellen (2) 32