Evaluation von E-Learning in der Hochschullehre

Transkript

1 Evaluation von E-Learning in der Hochschullehre Workshop: E-Learning in Mathematik, Medizin und den Naturwissenschaften 12. Mai 2006 Anette Köster Universität Duisburg-Essen Zentrum für Hochschul- und Qualitätsentwicklung

2 Evaluation ist eine wissenschaftsbasierte Dienstleistung, die insbesondere immaterielle Gegenstände unabhängig, systematisch und datengeschützt beschreibt und bewertet, so dass Beteiligte und Betroffene die erzeugten Ergebnisse für ausgewiesene Zwecke nutzen können. (Beywl 2006) Funktionen: Erkenntnisfunktion Dialogfunktion (formative Evaluation) Kontrollfunktion (summative Evaluation) Legitimationsfunktion Anette Köster 2

3 Besondere Aspekte der Evaluierung von E-Learning Einerseits: E-Learning steht unter Legitimationsdruck: ist bestenfalls strategisches Förderziel hängt an Einzelpersonen meistens mit besonderen Fördermitteln finanziert bindet u.u. enorme Personal- und Sachmittel Andererseits: Evaluation misst Wirksamkeit von E-Learning: kann zur Selektion der Projekte dienen, die weiter gefördert werden sollen Projekt kann dann zu einem Referenzbeispiel werden trägt zur E-Learning-Forschung bei Anette Köster 3

4 Hürden für die Evaluierung von Lehre Allgemein: meist keine Vorgaben für Evaluation Vielfältigkeit u. Veränderlichkeit des Evaluationsgegenstandes Lernprozesse sind subjektiv und gesellschaftlich bedingt keine zusätzlichen Mittel u. Zeit Lernende und Lehrende fühlen sich kontrolliert Speziell bei E-Learning: Heterogenität der Einsatzformen Arbeitsteiligkeit bei Medienproduktionen Datenexplosion Anette Köster 4

5 Evaluationsschritte 1. Bestimmung der Zielsetzung 2. Ressourcenplanung 3. Bestimmung von Zielkriterien 4. Auswahl, Modifikation, Konzeption, Test v. Erhebungsinstrumenten 5. Festlegung der Stichprobe 6. Erhebung von Werten 7. Interpretation der Werte 8. Bewertung der Ergebnisse in Bezug auf Zielkriterien 9. Ableiten von Maßnahmen und Konsequenzen 10. Berichtlegung Anette Köster 5

6 Allgemeine Ziele von E-Learning an Hochschulen Verbesserung der Qualität der Lehre höhere Effektivität des Studiums flexibleres Studium Internationalisierung des Studiums ökonomische Effekte Multimedia als Motor der Hochschulreform Anette Köster 6

7 Dimensionen von E-Learning Nutzergruppe Kontexteinbettung inhaltliche Qualität didaktisches Design mediales Design technische Qualität Anette Köster 7

8 Ansätze zur Qualitätsentwicklung für E-Learning 1. Usability-Studien 2. E-Learning im Rahmen von QM-Systemen 3. Zertifizierungen Klassische Evaluationsinstrumente 2. Spezielle Evaluationsinstrumente für E-Learning Anette Köster 8

9 1. Usability-Studien Definition laut ISO : Usability ist das Ausmaß, in dem ein Produkt durch bestimmte Benutzer in einem bestimmten Nutzungskontext genutzt werden kann, um bestimmte Ziele effektiv, effizient und zufrieden stellend zu erreichen. Effektivität = Genauigkeit und Vollständigkeit mit der Benutzer ein bestimmtes Ziel erreichen Effizienz = der im Verhältnis zur Genauigkeit und Vollständigkeit eingesetzte Aufwand Zufriedenstellung = die Freiheit von Beeinträchtigung und positive Einstellung gegenüber der Nutzung des Produktes Abgrenzung von Usability-Studien zur Evaluation: beziehen sich nicht auf Menschen oder Organisationen sondern in ihrer klassischen Ausprägung zumeist auf Gegenstände (Software, Maschinen) und damit verbundene Prozesse Anette Köster 9

10 2. Qualitätsmanagement-Systeme EFQM (European Foundation for Quality Management) bezieht sich auf Menschen, Prozesse, Ergebnisse in einer Organisation ausgerichtet auf stetige Verbesserung mittels Innovation und Lernen in allen Unternehmensteilen Wettbewerbsmodell DIN ISO 9000 Reihe von Regelwerken mit allgemeingültigen Leitlinien u. Empfehlungen zu QM-Systemen Erfüllung kann man sich zertifizieren lassen Anette Köster 10

11 3. Zertifizierungen Einhaltung bestimmter Standards für Produkte / Dienstleistungen Ausstellung eines Zeugnisses ECC (E-Learning-Courseware-Certification) der American Society for Training & Development (ASTD) beruht auf einem statischen Kriterienkatalog Lernende selbst u. Rahmenbedingungen des Lernens werden nicht berücksichtigt DIN: normative Spezifikation PAS 1032 Kriterien zur Prüfung der Qualität von E-Learning-Produkten Beschreibungsmodell für didaktische Konzepte, Szenarien u. Methoden unter besonderer Berücksichtigung von E-Learning Anette Köster 11

12 3. Zertifizierungen CEL (Certification of E-Learning) Ansatz der Brüsseler Akkreditierungsorganisation efmd (European Foundation for Management Development) und des SCIL (Swiss Centre for Innovations in Learning) Berücksichtigt vier Perspektiven: - Normative Perspektive - Subjektive Perspektive - Inhaltliche Perspektive - Prozessuale Perspektive QSeL (Qualitätssiegel elearning) Kooperation Ruhr Projekt GmbH, Lehrstuhl Wirtschaftsinformatik der Produktionsunternehmen UDE, Institut für Medien- und Kompetenzforschung in Essen Prozessorientierte Überprüfung der Ziele u. Erfüllungsgrade von E-Learning- Angeboten u. -Konzepten Ansätze zur qualitativen Steigerung u. Optimierung von E-Learning-Angeboten Anette Köster 12

13 4. Einzelne Instrumente zur Evaluierung von E-Learning 4.1 Klassische Instrumente zur Evaluierung Schriftliche Befragungen Mündliche Befragungen Gruppendiskussionen Begutachtung durch Experten Lernzielorientierte Tests Beobachtungen Lerntagebücher Dokumentenanalyse Kennzahlenanalyse Benchmarking Anette Köster 13

14 4. Einzelne Instrumente zur Evaluierung von E-Learning 4.2 Spezielle Instrumente zur Evaluierung von E-Learning E-Interviews Analyse von Logfile-Protokollen Eye-Tracking Chat-Analysen Anette Köster 14

15 Die Lehrenden selbst Wer führt die Evaluation durch? Unterstützung von Kollegen als Experten für Evaluation (z.b. aus der empirischen Sozialforschung) Externe Lösung: Agenturen o. Anbieter von Zertifikaten Hochschuleigene Evaluationsstellen ZQ in Mainz Nordverbund ZfH in Duisburg-Essen Anette Köster 15

16 Das Zentrum für Hochschul- und Qualitätsentwicklung (ZfH) an der Universität Duisburg-Essen Das ZfH ist eine zentrale wissenschaftliche Einrichtung und setzt sich aus vier Geschäftsbereichen zusammen: E-Learning Frauenförderung / Gender Mainstreaming Hochschuldidaktik Anette Köster 16

17 Die Serviceleistungen des GB Planung, Organisation und Durchführung von Evaluationen Erstellen individuell zugeschnittener Evaluationskonzepte und -methoden Vorbereitung, Moderation u. Auswertung von Gesprächsrunden bzgl. Evaluation und Qualitätsentwicklung Technische und inhaltliche Unterstützung bei der Erhebung von Lehrveranstaltungsbewertungen Beratung und Hilfeleistung bei der Erstellung von Evaluationsberichten Erarbeitung von Qualitätsentwicklungsmaßnahmen Informationsveranstaltungen u. Workshops Anette Köster 17

18 Fazit Im Sinne einer kontinuierlichen hochschulweiten QE sollten Lehrenden an der Wirkung ihrer Lehre nicht nur persönlich interessiert sein, sondern sie sollten sie auch messen können. Evaluationsbefunde sollten verstärkt in die Entwicklungs- und Implementierungspraxis von E-Learning-Angeboten Eingang finden. Lernende im Bereich E-Learning, die solch eine Qualitätskultur als selbstverständlich erleben, erwerben einen zusätzlichen Aspekt von Medienkompetenz. Anette Köster 18