Arbeitstagung des Netzwerks Offene Hochschulen: Von der Evaluation bis zum Qualitätsmanagement in berufsbegleitenden Studiengängen. 07.12.2015 Von der Modulevaluation zum kontinuierlichen Verbesserungsprozess - Am Beispiel der Evaluationsstrategie für die Pilotmodule im PuG-Projekt Andrea Broens Jasmin Overberg
Gliederung 1 Vorstellung des PuG-Projektes 2 Evaluation in der Studiengangsentwicklung 3 Zweck der Evaluation der Pilotmodule in PuG 4 Funktionen der Evaluation 5 Evaluationsstandards der Deutschen Gesellschaft für Evaluation 6 Ablauf der Evaluation in PuG Phasenmodell 7 Evaluationsaufbau Teil A und B 8 Offene Fragen Folie 2
PuG: Aufbau berufsbegleitender Studiengänge in den Pflege- und Gesundheitswissenschaften Folie 3
Querschnittsbereich: Qualitätssicherung und Zielgruppenorientierung Folie 4
Qualitätsstandards als Grundlage der Evaluation Folie 5
Evaluation in der Studiengangsentwicklung ACT PLAN Kontinuierliche Verbesserung des Studienangebots Studiengangsplanung Evaluation - Plan - Instrumente - Daten & Ergebnisse Studiengangs-, Modul-, Seminardurchführung CHECK DO eigene Darstellung Folie 6
Zweck der Evaluation der Pilotmodulen in PuG _ Wurde das Ziel der Erfüllung der Qualitätsstandards erreicht? (Teil A) _ Wurden die Ziele, die sich die Teilprojekte gesetzt haben, erreicht? (Teil B) Standardisierte Qualitätssicherung der einzelnen Module Überprüfung des Mediendidaktischen Konzepts (Instruktionsdesign & Bildungstechnologien) Verbesserung und Optimierung (einer Bildungsmaßnahme) Erkenntnisgenerierung (z. B. ist das angebotene Modul für nicht-traditionelle und berufsbegleitende Studierende geeignet?) (vgl. Kuckartz et al. 2009, S. 19) handlungsleitende, übergeordnete Fragestellung lautet: Wie lässt sich die Lehrveranstaltung optimieren, so dass für unterschiedliche Typen von Studierenden optimales Lernen ermöglicht werden kann? (Kuckartz et al. 2009, S. 20) Folie 7
Funktionen der Evaluation Kontrolle: Sind die Teilnehmenden zufrieden? Hat ein Lernprozess stattgefunden? Konnten Räumlichkeiten, Materialien, Serviceleistungen etc. zum Lehrverhalten beitragen? Ist das Bildungsangebot entsprechend den Bedürfnissen der Lernenden gestaltet? Steuerung: Beseitigung von Defiziten Evaluation ist keine Rechtfertigung des aktuellen Angebots, sondern Mittel zur Verbesserung. Reflexion: Auf Seiten der Lernenden (Klärung des eigenen Lernerfolgs, Aufmerksamkeit für eigene Entwicklungen) als auch der Lehrenden und der AuftraggeberInnen Schulung des Blicks für Bildungsangebote und Situationen, die gelingendes Lernen ermöglichen. (vgl. LQW 2007, S.2) Folie 8
Evaluationsstandards der Deutschen Gesellschaft für Evaluation (DeGEval) Evaluationen sollen vier grundlegende Eigenschaften aufweisen: Quelle: eigene Darstellung in Anlehnung an DeGEval 2008 Folie 9
Ablauf der Evaluation in PuG (1) Formulierung der Fragestellung(en) Auswahl der Evaluator/-innen Entwicklung von geeigneten Indikatoren Datenerhebung Ziel: Qualitätssicherung der angebotenen und zu entwickelnden Module Inhaltliche Entwicklung des Erhebungsinstruments: Welche Bereiche sollen konkret abgefragt werden? Überprüfung des Lernzuwachses und der mediendidaktischen Umsetzung sowie der organisationalen Rahmenbedingungen Dozierende Studiengangsplanende Lernergebnisse Prüfungsaufgaben Rückmeldungen zu erbrachten Leistungen Lehr-/Lernmethoden Lehrmaterialien räumliche/sachliche Ausstattung Unterstützungsangebote Bildungstechnologien Qualität insgesamt optional weitere Bereiche Umsetzung des Fragebogens: Standardisierter Bogen paper & pencil und online (Auswählen einer geeigneten Befragungssoftware und Programmierung des Fragebogens) z.t. qualitative Methoden zusätzlich Aufbereitung der Daten für statistische Auswertung Transkription bzw. Protokollierung Quelle: eigene Darstellung in Anlehnung an Röbken 2012 und Kuckartz et al. 2009 Folie 10
Ablauf der Evaluation in PuG (2) Analyse und Bewertung Erarbeitung von Handlungsempfehlungen Rückmeldung der Ergebnisse Umsetzung ausgewählter Maßnahmen Häufigkeitsauszählungen Korrelationen grafische Darstellungen Analyse und Interpretation des Textmaterials Abgleich der erwarteten Ergebnisse mit den tatsächlichen Ergebnissen Ableiten des Handlungsbedarfs Erarbeitung von Handlungsempfehlungen zur Optimierung der einzelnen Module Beratung der Teilprojekte in einzelnen Bereichen, auch anhand von bestpractice Beispielen Rückmeldung der Ergebnisse an die entsprechenden Zielgruppen (Studiengangsleitung, Dozierende, Studierende) anhand der Ergebnisse sollen Veränderungen abgeleitet werden, um das Studienprogramm zu optimieren z.b. Schulung für Dozierende, zur Erhöhung der Lehrqualität Verbesserung der Beratungs- /Unterstützungsleistungen Quelle: eigene Darstellung in Anlehnung an Röbken 2012 und Kuckartz et al. 2009 Folie 11
Evaluation in der Studiengangsentwicklung ACT Kontinuierliche Verbesserung des Studienangebots PLAN Studiengangsplanung Evaluation - Plan - Instrumente - Daten & Ergebnisse Studiengangs-, Modul-, Seminardurchführung CHECK DO eigene Darstellung Folie 12
Evaluationsaufbau (1) Teil A: summative Evaluation durch den Querschnittsbereich anhand eines quantitativen Fragebogens: Zusammenfassend, bilanzierend, ergebnisorientiert Evaluation anhand der festgesetzten Qualitätskriterien dient als informationelle Rückkopplungsschleife (Stockmann (2006): S. 19) für das weitere Vorgehen der Programmentwicklung im Projekt (Weiterentwicklung in der zweiten Förderphase) somit formativer Aspekt der Evaluation in der Studiengangsentwicklung in Anlehnung an Stockmann 2006, S. 19 Folie 13
Fragebogenaufbau Teil A - Qualitätsstandards Optionale offene Fragen: Bezogen auf das gesamte Modul gefiel mir am besten: Bezogen auf das gesamte Modul wünsche ich mir folgende Verbesserungen: eigene Darstellung Folie 14
Evaluationsaufbau (2) Teil B: Ergänzung durch Zusatz-Fragen in der summativen Befragung z.t. Ergänzung durch formative Evaluation durch die Teilprojekte: aktiv-gestaltend, prozessorientiert, konstruktiv & kommunikationsfördernd (vgl. Stockmann (2006): S. 19) in Anlehnung an Stockmann 2006, S. 19 Folie 15
Offene Fragen _ Welche Erfahrungen gibt es aus Ihren Projekten im Bereich Evaluation? _ Wo gibt es Ähnlichkeiten/Unterschiede in den Evaluationsstrategien in Ihren Projekten? _ Welche Anregungen oder Erfahrungen gibt es Ihrerseits zum Evaluationsteil B (individuelle Ergänzung der Teilprojekte)? _ Welche jeweiligen Grundlagen/theoretischen Verortungen gibt es in Ihren QM- bzw. Evaluationsansätzen? Folie 16
Literatur _ Bortz, Jürgen/Döring, Nicola (2006): Forschungsmethoden und Evaluation. 4. Auflage. Heidelberg: Springer Medizin Verlag _ DeGEval Gesellschaft für Evaluation (2008): Standards für Evaluation. _ Kuckartz, Udo/Ebert,Thomas/Rädiker, Stefan/Stefer,Claus (2009): Evaluation online. Internetgestützte Befragung in der Praxis. Wiesbaden: VS Verlag für Sozialwissenschaften _ LQW (2007): Arbeitshilfe Evaluation der Bildungsprozesse. URL: http://artsetlqw.de/cms/fileadmin/user_upload/service_qb_5/arbeitshilfe_qb_5_evaluation_der _Bildungsprozesse.pdf (abgerufen am 13.11.2015) _ Röbken, Heinke (2012): Qualitätsmanagement in Bildungsorganisationen. Studienmaterialien des berufsbegleitenden Masterstudiengangs Bildungs- und Wissenschaftsmanagement. Universität Oldenburg _ Röbken, Heinke (2006): Qualitätsmanagement und Evaluation. Aus Hanft, Anke (2006): Bildungs- und Wissenschaftsmanagement. München: Franz Vahlen Verlag _ Stockmann, Reinhard (Hrsg.)(2006): Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder. Münster: Waxmann Verlag Folie 17