Qualitätsmanagement und Evaluation an Hochschulen Leitlinien für effektive Qualitätsentwicklung und Evaluation

Transkript

1 Hochschulen sind komplexe Organisationen, die ihre Stärken insbesondere durch aktives Qualitätsmanagement aller Beteiligten weiter entwickeln können Qualitätsmanagement und Evaluation an Hochschulen Leitlinien für effektive Qualitätsentwicklung und Evaluation Einleitung Die Erfahrungen der letzten Jahre an Fachhochschulen und Universitäten sowie aktuelle Forschungsergebnisse weisen darauf hin, dass sowohl die ausschliessliche Steuerung von Qualitätsmanagement (QM) und Evaluation top down als auch die vollständige Verlagerung der Verantwortlichkeit für QM und Evaluation in die einzelnen Einheiten in den meisten Fällen als nicht zufriedenstellend bilanziert werden muss. Dies zeigt sich zum Beispiel in perfekt durchorganisierten Verfahrensabläufen, die vielerorts zu grossen Datenmengen aber zu wenigen Effekten führen. Man nimmt dabei Evaluationen zur Kenntnis, ohne dass diese bspw. zur Selbstreflexion der Dozierenden, einer konstruktiven Fehlerkultur in der Organisationseinheit oder zu Massnahmen der Qualitätsentwicklung führen. In diesem Zusammenhang werden auch immer wieder Evaluationen als sinnentleerte Alibiübungen wahrgenommen. Allenfalls können derartige Aktivitäten noch eine Legitimationsfunktion erfüllen. Auf Grundlage dieser Erfahrungen scheint es sinnvoll zu sein, alle Aktivitäten im Rahmen von QM und Evaluation an Hochschulen im Hinblick auf ihre Wirkungsorientierung und Effektivität zu hinterfragen. In den nachfolgenden Abschnitten werden Vorgehensweisen dargelegt, die für eine derartige Hinterfragung hilfreich sein können und sich aus Sicht der Wissenschaft und der Praxis an Hochschulen und Universitäten als Erfolgsfaktoren herauskristallisiert haben. Als grundlegende Leitlinien auch für Evaluationsprojekte an Hochschulen können ergänzend die Standards für Evaluation der schweizerischen Evaluationsgesellschaft (SEVAL) 1 herangezogen werden. Diese Standards sind auf Grundlage der Program Evaluation Standards des Joint Committee on Standards for Educational Evaluation (Joint Committee 1994 und 2000) entwickelt und auf die schweizerischen Verhältnisse angepasst worden. Wichtig zu erwähnen ist in diesem Zusammenhang, dass die Standards des Joint Committee das Erfahrungswissen aus Evaluationen bündeln, welches bis in die 1970er Jahre zurückreicht. Bei der Erarbeitung dieser Standards sind die Perspektiven von Auftraggebenden, Evaluierenden und anderen Stakeholdern eingeflossen. Die nachfolgend aufgelisteten Prozessschritte sollten im Blickfeld der Projektverantwortlichen von Evaluationsvorhaben liegen. Je nach Art des Projekts kann ein unterschiedlicher Aufwand bei der Durchführung der einzelnen Prozessschritte entstehen. Um weiterhin möglichst schlanke Evaluationsvorhaben realisieren zu können, bietet es sich an, die jeweilige Evaluationsstelle zur Unterstützung heranzuziehen. Kontakt: michael.frais@phzh.ch carla.loretz@phzh.ch 1 evaluation@phzh.ch Seite 1/5

2 Prozessschritte als Erfolgsfaktoren für Evaluationen an Hochschulen 1. Ziel- und Rollenklärung Am Beginn einer Evaluation bedürfen Ziel und Zweck des Vorhabens einer präzisen Klärung. Ausgangspunkt dafür können bspw. die Umsetzungsmassnahmen vorangegangener Qualitätskreisläufe sein oder die Identifizierung von einem oder mehreren Bereichen in denen Bestandesaufnahmen oder Weiterentwicklungen angedacht sind. Dabei ist es zumeist hilfreich, wenn verschiedene Interessen und Erwartungen, der an der Evaluation beteiligten Interessengruppen transparent gemacht werden. Dadurch wird ein Klärungsprozess ermöglicht, durch den ein Kompromiss ausgehandelt oder eine gemeinsame Schärfung der Ziele erreicht werden kann. Dies erleichtert alle weiteren Planungsschritte und vereinfacht in der Regel auch die Interpretation der Evaluationsergebnisse. Eine Bestimmung der Funktion eines Evaluationsvorhabens gemäss folgender Auflistung kann ebenfalls zur Zielklärung beitragen: Legitimationsfunktion Steuerungsfunktion Informationsfunktion Erkenntnisfunktion Es bietet sich an, im Rahmen der Zielklärung auch eine Person zu bestimmen, die die Prozessverantwortung hütet, um eine möglichst reibungslose Durchführung des Vorhabens zu gewährleisten. 2. Inhaltliche Ausrichtung definieren Was genau soll evaluiert werden (Akzeptanz, Zufriedenheit, Motivationszuwachs etc.)? Auf welche Theorien oder welchen theoretischen Rahmen bezieht sich das Untersuchungsdesign? Welche Werturteile liegen dem Vorhaben zugrunde? Stehen mögliche Werturteile in einem inhaltlichen Zusammenhang zu wissenschaftlichen Erkenntnissen oder werden sie durch die beteiligten Personen implizit oder explizit vertreten? Eine Klassifikation eines Evaluationsvorhabens anhand seiner praktischen Ausrichtung(en) kann hilfreich für eine differenzierte inhaltliche Gestaltung sein: Zielorientierte Ansätze, bei denen der Fokus auf der Identifizierung von Programmzielen und einer Beurteilung der Zielerreichung liegt. Managementorientierte Ansätze, deren Schwerpunkt die Identifizierung und Erfüllung der Informationsbedürfnisse von Entscheidungsträgern ausmacht. Konsumentenorientierte Ansätze, bei denen es um produktbezogene Informationen oder Kundenzufriedenheit geht. Expertenorientierte Ansätze, bei denen eine Evaluation durch ausgesuchte ExpertInnen (eines Praxisfeldes) erfolgt. Partizipative Ansätze, die durch eine Schwerpunktsetzung auf die Einbeziehung der beteiligten/ betroffenen Interessengruppen (Stakeholder) charakterisiert sind. Das Festlegen von Indikatoren oder Qualitätsbereichen und deren inhaltliche Gewichtung kann dabei die Planung einer Evaluation erleichtern. Seite 2/5

3 3. Qualitätskriterien erarbeiten Die Erarbeitung von Qualitätskriterien 2 findet häufig in Arbeitsgruppen statt. Wichtig ist dabei, dass das Verfahren zur Erarbeitung der Qualitätskriterien transparent und damit für alle Beteiligten und Betroffenen nachvollziehbar gemacht wird. Dabei sollten folgende Aspekte berücksichtigt werden: Evaluation heisst Bewertung Bewertungen beziehen sich auf Qualitätsmerkmale. Es sind Werturteile, die weder objektiv noch allgemeingültig sind Interessen sind immer auch mit Werturteilen verbunden Interessen verschiedener Akteure oder Gruppen müssen transparent gemacht werden Sie sollten einen Bezug zu Referenzrahmen oder wissenschaftlichen Erkenntnissen aufweisen Eine Aushandlung von Prioritäten führt in der Regel zu einer gemeinsamen Vorstellung von Qualität, also einem Qualitätsmodell Der Evaluationsgegenstand muss möglichst genau in seinem relevanten Kontext definiert werden. Dabei können bspw. folgende Aspekte Berücksichtigung finden: Welche Erwartungen werden an die Evaluation von den verschiedenen Interessengruppen geknüpft (hochschulintern, hochschulextern, Bildungspolitik, Schulen und Studierende)? Der Prozess oder die Verfahrensweise zur Erarbeitung der Qualitätskriterien sollte ebenso, wie die daran beteiligten Personen, dokumentiert werden. 4. Bewertungsverfahren und Bewertungskriterien festlegen Insbesondere bei Lehrveranstaltungsevaluationen ist es für die Förderung einer konstruktiven Evaluationskultur wesentlich vorab festzulegen: Wer Einsicht in die Ergebnisse erhält Wer die Ergebnisse der Evaluation bewertet Nach welchen Bewertungskriterien und Verfahrensweisen dies geschieht Welche möglichen Massnahmen zur Qualitätsentwicklung getroffen werden können 5. Zeitplan und Ressourcen festlegen Ein Zeitplan sollte so ausgelegt werden, dass für die ersten vier Prozessschritte ausreichend Zeit zur Verfügung steht. Sofern das Befragungsinstrumentarium noch erarbeitet werden soll, ist auch dafür hinreichend Zeit einzuplanen. Die zur Verfügung stehenden Ressourcen begrenzen Umfang und Genauigkeit des Evaluationsvorhabens. In der Regel gilt es einen praktikablen Kompromiss zwischen Umfang, Genauigkeit und den zur Verfügung stehenden Ressourcen zu finden. Die Klärung von Zeitplan und Ressourcen steht in dieser Prozessempfehlung an Stelle 5, sie sollte jedoch von Anfang an, im Sinne einer fortlaufenden Planung mitbedacht werden. Der zeitliche Rahmen für eine interne Evaluation muss vorhandene Prozesse und Prozeduren berücksichtigen. Die Evaluation sollte massvoll konzipiert, ihr Umfang den vorhandenen zeitlichen, personellen und finanziellen Ressourcen realistisch angepasst werden. Ist ein grösseres Evaluationsvorhaben angedacht und zeigt sich, dass dafür nur geringe Ressourcen zur Verfügung stehen, so muss das Vorhaben redimensioniert und auf wesentliche Aspekte fokussiert werden. In jedem Fall sehr bedeutsam ist, die besondere Berücksichtigung und zeitliche Planung der Verfahrensschritte in der Sicherungs- und Entwicklungsphase. 2 Qualitätskriterien sind inhaltlicher Art, Bewertungskriterien betreffen den Umgang mit den Ergebnissen, Werturteile können beide Ebenen betreffen. evaluation@phzh.ch Seite 3/5

4 Viele Evaluationsprojekte scheitern daran, dass nach der Präsentation, Interpretation und Bewertung der Ergebnisse die Luft draussen ist : Die Sicherungs- und Entwicklungsphase kann aufgrund mangelnder Planung und/oder fehlendem Durchhaltevermögen nicht mehr wirkungsbezogen durchlaufen werden. Daher stellt die realistische Planung und Bereitstellung von (zeitlichen, personellen und finanziellen) Ressourcen einen wesentlichen Faktor für den Erfolg und die Wirksamkeit einer Evaluation dar. 6. Kommunikation des Evaluationsvorhabens Um Verunsicherungen und Irritationen bei den Stakeholdern vorzubeugen, muss das Evaluationsvorhaben nach innen und ggfs. auch nach aussen kommuniziert werden. Die Kommunikation und ggfs. der Einbezug der Stakeholder kann schrittweise, sollte jedoch möglichst frühzeitig und umfassend noch vor dem eigentlichen Start des Evaluationsvorhabens erfolgen. Dies fördert Transparenz und Vertrauen. Dabei sollten alle wesentlichen Aspekte der Schritte 1 bis 5 berücksichtigt werden. 7. Erhebungsmethoden Erhebungsmethoden erschöpfen sich nicht in schriftlichen Befragungen (Fragebogen) oder mündlichen Befragungen (Interviewleitfaden). Es gibt weitere Möglichkeiten Daten zu erheben. Relevante Fragen, die es zu klären gilt, lauten wie folgt: Welche Erhebungsmethoden sind methodisch geeignet? Welche sind vom zeitlichen Aufwand her angemessen? Welche stossen bei den Beteiligten auf Akzeptanz? Sind bereits mehrfach schriftliche Befragungen (Fragebogen) durchgeführt worden, kann es spannend und motivierend sein, eine andere Methode auszuprobieren, z.b. Beobachtung, Dokumentenanalyse, Einzeloder Gruppeninterview. Durch einen Methodenwechsel wird eine andere, neue Perspektive auf die Hochschule bzw. den zu evaluierenden Bereich entstehen. 8. Erhebungsinstrumente ausgehend von Qualitätskriterien und Qualitätsbereichen erarbeiten und erproben Wurde die Erhebungsmethode festgelegt, kann das Erhebungsinstrumentarium (Fragebogen, Interviewleitfaden, Beobachtungsbogen usw.) erarbeitet werden. Die Erstellung eines solchen Instrumentariums sollte sich an wissenschaftlichen Kriterien orientieren, um zu möglichst präzisen Erkenntnissen zu gelangen (Stichworte: Objektivität, Validität, Reliabilität). Darüber hinaus wird die Qualität eines Evaluationsinstrumentariums gesteigert, wenn die Fragen / Aussagen bzw. Items jedes Themenbereichs unter Einbezug der jeweiligen Beteiligten (Studierende, Dozierende, Leitungspersonen etc.) erarbeitet werden. Erhebungsinstrumente sollten ansprechend, einfach und gut lesbar / verständlich sein. Für die Entwicklung eines Erhebungsinstruments muss ausreichend Zeit einkalkuliert werden. Wenig durchdachte Instrumente führen zu Datenmaterial, das für eine Auswertung und Interpretation nur bedingt geeignet ist. Ein Probelauf (Pretest) mit einigen Personen aus der zu befragenden Gruppe zeigt erfahrungsgemäss Verbesserungspotenzial auf, sodass das Instrument an inhaltlicher Validität gewinnt und für die Befragten besser verständlich wird. 9. Datenerhebung Einer Befragung sollte immer ein Begleitschreiben beiliegen bzw. eine mündliche Erklärung vorausgehen, um die Befragten über Sinn, Zweck und Ziel der Befragung zu informieren. Das Ziel einer jeden Datenerhebung ist es, möglichst hochwertiges Datenmaterial zu erhalten. Im Rahmen von Befragungen gilt Datenmaterial dann als hochwertig, wenn ein ausgereifter Fragebogen vorliegt evaluation@phzh.ch Seite 4/5

5 und die Befragten möglichst konzentriert, ernsthaft und vollständig antworten. Dies kann wie folgt unterstützt werden: Die zu befragenden Personen sind über Sinn, Zweck und Ziel der Befragung aufgeklärt. Das Erhebungsinstrument ist ansprechend und leicht verständlich gestaltet. Der Zeitpunkt der Befragung ist gut gewählt (beispielsweise nicht kurz vor Ende einer Lehrveranstaltung oder Weiterbildung). Die räumliche Umgebung wirkt ruhig und entspannt. Es empfiehlt sich in vielen Fällen, Befragungen während der Unterrichtszeit in einem geeigneten Raum durchzuführen, auch bei Onlinebefragungen. Man unterstreicht damit auch die Wichtigkeit des Evaluationsvorhabens. Schriftliche Befragungen sollten, gemäss den international anerkannten Standards für Evaluation, immer anonym durchgeführt werden. Dozierende sollten aus diesem Grund den Raum der Befragung verlassen. Bei Papierbefragungen sollten die Bögen durch eine befragte Person eingesammelt und in einem verschlossenen Briefumschlag weiter geleitet werden. 10. Datenerfassung und -auswertung Jede Planung einer Evaluation muss eine realistische Einschätzung des Aufwands für die Dateneingabe und Datenauswertung enthalten. Es besteht ansonsten die Gefahr, dass sämtliche Ressourcen nach der Datenauswertung bereits verbraucht sind und die Motivation für die letzten Verfahrensschritte bei allen Beteiligten leidet. Mittlerweile sind aus diesem Grund an fast allen Hochschulen hochautomatisierte Datenerfassungs- und Auswertungssysteme installiert worden. 11. Daten interpretieren, bewerten und präsentieren In einem ersten Schritt sollten die Ergebnisse in der Projektgruppe analysiert und bewertet werden. Dabei ist es wichtig, dass die vorab festgelegten Bewertungskriterien und -prozesse berücksichtigt werden. Erst anschliessend wird entschieden, welche Ergebnisse in einem grösseren Rahmen präsentiert und ggfs. diskutiert werden sollen. Die Einbindung von Studierenden und Dozierenden in die Bewertung und Interpretation von Ergebnissen führt in der Regel zu einer höheren Validität und Akzeptanz. 12. Massnahmen ableiten, beschliessen und umsetzen Nachdem gemäss Verfahrensschritt 11 die Ergebnisse interpretiert und bewertet werden muss anschliessend der Handlungs- bzw. Entwicklungsbedarf diskutiert und das weitere Vorgehen beschlossen werden. Es kann sinnvoll sein, die Vorschläge für Entwicklungsmassnahmen insbesondere mit den Betroffenen eingehend zu reflektieren (Stichwort: Akzeptanz). Sind diese beschlossen, werden sie in das QM integriert. Ein detaillierter und verbindlicher Zeitplan sowie die Formulierung von konkreten Zielen und Erfolgsfaktoren in Bezug auf die Umsetzung von Massnahmen unterstreicht deren Wichtigkeit. Wird für die Umsetzung von Entwicklungsmassnahmen ein längerer Zeithorizont eingeplant, ist es hilfreich, Meilensteine festzulegen. Dies steigert die Motivation der Beteiligten und ermöglicht, zu Beginn eines neuen Abschnitts personelle Veränderungen in der Projektgruppe vorzunehmen. Abschliessend bietet es sich an einen Kurzbericht über die wesentlichen Ergebnisse und die entsprechenden Massnahmen zu verfassen und den Beteiligten zur Verfügung zu stellen oder diesen zur Kommunikation nach aussen zu nutzen. Seite 5/5