Wie evaluiert man ein Evaluationsverfahren? Eine Metaperspektive auf externe Schulevaluation an berufsbildenden Schulen in Österreich

Größe: px

Ab Seite anzeigen:

Download "Wie evaluiert man ein Evaluationsverfahren? Eine Metaperspektive auf externe Schulevaluation an berufsbildenden Schulen in Österreich"

Benedict Hafner
vor 8 Jahren
Abrufe

1 Wie evaluiert man ein Evaluationsverfahren? Eine Metaperspektive auf externe Schulevaluation an berufsbildenden Schulen in Österreich 16. DeGEval-Jahrestagung München, 12. Präsentation: Sigrid Hartl/Michaela Jonach, ARQA-VET

berufsbildenden Schulen in Österreich 16.

2 Übersicht 2 Hintergrund (ARQA-VET, PR Verfahren, QIBB) Theoretischer und methodischer Rahmen (Kirkpatrick, Hall& Hord) Wirksamkeitsanalyse Prozessevaluation Zentrale Ergebnisse Diskussion

3 ARQA-VET 3 ARQA-VET ist die Österreichische Referenzstelle für Qualität in der Berufsbildung, organisatorisch angesiedelt bei der OeAD (Österreichischen Austauschdienst)-GmbH finanziert durch das BMUKK (Bundesministerium für Unterricht, Kunst und Kultur) und durch Drittmittel (z. B. Europäische Projekte) Zentrale Aufgabe: Unterstützung von QIBB (QualitätsInitiative BerufsBildung), Entwicklung von Instrumenten und Methoden, Beratungsangebote für Schulen Implementierung, Qualitätssicherung und Weiterentwicklung eines externen Evaluationssystems

4 QIBB QualitätsInitiative BerufsBildung 4 QIBB wird seit 2004 im österreichischen berufsbildendenden Schulwesen umgesetzt QIBB umfasst 647 Schulen (Vollzeit- und Teilzeitschulen) 5 Schularten: Berufsschulen, Kaufmännische Schulen, Technisch-gewerbliche Schulen, humanberufliche Schulen, Bildungsanstalten für Kindergarten- und Sozialpädagogik Lehrer/innen Schüler/innen Seit 2008: Einführung eines freiwilligen externen Evaluationssystems, bislang einzige Variante in AT

Technisch-gewerbliche Schulen, humanberufliche Schulen, Bildungsanstalten für Kindergarten- und Sozialpädagogik 26.

5 Was ist Peer Review in QIBB? 5 Peer Review ist eine freiwillige Form der externen Evaluation im Rahmen von QIBB (QualitätsInitiative BerufsBildung) Das Grundmodell stammt aus einem europäischen Projekt ( und wurde für österreichische berufsbildende Schulen im Rahmen einer Machbarkeitsstudie adaptiert Das Verfahren wird seit 2008 in Österreich umgesetzt Peer Review soll Schul- und Qualitätsentwicklung unterstützen, es dient nicht der Rechenschaftslegung im Rahmen von QIBB (bottom-up Ansatz)

Grundmodell stammt aus einem europäischen Projekt (www.peer-review-in-education.

6 Wie läuft Peer Review in QIBB ab? 6

7 PR Evaluation 7 Laufende Evaluation des Prozesses seit dem ersten Regeldurchgang durchgeführt von ARQA-VET (Beratung durch KFU Graz, Institut Wirtschaftspädagogik), kontinuierliche Berichterstattung an den Auftraggeber (BMUKK), Weiterentwicklung des Verfahrens auf Basis der Ergebnisse Wirksamkeitsanalyse für den Pilotdurchgang (2008/09), durchgeführt 2010/11 vom Lehrstuhl für Wirtschaftspädagogik und Personalentwicklung FAU Erlangen-Nürnberg, in enger Abstimmung mit ARQA-VET als Auftraggeber

des Verfahrens auf Basis der Ergebnisse Wirksamkeitsanalyse für den Pilotdurchgang (2008/09), durchgeführt 2010/11 vom

8 Wirksamkeitsanalyse für den Pilotdurchgang 8 Ziele der Wirksamkeitsanalyse: Erhebung von Rückmeldungen hinsichtlich der Nachhaltigkeit des PR Verfahrens (Was wird von den Schulen tatsächlich umgesetzt und in welcher Form?) Erhebung der Stärken und Schwächen des PR Verfahrens, Empfehlungen für Verbesserungen Entwicklung eines Instrumentariums zur systematischen und regelmäßigen Erfassung der Wirksamkeit

9 Wirksamkeitsanalyse: Modell und methodischer Zugang (FAU Erlangen-Nürnberg) 9 Mehrebenen-Modell nach Kirkpatrick, Hall und Hord: Erste Ebene: Reaktionsebene Erhebung der Zufriedenheit der Teilnehmenden mit der externen Evaluation Zweite Ebene: Schulische Innovation als Folge der externen Evaluation Umsetzung von Maßnahmen als Folge der externen Evaluation. Anhand des Concerns-Based Adoption Modells (Hall und Hord) wurde untersucht, ob sich die Lehrkräfte von den abgeleiteten Maßnahmen betroffen fühlen. Dritte Ebene: Änderung des Outputs der Institution in Folge der externen Evaluation Einschätzung der Lehrkräfte zur Veränderung der Lernleistungen der Schüler/innen Vierte Ebene: Resultate der Änderung des Outcomes der Institution (nicht berücksichtigt) Fünfte Ebene: Return on Investment der externen Evaluation wurde einschätzend-antizipativ durch eine Gegenüberstellung von Aufwand und Nutzen berücksichtigt (Phillips)

Anhand des Concerns-Based Adoption Modells (Hall und Hord) wurde untersucht, ob sich die Lehrkräfte von den abgeleiteten Maßnahmen betroffen fühlen.

10 Wirksamkeitsanalyse: Modell und methodischer Zugang (FAU Erlangen-Nürnberg) 10 Concerns-Based Adoption Modell (Hall und Hord) Drei Dimensionen: Innovation Configuration: Anpassungsgrad bezüglich Innovationsvorschlägen Stages of Concern: Grad der Betroffenheit der Beteiligten (7 Stufen) Gleichgültigkeit, Informelle Betroffenheit, Persönliche Betroffenheit, Management, Auswirkung, Zusammenarbeit, Neuer Fokus Levels of Use: Grad der Verhaltensänderung der Beteiligten Keine Anwendung, Orientierung, Vorbereitung, Erste Anwendung, Routine, Verbesserung, Integration, Erneuern/Umstrukturieren

Gleichgültigkeit, Informelle Betroffenheit, Persönliche Betroffenheit, Management, Auswirkung, Zusammenarbeit, Neuer Fokus Levels of Use: Grad der

11 Wirksamkeitsanalyse: Anlage der Untersuchung (FAU Erlangen-Nürnberg) 11

12 PR Prozessevaluation Instrumente und Methoden 12 Befragte Gruppen Methode Inhalte der Befragungen Schulleiter/innen Fragebogen, qualitative Interviews Motive für die Bewerbung für ein Peer Review, förderliche und hinderliche Faktoren im Prozess, Anregungen zur Verbesserung, geplante Maßnahmen aus dem Peer Review, Einschätzung des Nutzens für die Schule PR Organisatoren/innen Fragebogen Befragung zum Verfassen des Selbstberichts, zur Peer Suche, zur organisatorischen Abwicklung des Verfahrens an der Schule sowie zur Zufriedenheit mit dem Unterstützungsangebot, Einschätzung des Nutzens für die Schule Peers Fragebogen Organisation (im Team und mit der Schule), Peer Team (Zusammenarbeit, Aufgabenteilung), Peer Besuch, Erstellung Peer Bericht, allgemeine Reflexion Teilnehmer/innen an Peer Schulungen und Weiterbildungen Peer Review Berater/innen Fragebogen Fragebogen Zufriedenheit mit dem Schulungskonzept und den Schulungsrahmenbedingungen, Einschätzung der Brauchbarkeit der erworbenen Kompetenzen Zufriedenheit mit Beratungsprozess, Positives, Schwierigkeiten, Wünsche, Verbesserungsvorschläge

Befragung zum Verfassen des Selbstberichts, zur Peer Suche, zur organisatorischen Abwicklung des Verfahrens an der Schule sowie zur Zufriedenheit mit dem Unterstützungsangebot, Einschätzung des

13 PR Prozessevaluation Instrumente und Methoden 13 Dokumentenanalyse nach definierten Kriterien: Selbstbericht der Schulen Peer Berichte

14 Prozessevaluation: Überblick Grundgesamtheit und Rücklaufquoten 14

15 Ergebnisse: Erste Ebene Zufriedenheit mit dem Verfahren 15 Hohe Zufriedenheit mit dem Peer Review, insbesondere bei Vorbereitung, Besuch und Bericht Peer Review im Kollegium als Verfahren zum Aufdecken blinder Flecken akzeptiert Beste Bewertung des Verfahrens von Seiten der Schulleitung Zurückhaltende Bewertung bei der Umsetzung von Maßnahmen Geringe Integration des Kollegiums Schwierigkeiten bei der Erstellung des Selbstberichts, geringe Inanspruchnahme von Beratung

Beste Bewertung des Verfahrens von Seiten der Schulleitung Zurückhaltende Bewertung bei der Umsetzung von Maßnahmen

16 Ergebnisse zweite und dritte Ebene: Schulische Innovationen als Folge externer Evaluation % aller auf den Peer Reviews basierenden schulischen Maßnahmen sind erfolgreich adaptiert (eine Maßnahme wurde dann als erfolgreich adaptiert eingeschätzt, wenn mindestens 50% der evaluierten Personen als Innovationsanwender bezeichnet werden können) Maßnahmen führen in eher geringerer Weise zur Verbesserung der Lernleistung von Schüler/innen Möglicher Grund: Innovationen liegen evtl. nicht im Bereich der Unterrichtsentwicklung

mindestens 50% der evaluierten Personen als Innovationsanwender bezeichnet werden können) Maßnahmen führen in eher geringerer Weise

17 Ergebnisse des quantitativen Teils 5. Ebene: Aufwand-Nutzen Relation, ROI 17 Aufwand-Nutzen Frage wurde sowohl auf individueller als auch organisationaler Ebene gestellt Bewertung eines mittleren bis hohen Nutzens auf organisationaler Ebene Einschätzung eines eher hohen Aufwands Überwiegend negative Nutzen-Aufwand-Relation (nur in zwei von 7 Fällen eine positive Einschätzung) Wirtschaftlichkeit wird auf organisationaler Ebene niedriger bewertet, als im persönlichen Bereich

Ebene gestellt Bewertung eines mittleren bis hohen Nutzens auf organisationaler Ebene Einschätzung eines eher hohen

18 Quellen 18 Peer Review in QIBB-Homepage Buichl, M. (Hrsg.): Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluation. Aachen: Shaker Verlag 2012 Buichl, M./ Wilbers, K.: Wirksamkeit externer Evaluation - eine Analyse der Wirksamkeit des European Peer Review im Rahmen der österreichischen Qualitätsinitiative Berufsbildung. In: bwp@ausgabe Nr. 21 Hall, G. E. & Hord, S. M. (2011). Implementing change: Patterns, principles, and potholes (3. ed.). Boston: Pearson. Kirkpatrick, D. L. (Hrsg.). (1975). Evaluating Training Programs: A Collection of Articles from the Journal of the American Society for Training and Development. Madison, Wisconsin. Wulz, G./ Jonach, M./ Gramlinger, F.: Peer Review in QIBB Erste Ergebnisse zur Umsetzung von externer Evaluation in österreichischen berufsbildenden Schulen. In: bwp@ Ausgabe Nr. 21

: Wirksamkeit externer Evaluation - eine Analyse der Wirksamkeit des European Peer Review im Rahmen der österreichischen Qualitätsinitiative Berufsbildung. In: bwp@ausgabe Nr. 21 Hall, G. E. & Hord, S.

19 19 Wir danken Ihnen für Ihre Aufmerksamkeit und sind gespannt auf Ihre Fragen!

20 Herausforderungen für die Zukunft 20 Weitere Wirksamkeitsanalysen sind notwendig ist ein Monitoring System denkbar? Was sind wichtige Teilaspekte eines solchen Monitoring- Systems?

21 Messung der Levels of Use 21

Ähnliche Dokumente

Peer Review in QIBB Evaluation zur Wirksamkeit eines externen Evaluationsverfahrens

Peer Review in QIBB Evaluation zur Wirksamkeit eines externen Evaluationsverfahrens Österreichische Konferenz für Berufsbildungsforschung Steyr, 4.7.2014 Dr. Melanie Buichl, Berufliche Oberschule Bad Tölz