Hessische Lehrkräfteakademie Schulevaluation und Schulentwicklung: Ohnmacht der internen Krise der externen Evaluation

Transkript

1 Schulevaluation und Schulentwicklung: Ohnmacht der internen Krise der externen Evaluation Dr. Tanja Nieder-Seiberth & Dr. Susanne Frühauf

2 Gliederung Externe Schulevaluation: Merkmale der Evaluationsmodelle der Bundesländer» Gemeinsame Merkmale» Variierende Merkmale Interne Schulevaluation:» Im Vergleich mit der externen Schulevaluation» Interne Schulevaluation (in Hessen): Sachstand Schulevaluation und Schulentwicklung:» Ohnmacht der internen Schulevaluation» Krise der externen Schulevaluation

3 Externe Schulevaluation

4 Externe Schulevaluation: Gemeinsame Merkmale Als Reformmaßnahme in nahezu allen Bundesländern als Element eines umfassenderen Qualitätssicherungssystems eingeführt zusätzlichzur Schulaufsicht im Gesamtsystem eingeführt» In Abgrenzung zur Aufsicht als (teil-)standardisiertes wissenschaftlich fundiertes Verfahren Evaluationsgegenstand ist die Schule als Organisation, erster Adressat für Ergebnisberichte ist die Schule (v. a. Schulleitung) Gegenstandsbereich ist normativ über landeseigene Referenzrahmen eindeutig festgelegt, umfasst eine Vielzahl von Qualitätsmerkmalen Funktionale Mischform: Impuls für die Entwicklung der Einzelschule und evidenzbasierte Steuerungsunterstützung durch Datenaggregation

5 Externe Schulevaluation: Variierende Merkmale Institutionelle Einbindung und Zusammenarbeit mit Schulaufsicht» eigenständige Institution, Teil des Landesinstituts, Zuordnung von Inspektionsteams zur regionalen Schulaufsicht, Referat im Ministerium» komplette Ausgrenzung, Mitwirkung im Inspektionsteam, Mitwirkung bei der schulinternen Ergebnisverarbeitung, Zielvereinbarungen nach der Inspektion» Personalstatus der Inspektor*en (feste Planstelle vs. AO) Auswahl der Schulen» Freiwilligkeit / Verpflichtung, Zufallsauswahl, Auswahl nach Aufsichtskriterien, Repräsentativität Einbezug von Schülerleistungsdaten und Kontextdaten Ergebnisberichte» mehr oder weniger deskriptiv, datenbasiert und formalisiert, Handlungsempfehlungen, Veröffentlichung Maritzen, 2015 Kodex-Tagung Berlin

6 Interne Schulevaluation

7 Interne Schulevaluation steht in den meisten Ländern im verbindlichen Zusammenhang mit der Schulprogrammarbeit (z.b. HSchG)» 88 (2) 1[die Schulleiterin der Schulleiter] ist insbesondere verpflichtet, für die Entwicklung, Fortschreibung und Umsetzung des Schulprogramms sowie für die interne Evaluation zu sorgen.» 127 (2) Sie überprüft regelmäßig in geeigneter Form die angemessene Umsetzung des Programms und die Qualität ihrer Arbeit (interne Evaluation). soll langfristig sicherstellen, dass sich Schulen selbstständig und kontinuierlich der Qualität ihrer Arbeit vergewissern und die Ergebnisse interner Evaluationen effektiv in ein schulisches Qualitätsmanagement einbinden

8 Vergleich interne und externe Schulevaluation Interne Schulevaluation Gegenstandsbereich hochgradig individuell auf engen (schulrelevanten)wirklichkeitsausschnitt konzentriert breite Beteiligung des Personals formativ in Prozesse eingebunden schulindividuell in Konzeption, Durchführung und Verarbeitung Betonung der Schulentwicklungsfunktion im Rahmen der Schulprogrammarbeit Evaluationskompetenz nicht ausreichend vorhanden Methodenkompetenz und Instrumente nicht ausreichend vorhanden Externe Schulevaluation Gegenstandsbereich normativ eindeutig festgelegt Überprüfungsbereich ist breit, umfasst Vielzahl von Qualitätsmerkmalen, Beteiligung vor allem der Schulleitung summativ als turnusmäßiger Statusbericht hochgradig standardisiert Funktionenmix aus Schulentwicklung und Rechenschaftslegung qualifiziertes Personal für eine Evaluationsmaßnahme Anwendung eines Mix an sozialwissenschaftlichen Methoden

9 Interne Schulevaluation: Hessen (Zweijahresbericht der Schulinspektion, 2013, N = 748) gute Praxis

10 Durchführung interner Evaluation an Schulen in rund einem Drittel der Schulen finden Evaluationen in relevanten Bereichen statt eingesetzte Instrumente sind oftmals nicht angemessen für die Evaluationsfrage 90% der Schulen haben Probleme, Indikatoren für die Zielerreichung zu formulieren Aber: Schulen haben Interesse an interner Evaluation und Fragen, die sie an die Schulgemeinde richten wollen. Über die Hälfte der hessischen Schulen entscheidet sich für eine schulspezifische Anpassung des Schulinspektionsverfahrens:» Ein Drittel der Schulen wählt eine Profilschwerpunktevaluation» Ein Viertel der Schulen ergänzt die Onlinebefragung um eigene Fragen

11 Durchführung interner Evaluation an Schulen in rund einem Drittel der Schulen finden Evaluationen in relevanten Bereichen statt eingesetzte Instrumente sind oftmals nicht angemessen für die Evaluationsfrage 90% der Schulen haben Probleme, Indikatoren für die Zielerreichung zu formulieren Aber: Schulen haben Interesse an interner Evaluation und Fragen, die sie an die Schulgemeinde richten wollen. Über die Hälfte der hessischen Schulen entscheidet sich für eine schulspezifische Anpassung des Schulinspektionsverfahrens:» Ein Drittel der Schulen wählt eine Profilschwerpunktevaluation» Ein Viertel der Schulen ergänzt die Onlinebefragung um eigene Fragen» Die Rückmeldungen über die Nützlichkeit der Ergebnisse für die schulische Weiterarbeit unterscheiden sich nicht zwischen Profilschwerpunkt und externem Standardkanon

12 Schulevaluation und Schulentwicklung: Ohnmacht der internen Schulevaluation Probleme der internen Schulevaluation (Janssens und van Amelsvoort 2008; Blok et al. 2008; Blok et al. 2008; Schildkamp und Visscher 2010; Vanhoof et al. 2011).:» Mangelndes Knowhow bei Durchführung von Evaluationen» Probleme bei der Interpretation der Ergebnisse» Verknüpfung von interner Evaluation mit den Zielen der Schule ist oft nicht vorhanden (nicht systematisch eingebunden, keine umfassendes QM)» mehrheitlich Beschreibung der Qualität der eigenen Arbeit, ohne Bewertung» mangelnde Einbindung der Betroffenen in Evaluation» oftmals nur grobe Beschreibung der Maßnahmen, ohne konkrete Maßnahmenplanung» häufig nur Zufriedenheitsbefragungen bei schulischen Gruppen» ( )

13 Schulevaluation und Schulentwicklung: Ohnmacht der internen Schulevaluation Die Entwicklungsfunktion kann durch eine guteinterne Evaluation vollumfänglich abgedeckt werden. Insgesamt ist gegenwärtig zu konstatieren, dass Schulen kaum in der Lage sind, interne Evaluation durchzuführen und als kontinuierlichen Entwicklungsprozess zu betreiben (Landwehr, 2011) Um die Entwicklungsfunktion zu erfüllen, müssen Schulen in die Lage zu versetzt werden, guteevaluationen durchzuführen. (Gärtner, 2013)

14 Schulevaluation und Schulentwicklung: Krise der externen Schulevaluation Verschiedenartigkeit der konkreten Ausgestaltung erschwert Konturierung eines Berufsbildes und Standards Konflikt-und Kooperationslinien mit der Schulaufsicht sind nicht ausreichend geklärt, dadurch konstruktive Zusammenarbeit erschwert

15 Schulevaluation und Schulentwicklung: Krise der externen Schulevaluation Externe Evaluation ist nicht eindeutig und mit eindeutiger Funktionszuschreibung im Gesamtsystem verankert» Externe Evaluation agiert im Spannungsfeld der Funktionszuschreibung und Wirkungserwartungen: Impuls für die Entwicklung der Einzelschule und evidenzbasierte Steuerungsunterstützung durch Datenaggregation (Rechenschaftslegung)» Externe Schulevaluation steckt in einem Funktionen-Mix-Wirksamkeits- Fokussierungs-Dilemma - hybride Grundsignatur der Inspektionsmodelle (Maritzen, 2015) vs. einseitige Fokussierung auf die Entwicklungsfunktion

16 Wirksamkeitsannahmen/ Funktionen externer Schulevaluation (Landwehr, 2011) 16

17 Annahmen / Wirkungserwartungen Schulen werden durch externe Schulevaluationen besser Lernen und Entwicklung über Einsicht und Erkenntnis Inspektionsberichte motivieren und befähigen Schulen, Defizite zu beseitigen und Stärken auszubauen Wenn die externe Evaluation auf Akzeptanz stößt, steigt die Wahrscheinlichkeit, dass Ergebnisse verarbeitet werden daraus Entwicklungsimpulse resultieren (Ehren & Visscher, 2006) Wenn die Qualität der Inspektion stimmt, wird sie hohe Entwicklungswirksamkeit erzeugen

18 Empirische Befunde hohe Akzeptanz der externen Schulevaluation (vor allem bei Schulleitungen) hohe wahrgenommene Qualität des Verfahrens kaum Auswirkungen der externen Schulevaluation auf Schul-und Unterrichtsentwicklungsmaßnahmen trotz Nutzung der Daten bei Planung (Zweijahresbericht der Schulinspektion Hessen) wenig Inbesitznahme des zur Verfügung gestellten Wissens (Schule, Aufsicht, Ministerium)

19 Wirksamkeitsannahmen/ Funktionen externer Schulevaluation (Landwehr, 2011) Bottom-up 19

20 Wirksamkeitsannahmen/ Funktionen externer Schulevaluation (Landwehr, 2011) Top-down Bottom-up 20

21 Annahmen / Wirkungserwartungen Externe Schulevaluation verhilft Normen (z.b. aus Referenzahmen) durch deren Überprüfung zur Wirksamkeit Schulen passen sich externem Druck an, indem sie sich auf die SI vorbereiten und dabei sich mit Qualitätsnormen auseinandersetzen. Organisationen entwickeln sich durch Induktion und Nutzung von Sanktions-Druck (Internalisierung durch äußeren Zwang) Externe Evaluation wirksames Mittel zur Steuerung der Qualitätsentwicklung

22 Empirische Befunde Ankündigung der externen Evaluation setzt Auseinandersetzung mit Schulqualität in Gang Der Wirkmechanismus der Erwartungsbildung durch Normenkommunikation dominiert den Wirkmechanismus schulinterner Feedbackverarbeitung (Altrichter et a., 2016)» Schulentwicklung eher antizipierender Anpassungseffekt und weniger die Konsequenz gesteigerter Einsicht aufgrund intensiver Verarbeitung von Feedback Je klarer und mit je mehr normativem Druck Kriterien kommuniziert, überprüft und Nichterreichung sanktioniert werden, desto eher Anstoß für Selbstevaluation und Entwicklungsaktivitäten (allerdings auch Nebenwirkungen)

23 Wirksamkeitsannahmen/ Funktionen externer Schulevaluation (Landwehr, 2011) Top-down Bottom-up 23

24 Bewusstmachung von Normen Angleichung der Qualitätseinschätzung Intensität der Auseinandersetzung mit den Ergebnissen der ersten Inspektion Differenz der Einschätzung der Qualitätsmerkmale (Schulleitung / SI- Team) in der zweiten Inspektion 1. Die Ergebnisse der Schulinspektion werden zur Planung konkreter Vorhaben genutzt. 2. Die Zielvereinbarungen mit den Staatlichen Schulämtern basieren auf den Schulinspektionsergebnissen. 3. Themen der Zielvereinbarungen sind in den Entwicklungsvorhaben des Schulprogramms enthalten.

25 Bewusstmachung von Normen Angleichung der Qualitätseinschätzung DIF QB 5 Schulkultur AUS DIF QB 6 Lehren/ Lernen AUS AUS DIF Selbst/ Fremd 0.66 DIF QB 4 Professionalität AUS DIF QB 2 Qualitäts- Entwicklung 0.47 DIF QB 3 Führung 0.36 Perels, Frühauf, Zahn (2016) unveröffentlicht

26 Schulevaluation und Schulentwicklung: Ohnmacht der internen und Krise der externen Schulevaluation Interne und externe Schulevaluation wirken auf unterschiedliche Weise nicht(wie gedacht) auf Schulentwicklung» Für eine effektive entwicklungstreibende und steuernde interne Schulevaluation fehlt es den Schulen an Mitteln (Kompetenzen, Instrumenten, Unterstützung) und Kultur» Externe Schulevaluation bewirkt (nicht unbedingt) eine einsichtsgetriebene evidenzbasierte Schulentwicklung» Externe Evaluation wirkt eher über (gesteuerte) Normenkommunikation und Normenüberprüfung» Externe Evaluation in Form von Normüberprüfung ist damit eher ein Instrument der Rechenschaftslegung gegenüber politischen Entscheidungsträgern und kann diese in ihren Entscheidungen unterstützen

27 Schulevaluation und Schulentwicklung: Ohnmacht der internen und Krise der externen Schulevaluation Interne und externe Schulevaluation wirken auf unterschiedliche Weise nicht(wie gedacht) auf Schulentwicklung» Für eine effektive entwicklungstreibende Die Rechenschaftslegung und steuernde ist interne vermutlich Schulevaluation für fehlt es den Schulen an Mitteln (Kompetenzen, die externe Instrumenten, Schulevaluation Unterstützung) die wichtigere und Kultur Existenzberechtigung als die Entwicklungsfunktion.» Externe Schulevaluation bewirkt (nicht unbedingt) eine einsichtsgetriebene evidenzbasierte Schulentwicklung» Externe Evaluation wirkt eher über (gesteuerte) Normenkommunikation und Normenüberprüfung» Externe Evaluation in Form von Normüberprüfung ist damit eher ein Instrument der Rechenschaftslegung gegenüber politischen Entscheidungsträgern und kann diese in ihren Entscheidungen unterstützen (Landwehr, 2011)

28 Schlussfolgerung / Fazit In einem umfassenden System zur Qualitätssicherung und Entwicklung sollten die interne und die externe Schulevaluation getrennt, mit spezifischer systemischer Profilierung und einer zur Funktion passenden Wirkungserwartung verankert werden» Interne Evaluation muss aufgebaut und Teil der innerschulischen Profession werden» Interne Evaluation sollte systematisch unterstützt werden, damit sie effektiv an den Fragen der Schule orientiert in zyklische Entwicklungsprozesse eingebunden werden kann» Externe Schulevaluation sollte als (legitimes) Instrument der Normenkommunikation und -Überprüfung implementiert werden und zur evidenzbasierten systemischen Qualitätsentwicklung genutzt werden (Rechenschaftslegung )» Referenzsysteme bilden die normative Hintergrundfolie für alle Evaluations-und Entwicklungsprozesse ( Überarbeitungen erforderlich? posiuve vs. negauve Normierung)

29 Vielen Dank für Ihre Aufmerksamkeit