ARGEV-Veranstaltungen vom 15. November 2013 Thesen zur Wirkung und Wirksamkeit der externen Schulevaluation Norbert Landwehr Pädagogische Hochschule FHNW, Zentrum Schulqualität
Inhalt des Referats 1. Ausgangspunkt: Kritische Wahrnehmungen zur Wirkung und Wirksamkeit der ESE 2. Das Modell der Wirkungsfaktoren 3. Das Modell der vier Wirkungsfelder der ESE 4. Thesen/Erläuterungen zu den vier Wirkungsfeldern 5. Wie lässt sich die Wirkung der ESE-Daten für die Schul- und Unterrichtsentwicklung unterstützen? 6. Anregungen zur Weiterentwicklung der ESE 2
Verwendete Begrifflichkeit Wirkungen: Beabsichtigte und unbeabsichtigte Effekte, die durch die Schulevaluation erzeugt werden. Wirksamkeit: Eigenschaft/Fähigkeit von bestimmten Massnahmen bzw. Faktoren, die beabsichtigten Wirkungen auch tatsächlich hervorzurufen. «Wirksamkeit» = Qualitätsmerkmal der eingesetzten Mittel (z.b. der im Rahmen der ESE angewendeten Verfahren, Instrumente u.a.) «Wirkungen» = Ziel-Kriterium, auf welches die Wirksamkeitsbeurteilung der eingesetzten Mittel Bezug nimmt. 3
Ausgangspunkt: Kritische Wahrnehmungen zur Wirkung & Wirksamkeit der ESE 4
NZZ vom 27. Juni 2011 Prüfungen ohne Ende und mit wenig Wirkung Die Evaluationen in den Schulen drohen zu einem Ritual zu erstarren 5
Leitfrage: Stehen Aufwand und Nutzen der ESE in einem sinnvollen Verhältnis? Wie kann/soll das Aufwand-Nutzen-Verhältnis gemessen und beurteilt werden? Frage nach dem Aufwand der Schulen: Worin besteht der effektive Aufwand der Schulevaluation für die einzelne Schule? (Vorbereitungsaufwand? Normen- Erfüllungs-Aufwand? Durchführungsaufwand? Nachbereitungsaufwand? Schulentwicklungsaufwand?) Frage nach dem Durchführungsaufwand: Wie gross ist der effektive Aufwand des Eval-Teams? Wie viel Aufwand braucht es, um eine externe Evaluation durchzuführen, die bei den Adressaten eine hohe Wirksamkeit hat? Wirkungs- und Nützlichkeitsfrage: Wann ist eine externe Evaluation überhaupt wirksam/nützlich? (Wenn sie die einzelne Schule zur Weiterentwicklung anregt? Wenn sie zur Steigerung der Schülerleistungen führt? Wenn sie Schwachstellen in den kantonalen Rahmenvorgaben aufzeigt? Wenn sie die öffentliche/politische Akzeptanz der Schule erhöht? ) Wirksamkeitsfrage: Wodurch wird die Wirksamkeit der externen Evaluation erzeugt/unterstützt? (Durch hohe Glaubwürdigkeit der Ergebnisse? Durch eine möglichst differenzierte Bestandesaufnahme? Durch positiven Motivationsgehalt der Berichte? Durch offenes Ansprechen von Schwachstellen? ) 6
Nachbefragung: Einblick in die quantitativen Ergebnisse Vorgespräch und Vorbereitung der externen Evaluation Schulführung Lehrpersonen 7
Nachbefragung: Einblick in die quantitativen Ergebnisse Durchführung der externen Evaluation Schulführung Lehrpersonen 8
Nachbefragung: Einblick in die quantitativen Ergebnisse Evaluationsbericht und Berichterstattung Schulführung Lehrpersonen 9
Nachbefragung: Einblick in die quantitativen Ergebnisse Ertrag der externen Evaluation Schulführung Lehrpersonen 10
Auffälligkeiten in den Nachbefragungsergebnissen Hohe Werte bei der Durchführungsqualität: Vorinformation, Planung und Organisation der Evaluation, kommunikatives Verhalten der Evaluationspersonen, Kompetenz und Professionalität der Evaluationspersonen werden deutlich positiv beurteilt. Kritische Beurteilung der Wirksamkeit: Es gibt hier mehrere Items mit einem Mittelwert unter 3 (vor allem aus Sicht der Lehrpersonen). Die Einschätzungen der Schulführung sind durchwegs höher als die Lehrpersoneneinschätzungen: Selbst die im Gesamtwert eher tief eingestuften Wirksamkeitsitems liegen hier über dem Wert 3 (ausser bei Item 5.2: Aufdecken von blinden Flecken). 11
Erste Antworten auf das Wirksamkeitsproblem Leitfragen: Wie lässt sich die relativ tiefe Einschätzung des Ertrags der externen Schulevaluation erklären? Wie lässt sich die Situation verbessern? These Einseitige Fokussierung auf die Entwicklungsfunktion. Es wird nicht beachtet, dass die Evaluation noch andere Funktionen zu erfüllen hat. (Die anderen Funktionen sind insbesondere für die Lehrpersonen - vermutlich wenig bedeutsam!) Falsche Erwartung der Schulen bzgl. Entwicklungswirksamkeit: Implizite Annahme einer automatischen Koppelung von Schulevaluation und Entwicklungswirkung. 12
Das Modell der Wirkungsfaktoren 13
Einflussfaktoren der Entwicklungswirksamkeit Externe Impulse & Unterstützungsleistungen Merkmale des Evaluationsprozesses Eval-Ergebnisse & Eval-Bericht Reaktionen Aktiv gestaltete Verarbeitungsprozesse der Schule Massnahmen zur Schul- und Unterrichtsentwicklung Resultierende Effekte und Nebeneffekte (Wirkungen) Innerschulische Merkmale Erweitertes Modell nach: Ehren M.C.M.; Visscher, A.J. (2006): Towards A Theory On the Impact of School Inspections. British Journal of Educational Studies, vol. 54, no. 1, 51-72. 14
Einflussfaktoren für wirksame Verarbeitungsprozesse Verantwortungsbereich Evaluationsteam Vertrauenswürdigkeit der Evaluation als Ganzes: Die Evaluation vermag von der Anlage her positive Erwartungen bezüglich des Nutzens zu erzeugen. Organisation/Prozessgestaltung der Evaluation: Hohe Transparenz und Plausibilität der verwendeten Kriterien und Indikatoren; professionelles Instrumentarium; adäquater Einbezug der Betroffenen. Kommunikationsstil der Evaluationspersonen: professionell, rücksichtsvoll, aber unparteiisch, verständnisvoll aufnehmend ohne subjektiv-wertend zu filtern. Qualität der Rückmeldung an die Schule: Schwächen werden klar und prägnant benannt; Positives wird angemessen gewürdigt, nachvollziehbarer Schluss vom Besonderen auf das Allgemeine; einsichtige/verständnisvolle Problemdiagnose. 15
Einflussfaktoren für wirksame Verarbeitungsprozesse Verantwortungsbereich Schule Einstellung der Schule gegenüber Veränderungen: Schule versteht sich als lernende Organisation ; als professionelle Lerngemeinschaft ; sie fühlt sich für Q-Entwicklung verantwortlich. Schulinternes Qualitätsmanagement: Funktionsfähiges QM; Erfahrung mit schulinternen Evaluationen (v.a. Umgang mit Eval- Ergebnissen!) Einbezug des Kollegiums: Lehrpersonen werden einbezogen in die Dateninterpretation. Primäres Ziel: Nachvollzug der Problemdiagnose. Moderationskompetenz ist vorhanden. Schulentwicklungserfahrung und -knowhow: Erfahrung/Kompetenz im Umgang mit Schul- und Unterrichtsentwicklungsprojekten; entsprechende institutionelle Voraussetzungen sind vorhanden. Eigenverantwortliche Nutzung der Evaluationsergebnisse: Entwicklungsmassnahmen werden auf dem Hintergrund der Evaluationsergebnisse selber abgeleitet und die Umsetzung kompetent geplant und realisiert. 16
Das Modell der vier Wirkungsfelder 17
Wirkungsmodell der externen Schulevaluation Wissensgewinnung Datengestütztes Qualitätswissen hilft der Schule, das eigene Profil klarer zu sehen, Problemlagen besser zu verstehen und offen anzusprechen Rechenschaftslegung Datengrundlage für einen glaubwürdigen Qualitätsnachweis gegenüber dem polit. Auftraggeber und gegenüber der interessierten Öffentlichkeit Schulentwicklung Impulse zur Beseitigung von Qualitätsdefiziten und zum bewussten Ausbau von profilbildenden Stärken Normendurchsetzung Geltende Normen werden den Betroffenen bewusst gemacht und deren Umsetzung verbindlich eingefordert 18
Thesen zu den vier Wirkungsfeldern 19
Thesen zum Wirkungsfeld 1: Wissensgewinnung 1. Wissensgewinnung als Grundfunktion der Evaluation: Die Wissensgewinnung ist eine selbstverständliche, aber oft wenig beachtete Funktion der Evaluation. Sie ist den anderen Funktionen vorangestellt, hat aber auch einen Eigenwert. 2. Offizialisierung des Wissens: Die Offizialisierung von Wissen, das in der Institution bereits vorhanden ist, ist vermutlich die wichtigere Funktion als die Entdeckung von neuem (unbekanntem) Wissen. («Aufdecken von blinden Flecken») 3. Verschiedene Wissenstypen: Die Evaluation produziert verschiedene Arten des Wissens mit unterschiedlicher Akzeptanz im System Beschreibendes Faktenwissen Erklärungswissen Kriterienbezogenes Bewertungswissen Handlungs- und Problemlösungswissen (schulbezogen und Unterrichtsbezogen) 20
Thesen zum Wirkungsfeld 2: Schulentwicklung 1. Einseitige Akzentuierung der Entwicklungsfunktion verzerrt die Wirkungspalette der ESE: Die Entwicklungswirkung der externen Schulevaluation ist zweifellos eine zentrale Funktion. Ihre einseitige Akzentuierung (auch durch die aktuelle Forschung) wird dem Funktionsspektrum der Evaluation jedoch nicht gerecht. 2. Die Betonung der Entwicklungsfunktion spricht eher für eine interne Evaluation: Bezüglich der Entwicklungswirkung ist die interne Evaluation vermutlich wirksamer als die ESE. Die ausschliesslich entwicklungsorientierte Betrachtung ist für die ESE längerfristig existenzbedrohend. 3. Die Entwicklungsfunktion wird implizit als selbstgesteuerte Entwicklung interpretiert. Die selbstgesteuerte Schulentwicklung gilt als das implizite Veränderungsmodell, das mit Entwicklungsfunktion der Evaluation gemeint ist.( Die Rechenschaftslegung kann eine aussengesteuerte Entwicklung initiieren!) 4. Ausblendung des schulinternen Verarbeitungsprozesses als entscheidender Wirksamkeitsfaktor: In der Wirksamkeitsdiskussion wird die Rolle des schulinternen Verarbeitungsprozesses der Evaluationsergebnisse massiv unterschätzt. 21
Thesen zum Wirkungsfeld 3: Rechenschaftslegung 1. Rechenschaftslegung/Kontrolle als legitimer Anspruch: Schule als finanzintensive öffentlich-rechtliche Dienstleistung. Der Anspruch auf eine Qualitätskontrolle ist legitim! 2. ESE als nach-inspektorale Form will dem komplexen Praxisfeld gerecht werden: Flexible und individualisierte (situationsbezogene) Handlungssysteme brauchen eine neue Form der Qualitätsüberprüfung. (Die inspektorale Überprüfung der Regeleinhaltung wird der Komplexität einer situationsbezogenen Praxisgestaltung nicht gerecht!) ESE ist ein unverzichtbares Instrument einer glaubwürdigen (zeitgemässen) Datenbeschaffung und interpretation. 3. Überprüfung der Prozessqualität als elementarer Bestandteil von R & K: Die Überprüfung der Wertkompatibilität von Prozessen ist neben der Wirkungsüberprüfung ein wichtiger Teil eines adäquaten R&K-Prozesses. 4. Rechenschaft & Kontrolle mit impliziter Entwicklungsfunktion: R & K ist immer mit der Option einer aussengesteuerten (von oben angeordneten) Entwicklung verbunden. 22
Thesen zum Wirkungsfeld 4: Normendurchsetzung 1. ESE ist eine hochwirksame Form der Normenkommunikation und Normendurchsetzung: In diesem Wirkungsfeld liegt eine noch wenig wahrgenommene Funktion der externen Evaluation. Die ESE könnte bewusster dafür in Anspruch genommen werden! 2. Die Normendurchsetzungsfunktion führt zum «Teaching-to-the-test- Effekt»: Prüfungen tendieren dazu, die vorangehende Praxis heimlich zu steuern: Dieser Mechanismus gilt auch für die ESE. Er bringt Chancen und Risiken mit sich. 3. Die «indikatorengesteuerte Praxis» ist ein unerwünschter Nebeneffekt der ESE: Indikatoren sind wichtig als Evaluationsinstrumente. Sie tendieren dazu, zu Steuerungsinstrumenten der Praxisgestaltung und entwicklung zu werden. Dies wird den Ansprüchen an eine adäquate Praxissteuerung in komplexen Handlungssituationen nicht gerecht! 4. Das Spannungsfeld von positiver vs. negativer Normierung des Handelns sollte besser beachtet werden! Positiv und negativ gesetzt Normen haben ein unterschiedliches Steuerungspotenzial. Dies sollte bewusst in die ESE-Konzeption einbezogen werden. 23
Exkurs zum Spannungsfeld von positiver vs. negativer Normierung (1) Die durch Evaluationen bewirkten Normierungen des Handelns können grundsätzlich positiv oder negativ ausgerichtet sein (= Fokussierung auf erwünschte oder auf unerwünschte Qualität). Positive Normierung: In der Regel orientiert sich die ESE an einem Referenzrahmen mit «positiven» (erwünschten) Qualitätsansprüchen an die Schule (Merkmalskataloge der «guten Schule») Probleme: Gefahr, dass die Schulen durch präskriptiven Vorgaben überflutet werden. Raum für selbstgesteuerte Entwicklung geht verloren. Widerspruch zur Idee einer gemeinsam getragenen Profilbildung der Einzelschule! Gegenüber Entwicklungsansprüchen wird «Reaktanz» erzeugt. 24
Exkurs zum Spannungsfeld von positiver vs. negativer Normierung (2) Negative Normierung durch die ESE: Die Aufmerksamkeit wird darauf gerichtet, was nicht sein darf. Es wird ein «Vermeidungsanspruch» kommuniziert. (Kein positiver Gestaltungsanspruch!) Vorteile der negativen Normierung Die negative Normierung ist grundsätzlich prägnanter. Es findet gewissermassen eine «Normierung nach unten» statt, der Raum nach oben (d.h. im positiven Zielbereich) wird bewusst offen gelassen. Der positive Gestaltungsraum wird der einzelnen Schule überlassen. Die Betroffenen erhalten mehr Handlungsspielraum für selbstgesteuerte Entwicklungen. Die Generierung von positiven Zielen und Entwicklungsmöglichkeiten wird auf die lokale Ebene verlagert und kann dort partizipativ erfolgen. Gegenüber negativen Normierungen wird weniger Reaktanz erzeugt. 25
Exkurs zum Spannungsfeld von positiver vs. negativer Normierung (3) Thesen: (1) Bildungspolitik und Bildungsverwaltung haben dafür zu sorgen, dass eine Schule funktionsfähig ist (= keine gravierenden Funktionsstörungen aufweist). (2) Beim Auftreten von gravierenden Defiziten (im Sinne von Funktionsstörungen) muss die übergeordnete Steuerungsebene verbindlich und ultimativ eingreifen. (3) Zur positiven Qualitätsentwicklung (hin zu einer guten oder gar exzellenten Schule) muss die Verantwortung vor Ort, d.h. bei der Einzel-Schule bleiben. Auf staatlicher Seite ist grosse Zurückhaltung angezeigt. (4) Die schulübergreifende Steuerungsebene muss für die positive Qualitätsentwicklung einen «Ermöglichungsraum» schaffen. Verzicht auf eine direktive Steuerung der lokale Entwicklungsprozesse hin zur «guten Schule»! 26
Exkurs zum Spannungsfeld von positiver vs. negativer Normierung (4) Es geht nicht um eine Idealisierung von Schulautonomie, sondern um die Einsicht in die begrenzte Steuerungsmöglichkeiten von Entwicklungsprozessen: Ohne Eigenverantwortlichkeit und ohne einen grossen Anteil von Partizipation ist eine gute Qualität nicht zu haben; sie lässt sich von aussen nicht erzwingen, höchstens mit einem positiven Anreiz- und Unterstützungssystem fördern! 27
Wie lässt sich die Wirkung der ESE-Daten für die Schul- und Unterrichtsentwicklung unterstützen? 28
29
Grundsätze für den Umgang mit Evaluationsergebnissen Die Problemdiagnose ist wichtiger als die Handlungsempfehlung! Eine partizipative Massnahmenentwicklung erleichtert den Umsetzungsprozess. Institutionelle und personenbezogene Problemursachen und Massnahmen in die Erwägungen einbeziehen. Die Komplexität der Entwicklungsmassnahmen richtig einschätzen. Entwicklungsmassnahmen bündeln, zeitliche priorisieren und staffeln. Realisierbare und überprüfbare Ziele festlegen. Die Entwicklungsaktivitäten möglichst konkret und verbindlich planen. 30
Varianten der partizipativen Auseinandersetzung mit den Evaluationsergebnissen (1) Variante A: Offene Auseinandersetzung mit den (qualitativen) Evaluationsergebnissen Vergleich der Evaluationsergebnisse mit den eigenen Wahrnehmungen (Innensicht vs. Aussensicht). Vertiefte Analyse ausgewählter Stärken und Schwächen (angereichert mit eigenen Wahrnehmungen und Erfahrungen). Massnahmenvorschläge z.h. der Schulleitung. Variante B: Massnahmenzentrierte Auseinandersetzung Empfehlungen des Eval-Berichts als Ausgangspunkt der partizipativen Auseinandersetzung. Herausarbeiten des Problem- und Zielbezuges der vorgeschlagenen Entwicklungsmassnahmen (Rekonstruktion der Problemdiagnose / Formulierung des erwünschter Zielzustands). Bewertung der Entwicklungsmassnahmen und vertiefte Bearbeitung (Konkretisierung und Umsetzungsanalyse). 31
Varianten der partizipativen Auseinandersetzung mit den Evaluationsergebnissen (2) Variante C: Auseinandersetzung mit den Defizitdiagnosen und dem aufgezeigten Entwicklungsbedarf Problemsichtung des Evalteams als Ausgangspunkt. Analyse der Problemdiagnose (Abgleich mit eigenen Erfahrungen!). Entwurf der Soll- Situation (Visonsentwicklung). Herausarbeitung der konkreten Spannungsfelder (Vom Negativbefund zur positiven Zielformulierung); Entwicklung von Massnahmenvorschlägen. Variante D: Vertiefte Analyse und Interpretation der quantitativen Evaluationsdaten Strukturierte Auseinandersetzung mit den quantitativen Datensätzen der ESE: (1) Vorbereitende Auseinandersetzung mit dem Fragebogen (Aufbau einer interessierten Erwartungshaltung gegenüber den Ergebnissen) (2) Pauschale Ergebnissichtung, (3) differenzierte Auseinandersetzung mit Einzel-Ergebnissen, (4) Suche nach Ansatzpunkten für die Schul- und Unterrichtsentwicklung. 32
Beispiel: Ablaufskizze für Variante A 1. Rückblick auf die Evaluationsergebnisse (gemeinsam im Kollegium) 2. Bezugnahme auf den Evaluationsbericht: Ergänzungen & Korrekturen 3. Vergleich mit den Ergebnissen von Selbstevaluationen und Selbsteinschätzungen (falls vorhanden) 4. Gewichtung der positiven und kritischen Evaluationsergebnisse 5. Vertiefte Bearbeitung von positiven und kritischen Evaluationsergebnissen in Gruppen 6. Entwicklungsvorschläge zuhanden der Schulleitung 33
Grundsätze für den Prozess der Entwicklungsplanung Konzentration auf das Wesentliche: Beschränkung auf das, was bzgl. personeller Kapazität der Organisation tatsächlich leistbar ist. Einbettung in ein konsistentes Gesamtkonzept: Gruppierung von Einzelmassnahmen zu einem klar definierten & konsistenten Entwicklungsschwerpunkt, der nach innen und aussen überzeugend und prägnant kommuniziert werden kann. Komplexitätsprüfung der Massnahmenvorschläge: Aus wie vielen Umsetzungsschritten (Aktivitäten/Tätigkeiten) setzt sich eine einzelne Entwicklungsmassnahme zusammen? Die Erarbeitung eines Entwicklungsplanes kann nicht partizipativ im Kollegium erstellt werden, sondern muss durch die Schulleitung oder durch eine von der Schulleitung autorisierte Person (evtl. eine Kleingruppe) geleistet werden! 34
Schritte zur Entwicklungsplanung 1. Sichten, klären und ordnen der (partizipativ erarbeiteten) Sammlung von Entwicklungsvorschlägen 2. Vorgängige Komplexitätsanalyse der Entwicklungsvorschläge 2. Festlegung von 1-2 Entwicklungsschwerpunkten mit grosser Hebelwirkung 3. Erstellen eines kohärenten Umsetzungsplanes (Abfolge von einzelnen Entwicklungsschritten) 4. Erstellung eines langfristigen Schulentwicklungsplans 35
Anregungen zur Weiterentwicklung der ESE 36
Entwicklungspunkte für die externe Schulevaluation 1. Verbesserung des Erkenntnisgewinns: Wie kann der Erkenntnisgewinn, der durch die Externe Evaluation für die Schule entsteht, verbessert werden? (z.b. durch vertieftes Erklärungswissen) 2. Bessere Kommunikation der ESE als schulfeldgemässes Rechenschaftslegungsinstrument: Wie kann überzeugend kommuniziert werden, dass professionelle Handlungssysteme (mit entsprechenden Gestaltungsräumen) auf die aufwändigen Form der datengestützte Rechenschaftslegung /Kontrolle angewiesen sind? Wo liegen die Möglichkeiten und Grenzen von angeordneten Entwicklungsmassnahmen? 3. Relativierung der Entwicklungswirksamkeit - in Abhängigkeit von der schulinternen Verarbeitungsqualität: Wie stark soll die Entwicklungsfunktion der ESE kommuniziert werden? Wie erhöht man die Bereitschaft und die Fähigkeit der Schulen, sich aktiv mit den Evaluationsergebnissen auseinanderzusetzen, um so die Entwicklungsfunktion der ESE besser zu nutzen? 4. Gezieltere Nutzung der Normendurchsetzungsfunktion: Wie muss der Gesamtprozess der Evaluation (inkl. der Einbettung in die institutionellen Steuerungssysteme) angepasst werden, damit die Normendurchsetzungsfunktion gezielter genutzt werden kann? Wie lassen sich unerwünschte Auswirkungen der Evaluation auf die Handlungssteuerung ( indikatorengesteuerte Praxis ) vermeiden/vermindern? 37
ISE ESE ISE ESE Vom Wirkungsmodell ESE zum Wirkungsmodell QM ISE ESE ISE ESE Erkenntnisgewinnung Die Schule verschafft sich mit internen und externen Evaluationen «datengestütztes Qualitätswissen», um das eigene Profil klarer zu sehen, um Problemlagen besser zu verstehen und offen anzusprechen. Rechenschaftslegung Die Schule verschafft sich mit internen und externen Evaluationen eine Datengrundlage für einen glaubwürdigen Qualitätsnachweis gegenüber dem polit. Auftraggeber und gegenüber der interessierten Öffentlichkeit. Schul- & U-Entwicklung Normendurchsetzung Die Schule verschafft sich mit internen & externen Evaluationen sowie mit Feedbackaktivitäten Lern- und Entwicklungsimpulse zur Beseitigung von Q-Defiziten und zum gezielten Ausbau von profilbildenden Stärken. Die Schule setzt internen und externen Evaluationen ein, um die Umsetzung von geltenden bzw. vereinbarten Normen/Standards zu überprüfen und damit deren Verbindlichkeit deutlich zu kommunizieren. Diskussions- und Klärungsbedarf: Wie wichtig sind die interne und externe Evaluation zur Erfüllung der vier QM-Kernfunktionen? 38