Praxis und Verhältnis interner und externer Evaluation im Schulsystem im internationalen Vergleich

Transkript

1 Z Erziehungswiss (2013) 16: DOI /s Allgemeiner Teil Praxis und Verhältnis interner und externer Evaluation im Schulsystem im internationalen Vergleich Holger Gärtner Zusammenfassung: Der Überblicksartikel thematisiert das Zusammenspiel interner und externer Evaluation im Gesamtsystem schulischer Steuerung. Zunächst werden beide Evaluationsansätze skizziert, aktuelle Erkenntnisse über die Wirkung auf die Entwicklung von Schulqualität dargestellt sowie das Verhältnis zwischen normativen Setzungen und Bildungsforschung diskutiert. Beide Evaluationsansätze richten ihr Augenmerk weniger auf schulische Outputs wie z. B. Schülerleistungen, sondern vielmehr auf schulische Prozesse wie Schulmanagement oder die Qualität des Unterrichts. Externe Evaluation in Form von Schulinspektion erfüllt vornehmlich die Funktion von Rechenschaftslegung und der Identifizierung schwacher Schulen. Zur Unterstützung der Schulentwicklung ist die interne Evaluation vermutlich besser geeignet. Um sie jedoch als systematischen Prozess der Qualitätsentwicklung in Verantwortung der Einzelschule betreiben zu können, fehlt es aktuell an der nötigen Kompetenz. Überlegungen zum zukünftigen Verhältnis von interner und externer Evaluation richten sich darauf, externe Evaluation als Meta-Evaluation zu betreiben. Bevor externe Evaluation jedoch in dieser Art auf Ergebnisse interner Evaluation aufbauen kann, ist ein breiter Kompetenzaufbau in den Schulen als auch ein anderes Rollenverständnis der Inspektoren nötig. Schlüsselwörter: Externe Evaluation Interne Evaluation Verhältnis Wirkung Practical application and relationship of internal and external evaluation in the school system in an international comparison Abstract: The overview article deals with the interaction of internal and external evaluation within the current paradigm of school governance. The actual practice of both approaches and the current state of research about the effects on school development is described. Both evaluation approaches are less focused on aspects of school output such as student performance, and more on school processes such as school management or the quality of teaching. External evaluation in the form of school inspection mainly fulfills the function of accountability and the identification of weak schools. Internal evaluation is probably a better way to achieve school development. Online publiziert: Springer Fachmedien Wiesbaden 2013 Dr. H. Gärtner ( ) Institut für Schulqualität der Länder Berlin und Brandenburg an der Freien Universität Berlin, Otto-von-Simson-Str. 15, Berlin, Deutschland holger.gaertner@isq-bb.de

2 694 H. Gärtner However, the necessary competence to use internal evaluation as a systematic process of quality management for which each individual school takes responsibility is currently underdeveloped. Considerations about the future relationship between internal and external evaluation focus on using external evaluation as a kind of meta-evaluation. But before external evaluation can build on results of internal evaluation in this way, a broad capacity building in schools and a different understanding of the role of inspectors are necessary. Keywords: Balance Internal evaluation Impact External evaluation School self-evaluation 1 Evaluation als Kernbestandteil des aktuellen Steuerungsparadigmas Der Wandel des Schulsystems im letzten Jahrzehnt ist durch eine für deutsche Verhältnisse unbekannte Dynamik gekennzeichnet. Ausgelöst wurden die vielfältigen Aktivitäten an Reformmaßnahmen durch die Veröffentlichung und Diskussion der ersten PISA-Ergebnisse (Baumert et al. 2008). Anlass waren nicht nur die unterdurchschnittlichen Ergebnisse der Schüler/-innen, sondern auch das Informationsdefizit hinsichtlich der Leistungsfähigkeit des deutschen Schulsystems. Der anschließende Wandel des Steuerungsparadigmas im Bildungssystem kann durch den Begriff Neue Steuerung bzw. New Public Management beschrieben werden (Altrichter und Maag Merki 2010). Beispiele für Reformmaßnahmen sind die Einführung von a) zentralen Prüfungs- und Vergleichsarbeiten, b) nationalen und internationalen Schulleistungstests, c) nationalen Bildungsstandards, d) Schulinspektionen, e) Selbstevaluation und zusammenfassend f) eine nationale und regionale Bildungsberichterstattung. Bestandteil vieler Reformmaßnahmen ist die gleichzeitige Verlagerung einer Reihe operativer Steuerungsentscheidungen von der System- auf die Organisationsebene (Stichwort selbstständige Schule; Füssel und Leschinsky 2008). Hierdurch wird die schulische Selbststeuerung gestärkt, damit die schulischen Prozesse besser an die spezifischen Verhältnisse vor Ort angepasst werden können (Altrichter und Maag Merki 2010). Diese Gewährung neuer Gestaltungsspielräume macht die Schulen zu den wichtigsten Trägern von Qualitätsentwicklung im Schulwesen (Thiel und Thillmann 2012). Die zahlreichen Ergebnisse und Rückmeldungen zum Leistungstand der Schule und der Schüler/-innen, die inzwischen gewonnen werden, sollen in den Schulen selbst produktiv genutzt werden, so das Ziel der Steuerungsstrategie, indem die Schulen die Informationen im Sinne einer evidenzbasierten Entscheidungslogik aufgreifen und für ihre Weiterentwicklung nutzen (Füssel und Leschinsky 2008). Auf Systemebene sollen die neu gewonnenen Daten in Form einer regelmäßig erscheinenden Bildungsberichterstattung ebenfalls zur zielgerichteten Gestaltungsentscheidung genutzt werden (Rürup et al. 2010). Im Gegensatz zur Diskussion der Schulqualität im anglo-amerikanischen Raum ist sie in Deutschland und Europa nicht allein auf testbasierte Rechenschaftssysteme fokussiert. Zwar werden auch in Europa verstärkt Schülerleistungen gemessen und an Schulen zurückgemeldet, diese Komponenten einer Outputsteuerung werden bislang jedoch nur in wenigen Ländern zur Rechenschaftslegung genutzt (z. B. in England und den Niederlanden, Ehren und Honingh 2012). Stattdessen stehen bei der internen und externen Schulevaluation die Prozesse innerhalb der Schulen im Mittelpunkt, z. B. das Schulmanagement oder die Qualität des Unterrichts (Eurydice 2009).

3 Praxis und Verhältnis interner und externer Evaluation 695 Innerhalb der Erziehungswissenschaft wurden steuerungsrelevante Fragestellungen seit den 70er Jahren, wenn auch eher randständig, bearbeitet (Berkemeyer 2010), nehmen inzwischen breiten Raum ein und werden aktuell vor dem Hintergrund des Bildungssystems als Mehrebenensystems und der Interdependenzen der Akteure auf den verschiedenen Ebenen diskutiert (Educational Governance). Veränderungsprozesse werden nicht mehr nur durch Steuerungsprozesse erklärt, sondern durch die vorliegenden Akteurskonstellationen, d. h. die Koppelungen und Prozesse der Verhandlungen und Kommunikation zwischen den Akteuren auf den verschiedenen Ebenen (Altrichter et al. 2007; Heinrich 2007; Benz und Dose 2010; Altrichter und Maag Merki 2010; van Ackeren und Brauckmann 2010). Die Perspektive hat sich geweitet und die Governanceforschung untersucht Steuerungshandeln im jeweiligen Konstellationsgefüge, in dem sich die beteiligten Akteure bewegen. Nicht mehr singuläre Steuerungsaktivitäten sind von Interesse, sondern das unter den Akteuren abzustimmende Zusammenwirken einer Vielzahl von Steuerungsversuchen und den dabei zu entdeckenden Koordinierungsmustern. Die Governance-Perspektive ist somit als Reaktion auf unterkomplexe Steuerungsmodelle zu verstehen. Sie verzichtet auf kybernetische Erklärungsversuche wie sie etwa in Form der Annahme von Qualitätsentwicklungszyklen gemacht werden, in denen eine Rückmeldung, z. B. über den Leistungsstand einer Lerngruppe, automatisch zu einem veränderten Vorgehen im Unterricht führt. Stattdessen verdeutlicht sie die Re-Kontextualisierung von neuen Verfahren der Steuerung wie z. B. der Vergleichsarbeiten (Diemer und Kuper 2011 oder der Inspektion (Lambrecht et al. 2011) durch die betroffenen Akteure. Gegenstand des Artikels ist eine Beschreibung der aktuellen Praxis von externer und interner Evaluation im Rahmen des skizzierten Steuerungsparadigmas. Schulinspektion ist in den meisten deutschen wie europäischen Ländern ein fester Bestandteil eines neuen Steuerungsparadigmas 1. Unter externer Evaluation wird im Folgenden daher ausschließlich das Verfahren der Schulinspektion verstanden. Die Auswirkungen von testbasierten Rechenschaftssystemen sind an anderer Stelle ausführlich beschrieben (Maier 2010). Neben einer Skizze der aktuellen Praxis wird das Verhältnis zwischen beiden Evaluationsansätzen sowohl untereinander als auch zur Bildungsforschung thematisiert. Obwohl die meisten der bisher hierzu durchgeführten Studien nicht vom Forschungsansatz des Educational Governance ausgehen, so beschreiben sie gleichwohl eine ausgewählte Akteurskonstellation, so z. B. wie Schulleitungen oder Steuergruppenmitglieder die Auswirkungen interner Evaluationsarbeit einschätzen oder wie Schulleitungen die Zusammenarbeit mit der Schulaufsicht in Bezug auf die Ergebnisse einer Schulinspektion wahrnehmen (Kap. 2 und 3). Anschließend wird auf die Entwicklung des Verhältnisses von interner und externer Evaluation eingegangen. Dabei wird deutlich, dass die Inspektion aktuell als Implementationsmechanismus für die Einführung interner Evaluationen fungiert und die Rechenschaftsfunktion zunehmend in die interne Evaluation verlagert wird (Kap. 4). Abschließend werden Hypothesen über die Ausgestaltung eines zukünftigen Verhältnisses aufgezeigt (Kap. 5).

4 696 H. Gärtner 2 Aktuelle Praxis der externen Evaluation All around the world schools are inspected and the assumption is that this in a positive way contributes to the quality of schools and education systems (Ehren und Visscher 2006, S. 53). Seit einigen Jahren werden in Europa Schulinspektionen als ein Verfahren der Qualitätsentwicklung und Qualitätssicherung im Bildungssystem eingeführt (Eurydice 2009) gehören 29 regionale bzw. nationale Schulinspektorate aus Europa der Dachorganisation SICI (Standing International Conference of Inspectorates) an, Tendenz steigend (van Bruggen 2010). Die Einführung von Schulinspektionen wird mit dem größeren Handlungs- und Entscheidungsspielraum der Schulen begründet, denn diese seien nunmehr stärker für die Qualität ihrer Arbeit verantwortlich und müssten entsprechend regelmäßig kontrolliert werden (Blok et al. 2008). Daher wird in vielen Ländern das Ziel von Schulinspektion sogar primär darin gesehen, die Funktion der Rechenschaftslegung zu erfüllen und erst sekundär darin, mit ihrer Arbeit die Schulentwicklung zu befördern. In den deutschen Ländern steht dagegen der Beitrag der Schulinspektion zur Schulentwicklung im Vordergrund (Inspectie van het Onderwijs 2006; Maritzen 2006; Döbert und Dedering 2008). 2.1 Was versteht man unter einer Schulinspektion? Typischerweise läuft eine Schulinspektion folgendermaßen ab: Auf der Grundlage eines offiziellen Qualitätsrahmens beurteilt ein Team von ausgebildeten Inspektoren während eines Schulbesuches die Qualität einer Schule als Ganzes. Inhalte derartiger Qualitätsrahmen sind neben dem Output einer Schule größtenteils Prozessqualitäten wie das Schulmanagement, die Professionalität der Lehrkräfte, Maßnahmen der Qualitätsentwicklung und insbesondere die Qualität des Unterrichts. Mittels unterschiedlicher Verfahren wie Unterrichtsbeobachtungen, Fragebogen, Interviews oder Dokumentenanalyse wird eine Vielzahl an heterogenen Informationen gewonnen, aggregiert und meist in ein Stärken-Schwächen-Profil überführt, das in einem Inspektionsbericht der Schule und der Schulaufsicht übermittelt wird. Damit endet der Auftrag der Schulinspektion und die Verantwortung für den weiteren Entwicklungsprozess tragen Schule und Schulaufsicht (Ehren und Visscher 2006; 2008; van Bruggen 2010). Nach Landwehr (2011) ist zentrale Aufgabe einer Schulinspektion, Wissen über die Qualität einer Schule zu generieren, das auf drei Arten genutzt werden kann: erstens von der Schule selber, um eigenständig Entwicklungsprozesse anzustoßen (Funktion der Schulentwicklung); zweitens von der zuständigen Schulaufsicht, um insbesondere bei schwachen Schulen Entwicklungsprozesse anzuordnen (Funktion der Rechenschaftslegung); drittens führt die Ankündigung einer Schulinspektion dazu, dass sich Schulen mit den Qualitätskriterien auseinandersetzen, die Grundlage der Inspektion sind (Funktion der Normendurchsetzung). 2.2 Was weiß man über die Wirkung von Schulinspektion auf Schulentwicklung? Die Befundlage ist heterogen (de Wolf und Janssens 2007; Ehren und Visscher 2008; Husfeldt 2011). Studien über Auswirkungen einer Inspektion auf das Verhalten von Lehr-

5 Praxis und Verhältnis interner und externer Evaluation 697 kräften und Schulleitungen beziehen sich zumeist darauf, welche Maßnahmen zukünftig durchgeführt werden sollen und nicht darauf, welche schon geändert wurden (Huber 2006; Gärtner et al. 2009; Pietsch 2011). Einigen Studien belegen potentiell positive Auswirkung auf das zukünftige Verhalten der Lehrkräfte (de Wolf und Janssens 2007), aber auch Hindernisse, wenn die Inspektion ein anderes Verhalten im Unterricht anmahnt (Rusch 2005; Ehren und Visscher 2008). Insbesondere englische Untersuchungen thematisieren neben positiven Effekten die unerwünschten Nebeneffekte einer Inspektion wie z. B. die extreme Belastung des Kollegiums und der Schulleitung bereits im Vorfeld und deren Stress und Ängste (Cuckle und Broadhead 1999; Gray und Gardner 1999; Kotthoff 2003). Zugleich gibt es jedoch Schulleitungen, die in ihrer neuen Rolle als Führungskraft die Schulinspektion als Unterstützung in innerschulischen Veränderungsprozessen sehen (Lambrecht et al 2011; Pietsch 2011). Lehrkräfte hingegen berichten eher von einem geringen Nutzen der Inspektion für ihre pädagogische Arbeit (Böttcher und Keune 2011; Gärtner 2011). Versucht man, Auswirkungen einer Schulinspektion auf die Leistungsentwicklung der Schüler nachzuweisen, erkennt man bislang keine bzw. tendenziell negative Effekte (Cullingford und Daniels 1999; Shaw et al. 2003; Rosenthal 2004; Luginbuhl et al. 2007). Die Funktion der Schulinspektion im Sinne von Rechenschaftslegung wurde bislang kaum untersucht. Hier wirkt die Schulinspektion über die Schulaufsicht, die auf Grundlage der Inspektionsberichte gezielte Maßnahmen der Schulentwicklung festlegen soll. Insbesondere in England gibt es, je nach Ergebnislage, konkrete Folgeaktivitäten: Fallen Schulen mit sehr schwachen Ergebnissen in die Kategorie special measures, erhalten sie einen Inspektionsbericht mit detailliertem Handlungsplan und Zeitvorgaben. Diese Schulen werden über zwei Jahre hinweg durch gezielte Maßnahmen eng von der Administration betreut (Dedering 2012). Eine inspektoratseigene Untersuchung von Ofsted (Office for Standards in Education) in England verweist auf den qualitätssteigernden Effekt des Vorgehens (Matthews und Sammons 2004) 2. In Deutschland sind bislang in keinem Bundesland ähnlich weitreichende Konsequenzen aus schwachen Inspektionsergebnissen bekannt (Böttcher und Keune 2011), die, so die Grundidee, die Schulaufsicht für Zielvereinbarungen mit der Schule zur weiteren Schulentwicklung nutzen soll (Döbert und Dedering 2008). Wie Gärtner et al. (2009) zeigen, ist die Schnittstelle zwischen Schulinspektion und Schulaufsicht jedoch noch nicht hinlänglich realisiert. Die Frage, welche Wirkungen eine Schulinspektion im Vorfeld des eigentlichen Schulbesuches auslöst (Funktion der Normendurchsetzung), ist ebenfalls bislang kaum systematisch untersucht worden. Eine aktuelle Studie deutet darauf hin, dass Effekte einer Inspektion sich vor allem auf die Phase der Vorbereitung beschränken und somit entgegen der eigentlichen Intension kaum im Anschluss einer Inspektion (Gärtner 2011). Insgesamt ist der aktuelle Erkenntnisstand zur Wirkung von Schulinspektion recht spärlich (Böttcher und Keune 2011; Dedering 2012). Die Erkenntnisse deuten auf keine generelle Wirkung von Schulinspektion auf Schulentwicklung hin. Möglicherweise liegt dies daran, dass die Haupteffekte vor und nicht nach einer Inspektion auftreten (Gärtner 2011). Die Existenzberechtigung von Schulinspektion scheint primär darin zu liegen, die Funktion der Rechenschaftslegung zu erfüllen und insbesondere schwache Schulen zu identifizieren und diese durch spezifische Maßnahmen zu verbessern (Matthews und Sammons 2004).

6 698 H. Gärtner 2.3 Wie ist der Ansatz der externen Evaluation zu bewerten? Dem typischen Vorgehen einer Schulinspektion liegt eine positivistische und normative Grundorientierung zugrunde. In den meisten Inspektoraten wird Wert auf eine wissenschaftlich basierte Methodik der Evaluation gelegt. Ziel ist, objektive, reliable und valide Informationen über die Qualität einer Schule zu gewinnen. Zudem wird die klare Trennung zwischen den Evaluierten und den Evaluierenden eingefordert. Der Nutzen von Inspektionsergebnissen für die Schule, so die implizite Annahme, ergebe sich dann als logische Folge des methodisch einwandfreien Vorgehens (Burkard 2005; Berkemeyer 2008). Aus der Evaluationsforschung ist dagegen bekannt, dass ohne Beteiligung der Betroffenen Evaluationsergebnisse kaum genutzt werden (Lee 2000; Stamm 2003). Hinsichtlich der Schulinspektion bestätigt dies die Aussagen von Lehrkräften (Böttcher und Keune 2011). Eine weitere Schwierigkeit folgt aus der Vielfalt an Interpretationsmöglichkeiten von Inspektionsergebnissen allein aus Perspektive von Schulleitung und Kollegium (Lambrecht et al. 2011). Die Frage der Validität normativ gesetzter Anforderungen an Schule in Form von Qualitätsrahmen und deren Operationalisierung innerhalb des eingesetzten Instrumentariums der Schulinspektion wird kaum behandelt. Gärtner und Pant (2011) liefern einen Überblick über offene Fragen hinsichtlich der Validität von Schulinspektionsergebnissen, u. a.: Sind die von der Schulinspektion gemessenen Ausschnitte der Schulrealität relevant und repräsentativ für Schul- und Unterrichtsqualität? Auf welcher rationalen Grundlage können Bewertungsstandards für Schul- und Unterrichtsqualität formuliert werden? (S. 92). Die Arbeit macht zudem deutlich, dass die normativen Vorgaben an vielen Stellen über-, an anderen dagegen unterdeterminiert sind und durch bisherige Forschungsergebnisse nicht begründet werden können (s. Scheerens et al für eine Überprüfung der Inhaltsvalidität des niederländischen Qualitätsrahmens). Zu den unterdeterminierten Aspekten gehört insbesondere der Bereich der Voraussetzungen, unter denen Schulen arbeiten, der hochbedeutsam für Schulqualität ist (Creemers und Kyriakides 2008; Steinert et al. 2008; Klieme et al. 2010). Weitere Beispiele für aktuelle Erkenntnisse der Forschung, welche noch keinen Eingang in die normativen Setzungen der Qualitätsrahmen bzw. in das Instrumentarium der Inspektion gefunden haben, sind Empfehlungen für systematischen Förderunterricht (Heckmann 2009), verteilte Führungsverantwortung innerhalb der Schulleitung (Hallinger und Heck 2010) oder jüngste Entwicklungen zur standardisierten Beobachtung von Unterrichtsqualität (Helmke et al. 2011). Trotz der offenen Fragen zur Güte der durch die Inspektion gewonnenen Erkenntnisse fließen aggregierte Inspektionsdaten vielerorts in die regionale Bildungsberichterstattung ein, um Aussagen über die Qualität schulischer Prozesse zu treffen (z. B. Gärtner 2010a). 3 Aktuelle Praxis der internen Evaluation Governments around the world have adopted school self-evaluation as an essential corollary to the local management of schools (MacBeath 2008, S. 385).

7 Praxis und Verhältnis interner und externer Evaluation Was versteht man unter interner Evaluation? Obwohl in vielen Ländern interne Evaluation fester Bestandteil von Reformprozessen ist, liegt bislang keine einheitliche Definition vor (Janssens und van Amelsvoort 2008). In der Praxis gibt es unterschiedliche Anwendungsfelder für interne Evaluationen wie 1) Bestandsaufnahme über Stärken und Schwächen zu Beginn eines Entwicklungsprozesses; 2) Feedback (z. B. Schülerfeedback an Lehrkräfte zum Unterricht; Feedback des Kollegiums zum Schulmanagement) oder 3) schulinternes Qualitätsmanagement. Entsprechend kann interne Evaluation in der Praxis unterschiedliche Funktionen erfüllen: 1) als Instrument zur Steuerung der Schulentwicklung (Schulmanagement); 2) als Hilfe zur Selbstreflexion für Lehrkräfte (Personalentwicklung); oder 3) als ein Instrument zur Partizipation von Schülern, Lehrkräften oder Eltern (Berkemeyer und Müller 2010). In einer umfassenden Definition wird interne Evaluation gleichgesetzt mit schulischem Qualitätsmanagement als systematischem Prozess zyklischer Qualitätsentwicklung, die aus Zielsetzung, Planung von Aktivitäten, Evaluation und Ableitung neuer Maßnahmen besteht (Thiel und Thillmann 2012). In einem engeren Sinne wird sie als selbstbestimmte Messung bestimmter Aspekte von Qualität im Rahmen schulischer Entwicklungsplanung verstanden. In den meisten deutschen Ländern wird der Entwicklungsprozess formal über das Schulprogramm gestaltet, mit dem sich Schulen eigene pädagogische Ziele setzen, Maßnahmen nennen, mit denen sie diese Ziele erreichen wollen, und diese regelmäßig auf ihren Erfolg hin evaluieren sollen (interne Evaluation), was wiederum zu einer Fortentwicklung des Schulprogramms führen soll (Holtappels und Müller 2002). Im englischen Sprachgebrauch hat sich hierfür der Begriff school self-evaluation (SSE) durchgesetzt. Schildkamp und Visscher (2010) verstehen darunter a procedure involving systematic information gathering initiated by the school with the intention to assess the functioning of the school for supporting decision-making, organizational learning and for fostering school improvement (S. 372). Dass die Schule selbst der relevante Steuerungsakteur ist, ist der entscheidende Unterschied zur externen Evaluation (Thiel und Thillmann 2012). Als primäres Ziel interner Evaluationen wird die Entwicklung von Schulqualität angesehen. Als sekundäres Ziel werden jedoch vermehrt Funktionen der Rechenschaftslegung in die interne Evaluation verlagert, was zu Spannungen und unerwünschten Nebenwirkungen führen kann (Janssens und van Amelsvoort 2008). 3.2 Was weiß man über die Wirkung von interner Evaluation auf Schulentwicklung? So unbestritten die Bedeutsamkeit für die Schulentwicklung auch sein mag, so unklar ist der tatsächliche Einsatz von Verfahren interner Evaluation in der Praxis sowie deren Wirkung (Janssens und van Amelsvoort 2008). Bisherige Erkenntnisse zum Thema Selbstevaluation in Schulen sind ernüchternd (Blok et al. 2008). Eine Analyse von SICI, durchgeführt in acht europäischen Ländern, ergab u. a.: Schulen beschreiben zwar Maßnahmen zur Verbesserung, jedoch ohne anschließende Maßnahmenplanung,

8 700 H. Gärtner Schulen beurteilen die Qualität der eigenen Arbeit, jedoch ohne Angaben von Informationsquellen, Schulen beschreiben die Qualität der eigenen Arbeit, jedoch ohne diese zu beurteilen, Schulen führen im Rahmen interner Evaluationen oft nur Zufriedenheitsbefragungen bei schulischen Gruppen durch, eine Verknüpfung von interner Evaluation mit den Zielen der Schulen ist oft nicht vorhanden (Janssens und van Amelsvoort 2008). Darüber hinaus wurden in fast allen Ländern extreme Unterschiede in der Qualität von internen Evaluationen festgestellt. Der Anteil an hochwertig eingeschätzten internen Evaluationen ist gering (Inspectie van het Onderwijs 2006). Möglicherweise hängt dies damit zusammen, dass momentan kein für Laien handhabbares Angebot an qualitativ hochwertigen Instrumenten zur internen Evaluation bereitsteht, auf welches Schulen mit unterschiedlichen Interessenslagen zurückgreifen können (Scheerens et al. 2005). Wenn in Schulen Expertise zur Durchführung interner Evaluationen vorhanden ist, so bestehen die Schwachpunkte darin, 1) sicherzustellen, dass die Betroffenen an der Entwicklung bzw. Auswahl der Instrumente teilnehmen; 2) die gefundenen Ergebnisse zu interpretieren und 3) diese Informationen tatsächlich in Maßnahmen der Schulentwicklung umzusetzen (Blok et al. 2008; Schildkamp und Visscher 2010; Vanhoof et al. 2011). Ursachen der Defizite können fehlende Kompetenz vor Ort und mangelnde Unterstützung der Schulen sein (Scheerens 2002). Insgesamt ist gegenwärtig zu konstatieren, dass Schulen bzw. Lehrkräfte kaum in der Lage sind, interne Evaluation eigenständig durchzuführen und als kontinuierlichen Qualitätsentwicklungsprozess zu betreiben (Blok et al. 2008; McNamara und O Hara 2008; Schildkamp et al. 2009). In einigen deutschsprachigen Ländern wird zur Unterstützung dieses Prozesses daher das Instrumentarium SEIS angeboten, das ursprünglich von der Bertelsmann Stiftung entwickelt wurde (Stern et al. 2008). Der Gebrauch eines einheitlichen Instrumentariums innerhalb von Schulgruppen mit festen Verfahrensvorgaben scheint den Schulen zu helfen, den Schritt von der Analyse hin zur Umsetzung von Maßnahmen zu schaffen. So wird im Bildungsbericht der Stadt Freiburg beschrieben, dass 46 % der Schulen einen direkten Bezug zwischen ihren Schulentwicklungsschwerpunkten und der Befragung mit dem SEIS-Instrumentarium sehen (Stadt Freiburg 2010). Ähnlich positive Effekte einer Kombination aus interner Evaluation und Unterstützungsmaßnahmen zeigen Vanhoof et al. (2011) anhand einer belgischen Stichprobe auf. 3.3 Wie ist der Ansatz der internen Evaluation zu bewerten? Die aktuelle Situation zur Durchführung interner Evaluationen ist geprägt durch eine der Inspektion nicht vergleichbare Institutionalisierung und Qualifizierung der handelnden Akteure. Durch die gleichzeitig vorhandenen Freiheitsgrade fällt eine Bewertung der Güte der durch interne Evaluationen gewonnenen Erkenntnisse schwer. Zudem ist auch der Bereich der internen Evaluation durch die normativen Setzungen der Qualitätsrahmen überformt, da sie den normativen Anker aller Schulentwicklungsmaßnahmen darstellen. Innerhalb dieses Rahmens obliegt es den Schulen, welche Instrumente sie zur Sammlung von Daten einsetzen, selbst-entwickelte oder schon empirisch erprobte. Gut gemachte

9 Praxis und Verhältnis interner und externer Evaluation 701 Instrumente zeichnen sich dadurch aus, dass sie auf die Bedeutung der operationalisierten Konstrukte und deren Einfluss auf das Lerngeschehen der Schüler/-innen verweisen. Zudem legen sie Kennwerte über klassische Gütekriterien dar und beschreiben den konkreten Einsatz. Solche Entwicklungsprozesse von Schulen zu verlangen, übersteigt die vor Ort vorhandenen Kompetenzen. Andererseits gehört die Entwicklung valider Diagnoseinstrumente zu den Kernbereichen empirischer Bildungsforschung. Die im Rahmen von Forschungsprojekten entwickelten Diagnoseinstrumente in einem anwendungsorientierten Kontext von interner Evaluation zu verwenden, bietet sich demnach als Schnittstelle an. Um Schulen weiter bei der Realisierung von internen Evaluationen zu unterstützen, ist es jedoch notwendig, Instrumente zur internen Evaluation anzubieten, welche den Schulen sowohl Entwicklungsarbeit abnehmen, zugleich aber praktisch einsetzbar und methodisch anspruchsvoll sind (MacBeath 2008; Ophardt und Thiel 2012). Dass ein Diagnoseinstrument auch außerhalb des originären Forschungsprojektes zu Zwecken schulinterner Evaluation eingesetzt werden kann, soll exemplarisch ein Beobachtungsbogen zu Kompetenzen des Klassenmanagements illustrieren, welcher im Rahmen des Forschungsprojektes KODEK entwickelt wurde (Ophardt und Thiel 2012). Auf der Internetseite des Projektes finden sich umfassende Informationen zum Klassenmanagement 3, einer der wichtigsten Voraussetzungen für gelingenden und qualitätsvollen Unterricht. Zu den Aspekten des Klassenmanagements werden Erhebungsinstrumente für eine Schüler- und Lehrerbefragung und für eine Unterrichtsbeobachtung bereitgestellt. Für die Auswertung wird eine vorstrukturierte Excel-Datei angeboten. Dieses Beispiel verdeutlicht, wie Theorien über Unterrichtsqualität in qualitativ hochwertige Instrumente übertragen und gleichzeitig in einen nutzerfreundlichen Anwendungskontext gestellt werden kann, so dass sie unproblematisch im Rahmen einer internen Evaluation eingesetzt werden können. Mittlerweile existieren in einigen Ländern zudem breitflächige Online-Angebote, um Schülerbefragungen durchzuführen. Die Untersuchung dieser Angebote steht jedoch erst am Anfang (Kämpfe 2009; Gärtner 2010b; Groot-Wilken 2011). Eines dieser Angebote, das Selbstevaluationsportal ( bietet zudem Instrumente zur internen Evaluation des Schulmanagements oder des Handelns von Schulaufsichtspersonal an. Im Sinne von MacBeath (2008) ist es ferner notwendig, Schulen mit wichtigen Schlüsselindikatoren auszustatten, welche sie selbst überwachen können. Beispiele für relevante Daten sind: Bestehensquoten bei zentralen Abschlüssen, Anzahl an Schulverweigerern, Fehlzeiten, Anzahl an Übergriffen, Nachfrage nach Arbeitsgruppen. Obwohl diese Daten in den Schulen vorhanden sind, ist es bislang die Ausnahme, dass diese Daten so erfasst und gepflegt werden, dass sich hieraus langfristige Trends bzw. die Effekte von Maßnahmen feststellen ließen. Obwohl keine der Inspektion vergleichbare Institutionalisierung von interner Evaluation vorhanden ist, werden auch Erkenntnisse aus internen Evaluation im Kontext indikatorenbasierter Bildungsberichterstattung verwendet (Stadt Freiburg 2010). An dieser Stelle wird das spannungsreiche Verhältnis zwischen interner Evaluation und der Übernahme von Funktionen der Rechenschaftslegung deutlich, welches im nächsten Kapitel näher erläutert wird.

10 702 H. Gärtner Tab. 1: Vor- und Nachteile externer und interner Evaluation Vorteile Nachteile Externe Evaluation Erfüllung der Kaum Anstoß zur Entwicklung Rechenschaftsfunktion Standardisiertes Vorgehen Nebenwirkungen (Angst, Stress, ) System-Monitoring möglich Window Dressing Neutral Schulen passiv Schwer zu manipulieren geringe Inbesitznahme der Informationen Nötige Kompetenzen vorhanden Interne Evaluation Potential zum systematischen Hoher Anspruch an die Aufgabe Qualitätsmanagement Erfüllung der Kaum Kompetenzen vor Ort Entwicklungsfunktion Beteiligung Kaum Fort- und Ausbildungskonzepte erkennbar Inbesitznahme der Informationen Spannungen innerhalb der Schule Schulen aktiv Hoher Aufwand Definition eigener Keine Standardisierung Erfolgskriterien Kenntnisse der schulinternen Kein System-Monitoring Dynamiken vorhanden Ergebnisse können unmittelbar umgesetzt werden Wichtige Qualitätsbereiche können unberücksichtigt bleiben 4 Verhältnis von interner und externer Evaluation In many educational systems everybody seems to hate external evaluation while nobody trusts internal evaluation (Nevo 2002, S. 14). 4.1 Ausgangslagen Tabelle 1 dokumentiert zusammenfassend die sich aus der bisherigen Beschreibung ergebenden Vor- und Nachteile der beiden Evaluationsansätze. Etliche der hier beschriebenen Aspekte erklären sich durch die unterschiedliche Ausgangslage, unter denen interne und externe Evaluationen durchgeführt werden. Die Voraussetzungen für externe Evaluation erweisen sich als gut strukturiert, organisiert und vorbereitet. Inspektoren werden für ihre Aufgabe ausgebildet. Die Aufgabe selbst ist mit der Diagnose schulischer Qualität auf der Grundlage expliziter landesspezifischer Anforderungen und anschließender Berichtslegung klar umschrieben, die Freiheitsgrade bei der Durchführung sind gering. Das Qualitätstableau der Diagnose wird vorgegeben, das eingesetzte Instrumentarium ist entwickelt, Beurteilungsprozesse werden geübt, Berichtsformate sind meist standardisiert. Die Ausgangslage für die Durchführung interner Evaluation stellt sich ganz anders dar, beginnend mit der Anzahl Beteiligter. Im Verhältnis zur gesamten Lehrerschaft eines Landes gibt es nur wenig Inspektor/-innen, an der internen Evaluation einer Schule ist immer eine mal größere, mal kleinere Gruppe von Personen beteiligt, deren genaue Rol-

11 Praxis und Verhältnis interner und externer Evaluation 703 lenzuteilung nicht klar geregelt ist und der jeweiligen Schule obliegt (Berkemeyer und Holtappels 2007). Auch die konkrete Aufgabe ist komplexer, unsicherer und unstandardisierter als bei der externen Evaluation, da die jeweilige Fragestellung erst vom Akteur zu definieren ist. Zudem geraten die Durchführenden einer internen Evaluation zwangsläufig in einen gruppendynamischen Prozess, in dem soziale Normen und gegensätzliche Strömungen und Gruppierungen innerhalb der Schulgemeinschaft beachtet werden müssen. Die Unbestimmtheit vieler Komponenten interner Evaluation bei der Durchführung scheint ein Grund zur Überforderung zu sein. So zeigt die Untersuchung von SICI, dass Schulen oft auf den offiziellen Bezugsrahmen für Schulqualität auch dann zurückgreifen, wenn sie in der Wahl von Themen und Kriterien frei sind (Janssens und van Amelsvoort 2008). Systematische Qualifizierungsbemühungen im Bereich interner Evaluation sind selten (Ulber und Buchholz 2007). 4.2 Verhältnisse von interner und externer Evaluation Als erster Autor hat sich Alvik (1996) mit der Frage beschäftigt, wie die beiden Evaluationsansätze zueinander stehen können. Er beschreibt prinzipiell drei mögliche Konstellationen. 1. Parallel. Beide Evaluationsansätze existieren mit jeweils unterschiedlichen Kriterien und Berichtsformen unabhängig voneinander. 2. Sequenziell. Die Schulinspektion stützt sich auf die Ergebnisse der internen Evaluation und fokussiert ihre Beurteilung auf die Güte von deren Durchführung. 3. Kooperativ. Externe Evaluatoren arbeiten mit der Schule zusammen einen schulspezifischen Evaluationsansatz aus. Parallele Systeme entstanden primär in den Anfangszeiten interner Evaluation, welche oft aus Modell- oder wissenschaftlichen Projekten hervorgegangen sind. Mittlerweile hat sich jedoch in den meisten Ländern mit Schulinspektionen eine Praxis herausgebildet, welche einem sequentiellen Verhältnis entspricht (MacBeath 2005). Eine optimale Balance zwischen beiden Ansätzen wird darin gesehen, wenn neben der primären Zielfunktion auch die sekundäre, zumindest zum Teil, erreicht wird (Inspectie van het Onderwijs 2006). Für die externe Evaluation würde sich ein Ungleichgewicht beider Zielfunktionen darin ausdrücken, wenn der Wunsch zur Beratung und Unterstützung einer Schule eine Inspektorin/einen Inspektor daran hindert, ein unabhängiges Urteil abzugeben. Für die interne Evaluation würde ein Ungleichgewicht darin liegen, wenn die Rechenschaftsfunktion jegliche Impulse zur Schulentwicklung behindert, wenn beispielsweise Berichte über die interne Evaluation nur für die Inspektion geschrieben werden, ohne tatsächlich das Ziel der Schulentwicklung zu verfolgen. Weitere potentielle Nebenwirkungen eines derartigen Ungleichgewichtes sind: 1) window dressing, also eine bessere Darstellung der Schule als sie eigentlich ist; 2) Verringerung der Motivation, interne Evaluation für sich selbst durchzuführen und 3) strategischer Gebrauch von interner Evaluation z. B. durch das Zurückhalten oder Entstellen von Daten (de Wolf und Janssens 2007; Vanhoof und van Petegem 2007). Diese unerwünschten Effekte können insbesondere bei Formen proportionaler Inspektionen auftreten, d. h., wenn die Entscheidung darüber, ob und wenn ja,

12 704 H. Gärtner wie intensiv eine Schule inspiziert wird, von den Ergebnissen einer internen Evaluation der Schule abhängt wie z. B. in den Niederlanden, England oder Schottland (Inspectie van het Onderwijs 2006; Hutchinson und Young 2011; Ehren und Honingh 2012). Andererseits kann das Verhältnis von interner und externer Evaluation Vorteile haben, insbesondere, wenn die Schwächen eines Ansatzes durch den anderen ausgeglichen werden können. Die größte Stärke des Inspektionsansatzes scheint darin zu liegen, als einzige die Rechenschaftsfunktion über die Qualität einer Schule wahrnehmen zu können (Landwehr 2011). Allein die Inspektion kann durch ihr Vorgehen als externe Evaluation gegenüber Eltern, Administration und Öffentlichkeit belastbare Informationen über die Einhaltung von Qualitätsstandards liefern und somit schwache Schulen identifizieren. Die größte Stärke interner Evaluationen liegt darin, vor Ort akzeptierte Impulse zur Schulentwicklung zu liefern. Dies kann durch die Einbeziehung aller relevanten schulischen Gruppen in den Prozess der Evaluation sowie durch genügend Unterstützung im weiteren Verlauf der Schulentwicklung gelingen (Vanhoof et al. 2011). Interne Evaluation kann darüber hinaus Schulinspektion unter weiteren Aspekten ergänzen: 1) Sie kann sich mit Aspekten schulischer Qualität beschäftigen, die nicht im vordefinierten Katalog der Schulinspektion stehen; 2) Ergebnisse aus interner Evaluation können helfen, Ergebnisse der Schulinspektion besser zu verstehen und zu interpretieren; 3) Erfahrung mit interner Evaluation kann beim konstruktiven Umgang mit Rückmeldungen aus der Schulinspektion helfen. Schulinspektionen können ebenso einen Beitrag zur Schulentwicklung liefern: 1) Schulinspektion kann den Blick auf die Schule erweitern und so einer organisationalen Blindheit vorbeugen; 2) Schulinspektion kann Schulentwicklung stimulieren; 3) Schulinspektion kann die Ergebnisse der internen Evaluation stützen (legitimierende Rolle) (Vanhoof et al. 2011). Als Beispiel für ein kooperatives Verhältnis kann das Verfahren der Qualitätsentwicklung in Bremen bezeichnet werden (Höhmann et al. 2007). Im Gegensatz zu sonstigen Verfahren in Deutschland ist die externe Evaluation sehr qualitativ ausgerichtet, d. h., es gibt wenig standardisierte Vorgaben an die Inspektoren und im Inspektionsbericht werden keine Ziffernbewertungen über Qualitätsaspekte der Schule abgegeben. Dies ermöglicht den Inspektoren mehr Freiheitsgrade in ihrem Vorgehen und ein stärkeres Eingehen auf die Wünsche der Schule (z. B. zu welchen Aspekten des schulischen Lebens eine Rückmeldung gewünscht wird). Insbesondere soll die externe Evaluation die Schulentwicklung unterstützen. Im Vergleich zu stärker standardisierten Verfahren äußern Schulleitungen und Lehrkräfte an inspizierten Bremer Schulen eine weit höhere Akzeptanz des Verfahrens als andernorts sowie eine stärkere Nutzung der Empfehlungen (Gärtner und Wurster 2008). 4.3 Wie wird die Praxis der internen Evaluation durch die externe gesteuert? Mittlerweile existieren enge Verknüpfungen zwischen externer und interner Evaluation. Dies mag daran liegen, dass interne Evaluation eines der Qualitätskriterien ist, das die Schulinspektion im Rahmen ihrer Diagnose heranzieht. Interne Evaluation wird hierbei als ein Bestandteil des schulischen Qualitätsmanagements betrachtet und bewertet. Damit leistet die Schulinspektion einen Beitrag zur Implementation und Durchsetzung von Normen (Landwehr 2011).

13 Praxis und Verhältnis interner und externer Evaluation 705 Nach Janssens und van Amelsvoort (2008) werden die Informationen aus internen Evaluationen von den Inspektoren primär zur Vorbereitung des Schulbesuches genutzt. Wie weit ein Abgleich der Ergebnisse von interner und externer Evaluation stattfindet, variiert stark zwischen den acht untersuchten Ländern. In etlichen Ländern spielt der interne Evaluationsbericht keinerlei Rolle für die Beurteilungen der Inspektoren. In Ländern wie den Niederlanden oder Schottland dagegen kann die Qualität der internen Evaluation Auswirkungen auf den Inhalt, die Form und auch die Frequenz der Inspektion haben (proportionale Inspektionsansätze). In Ländern, in denen die Inspektion klare Vorgaben für die Durchführung interner Evaluation macht, werden von den Schulen entsprechend strukturierte Berichte abgeliefert (s. z. B. die self-evaluation form (SEF) von Ofsted in England), in Ländern, in denen es keinerlei Vorgaben gibt, sind dagegen extrem heterogene Formen von Evaluationsberichten zu finden. Als positives Beispiel für den Umgang mit dieser Situation verweist MacBeath (2008) auf das sequenzielle Verhältnis von interner und externer Evaluation in Hong Kong, das auf drei Prinzipien basiert: 1. Implementierung eines robusten Systems zur internen Evaluation inklusive eines Repertoires an Evaluationsinstrumenten, Evaluationsverfahren und Leistungsmessungen, 2. Ausstattung der Schulen mit Schlüsselindikatoren zur Messung von Schülerleistung, um sie in einer Stärken-Schwächen-Analyse zu unterstützen, 3. Ergänzung der internen Evaluation durch ein Verfahren der externen Evaluation. Vier Jahre nach der Einführung der Reform berichtet MacBeath (2008) über positive Folgen: 1) Die Lehrerschaft hat ein größeres Verständnis und ein größeres Selbstvertrauen sowohl gegenüber interner als auch externer Evaluation; 2) der Unterricht ist aktiver, offener für die Wünsche der Schüler und schülerzentrierter geworden; 3) aus den Erkenntnisse der externen Evaluation folgt eine klare Agenda für den weiteren Entwicklungsprozess; 4) die Kooperation innerhalb der Schule wurde gesteigert; 5) der Wunsch nach einer evidenzbasierten Schulentwicklung ist gestiegen. Den Entwicklungsstand des Verhältnisses von interner und externer Evaluation in einem Gesamtsystem schulischer Steuerung kann man für die meisten Länder wie folgt zusammenfassen: Das Verhältnis ist stark asymmetrisch hinsichtlich der Ausgangslage, um Evaluationen durchzuführen. Es sind jedoch keine systematischen Anstrengungen zu erkennen, das Ungleichgewicht zu beheben. Insgesamt realisieren wenige Länder ein sequentielles Verhältnis, Beispiele für kooperative Verhältnisse sind kaum bekannt. Aktuell wird Schulinspektion als Maßnahme zur Implementation von interner Evaluation eingesetzt, da interne Evaluation eines der Bewertungskriterien ist. 5 Ausblick Few, if any, administrations have resolved the relationship between what schools should do autonomously and what support or intervention should come from without. Few, if any, have come to terms with the divergent purposes that inspection and self-evaluation serve; nor have they succeeded in marrying improvement and accountability (MacBeath 2005, S. 29).

14 706 H. Gärtner Unter der Perspektive, wie Formen der Qualitätssicherung und -entwicklung durch interne und externe Evaluation gesteuert werden, wird abschließend versucht, einige Voraussetzungen für die weitere Entwicklung des Verhältnisses von interner und externer Evaluation zu beschreiben. Diese Entwicklung betrifft die Frage, welches Wissen durch die beiden Evaluationsansätze generiert und in welchen Verwendungskontext eingeführt wird (Kuper 2006) und betrifft die folgenden Aspekte: 1) Aufbau von Evaluationskompetenz; 2) Rollenverständnis und 3) Validierung normativer Qualitätsanforderungen. 5.1 Aufbau von Evaluationskompetenz Für die Durchführung von interner und externer Evaluationen gibt es ein deutliches Ungleichgewicht hinsichtlich der Expertise der Beteiligten. Zu dessen Überwindung kann an mehreren Stellen angesetzt werden (Bauer und Heise 2007; Balzer 2009): Lehrerbildung. Die Fähigkeit, Evaluationen von Schule und Unterricht kompetent durchzuführen, wird mittlerweile als Teil der Professionalisierung von Lehrkräften und somit als Basisqualifikation angesehen (KMK 2004; OECD 2005; Kuper 2006; Bauer und Heise 2007; McNamara und O Hara 2008). Hutchinson und Young (2011) belegen, dass die Bedeutung von Evaluation für das eigene berufliche Handeln schon in der Lehrerausbildung verdeutlicht und gelernt werden muss. Schulleitung. Versteht sich interne Evaluation als Teil von Qualitätsmanagement, so sind weite Bereiche der schulischen Organisation betroffen insbesondere die Rolle der Schulleitung (MacBeath 2008). Oft wird auf deren bedeutsame Rolle in schulischen Entwicklungsprozessen hingewiesen (Hallinger und Heck 2010). Schulleitung muss entsprechend qualifiziert sein, so dass sie eigenständig interne Evaluationen zur Überprüfung schulischer Ziele in Gang setzen kann. Nach MacBeath (2008) hängt es von der Schulleitung ab, ob eine Schule aus einer internen Evaluation eine eher folgenlos bleibende Selbst-Inspektion oder einen festen Bestandteil eines selbsttragenden Qualitätsmanagements macht. Ausbildung von Funktionsstellen. Bauer und Heise (2007) machen darauf aufmerksam, dass mitnichten das gesamte Kollegium breit qualifiziert werden muss, um den Ansprüchen von Evaluationsmaßnahmen zu genügen, sondern dass es ausreichend ist, entsprechende Funktionsstellen einzurichten. Derartige Qualitäts- oder Evaluationsbeauftragte einer Schule könnten die Hauptverantwortung für den Prozess der internen Evaluation übernehmen. Unterstützungssystem. Ein gutes Unterstützungssystem kann Schulen helfen, interne Evaluationen durchzuführen. Doch bislang sind wenige systematische Konzepte erkennbar, geschweige eine der Inspektion vergleichbare institutionelle Verankerung (Balzer 2009). Ein Vorteil, der durch einen solchen Kompetenzaufbau erreicht werden könnte, liegt darin, dass Schulen Evaluationsprozesse tatsächlich als eigene Entwicklungsprozesse betrachten und nicht als Anforderungen externer Stellen (MacBeath 2008). Das Problem

15 Praxis und Verhältnis interner und externer Evaluation 707 des fehlenden Gefühl von ownership an den Verfahren des aktuellen Steuerungsparadigmas wie Vergleichsarbeiten, zentrale Abschlussprüfungen, Inspektionen oder interne Evaluationen wird oft als hinderlicher Kontextfaktor für Entwicklungsprozesse beschrieben (Ehren und Visscher 2006; Hutchinson und Young 2011; Schildkamp et al. 2011). Positive Beispiele verdeutlichen das Gegenteil, nämlich die produktive Nutzung von Evaluationsdaten verschiedenster Art, um die eigene Schule weiterzuentwickeln (Lambrecht et al. 2011). Der hier skizzierte Kompetenzaufbau schafft eine Brückenfunktion zwischen Wissenschaft und Praxis, die Kuper (2006) als Aufgabe der Profession beschreibt. Die professionelle Arbeit nimmt die Scharnierstelle zwischen wissenschaftlicher Rationalität und praktischen Handlungserfordernissen ein (S. 10). Studien, wie das Wissen von Rückmeldungen aus internen und externen Evaluationen verwendet wird, liegen bislang kaum vor. Der Erkenntnisstand zur Frage, wie Ergebnisse aus Lernstandserhebungen rezipiert werden, ist deutlich höher (Diemer und Kuper 2011). Hier ergibt sich ein Desiderat für zukünftige Forschung, insbesondere auf dem Gebiet der internen Evaluation von Unterricht. 5.2 Rollenverständnis Was wäre, wenn Inspektoren auf Schulen treffen, die ein wie oben beschriebenes Qualitätsmanagement leben und interne Evaluation nutzen, um die Qualität ihrer eigenen Schule zu verbessern? Wie MacBeath (2008) darstellt, benötigen die Inspektor(-inn)en ein anderes Rollenverständnis und andere Kompetenzen. Zum einen würden parallele Evaluationen ebenso unnötig wie Vollinspektionen, welche den Großteil von vorgegebenen Qualitätstableaus abfragen. Stattdessen wäre es erforderlich, interne Evaluationen auf ihre Aussagekraft hin beurteilen zu können. Die Inspektoren müssen die Validität und Reliabilität der vorliegenden Ergebnisse beurteilen können, sie müssen diese auf den geltenden Qualitätsrahmen beziehen und sie müssen beurteilen, ob die Ergebnisse bestimmte Risiken bergen. Dies verlangt vertiefte Kompetenzen im Bereich von Forschungsmethoden und Forschungsdesigns. Zudem müsste das Rollenverständnis der Inspektoren (MacBeath 2008) sich hin zu einer Art Meta-Evaluator entwickeln, was wiederum mehr Freiheitsgrade in der Beurteilung von Schulen mit sich brächte. Rückmeldungen der Inspektor(-inn)en bezögen sich darauf, wie der Prozess der internen Evaluation verbessert werden könnte und ob alle relevanten Bereiche schulischer Arbeit abgedeckt sind. 5.3 Validierung normativer Qualitätsanforderungen Das Verhältnis der beiden Evaluationsansätze zueinander ändert sich kontinuierlich und somit die Gesamtkonfiguration schulischer Steuerung. Aus diesen kontinuierlichen Veränderungen ergeben sich neue Anforderungen an die beteiligten Akteure, seien es die Inspektor(-inn)en oder die für interne Evaluation Verantwortlichen in den Schulen. Betroffen sind auch die auf Systemebene Verantwortlichen, die innerhalb der sich verändernden Systemkonfigurationen die jeweils gesetzten normativen Anforderungen an

16 708 H. Gärtner Schulen kontinuierlich auf den Prüfstand stellen und mit den aktuellen Erkenntnissen der Bildungsforschung abgleichen müssen. Für die zukünftige Forschung ergibt sich daraus eine Reihe von Forschungsfragen, u. a.: 1) Welche Evaluationskompetenz braucht wer für welche Aufgabe? 2) Wie sehen erfolgversprechende Interventionsansätze aus, um Evaluationskompetenz aufzubauen? 3) Welche Vor- und Nachteile folgen aus unterschiedlichen Verhältnissen von interner zu externer Evaluation? 4) Wie ist die Validität bisheriger Verfahren zu beurteilen (Gärtner und Pant 2011; Vanhoof et al. 2011)? 5) Wie kann ein systematischer Transfer von Erkenntnissen der Bildungsforschung in die normativen Setzungen der Qualitätsrahmen sowie in die anwendungsorientierte Entwicklung von Diagnoseinstrumenten gelingen? Anmerkungen 1 Auf Länder, in denen beide Verfahren stark ausgeprägt sind wie z. B. England oder die Niederlande, wird an entsprechender Stelle separat eingegangen. 2 Bei der Beurteilung der Erkenntnisse aus England ist die Gesamtkonfiguration zwischen Macht der Inspektion, Nutzung von Leistungsdaten und Offenlegung der Ergebnisse zu beachten: Insgesamt wird im englischen Bildungssystem stärker eine Markt- und Konkurrenzorientierung verfolgt, indem alle Ergebnisse aus zentralen Prüfungen sowie Inspektionsberichte veröffentlicht werden. Zudem hat die Inspektion die Macht, mehrmals schwach beurteilte Schulen schließen zu können. Diese Gesamtsituation ist somit nicht mit den deutschsprachigen Ländern zu vergleichen (Kotthoff 2003), welche sich als eher sanktionsarm beschreiben lässt (Böttcher und Keune 2011). 3 forschung/kodek/. Literatur van Ackeren, I., & Brauckmann, S. (2010). Internationale Diskussions-, Forschungs- und Theorieansätze zur Governance im Schulwesen. In H. Altricher & K. Maag Merki (Hrsg.), Handbuch Neue Steuerung im Schulsystem (S ). Wiesbaden: VS Verlag für Sozialwissenschaften. Altrichter, H., & Maag Merki, K. (2010). Steuerung der Entwicklung des Schulwesens. In H. Altrichter & K. Maag Merki (Hrsg.), Handbuch Neue Steuerung im Schulsystem (S ). Wiesbaden: VS Verlag für Sozialwissenschaften. Altrichter, H., Brüsemeister, T., & Wissinger, J. (2007). Educational Governance: Handlungskoordination und Steuerung im Bildungssystem. Wiesbaden: VS Verlag für Sozialwissenschaften. Alvik, T. (1996). Self-evaluation: What, why, how, by whom, for whom: Collaborative project selfevaluation in school development. Dundee: CIDREE. Balzer, L. (2009). Evaluation im Bildungsbereich: Ein Ländervergleich zwischen Deutschland, Österreich und der Schweiz. In T. Widmer, W. Beywl & C. Fabian (Hrsg.), Evaluation: Ein systematisches Handbuch (S ). Wiesbaden: VS Verlag für Sozialwissenschaften. Bauer, K.-O., & Heise, M. (2007). Entwicklung des professionellen Selbst durch Evaluation? In K.-O. Bauer (Hrsg.), Evaluation an Schulen. Theoretischer Rahmen und Beispiele guter Evaluationspraxis (S ). Weinheim: Juventa.