Begleitforschung. Sabine Dinges & Maximilian Egger

Transkript

1 Begleitforschung Rezeption und Nutzung von Ergebnissen der Bildungsstandardüberprüfung in Mathematik auf der 4. Schulstufe unter Berücksichtigung der Rückmeldemoderation im Bundesland Oberösterreich Sabine Dinges & Maximilian Egger

2

3 02/2015 Rezeption und Nutzung von Ergebnissen der Bildungsstandardüberprüfung in Mathematik auf der 4. Schulstufe unter Berücksichtigung der Rückmeldemoderation im Bundesland Oberösterreich Sabine Dinges & Maximilian Egger

4 Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens Alpenstraße 121 / 5020 Salzburg Rezeption und Nutzung von Ergebnissen der Bildungsstandardüberprüfung in Mathematik auf der 4. Schulstufe unter Berücksichtigung der Rückmeldemoderation im Bundesland Oberösterreich Sabine Dinges & Maximilian Egger Layout, Satz und Lektorat: Zentrales Management & Services

5 Vorwort Mathematik ist neben Lesen und Schreiben eine Grundvoraussetzung, um den Alltag kompetent bewältigen zu können. Gerade in den ersten Schuljahren ist der Aufbau von Grundkompetenzen besonders wichtig. Die Überprüfung der Bildungsstandards gab 2013 zum ersten Mal allen Grundschulen eine objektive Rückmeldung, inwieweit mathematische Kompetenzen nachhaltig vermittelt werden konnten. Schulleiter/innen und Lehrer/innen konnten nach der Ergebnisrückmeldung den wichtigen Prozess starten, die Ergebnisse der Standardüberprüfung in den Schulalltag einfließen zu lassen. Eine verantwortungsvolle Ergebnisinterpretation ist dafür essentiell. Deshalb standen für diesen Schritt in ganz Österreich Rückmeldemoderatorinnen und -moderatoren zur Verfügung, die von den Schulen auf freiwilliger Basis angefordert werden konnten. Die vorliegende Studie der PH Oberösterreich legt dar, welchen Beitrag die Rückmeldemoderation im Bundesland Oberösterreich leisten konnte und welche Impulse die Rückmeldung der Standardüberprüfung für Qualitätsentwicklungsprozesse setzt. Die Ergebnisse zeigen, dass die Rückmeldemoderation als sehr hilfreich beurteilt und von Schulleiterinnen und Schulleitern gut akzeptiert wird. Zur Ergebnisrückmeldung selbst wurden als positive Aspekte angeführt, dass die Ergebnisrückmeldung einen Blick über den Tellerrand sowie eine Stärken-Schwächen- Analyse ermöglicht; Unsicherheit wurde beim Umgang mit den Ergebnissen in der Kommunikation mit dem Kollegium und v. a. dem Schulforum genannt. Für diesen Beitrag zur Begleitforschung der Bildungsstandards danken wir den Autoren Sabine Dinges und Maximilian Egger, den Rückmeldemoderatorinnen und -moderatoren und vor allem auch den Volksschulleiterinnen und -leitern im Bundesland Oberösterreich, die durch ihre Beteiligung diese Evaluationsstudie ermöglicht haben. Die Zusammenarbeit von Pädagogischen Hochschulen und dem Bundesinstitut BIFIE ist rund um das Thema standortbezogene Qualitätsentwicklung besonders wichtig. Damit die Qualitätsbemühungen tatsächlich die Schüler/innen erreichen, müssen Standards und der Umgang mit der Ergebnisrückmeldung unbedingt in der Lehreraus- und -fortbildung verankert sein. Darin sehen wir einen gemeinsamen Auftrag. Josef Oberneder, MAS, MSc., MBA Vizerektor für Hochschulmanagement und Schulentwicklung der Pädagogischen Hochschule Oberösterreich MMag. ChristianWiesner Leiter der Koordinationsstelle Netzwerke & Kooperationen/Begleitforschung der Bildungsstandards am BIFIE

6

7 Inhalt 5 1 Einleitung 6 Teil A: Bildungsstandards 6 2 Was sind Bildungsstandards? Konzeption der Bildungsstandards Ziele und Funktionen der Bildungsstandards Überprüfung der Bildungsstandards 11 3 Ergebnisrückmeldung Die Ergebnisrückmeldung als Datenfeedback Adressatinnen und Adressaten der Ergebnisrückmeldung Aufbau und Struktur eines Schulberichts Theoretisches Rahmenmodell zum Umgang mit Ergebnisrückmeldungen 16 4 Rückmeldemoderation Rückmeldemoderation in Oberösterreich Prozessbeschreibung Österreichisches Modell zum Umgang mit Ergebnisrückmeldungen 23 Teil B: Evaluation der Rückmeldemoderation 23 5 Evaluationsvorhaben Ausgangssituation Beschreibung des Evaluationsinstruments Zielgruppe und Rücklauf Ergebnisse Intensität der Auseinandersetzung mit der Rückmeldung Besprechung der Ergebnisse Motive für die Inanspruchnahme einer Rückmeldemoderation Anforderung der Rückmeldemoderation Verfügbarkeit der Rückmeldemoderation Zeitumfang der Rückmeldemoderation Aspekte zum Verlauf der Rückmeldemoderation Inhaltliche Schwerpunkte der Rückmeldemoderation Konkrete Maßnahmen bzw. Schritte aufgrund der Ergebnisrückmeldung Nützlichkeit der Rückmeldemoderation Angebot eines zweiten Termins Zukünftige Inanspruchnahme einer Rückmeldemoderation Zukünftige Inanspruchnahme im Hinblick auf einen zweiten Termin Positive Aspekte der Ergebnisrückmeldung Problematische Aspekte der Ergebnisrückmeldung

8 40 6 Diskussion Rezeption der rückgemeldeten Ergebnisse zur Standardüberprüfung Kommunikation der rückgemeldeten Ergebnisse vor der Rückmeldemoderation Motive für die Anforderung einer Rückmeldemoderation Anforderung der Rückmeldemoderation Verfügbarkeit der Rückmeldemoderation Verfügbare Zeit für die Moderation Detailergebnisse zum Verlauf der Rückmeldemoderation Hilfestellungen durch die Rückmeldemoderation Gesetzte Maßnahmen aufgrund der Ergebnisrückmeldung Nützlichkeit der Rückmeldemoderation Anforderung einer weiteren Moderation im Rahmen einer pädagogischen Konferenz Zukünftige Anforderung einer Moderation Positive Aspekte der Ergebnisrückmeldung Problematische Aspekte der Ergebnisrückmeldung 45 7 Resümee 47 8 Literaturverzeichnis 50 9 Abbildungs- und Tabellenverzeichnis Anhang Evaluationsfragebogen für Schulleitungen

9 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich 5 1 Einleitung Bildungsstandards! Spätestens seit der Überprüfung der Bildungsstandards im Schuljahr 2011/12 im Fach Mathematik auf der 8. Schulstufe nimmt der Begriff eine wichtige Stellung in der Bildungsdiskussion ein. Viele Hoffnungen, aber auch Ängste und Vorbehalte sind daran geknüpft, viel ist darüber diskutiert und dazu publiziert worden. Standards und die damit verbundenen periodischen Leistungsmessungen haben unter anderem das Ziel, die Überprüfungsergebnisse für Schul- und Unterrichtsentwicklung nutzbar zu machen. Die Rückmeldung der Ergebnisse soll als Impuls für Qualitätsentwicklungsprozesse am jeweiligen Schulstandort dienen. Durch die gesetzliche Verankerung sind die jährlichen Überprüfungen und die daraus resultierenden Datenrückmeldungen und Entwicklungspläne fixer Bestandteil schulischer Arbeit geworden. Unterstützt durch öffentliches und mediales Interesse wird sich Schule in Zukunft noch mehr als bisher kritischen Rückfragen hinsichtlich unterschiedlicher Leistungsstände und Wirkungsgrade stellen müssen. Trotz der seit Jahren geführten schulinternen und öffentlichen Diskussion gibt es immer noch viele offene Fragen. Welche Chancen, Gefahren und Nebenwirkungen gibt es? Wie fließen Standards in die schulische Praxis ein? Fließen Sie überhaupt ein? Erfüllen sie die in sie gesetzten Hoffnungen? Welche Beiträge kann die in Österreich gewählte Version der Steuerungsstrategie Bildungsstandards und externe Überprüfungen von Schülerkompetenzen zur Erreichung verschiedener Qualitätsziele der Schule leisten? Welche Bedingungen begünstigen, dass nach der Ergebnisrückmeldung tatsächlich Qualitätsentwicklungsmaßnahmen initiiert werden? Lassen sich gegebenenfalls auch hemmende Wirkmechanismen identifizieren? Die vorliegende Studie hatte nicht das Ziel, eine Grundsatzdiskussion über Chancen und Gefahren von Bildungsstandards zu führen. Zentrales Forschungsinteresse dieser Arbeit war es vielmehr, Hinweise über den Beitrag der Rückmeldemoderation, die zur Sicherstellung einer sachlich korrekten Ergebnisinterpretation von den Schulen auf freiwilliger Basis angefordert werden kann, zur Rezeption und Nutzung der Überprüfungsergebnisse am Schulstandort zu erhalten. Darüber hinaus sollten auch Erkenntnisse gewonnen werden, ob die rückgemeldeten Ergebnisse in adäquates Unterrichtshandeln und entsprechende Maßnahmen der Schulentwicklung übergeleitet werden und welche positiven und problematischen Aspekte Schulleiterinnen und Schulleiter mit der Rückmeldung der Bildungsstandards assoziieren. Die Evaluationserhebung umfasste eine Online-Befragung unter oberösterreichischen Volksschulleiterinnen und -leitern, die das Angebot der Rückmeldemoderation der Pädagogischen Hochschule OÖ im Schuljahr 2013/2014 in Anspruch genommen haben. Der erste Teil des Berichts gibt zunächst einen Überblick über inhaltliche Eckpunkte des österreichischen Standards-Konzepts, fokussiert dann auf wesentliche Aspekte der Ergebnisrückmeldung und stellt abschließend die zentralen Elemente einer Rückmeldemoderation vor. Der zweite Teil der Arbeit beschreibt das Evaluationsvorhaben. Dabei wird im ersten Schritt das verwendete Evaluationsinstrument vorgestellt und anschließend werden Stichprobe, Durchführung und Rücklauf der Erhebungen dargestellt. Daran schließt sich die Präsentation der Ergebnisse an, die mit der Intensität der Auseinandersetzung mit der Rückmeldung beginnt. Im Anschluss folgen Ausführungen über Charakteristika und Wirkungen der Rückmeldemoderation. Danach werden die Ergebnisse hinsichtlich der Nutzung der Rückmeldung für Maßnahmen der Qualitätssicherung und -entwicklung dargelegt und positive und problematische Aspekte im Hinblick auf die Ergebnisrückmeldung der Standardüberprüfung aufgezeigt. Abschließend werden der Ablauf sowie die Wirkungen der Rückmeldemoderation im Hinblick auf ihren Erfolg und sich daraus ergebende Verbesserungsmaßnahmen diskutiert. Darüber hinaus wurde auch die Nutzung der rückgemeldeten Ergebnisse für die Schulentwicklung analysiert und die positiven und problematischen Aspekte der Ergebnisrückmeldung genauer betrachtet.

10 6 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich Durch die vorliegende Evaluationsstudie werden datengestützte Informationen über die Wirkung von Rückmeldemoderationen im Hinblick auf die Rezeption und Nutzung der Bildungsstandardergebnisse am Schulstandort gesammelt. Damit wird eine fundierte Entscheidungsbasis für die zukünftige Gestaltung dieses Unterstützungsangebots bereitgestellt. Das Autorenteam hofft, dass die Erhebung einen kleinen Beitrag zum sinnvollen Umgang mit Standards liefert die Diskussion wird jedenfalls verstärkt fortgeführt werden müssen. Teil A: Bildungsstandards Bildungsstandards Wie in anderen europäischen Staaten wurden auch im österreichischen Schulwesen in den letzten Jahrzehnten Maßnahmen zur Veränderung der Systemsteuerung in Richtung Evidenzbasierung und Accountability gesetzt. In deren Rahmen sollen nationale Bildungsstandards und die externe Überprüfung von Schülerkompetenzen zur Sicherung und Steigerung der Qualität an Schulen beitragen (vgl. Altrichter & Kanape-Willingshofer, 2013, S. 32). Diese Entwicklung ist laut Zimmermann (2011, S. 4) als Reaktion auf internationale Vergleichsstudien wie PISA oder TIMSS zu sehen, in denen das Abschneiden österreichischer Schülerinnen und Schüler Bestürzung in der Bildungslandschaft hervorrief. Die genannten Studien überprüfen Kompetenzen von Schülerinnen und Schülern in verschiedenen Fächern auf einer bestimmten Schulstufe, decken allerdings nur einen Teil der österreichischen Bildungslandschaft ab (vgl. Erläuterungen zur Änderung des SchUG, BGBl Nr. 472/1986 idf BGBl. I Nr. 117/2008 [Stand ]). PISA beispielsweise erhebt den Kompetenzstand 15- bis 16-jähriger Schülerinnen und Schüler in den Bereichen Lesen, Mathematik und Naturwissenschaften (vgl. [Stand: ]). Somit sind sowohl nationale Inhalte und Besonderheiten als auch ganze Bereiche eines Unterrichtsfachs aus dieser Überprüfung ausgeklammert, was bedeutet, dass nur ein kleiner Teil des österreichischen Bildungssystems beleuchtet wird. Auf nationaler Ebene wurden daher als Element der Vergleichbarkeit und Qualitätssicherung Bildungsstandards und deren Überprüfung eingeführt, um regelmäßig umfassende und objektiv festgestellte Ergebnisse über die Kompetenzen der Schülerinnen und Schüler zu erhalten, die für die Zwecke der Steuerung und Planung im Bildungsbereich notwendig erscheinen (vgl. Erläuterungen zur Änderung des SchUG, BGBl Nr. 472/1986 idf BGBl. I Nr. 117/2008 [Stand ]). Was genau unter Bildungsstandards zu verstehen ist, welche Ziele und Funktionen hinter den Standards stehen, wie die Überprüfung der Bildungsstandards erfolgt und wie die Ergebnisrückmeldung konzipiert ist, soll nun in den folgenden Punkten erläutert werden. 2 Was sind Bildungsstandards? Bildungsstandards greifen allgemeine Bildungsziele auf, die über Kompetenzen definiert sind (vgl. Klieme et al., 2007, S. 19). Sie sind konkret formulierte Lernergebnisse, die sich aus den Lehrplänen ableiten lassen. Sie legen jene Kompetenzen fest, die Schülerinnen und Schüler bis zum Ende der 4. Schulstufe in Deutsch und Mathematik sowie bis zum Ende der 8. Schulstufe in Deutsch, Mathematik und Englisch nachhaltig erworben haben sollen und die für die weitere schulische und berufliche Bildung von entscheidender Bedeutung sind (vgl. BIFIE Bildungsstandards [Stand ]). Über die Definition von Bildungszielen formuliert eine Gesellschaft demnach ihre Erwartungen gegenüber den Bildungsinstitutionen (vgl. Beer, 2006, S. 36). Die Kompetenzen werden in regelmäßigen Abständen durch objektive Testverfahren überprüft, um so die Qualität im österreichischen Schulsystem zu sichern. Getestet werden Schülerinnen und Schüler auf

11 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich 7 der 4. und 8. Schulstufe in den Fächern Mathematik, Deutsch und Englisch (nur auf der 8. Schulstufe). Ziel der Standardüberprüfungen ist es, die bis zur 4. bzw. 8. Schulstufe erworbenen Kompetenzen objektiv festzustellen und mit den angestrebten Standards zu vergleichen. Es wird somit gemessen, in welchem Grad die Bildungsstandards erreicht werden. Die Auswertungen der Standardüberprüfungen und deren Rückmeldung sollen an jeder Schule gezielte Qualitätsentwicklungsprozesse in Gang setzen (vgl. BIFIE Standardüberprüfung [Stand ]). 2.1 Konzeption der Bildungsstandards In Österreich werden mit der Entwicklung von Standards folgende Ziele (vgl. dazu Huber et al., [Stand ]; BGBl. II Nr. 1/2009; BGBl. II Nr. 282/2011; BGBl. II Nr. 185/2012) verfolgt: Sicherstellung grundlegender Kompetenzen bei allen Schülerinnen und Schülern Gleichwertigkeit der schulischen Ausbildung und der Abschlüsse Beiträge zur Systementwicklung Laut Lucyshyn (2007, S. 15) sind Standards nicht als Instrument für ein Qualitätsranking konzipiert, sondern werden als Hilfsmittel für die Selbstbewertung und Orientierung von Schulen und Lehrpersonen eingesetzt. Sie dienen nicht als Kontroll- und Selektionsinstrument, sondern als Stimulierung für eine Veränderung der Unterrichtskultur. Bildungsstandards sind konkret formulierte Lernergebnisse, die sich aus den Lehrplänen ableiten lassen. Sie definieren Kompetenzen, die in der Regel von allen Schülerinnen und Schülern an den Schnittstellen des Schulsystems erreicht werden sollen. Bildungsstandards geben den Lehrerinnen und Lehrern Orientierung darüber, was Schüler/innen zu bestimmten Zeitpunkten ihrer Schullaufbahn können sollen und konkretisieren damit die Zielsetzungen des Lehrplans. Bildungsstandards und Lehrplan treten daher nicht in eine konkurrierende oder widersprüchliche Position, sondern ergänzen einander positiv. (Breit et al., 2012, S. 5). Bildungsstandards wurden für folgende Fächer verordnet (vgl. Breit et al., 2012, ebd.): 4. Schulstufe (Volksschule): Deutsch, Lesen, Schreiben Mathematik 8. Schulstufe (Hauptschule, Neue Mittelschule, allgemeinbildende höhere Schule sowie Volksschuloberstufe): Deutsch Lebende Fremdsprache (Englisch) Mathematik Ausgangspunkt der Standards für die einzelnen Schularten und Schulstufen ist der Lehrplan. Er bildet die inhaltliche Grundlage. Auf Basis eines allgemeinen Kompetenzmodells werden Kompetenzbereiche in Anlehnung an die jeweiligen Fachlehrpläne beschrieben. Die in diesen Kompetenzbereichen festgelegten Einzelkompetenzen (Standards) sind als Can-Do-Statements formuliert und legen konkrete, von den Schüler/innen erwartete Lernergebnisse fest. Die nachstehende Abbildung beschreibt den Zusammenhang zwischen Lehrplan und Standards. Aus den als Can-Do-Statements formulierten Bildungsstandards lassen sich konkrete Aufgabenstellungen ableiten, die als Testitems im Rahmen der Standardüberprüfung eingesetzt werden. Mit ihnen lässt sich feststellen, inwieweit die tatsächlich erworbenen Kompetenzen mit den angestrebten Lernergebnissen übereinstimmen.

12 8 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich Lehrplan Der Lehrplan der jeweiligen Schulart und Schulstufe bildet die inhaltliche Grundlage der Bildungsstandards. Pflichtgegenstand Die österreichischen Bildungsstandards beziehen sich auf die Pflichtgegenstände Deutsch/Lesen/Schreiben sowie Mathematik in der 4. Schulstufe und Deutsch, (Erste) Lebende Fremdsprache (Englisch) sowie Mathematik in der 8. Schulstufe. inhaltliche und strukturelle Verbindung zwischen Lehrplan und Bildungsstandards Kompetenzmodelle sind prozessorientierte Modellvorstellungen über den Erwerb von fachbezogenen oder fächerübergreifenden Kompetenzen. Kompetenzmodelle stützen sich dabei auf fachdidaktische und fachsystematische Gesichtspunkte. Jedes Modell gliedert das jeweilige Fach in Kompetenzbereiche. Kompetenzmodell Kompetenzbereiche sind Teilbereiche innerhalb eines Kompetenzmodells. Kompetenzbereich Die als Can-Do-Statements formulierten Bildungsstandards legen in einem Pflichtgegenstand konkrete, von Schülerinnen und Schülern erwartete Kompetenzen fest als Lernergebnisse, die bis zum Ende einer bestimmten Schulstufe im Unterricht zu erwerben sind. Bildungsstandards Abb. 1 (Breit et al., 2012, 12): Zusammenhang zwischen Lehrplan und Standards Nach Klieme et al. sollen Standards folgende Qualitätsmerkmale aufweisen: 1. Fachlichkeit: Meint die eben beschriebene domänenspezifische Ausrichtung der Standards. Sie sollen die Kernkompetenzen der Fächer und Fächergruppen besonders klar herausarbeiten. (Klieme et al., 2007, S. 24) 2. Fokussierung: Die Standards decken nicht den gesamten Bereich eines Faches ab, sondern arbeiten Kernbereiche heraus. (Klieme et al., 2007, S. 25) 3. Kumulativität: In den Bildungsstandards werden längerfristige, aufbauende Ziele wahrgenommen. Lernen wird als kumulativer Prozess gesehen, der durch die Kompetenzmodelle und Kompetenzstufen abgebildet wird. Es geht darum, welche Kenntnisse Schülerinnen und Schüler nachhaltig erworben haben. (Beer, 2006, S. 39) 4. Verbindlichkeit: Bildungsstandards sollen für alle Lernenden gelten, unabhängig von der besuchten Schulform. Sie stellen Mindestvoraussetzungen dar, die von allen Schülerinnen und Schülern erfüllt werden sollen. Sie können somit einen Beitrag zum Abbau von Disparitäten im Schulsystem leisten. (Beer, 2006, S. 39) 5. Differenzierung: Die Standards müssen Niveaustufen differenzieren, die unter und über bzw. vor und nach Erreichen dieses Mindestniveaus liegen. Sie machen so Lernentwicklungen verstehbar und er-

13 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich 9 möglichen weitere Profilbildungen und Abstufungen, die ergänzende Anforderungen in einem Land, einer Schule oder einer Schulform darstellen. (Klieme et al., 2007, S. 25) 6. Verständlichkeit: Die Standards sollen klar und knapp formuliert sein und keiner weiteren Interpretation bedürfen, um von allen Beteiligten (Schülerinnen und Schüler, Eltern, Lehrerinnen und Lehrer und Öffentlichkeit) verstanden zu werden. (Beer, 2006, S. 39) 7. Realisierbarkeit: Die Standards stellen eine Herausforderung für Lehrende und Lernende dar, sind aber mit realistischem Aufwand erreichbar. (Klieme et al., 2007, S. 25) 2.2 Ziele und Funktionen der Bildungsstandards Das Ziel von Bildungsstandards ist eine durch Feedback angestoßene Qualitätsentwicklung. Feedback ist eine der wichtigsten Einzelvariablen zur Steuerung des personalen und organisationalen Lernens. Die Einführung von Bildungsstandards bedeutet allerdings nicht, dass die anderen Säulen der Qualitätssicherung (Input und Rahmenbedingungen, Prozessebene) unwichtig werden (vgl. Reusser, 2009, S. 297). Bildungsstandards haben laut Verordnung der Bundesministerin für Unterricht, Kunst und Kultur über Bildungsstandards im Schulwesen (vgl. BGBl. II Nr. 1/2009 [Stand ]) folgende Funktionen: Orientierungsfunktion: Die Einführung von Bildungsstandards soll eine nachhaltige Ergebnisorientierung in der Planung und Durchführung von Unterricht bewirken. Der Fokus wird auf die Lernergebnisse gerichtet, die erwünschten/angestrebten Lernergebnisse sind in den Bildungsstandards formuliert. Dadurch konkretisieren bzw. präzisieren sie den Lehrplan und bieten den Lehrkräften Orientierung. Im Mittelpunkt des Unterrichts steht der nachhaltige Kompetenzaufbau, nicht das flüchtige Wissen. Diagnosefunktion: Im Unterricht sollen die Bildungsstandards den Lehrkräften einen kontinuierlichen Abgleich zwischen dem Ist-Stand von Kompetenzen ihrer Schüler/innen und dem angestrebten Soll (Bildungsstandards) ermöglichen. Dieser konkrete Vergleichsmaßstab bietet eine Grundlage für die individuelle Diagnose und dient der Förderung von Schülerinnen und Schülern. Die Leistungen der Schüler/innen sind in allen Schulstufen unter Zugrundelegung der Bildungsstandards für die 4. bzw. für die 8. Schulstufe besonders zu beobachten und zu analysieren. Bildungsstandards wirken also nicht erst an den Schnittstellen, sondern auf allen Schulstufen. Monitoringfunktion: Durch periodische Standardüberprüfungen sind die von den Schülerinnen und Schülern bis zur 4. bzw. zur 8. Schulstufe erworbenen Kompetenzen objektiv festzustellen und mit den angestrebten Lernergebnissen zu vergleichen. Standardüberprüfungen sind zentral vorgegebene Leistungsmessungen mit dem Ziel, die Ergebnisse für Schul- und Unterrichtsentwicklung nutzbar zu machen. Die Rückmeldung der Ergebnisse dient als Impuls für Qualitätsentwicklungsprozesse am jeweiligen Schulstandort sowie landes- und bundesweit. Die externe Evaluation zeigt somit, inwieweit Schulen ihre Kernaufgabe der Vermittlung von allgemein als notwendig angesehenen Kompetenzen erfüllen.

14 10 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich 2.3 Überprüfung der Bildungsstandards Laut der Verordnung zu den Bildungsstandards (BGBl. II Nr. 1/2009) sind ab dem Schuljahr 2011/12 in der 8. Schulstufe und ab dem Schuljahr 2012/13 in der 4. Schulstufe periodische Standardüberprüfungen durchzuführen. Die Auswertungen der Standardüberprüfungen und deren Rückmeldung sollen an jeder Schule, wie bereits erläutert, gezielte Qualitätsentwicklungsprozesse in Gang setzen. Die dafür getroffenen Maßnahmen müssen gemäß der Verordnung dokumentiert und periodisch evaluiert werden. Die Überprüfung der Kompetenzbereiche erfolgt domänenorientiert, wie die folgende Abbildung zeigt: Abb. 2 (selbst erstellt): Domänenorientiertes Überprüfungsdesign Auf der 8. Schulstufe nehmen ab dem Schuljahr 2011/12 alle öffentlichen und privaten Schulen mit gesetzlich geregelten Schulartbezeichnungen (Volksschuloberstufe, Hauptschule, Neue Mittelschule, allgemeinbildende höhere Schule) und mit auf Dauer verliehenem Öffentlichkeitsrecht, in vom BMBF festgelegten Zyklen, an einer Standardüberprüfung teil. Der Überprüfungszyklus begann im Jahr 2012 mit Mathematik, setzte im Jahr 2013 mit Englisch fort und endet im Jahr 2016 mit der Überprüfung in Deutsch. Im Jahr darauf ist ein neuerlicher Zyklus beginnend mit Mathematik auf der 8. Schulstufe geplant (vgl. BGBl. II Nr. 1/2009; BGBl. II Nr. 282/2011; BGBl. II Nr. 185/2012). In der Volksschule wurde im ersten Zyklusjahr nicht getestet. Die Überprüfung auf der 4. Schulstufe fokussierte 2013 die Mathematikkompetenz. Im Schuljahr 2015 erfolgt die Überprüfung von Deutsch/ Lesen/Schreiben auf der 4. Schulstufe, und zwar am 6. und 7. Mai 2015 (Ersatztermin: 12. und 13. Mai). Daran werden rund Schülerinnen und Schüler an rund 3100 Schulen beteiligt sein (vgl. BMBF Bildungsstandards [Stand ]). Für die Standardüberprüfung wird bundesweit einheitlich ein für alle Schulen verbindlicher Testtag gegen Ende des jeweiligen Schuljahres festgelegt. Eine Ausnahme bildet dabei die Überprüfung des Faches Deutsch/Lesen/Schreiben in der Volksschule. Um die Schüler/innen dieser Altersstufe zeitlich nicht zu überfordern, findet die Testung an zwei aufeinanderfolgenden Tagen statt. Eine weitere Ausnahme gibt es bei der Überprüfung der Sprechkompetenz in den Fächern Deutsch und Englisch. Dafür steht ein Testfenster von zirka einem Monat zur Verfügung (vgl. Breit et al., 2012, S. 18 f). Das BMBF hat entschieden, dass die Überprüfungen von Lehrerinnen und Lehrern der eigenen Schule geleitet werden sollen. Dazu nominiert der Schulleiter oder die Schulleiterin für jede Klasse eine/n Testleiter/in aus den Lehrpersonen der Schule, die die zu testenden Klassen nicht unterrichten. Als Qualitätssicherungsmaßnahme für die Ergebnisse auf Systemebene werden in etwa 7 % der Klassen externe Testleitungen eingesetzt oder die Testung wird durch eine/n Qualitätsprüfer/in (in ca. 3 % der Klassen) beobachtet (siehe Abbildung 3). Die Schulen mit externer Testleitung oder Qualitätsprüfung werden vom BIFIE zufällig ausgewählt. Externe Testleiter/innen sind geschulte Lehrpersonen, die den Test nicht an der eigenen, sondern an einer anderen Schule durchführen. Qualitätsprüfer/innen sind ebenfalls Lehrpersonen, die die Testleiterschulung absolviert haben. Sie erhalten darüber hinaus ein spezielles Training für die Qualitätsprüfung und be-

15 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich 11 interne Testleitung mit Qualitätsprüfung externe Testleitung 3 % 7 % 90 % interne Testleitung Abb. 3 (Breit et al., 2012, S. 22): Interne und externe Testleitung, Qualitätsprüfung suchen dann im Auftrag des BIFIE am Tag der Standardüberprüfung eine Schule. Ihre Aufgabe besteht darin, die Testabläufe zu beobachten und zu protokollieren und auf die korrekte Einhaltung der standardisierten Abläufe zu achten (vgl. Breit et al., 2012, S. 22). 3 Ergebnisrückmeldung Die Rückmeldung der Ergebnisse der Standardüberprüfung erfolgt hauptsächlich zur Information der im österreichischen Schulwesen beteiligten Akteure. Die Ergebnisrückmeldung liefert Informationen zum Grad der Kompetenzerreichung und zu verschiedenen Kontextbedingungen. Sie stellt eine wichtige Ausgangsbasis für Überlegungen zu Handlungsfeldern im Hinblick auf die nachhaltige Kompetenzsicherung dar. Somit ermöglicht die Rückmeldung der Ergebnisse faktenbasierte Entscheidungen über Maßnahmen der Qualitätsentwicklung (vgl. Breit et al., 2012, S. 38). 3.1 Die Ergebnisrückmeldung als Datenfeedback Feedback ist ein Konzept, das im Alltag selbstverständlich gebraucht und positiv konnotiert wird. Nichts scheint dagegen zu sprechen, dass es bei einer Übertragung auf das Schulsystem günstige Wirkungen entfalten könnte. (Altrichter, 2010, S. 231) Im Mittelpunkt der Überlegung, den Kompetenzerwerb von Schülerinnen und Schülern bis zu einem bestimmten Zeitpunkt in Form von Überprüfungen zu erfassen und die Ergebnisse daraus rückzumelden, steht der Wunsch nach einer kontinuierlichen Verbesserung von Unterricht und Schule. Im Rahmen dieses Sicherungs- bzw. Qualitätsentwicklungsprozesses ist die Überprüfung der Bildungsstandards und deren Rückmeldung als schulexternes Datenfeedback zu betrachten, welches als Grundlage für faktenbasierte Steuerungsmaßnahmen sowohl interner Art (an der Schule) als auch externer Art (durch die Schulbehörden) dient (vgl. Breit et al., 2012, S. 38). Im Vergleich zu üblichen schulinternen Feedbackschleifen, die von einzelnen Fachkräften oder Schulstandorten selbst durchgeführt werden, können externe Evaluierungen durch wissenschaftlich beauftragte Institutionen mit dem nötigen Know-how und Personal Leistungsergebnisse standardisiert ermitteln, wodurch eine Vergleichbarkeit mit anderen Klassen, Schulen oder österreichweit ermöglicht wird. Zudem werden im Rahmen der Testungen Kontextfaktoren und Schülerwahrnehmungen erhoben, welche sich mit den Leistungsdaten verknüpfen lassen. Durch das Zusammenfassen (Aggregation) der einzelnen Daten können schlussendlich Rückmeldungen auf mehreren Ebenen des Schulsystems

16 12 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich (Unterrichtsgruppe, Schule, Schulaufsicht etc.) in unterschiedlichen Ausfertigungen erstellt werden (vgl. Altrichter, 2010, S.224 f). Bisher ist die Evaluationsstruktur im österreichischen Bildungssystem relativ schwach ausgeprägt (OECD, 2009, 463). Die Einführung der Bildungsstandards und die damit verbundenen objektiv wissenschaftlich fundierten Überprüfungen der Kompetenzen sollen jedoch zur Verbesserung der Evaluationsstruktur in Österreich beitragen. Um die Informationen aus den Rückmeldungen tatsächlich für Schul- und Unterrichtsentwicklung einzusetzen, wird bei der Rückmeldung der Ergebnisse aus den Standardüberprüfungen darauf geachtet, dass diese trotz des komplexen Inhalts möglichst verständlich aufbereitet wird. Unabhängig von der Qualität der Rückmeldung sind jedoch Akzeptanz, Kompetenz und eine positive Grundeinstellung hinsichtlich externer Evaluierungen notwendig, um das erhaltene Datenfeedback anzunehmen und damit weiterzuarbeiten (vgl. Breit et al., 2012, S. 38 ff). 3.2 Adressatinnen und Adressaten der Ergebnisrückmeldung Im Rahmen der Etablierung einer evidenzbasierten Steuerung ist Datenfeedback auf mehreren Ebenen des Schulsystems notwendig. Bildungspolitik und Schulverwaltung sollen sich im neuen Steuerungsmodell bei ihren Entwicklungsentscheidungen in gleicher Weise an den postulierten Zielen und den Evidenzen über die bisherigen Leistungen orientieren, wie dies für die regionale Schulaufsicht oder Unterstützungseinrichtungen wie die Lehrerfortbildung gilt. (Altrichter, 2010, S. 224) Nach jeder Standardüberprüfung werden deshalb neben Rückmeldungen zur standortbezogenen Qualitätsentwicklung (Lehrerrückmeldung, Schulbericht, Berichte für die Schulaufsicht) auch Rückmeldungen auf Systemebene (Landesergebnisberichte und Bundesergebnisbericht) erstellt. Zudem erhalten alle getesteten Schüler/innen eine individuelle Online- Rückmeldung (vgl. Breit et al., 2012, S. 39 f). Aufgrund der umfangreichen Datenverarbeitung, Analyse und Aufbereitung können die Ergebnisse den beteiligten Personen zirka ein halbes bis dreiviertel Jahr nach der Testung rückgemeldet werden. Abb. 4 (BIFIE Berichte [Stand ]): Adressatinnen und Adressaten der Ergebnisrückmeldung

17 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich 13 Inhaltlich erhalten alle Ebenen des Schulsystems in jeweils unterschiedlicher Form eine Rückmeldung über die Ergebnisse in ihrem Zuständigkeitsbereich, die verschiedenartigen Bezugsnormen gegenübergestellt werden: Vergleich mit einer kriterialen Norm (erreichte Kompetenzstufen) Vergleich mit allen anderen getesteten Schülerinnen und Schülern (österreichweiter Vergleich) Fairer Vergleich (unter Berücksichtigung struktureller Rahmenbedingungen) Diese Informationen sind in verschiedenen grafischen Aufbereitungen dargestellt. Der Aufbau sowie die Struktur der Rückmeldungen werden im Anschluss am Beispiel der Rückmeldung an die Schulleitung erläutert. 3.3 Aufbau und Struktur eines Schulberichts (vgl. BIFIE Schulbericht [Stand ]). Als Schulbericht wird die Rückmeldung an Schulleiterinnen und Schulleiter bezeichnet. Diese erfolgt online und kann über einen Zugangscode abgerufen werden, der postalisch ausschließlich an die Schulleitung gesendet wird. Der Schulbericht besteht aus zwei wesentlichen Teilen den Schulergebnissen und den Ergebnissen der einzelnen Unterrichtsgruppen (siehe dazu Abbildung 5). Die Schulergebnisse untergliedern sich in a. Informationen über die getesteten Schüler/innen an der Schule sowie b. Ergebnisse aus den Testungen im überprüften Fach gesamt und c. Testergebnisse aus den einzelnen Kompetenzbereichen des überprüften Fachs. Die Ergebnisse im getesteten Fach gesamt erhalten Schulleiter/innen in Form von Testwerten und erreichten Kompetenzstufen (kriteriale Rückmeldung). Ebenso werden Informationen über die Streuung der Leistung in der Schule sowie Vergleiche getrennt nach Geschlecht, Migrationshintergrund und deutscher vs. nichtdeutscher Erstsprache (Subgruppenvergleiche) rückgemeldet. Die Darstellung der Testergebnisse in den einzelnen Kompetenzbereichen erfolgt in Form von Kompetenzprofilen. Die Gesamtleistung der Schule wird entweder dem Österreich-Schnitt oder einem Erwartungsbereich für die Schule gegenübergestellt, der unter anderem die demografischen und sozioökonomischen Merkmale der Schülerpopulation berücksichtigt (fairer Vergleich). Die Ergebnisse der einzelnen Unterrichtsgruppen enthalten a Ergebnisse aus den Testungen im überprüften Fach gesamt und b. Testergebnisse aus den einzelnen Kompetenzbereichen. Die Ergebnisse der einzelnen Unterrichtsgruppen werden in Form von Testwerten und erreichten Kompetenzstufen (kriteriale Rückmeldung) rückgemeldet, jedoch ohne Angabe von Streuungsinformationen und Subgruppenvergleichen. Die Darstellung der Testergebnisse in den einzelnen Kompetenzbereichen erfolgt analog zu den Schulergebnissen in Form von Kompetenzprofilen. Die Leistungen der Unterrichtsgruppen werden entweder dem Österreich-Schnitt, den Leistungen der Schule oder einem Erwartungsbereich für die Unterrichtsgruppe (fairer Vergleich) gegenübergestellt (vgl. dazu auch George & Robitzsch, 2013).

18 14 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich Anzahl der Schüler/innen Informationen über die Schüler/innen demografische/ sozioökonomische Merkmale Wohlbefinden motivationale Merkmale kriterialer Vergleich Rückmeldung an die Schulleitung und Schulpartner Mathematik gesamt österr. & fairer Vergleich Streuung Geschlecht Subgruppen Migrationshintergrund Erstsprache Schulbericht Kompetenzbereiche allgem. mathematische Kompetenzen inhaltl. mathematische Kompetenzen österr. & fairer Vergleich Kompetenzprofil österr. & fairer Vergleich Kompetenzprofil kriterialer Vergleich Mathematik gesamt österr. Vergleich fairer Vergleich Ergänzung für die Schulleitung, Ergebnisse der Klassen Kompetenzbereiche Streuung allgem. mathematische Kompetenzen inhaltl. mathematische Kompetenzen österr. Vergleich fairer Vergleich Kompetenzprofil österr. Vergleich fairer Vergleich Kompetenzprofil Abb. 5 (BIFIE Schulbericht [Stand ]): Aufbau und Struktur eines Schulberichts 3.4 Theoretisches Rahmenmodell zum Umgang mit Ergebnisrückmeldungen Wie bereits erläutert, wurden in den letzten Jahren Maßnahmen zur Veränderung der Systemsteuerung in Richtung Evidenzbasierung und Accountability gesetzt, um die Leistungsfähigkeit des österreichischen Schulsystems zu verbessern. Die Erreichung dieses Ziels soll durch Ergebnisrückmeldungen unterstützt werden, da angenommen wird, dass die handelnden Personen im Schulsystem aufgrund solcher Informationen Veränderungen vornehmen, die zu besseren Schülerleistungen führen können.

19 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich 15 Grundsätzlich sind die Rückmeldungen laut Rieß & Zuber (2014, S. 6) nicht für einzelne Zielgruppen isoliert zu betrachten, da gerade die Nutzung der Ergebnisse übergreifende Kommunikationsprozesse voraussetzt, wodurch längerfristig ein Qualitätsprozess innerhalb des gesamten Systems initiiert werden soll. Zeitlich vorangestellt scheint dem aber die Auseinandersetzung mit den Ergebnissen am jeweiligen Schulstandort, wofür die Hauptverantwortung bei der Schulleitung liegt. Der an die Rückmeldung anschließende Prozess der Auseinandersetzung mit den Ergebnissen erfolgt nach Helmke & Hosenfeld (2005, S. 147) in mehreren Phasen: 1. Wahrnehmung der Information (Rezeption) 2. Analyse der Information (Reflexion) 3. Entwicklung und Umsetzung von Maßnahmen (Aktion) 4. Überprüfung der Wirkung der Maßnahmen (Evaluation) In der nachstehenden Grafik ist der Verlauf von der Rezeption bis zur Evaluation unter Berücksichtigung verschiedener Rahmenbedingungen dargestellt, der in dieser Form auch in die Konzeption der Bildungsstandards-Reflexion eingeflossen ist (vgl. Rieß & Zuber, 2014, S. 6). INDIVIDUELLE BEDINGUNGEN Subjektive Notwendigkeit Proffessionelles Selbstverständnis Bereitschaft zur Selbstrefelktion Stabilität von Gewohnheiten Selbstwirksamkeit Empirisches Grundverständnis Akzeptanz von Evaluation Kosten-Nutzen-Abschätzung INFORMATION über die Qualität des Unterrichts über Wirkungen des Unterrichts " Rezeption Übermittlung Verständnis Reflektion Suche nach Erklärungen & zusätzl. Information Aktion Unterrichtsgestaltung Lernmaterial Fortbildung " " " " " " " " " RAHMENBEDINGUNGEN " Evaluation Prüfung der Wirksamkeit " schulintern Evaluationsklima Kooperationskultur Verankerung im Schulprogramm Schulausstattung Akzeptanz: Eltern, Schüler, Lehrer Beteiligung an Schul-Netzwerken schulextern Förderung durch die Schulaufsicht (Unterstützungssysteme, Moderatoren, Berater, Modellversuche, Handreichungen, Arbeitszeitsysteme, Annerkennung) Hilfeleistung durch die Wissenschaft Lehreraus- und -fortbildung Abb. 6 (selbst erstellt): Theoretisches Rahmenmodell zum Umgang mit Ergebnisrückmeldungen nach Helmke & Hosenfeld (vgl. Helmke, 2009, S. 309): In ihrem Modell gehen Helmke und Hosenfeld von einem vier Schritte umfassenden Umgang mit Ergebnisrückmeldungen aus. Die einzelnen Schritte werden von externen und internen Bedingungen beeinflusst. Die internen Bedingungen beziehen sich auf die individuelle Ebene, die Nutzerinnen und Nutzer der Rückmeldung. Die externen Faktoren sind untergliedert in Schul- und Systemebene. Zu berücksichtigen ist dabei, dass Art und Ausgestaltung des Ablaufs sowohl von internen als auch von externen Bedingungen beeinflusst werden. Dabei sind mit internen Bedingungen personenbezogene Faktoren,

20 16 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich z. B. die Akzeptanz gegenüber der Rückmeldung, gemeint. Externe Bedingungen umfassen sowohl die Schul- als auch die Systemebene. Am Ende steht die Evaluation über die nachhaltige Wirkung der vorgenommenen Maßnahmen, danach startet der Qualitätszyklus erneut (vgl. Rieß & Zuber, 2014, S. 7). Die Ableitung und Umsetzung qualitätssichernder bzw. qualitätsentwickelnder Maßnahmen auf Basis der Rückmeldung setzt laut Rieß & Zuber (2014, ebd.) voraus, dass die darin verfügbaren Informationen sachlich richtig interpretiert werden (Rezeption). Daran anschließend erfolgt unter Berücksichtigung standortbezogenen Wissens eine Auseinandersetzung über Faktoren, die das Ergebnis beeinflusst haben könnten (Reflexion). Erst dann ist es möglich, speziell auf die Bedingungen am Schulstandort abgestimmte Maßnahmen abzuleiten und selbstständig Schritte im Bereich der Schul- und/oder Unterrichtsentwicklung zu setzen (Aktion). In welcher Form und mit welcher Intensität sich Schulen mit den einzelnen Prozessphasen auseinandersetzen, hängt wesentlich davon ab, welchen Nutzen sich die Beteiligten (Lehrkräfte und Schulleitungen) erwarten. Bezogen auf Helmke (2004) weisen Rieß & Zuber (2014, ebd.) darauf hin, dass flächendeckende Vergleichsstudien, die ja umfangreiche Evaluationsstudien des Schulsystems darstellen, ihr Ziel nicht erreichen, wenn sie keine Anregung von Schul- und Unterrichtsprozessen bewirken. 4 Rückmeldemoderation Die Analyse und Interpretation der Ergebnisberichte, die nach der Überprüfung der Bildungsstandards in Form eines Schulberichts an die einzelnen Schulen ergehen, und die Integration ihrer Aussagen in die eigenen laufenden Schul- und Unterrichtsentwicklungsprozesse, die Ableitung von passenden Konsequenzen vor dem Hintergrund der eigenen Schulkultur all das ist Neuland für viele Schulen. Um Schulen dabei zu unterstützen, gibt es seitens der Pädagogischen Hochschulen das Angebot einer externen Unterstützung durch sogenannte Rückmeldemoderationen (vgl. Breit et al., 2012, S. 57). Schulen erhalten nach einer Standardüberprüfung Berichte, die einen Umfang von über 80 Seiten erreichen können. Diese bieten eine umfangreiche Datensammlung, die als Basis für Schul- und Unterrichtsentwicklungsprozesse dienen kann. Es ist aber nicht so einfach, diese Berichte korrekt zu interpretieren, nicht zuletzt, weil das Lesen von Statistiken ein spezielles Wissen verlangt, das an den Schulen bisher nicht notwendig war. Um Schulleiterinnen und Schulleiter beim Lesen und Interpretieren der Ergebnisrückmeldungen zu unterstützen, können diese im Zeitraum von Jänner bis Mai über die Pädagogische Hochschule im Bundesland externe Unterstützung durch sogenannte Rückmeldemoderatorinnen und -moderatoren (RMM) anfordern. Durch dieses Angebot sollen ein erfolgreicher Transfer der Ergebnisse in adäquates Unterrichtshandeln und entsprechende Maßnahmen der Schulentwicklung angeregt werden (vgl. Breit et al., 2012, S. 57). Die Rückmeldemoderation kann sich über zwei Termine erstrecken: Der erste Termin ist dabei immer ein Einzelgespräch mit der Schulleiterin/dem Schulleiter. Danach kann ein weiterer Einsatz aus folgenden Optionen ausgewählt werden: Gespräch der/des RMM mit der Schulleitung und den Lehrerinnen und Lehrern der überprüften Klassen/Unterrichtsgruppen oder unterstützende Teilnahme der/des RMM an einer pädagogischen (Fach-) Konferenz mit anschließender Möglichkeit eines Vier-Augen-Gesprächs für Lehrer/innen (Verständnisfragen zur Ergebnisrückmeldung der eigenen Klasse bzw. Unterrichtsgruppe). Bestandteile einer Rückmeldemoderation im Erstgespräch mit der Schulleitung sind: Lesen und Interpretieren der Grafiken und Tabellen Stärken- und Schwächenanalyse Identifizierung von Handlungsfeldern

21 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich 17 Abb. 7 (selbst erstellt): Zyklus-Ablauf von Überprüfung und Rückmeldung der Bildungsstandards Reflexion von Qualitätsentwicklungs- und Qualitätssicherungsmaßnahmen Information über bundeslandspezifische Unterstützungsmöglichkeiten RMM helfen den Schulen dabei, sich der Chancen der Ergebnisrückmeldung bewusst zu werden und Qualitätsentwicklungspotential zu erkennen. Konkrete nachfolgende Schul- und Unterrichtsentwicklungsprozesse vorzugeben oder zu begleiten ist Aufgabe für ausgebildete Schulund Unterrichtsentwicklungsberater/innen und nicht Aufgabe der RMM (vgl. PH OÖ RMM [Stand ]). Die Einschätzung, was die Daten für den jeweiligen Standort bedeuten, muss von der Schule selbst getroffen werden. (Krainz-Dürr, 2012, S. 28) Punktuell gemessene Lernergebnisse sind immer als Produkt komplexer Zusammenhänge zu verstehen und von vielen äußeren Faktoren abhängig. Unterricht selbst ist zwar ein wesentlicher, aber eben nur ein Teil in diesem komplexen Wirkungsgefüge. Daher verbietet es sich, einen einzelnen Faktor als Ursache zu isolieren. Lernergebnisse als Produkt eines komplexen sozialen Geschehens können daher niemals trivialisiert betrachtet werden. (Krainz-Dürr, 2012, S. 29) Die Ergebnisrückmeldung der Standardüberprüfungen lässt bei der statistischen Interpretation ein Bild über die relativen Schwächen und Stärken einer Schule zu. Die relativen Schwächen zeigen mögliche Handlungsfelder der Qualitätsentwicklung einer Schule auf. Die relativen Stärken zeigen auf, wo bereits ein hoher Qualitätsstandard vorhanden ist und daher Qualitätssicherung stattfinden sollte. Welche Maßnahmen dabei zu ergreifen sind, liegt wie von Krainz-Dürr (2012) ausgeführt im Entscheidungsund Verantwortungsbereich der Schulleitung und kann der Ergebnisrückmeldung nicht entnommen werden.

22 18 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich Aufgabe der/des RMM ist es, einerseits mit der Schulleitung Handlungsfelder in beide Richtungen (Qualität entwickeln vs. sichern) zu identifizieren. Dazu bekommt der/die RMM den Schulbericht der betreffenden Schule, um sich auf das Gespräch mit der Schulleitung vorbereiten zu können. Auch die Schulleitung wird gebeten, vor der eigentlichen Moderation eine erste Analyse mit schulinternem Hintergrundwissen zu erstellen. Die Zusammenführung dieser beiden Analysen bei der Rückmeldemoderation soll der/dem RMM ausreichend Möglichkeit geben, die sich daraus ergebenden Qualitätssicherungs- bzw. Qualitätsentwicklungsmaßnahmen anzuregen. Selbst wenn statistische Ergebnisse korrekt und objektiv dargestellt wurden, können sie dennoch falsch oder unvollständig interpretiert werden. Bei vielen Messungen ist zu beachten, dass es sich um Momentaufnahmen handelt, die nach einer gewissen Zeit nicht mehr zutreffen müssen. Ein verantwortungsvoller Umgang mit den Resultaten ist laut Pinwinkler et al. (2013, S. 26) in der Hinsicht anzustreben, dass Ergebnisse im richtigen Licht der gesamten Überprüfungsumstände betrachtet werden. Zum Beispiel ergibt es wenig Sinn, ein schwaches Ergebnis überzubewerten, wenn nachweislich am Testtag die Schülerinnen und Schüler durch ein kurz vorhergegangenes Ereignis (z. B. Unfall eines Mitschülers/einer Mitschülerin) in der Bearbeitung der Testitems emotional stark beeinflusst wurden. Ebenso können laut Pinwinkler et al. (ebd.) Ergebnisse hinsichtlich verschiedener Merkmale mitein ander verglichen werden (z. B. Geschlecht oder Migrationshintergrund). Bei einem Vergleich von Gruppen dürfen jedoch nicht nur die Gruppenmerkmale selbst (z. B. Geschlecht oder Migrationshintergrund) als Erklärungsansatz für unterschiedliche Ergebnisse in Betracht gezogen werden. Vielmehr ist es wichtig, schulinternes Wissen über die Schülergruppen und weitere Wirkfaktoren heranzuziehen, um die Ergebnisse sinnvoll interpretieren zu können. Die Ergebnisse der Standardüberprüfung stellen den Status quo zum Überprüfungszeitpunkt dar. Daraus sind keine direkten Schlüsse auf Ursachen zulässig. Schülerkompetenzen entstehen in einem komplexen Zusammenspiel aus individuellen Voraussetzungen, der Lernumgebung und weiteren inner- und außerschulischen Faktoren. Diese Komplexität spiegelt sich auch in den Schülerleistungen wider, die in der Standardüberprüfung gezeigt wurden. Deshalb ist für eine verantwortungsvolle Ergebnisinterpretation in jedem Fall schulinternes Wissen über diese Wirkfaktoren notwendig. Viele dieser Faktoren sind vor der Rückmeldemoderation für die/den RMM allerdings nicht bekannt. Bei der Vorbereitung auf die Rückmeldemoderation sollten daher neben der rein statistischen Analyse der Ergebnisrückmeldung auch die vielfältigen Einflussfaktoren auf das Ergebnis einer Schule nicht außer Acht gelassen werden. Eigene Hypothesen, welche Determinanten ursächlich sein könnten, sollten in der Rückmeldemoderation möglichst offen und unspezifisch abgefragt werden, um die Schulleitung zur Reflektion anzuregen. Im Gespräch wird sich die Interpretation durch das schulinterne Wissen komplettieren. Die/Der RMM sollte sich jedoch bewusst sein, dass weitere Determinanten bestehen können, welche die Ergebnisse beeinflusst haben, aber nicht direkt identifizierbar sind (vgl. Pinwinkler, 2013, S. 27). 4.1 Rückmeldemoderation in Oberösterreich Prozessbeschreibung In Kooperation mit dem BIFIE Salzburg wurden im Bundesland Oberösterreich in den letzten drei Jahren fast 90 Personen als Rückmeldemoderator/innen (RMM) ausgebildet. Ein inhaltlicher Schwerpunkt der Ausbildung lag auf der Vermittlung von statistischen Fachkenntnissen und vertiefendem Wissen über Bildungsstandards allgemein. Um die Teilnehmerinnen und Teilnehmer auf schwierige und konfliktträchtige Situationen vorzubereiten, wurden darüber hinaus personale und soziale Kompetenzen (Kommunikation, Konfliktmanagement und Moderation) geschult. Ebenso wurde der Rollenklärung großes Augenmerk gewidmet, um das Aufgabenprofil einer RMM/eines RMM zu schärfen und die Grenzen dieser Tätigkeit zu klären. In Oberösterreich konnten Schulleiterinnen und Schulleiter im Schuljahr 2013/14 in einem vorgegebenen Zeitraum per Online-Anmeldung eine Rückmeldemoderation über die PH OÖ anfordern.

23 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich 19 Abb. 8: Aussendung zur Bewerbung der RMM im Schuljahr 2013/14 Alle Schulleiterinnen und Schulleiter, die im Schuljahr 2013/2014 eine Moderation über das Online- Anmeldeportal angefordert hatten, erhielten die Kontaktdaten der/des RMM in Form eines Datenblattes per übermittelt. Nach Freischaltung der Ergebnisrückmeldungen (letzte Jännerwoche 2014) durch das BIFIE setzten sich die RMM telefonisch mit den Leiterinnen und Leitern in Verbindung, um einen Termin für die Moderation zu vereinbaren. Damit sich die RMM auf die Arbeit an den Schulen vorbereiten können, müssen diese vor dem Moderationsgespräch die Schulberichte analysieren. Um die Schulberichte der zugeteilten Schulen zu bekommen, mussten die RMM beim telefonischen Erstkontakt mit der Schulleitung auch den Zugangscode für den Schulbericht erfragen, den die Schulleitungen vom BIFIE erhalten hatten. Den Schulleitungen wurde diese Vorgangsweise schon vor der Ergebnisfreischaltung mit dem Hinweis mitgeteilt, dass alle RMM eine Verschwiegenheitserklärung über die Inhalte der Ergebnisrückmeldung und der Rückmeldemoderation unterschrieben haben. Nachdem die Moderation erfolgt war, wurde seitens der RMM eine Abhaltungsbestätigung vorgelegt, die von der Schulleitung als Bestätigung unterschrieben wurde.

24 20 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich Abb. 9: Aussendung per an Schulleitungen Im Schuljahr 2013/14 wurden die Ergebnisse der Englischüberprüfung auf der 8. Schulstufe und die Ergebnisse der Mathematiküberprüfung auf der 4. Schulstufe aus dem Schuljahr 2012/13 rückgemeldet. Insgesamt wurden in Oberösterreich 300 RMM in Anspruch genommen, davon über 180 im Volksschulbereich. Da manche VS-Schulleiterinnen und Schulleiter mehr als eine Schule betreuen und daher in solchen Fällen nur ein Gespräch, allerdings mit dem Inhalt von zwei Schulberichten, stattfand, wird in weiterer Folge von 170 Rückmeldemoderationen im VS-Bereich gesprochen. Aufgrund des großen Bedarfs und der begrenzten Ressourcen konnte in Oberösterreich mehrheitlich nur das Erstgespräch mit der Schulleitung angeboten werden. Eine unterstützende Teilnahme des/der RMM an einer pädagogischen (Fach-) Konferenz mit anschließender Möglichkeit eines Vier-Augen-Gesprächs für Lehrer/innen war nur in wenigen Ausnahmefällen auf ganz speziellen Wunsch der Schulleitung möglich. 4.2 Österreichisches Modell zum Umgang mit Ergebnisrückmeldungen Für die Schulen besteht, wie bereits erläutert, die Verpflichtung, sich mit den rückgemeldeten Ergebnissen auseinanderzusetzen und konkrete Qualitätsentwicklungs- und Qualitätssicherungsmaßnahmen einzuleiten. Die Verordnung über Bildungsstandards im Schulwesen legt fest, dass die gesetzten Maßnahmen zu dokumentieren und periodisch zu evaluieren sind. Welche Maßnahmen dabei zu ergreifen sind, liegt im Entscheidungs- und Verantwortungsbereich der Schulleitung. Die Schulaufsicht wiederum hat dafür Sorge zu tragen, dass Qualitätsentwicklungsprozesse tatsächlich durchgeführt werden. Ebenfalls muss sie Schulen, die Qualitätsentwicklungspotenzial identifiziert haben,

25 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich 21 in ihrer Entwicklungsarbeit unterstützen. Im Zuge von Bilanz- und Zielvereinbarungsgesprächen mit der Schulleitung kann die Schulaufsicht auch näher auf Detailergebnisse der Standardüberprüfung eingehen und Maßnahmen, die sich daraus ergeben, anregen (vgl. BMUKK Umgang mit Rückmeldungen [Stand ]). Zielvereinbarungen sind auch ein wichtiger Bestandteil des neu formulierten Bundes-Schulaufsichtsgesetzes, das die Einführung eines bundesweit einheitlichen, durchgängigen Qualitätsmanagement-Systems auf allen Ebenen der Schulverwaltung und der Schulen vorsieht (vgl. Bundes-Schulaufsichtsgesetz [Stand ]). Wie in den Erläuterungen zum neuen Bundes-Schulaufsichtsgesetz beschrieben, ist der Nationale Qualitätsrahmen das Kernstück dieses Qualitätsmanagement-Systems. Eine Reihe von Maßnahmen und Instrumenten zur Entwicklung und Sicherung der Schulqualität sind darin vorgesehen, wie zum Beispiel die bereits erwähnten Zielvereinbarungen, aber auch Evaluierungen und ein Planungs- und Berichtswesen. Im Rahmen dieses Qualitätsmanagement-Systems wurden auch die Organe der Schulaufsicht als Regionale Qualitätsmanager/innen neu positioniert (vgl. Erläuterungen Bundes-Schulaufsichtsgesetz [Stand ]). Die regionalen Qualitätsmanagerinnen und -manager schließen mit den Schulleitungen Zielvereinbarungen ab, in denen bundes- und landesweite Zielsetzungen auf eine regionale bzw. schulische Ebene heruntergebrochen und konkretisiert werden. Die Zielvereinbarungen kommen nach dem Prinzip der dialogischen Führung zustande. Regionale Qualitätsmanagerinnen und -manager haben die Schulleitungen aber auch zu unterstützen, zu beraten und auf die Rechtskonformität des schulischen Handelns zu achten. Die Beratung der Schulleitungen erfolgt strategisch, aber nicht unmittelbar prozessbegleitend. Die regelmäßige Selbstevaluierung, die in der Schule und auf allen Ebenen der Schulverwaltung stattfinden sollte, ist ebenfalls ein wichtiger Grundbaustein des Nationalen Qualitätsrahmens. Darüber hinaus enthält der Qualitätsrahmen Maßnahmen und Instrumente, die im Sinne einer ergebnisorientierten Steuerung notwendig sind, um Qualität zu verbessern und nachhaltig aufrechtzuerhalten. Zum Beispiel sind bei der Erstellung von Zielvereinbarungen externe Rückmeldungen, wie sie die Schulberichte der Standardüberprüfungen darstellen, zu berücksichtigen (vgl. Nationaler Qualitätsrahmen [Stand ]). Seit Oktober 2012 werden seitens des Bildungsministeriums Orientierungs- und Unterstützungsangebote in Form der Qualitätsinitiative SQA (Schulqualität Allgemeinbildung) für Qualitätsentwicklung und Qualitätssicherung im allgemeinbildenden Schulwesen angeboten, die auf der Novellierung des Bundes- Schulaufsichtsgesetzes basieren. Das Thema Lernen und Lehren steht dabei im Zentrum, besondere Aufmerksamkeit wird den Bereichen Individualisierung und Kompetenzorientierung gewidmet. In einem koordinierten Zusammenspiel aller Ebenen des Schulsystems sollen Entwicklungsprozesse etabliert werden, die in Form einer Aufwärtsspirale von der Bedürfnisformulierung und Ist-Stand-Analyse (z. B. aufgrund der Ergebnisse der Bildungsstandardsüberprüfung) über Zielvereinbarungen, Umsetzungsmaßnahmen und Erfolgsüberprüfungen zu Konsequenzen und weiterführenden Vorhaben führen. (BMUKK Umgang mit Rückmeldung [Stand ]) Zum breiten Angebot von Unterstützungsmaßnahmen bei der Umsetzung von SQA an jeder einzelnen Schule zählt auch die Initiative EBIS Entwicklungsberatung in Schulen. Ziel von EBIS ist es, die Qualität von externer Begleitung und Beratung von Schulen bei ihren Entwicklungsprozessen zu sichern und weiterzuentwickeln. Im Anschluss an eine Rückmeldemoderation können beispielsweise über die Initiative Entwicklungsberatung in Schulen (EBIS) qualifizierte Fachkräfte (Unterrichts- und Schulentwicklungsberaterinnen und -berater), die eine adäquate Ausbildung und Praxis nachweisen können, von den Schulen angefordert werden. Es fällt nun den Pädagogischen Hochschulen zu, die Unterrichts- und Schulentwicklungsprozesse zu begleiten und zu unterstützen (vgl. Altrichter & Kanape- Willingshofer, 2013, S. 33).

26 22 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich Abb. 10 (Schreiner, Breit & Wiesner, 2014): Österreichisches Rahmenmodell zum Umgang mit Ergebnisrückmeldungen Die obige Abbildung besagt, dass durch die Ergebnisrückmeldung Informationen über das jeweils überprüfte Fach an die einzelne Schule kommen. Die Informationen (Schulberichte) müssen dort zunächst einmal sachlich korrekt interpretiert werden. Die sachliche und korrekte Interpretation (Rezeption) kann durch eine Rückmeldemoderation unterstützt werden. Im Anschluss daran erfolgt unter Einbeziehung standortspezifischen Wissens eine Reflexionsphase über Faktoren, die das Ergebnis beeinflusst haben könnten. Danach können speziell auf die Bedingungen am Schulstandort abgestimmte Maßnahmen im Bereich der Schul- und/oder Unterrichtsentwicklung abgeleitet und gesetzt werden. Den vorgegebenen gesetzlichen Rahmen für Reflexion und Aktion bildet die Initiative SQA, bei der die Entwicklungsarbeit in den Entwicklungsplänen nachvollziehbar dargestellt wird und deren Wirksamkeit zu einem späteren Zeitpunkt auch schulintern evaluiert werden muss. In welcher Form und mit welcher Intensität sich Schulen mit den einzelnen Prozessphasen auseinandersetzen, hängt wesentlich davon ab, welchen Nutzen sich die Beteiligten (Lehrkräfte und Schulleitungen) erwarten. Es ist unschwer zu erkennen, dass das dargestellte Rahmenmodell einigermaßen fragil ist, da verschiedene Ausstiegsmöglichkeiten vorhanden sind, die letztendlich zu Misserfolg führen können. Der Erfolg dieses Modells hängt von Merkmalen der Schule und des Kollegiums und auch von externen Faktoren ab. Dazu gehört unter anderem das in einer Schule herrschende Kooperationsklima und die Einstellung zu externer Evaluation, verbunden mit der Bereitschaft, die schulische Praxis kontinuierlich zu reflektieren und an der Verbesserung des Lehrens und Lernens zu arbeiten. So weist Helmke (2004) darauf hin, dass flächendeckende Überprüfungen, die ja umfangreiche Evaluationsstudien des Schulsystems darstellen, ihr Ziel verfehlt haben, wenn sie keine Anregung von Schul- und Unterrichtsprozessen bewirken. Die institutionelle Basis, die im dargestellten Modell durch SQA gekoppelt mit Unterstützung in Form von RMM und EBIS gegeben ist, ist zwar keine Garantie für das Gelingen, jedoch ein förderlicher Faktor, da durch die gesetzliche Vorgabe ein gewisser Grad an Unterstützung und eine gewisse Verbindlichkeit vorhanden sind.

27 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich 23 Teil B: Evaluation der Rückmeldemoderation 5 Evaluationsvorhaben 5.1 Ausgangssituation Die Überprüfungen der Bildungsstandards schaffen eine Informationsgrundlage, um datengeleitete Qualitätsentwicklungs- und Qualitätssicherungsprozesse im Schulsystem anzuregen. Das BIFIE bietet mit der Ergebnisrückmeldung aus den einzelnen Standardüberprüfungen eine umfangreiche Datengrundlage, die Impulse für mögliche Veränderungsmaßnahmen liefern kann. Durch die Information über den Ist- Stand können wie im Österreichischen Rahmenmodell zum Umgang mit Ergebnisrückmeldungen bereits dargelegt in weiterer Folge auf die Bedingungen am Schulstandort abgestimmte Maßnahmen im Bereich der Schul- und/oder Unterrichtsentwicklung in Gang gesetzt werden. Ein wesentliches Ziel der Erhebung war es, Hinweise aus Sicht der Schulleiterinnen und Schulleiter über den Erfolg der durchgeführten Moderationsgespräche zu erhalten, um Anregungen für Verbesserungsmaßnahmen zu bekommen, die an den Bedürfnissen der Schulen orientiert sind. Darüber hinaus ging es auch darum, Erkenntnisse zu gewinnen, wie die Ergebnisrückmeldung an Schulen von den Schulleitungen rezipiert wurde, ob und welche Maßnahmen aufgrund der Rückmeldung im Bereich der Schul- und/oder Unterrichtsentwicklung an den Schulen gesetzt werden und welche positiven und problematischen Aspekte Schulleiterinnen und Schulleiter mit der Rückmeldung der Bildungsstandards assoziieren. Folgende Leitfragen standen im Zentrum der Erhebung: Welche Kommunikationsprozesse zu den Bildungsstandardergebnissen finden innerhalb der Schule, mit Schulpartnern und mit der Schulaufsicht statt? Welche Faktoren beeinflussen die Inanspruchnahme der Rückmeldemoderation? Wie wird das Angebot der Rückmeldemoderation beurteilt? Wurden bereits Maßnahmen der Schul- und Unterrichtsentwicklung als Reaktion auf die Ergebnisrückmeldung gesetzt? Wenn ja, welche Maßnahmen und Schritte wurden bereits gesetzt? Hätten die Schulleitungen, wenn dies angeboten worden wäre, die/den RMM auch für einen zweiten Termin (pädagogische Konferenz mit anschließender Möglichkeit eines Vier-Augen-Gesprächs für Lehrer/innen, deren Klassen überprüft wurden) angefordert? Welche Aspekte werden im Hinblick auf die Rückmeldung der Bildungsstandards positiv und welche werden als problematisch gesehen? 5.2 Beschreibung des Evaluationsinstruments Auf Basis der dargestellten Leitfragen wurden die Items für einen Online-Fragebogen konzipiert. Dabei wurden auch einige von Rieß & Zuber (2014) bei einer Rezeptions- und Nutzungsstudie zu Ergebnissen der Bildungsstandardüberprüfung in Mathematik auf der 8. Schulstufe unter Berücksichtigung der Rückmeldemoderation eingesetzte Fragen modifiziert oder direkt übernommen und in den Fragebogen integriert. Der Aufbau und die Themenbereiche werden im Folgenden kurz dargestellt. Der Fragebogen selbst befindet sich im Anhang. Der Online-Fragebogen wandte sich an alle oberösterreichischen Volksschulen, die eine Rückmeldemoderation in Anspruch genommen hatten. Ziel des Fragebogens war es, die Rückmeldemoderation aus Sicht der Schulleiterinnen und Schulleiter zu erfassen und deren Eindrücke über dieses Unterstützungsangebot zu sammeln. Der Evaluationsfragebogen wurde auf Basis der oben angeführten Leitfragen konzipiert und umfasst folgende Themenbereiche:

28 24 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich Rahmenbedingungen der Rückmeldemoderation Motive zur Inanspruchnahme einer Rückmeldemoderation Verlauf der Rückmeldemoderation Maßnahmen der Schul- und Unterrichtsentwicklung als Reaktion auf die Rückmeldemoderation Positive und problematische Aspekte im Hinblick auf die Ergebnisrückmeldung der Bildungsstandards Die Online-Befragung wurde mit IQES online (Instrumente für Qualitätsentwicklung und Evaluation in Schulen) erstellt, durchgeführt und ausgewertet. IQES online stellt eine umfangreiche Palette wissenschaftlich geprüfter und praxiserprobter Instrumente zur Verfügung. Das Evaluationscenter erlaubt die Durchführung von Online-Befragungen. Außer einem Internetzugang ist keine weitere Software nötig. Die vorgefertigten Fragebögen von IQES online können beliebig verändert und an eigene Bedürfnisse angepasst werden. Im Falle der vorliegenden Evaluation wurde ein eigener Fragebogen von Grund auf selbst erstellt. Dafür standen verschiedene Fragetypen (u. a. Fragen mit Antwortskalen, Fragen mit Einfach- oder Mehrfachauswahl, offene Fragen) zur Verfügung. Für die Erfassung und Auswertung stellt IQES online ein Excel-Instrument zur Verfügung. Dieses wurde auf den eigenen PC heruntergeladen und offline für die Ergebnisauswertung genutzt (vgl. IQES online [Stand ]). 5.3 Zielgruppe und Rücklauf Für die Befragung zum Ablauf der Rückmeldemoderation an den Volksschulen wurden alle 170 Schulleiterinnen und Schulleiter in Oberösterreich mittels Online-Fragebogen kontaktiert, an deren Schule eine Rückmeldemoderation stattgefunden hatte. Tabelle 1 bietet eine Übersicht über die Grundgesamtheit der Schulen, die an der Standardüberprüfung Mathematik 4. Schulstufe im Bundesland Oberösterreich teilgenommen haben. Die Anzahl der stattgefunden Rückmeldemoderationen stellt gleichzeitig die Stichprobengröße für die Online-Befragung dar (Vollerhebung). Da manche Schulleiterinnen und Schulleiter im Volksschulbereich mehr als eine Schule betreuen und daher in solchen Fällen nur ein Gespräch, allerdings mit dem Inhalt von zwei Schulberichten, stattfand, wird in der Tabelle zwischen Anzahl der RMM M4 und Anzahl der Schulen, die eine Rückmeldemoderation erhielten unterschieden. Bundesland Gesamtzahl Schulen M4 Überprüfung Anzahl der RMM M4 im Bundesland Anzahl Schulen, die im Bundesland eine RMM erhielten Oberösterreich Tabelle 1: Übersicht zur Stichprobe Die Online-Befragung wurde im Oktober 2014 durchgeführt. Der Erhebungszeitraum sollte sicherstellen, dass Schulen ausreichend Zeit zur Verfügung hatten, die Ergebnisse zu rezipieren sowie erste Maßnahmen am Schulstandort auf Basis der Rückmeldung einzuleiten. Ebenso wurde mit der Festlegung dieses Durchführungszeitraums berücksichtigt, dass alle Schulen die Ergebnisse der Bildungsstandardüberprüfungen bereits im Schulforum kommuniziert hatten und dass alle Schulen darüber informiert waren, dass nach der positiven Absolvierung der Datensicherheitsüberprüfung durch den TÜV Austria des BIFIE im Auftrag des BMBF die Standardüberprüfung in Deutsch/Lesen/Schreiben auf der 4. Schulstufe im Frühjahr 2015 durchgeführt wird.

29 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich 25 Beginndatum der Befragung: 20. Oktober 2014 Abschlussdatum der Befragung: 30. Oktober 2014 Per eingeladene Befragte: 170 Vollständig beantwortete Fragebogen: 138 Rücklaufquote in Prozent: 81,2 Teilweise beantwortete Fragebogen: 1 Rücklaufquote inkl. teilweise beantwortete Fragebogen in Prozent: 81,8 Tabelle 2: Kontaktaufnahme und Rücklaufquote Abbildung 11 zeigt die Verteilung der Befragten im Hinblick auf die Anzahl der überprüften Klassen. Hierbei zeigt sich, dass an 35 Prozent der Schulen die Rückmeldung für eine Klasse erfolgte. Weitere 41 Prozent der Schulen bekamen eine Rückmeldung für zwei Klassen und 24 Prozent der Schulen erhielten eine Rückmeldung für drei oder mehr Klassen. Abb. 11: Wie viele Klassen umfasste der M4-Rückmeldebericht? 5.4 Ergebnisse Im Anschluss werden die Ergebnisse der Befragung strukturiert nach der Anordnung der Fragen im Fragebogen dargestellt. Die in den Grafiken bzw. im Text angegebenen Prozentwerte sind gerundete Werte, weshalb es vorkommen kann, dass die Summe der gerundeten Prozentangaben nicht exakt 100 ergibt Intensität der Auseinandersetzung mit der Rückmeldung Ein Element der Befragung war, einen Einblick zu erhalten, wie intensiv sich die Schulleiter/innen vor der Rückmeldemoderation mit den Testergebnissen ihrer Schule auseinandergesetzt haben. Die Intensität der Auseinandersetzung vor einer Moderation kann möglicherweise eine verstärkte Reflexion während einer Moderation unterstützen, zu einem besseren Verständnis der rückgemeldeten Daten führen und so die Wirkungen einer Moderation im Hinblick auf ihren praktischen Nutzen erhöhen. Um zu ermitteln, wie ausführlich sich die Schulleiter/innen mit der Ergebnisrückmeldung auseinandergesetzt haben, wurden diese gebeten, sich auf einer 4-stufigen Skala (sehr ausführlich 1 gar nicht) zu positionieren.

30 26 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich Wie ausführlich haben Sie sich vor der Rückmeldemoderation mit den Ergebnissen der M4-Überprüfung auseinandergesetzt? Abb. 12: Intensität der Auseinandersetzung mit den Testergebnissen Wie aus Abbildung 12 hervorgeht, geben 38 Prozent der befragten Leiterinnen und Leiter an, sich vor der Rückmeldemoderation sehr ausführlich mit den Ergebnissen der Rückmeldung beschäftigt zu haben. 39 Prozent bewerten die Auseinandersetzung als ausführlich, 22 Prozent schätzen die Auseinandersetzung mit den Ergebnissen vor der Moderation als überblicksmäßig ein und 1 Prozent der Leitungspersonen gibt an, sich gar nicht mit der Rückmeldung befasst zu haben. Insgesamt lässt die Antwortverteilung auf eine intensive Auseinandersetzung mit den Testergebnissen vor der Rückmeldemoderation schließen, da mehr als drei Viertel der Schulleiterinnen und Schulleiter (107 Personen) ihre eigenständige Auseinandersetzung mit den Ergebnissen als sehr ausführlich bzw. ausführlich bewerten Besprechung der Ergebnisse Die Schulleiterinnen und Schulleiter wurden in einem weiteren Schritt auch dazu befragt, ob die Überprüfungsergebnisse vor der Rückmeldemoderation mit anderen Personengruppen besprochen wurden. Haben Sie die Testergebnisse vor der Rückmeldemoderation bereits mit anderen Personen besprochen? Abb. 13: Besprechung der Ergebnisse vor der RMM mit anderen Personen Eine schulinterne Auseinandersetzung mit den Bildungsstandardergebnissen vor der Rückmeldemoderation fand in erster Linie mit Lehrkräften der getesteten Klassen statt (62 %; 86 Personen). Weitaus

31 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich 27 weniger Schulleiterinnen und Schulleiter (11 %; 15 Nennungen) besprachen die Ergebnisse vorab auch mit Lehrerinnen und Lehrern der nicht getesteten Klassen. Im Rahmen einer pädagogischen Konferenz wurden die Ergebnisse vor der Rückmeldemoderation an 32 Prozent (45 Schulen) der Schulen besprochen. An 10 Prozent der Schulstandorte (14 Standorte), an denen eine Rückmeldemoderation angefordert wurde, fand bereits vor dem Moderationsgespräch eine Ergebnisbesprechung mit den Schulpartnern (Elternvertretern) statt. Etwa 14 % der Schulen (19 Schulen) gaben an, bereits vor dem Moderationsgespräch Kontakt mit der/dem Pflichtschulinspektor/in bezüglich der Ergebnisse gehabt zu haben. 24 Prozent (34 Nennungen) der Schulleiterinnen und Schulleiter gaben an, dass es vor der Moderation gar keinen Austausch über die Ergebnisse gab Motive für die Inanspruchnahme einer Rückmeldemoderation Im Rahmen der Befragung sollte auch geklärt werden, welche Motive für die Inanspruchnahme einer Rückmeldemoderation auf Seiten der Schulleiterinnen und Schulleiter vorhanden waren. Warum haben Sie eine Rückmeldemoderation in Anspruch genommen? Abb. 14: Motive für die Inanspruchnahme einer RMM Gefragt nach den Motiven der Inanspruchnahme der Rückmeldemoderation, gaben die Schulleiterinnen und Schulleiter mit 105 Nennungen am häufigsten (76 %) an, die Rückmeldemoderation zum Abgleich mit der eigenen Interpretation angefordert zu haben. Die Bestätigung der eigenen Interpretation war somit ein wichtiges Motiv. Unterstützung beim Interpretieren der Ergebnisse zu bekommen war für 104 befragte Personen (75 %) der Grund für die Inanspruchnahme. Bei 30 Prozent stand die Hilfestellung bei der Anleitung der schulinternen Diskussion im Vordergrund, 64 Prozent (89 Nennungen) der befragten Schulleiterinnen und Schulleiter erhofften sich Unterstützung bei der Ergebnisdarstellung gegenüber den Schulpartnern. Etwas mehr als ein Drittel der Schulleiter/innen (54 Nennungen) benötigte Unterstützung beim Lesen der Grafiken, Anregungen für weitere Maßnahmen erwarteten sich 33 Prozent von der Rückmeldemoderation. Deutlich seltener, nämlich in jeweils rund 1 Prozent der Fälle, wurde die Rückmeldemoderation von der Schulaufsicht angeordnet oder auf Anfrage der Mitglieder im Lehrerkollegium in Anspruch genommen.

32 28 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich Anforderung der Rückmeldemoderation Um zu ermitteln, wie die Schulleiterinnen und Schulleiter die Anforderung einer Rückmeldemoderation beurteilen, wurden diese gebeten, sich auf einer 3-stufigen Skala (problemlos 1 mit großen Schwierigkeiten) zu positionieren. Die Anforderung der Rückmeldemoderation verlief... Abb. 15: Verlauf der Anforderung einer RMM Aus Sicht der Schulleiterinnen und Schulleiter verlief die Anforderung von Rückmeldemoderatorinnen und Rückmeldemoderatoren für 96 Prozent (133 Personen) problemlos. Fünf Personen (4 %) gaben an, mit kleinen Schwierigkeiten konfrontiert gewesen zu sein. Von einer Schulleitung wurde im Hinblick auf Schwierigkeiten rückgemeldet, dass man mehrmals beim Rückmeldemoderator anrufen musste, um einen Termin zu erhalten, da man mit einer fast namensgleichen Volksschule verwechselt worden war. Die anderen Rückmeldungen bezogen sich auf die Online-Anmeldung. Hier war man sich nach erfolgter Anmeldung über die Anmeldeplattform nicht sicher, ob man auch angemeldet sei, da man keine Bestätigung per erhielt Verfügbarkeit der Rückmeldemoderation Um zu ermitteln, wie die Schulleiterinnen und Schulleiter die Verfügbarkeit der Rückmeldemoderatorinnen und -moderatoren beurteilen, wurden diese gebeten, sich auf einer 3-stufigen Skala (zum Wunschtermin 1 nicht zum Wunschtermin) zu positionieren. Wie beurteilen Sie die Verfügbarkeit der Rückmeldemoderation? Die Terminfindung war aus Sicht der Schulleiterinnen und Schulleiter unkompliziert. Über 80 Prozent der Schulleiterinnen und Schulleiter (115 Nennungen) gaben an, dass sie die Rückmeldemoderation zum Wunschtermin erhalten haben. Die restlichen 17 % (23 Personen) erhielten zwar die Rückmeldemoderation nicht zum Wunschtermin, wurden aber trotz der Wartezeit bei der Auseinandersetzung mit dem Schulbericht nicht behindert.

33 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich Zeitumfang der Rückmeldemoderation Abb. 16: Verfügbarkeit einer RMM Im Rahmen der Befragung sollte auch geklärt werden, ob die für eine Rückmeldemoderation zur Verfügung stehende Zeit aus Sicht der Schulleiterinnen und Schulleiter ausreichend war. Um dies zu ermitteln, wurden die Befragten gebeten, sich auf einer 2-stufigen Skala (ja 1 nein) zu positionieren. War die zur Verfügung stehende Zeit für die Rückmeldemoderation ausreichend? Abb. 17: Zeitumfang einer RMM Der zeitliche Umfang der Rückmeldemoderation wird von den Schulleiterinnen und Schulleitern ganz überwiegend als ausreichend eingeschätzt. 99 Prozent (136 Nennungen) gaben an, dass die zur Verfügung stehende Zeit für die Rückmeldemoderation ausreichend war. 2 Personen (1 %) gaben an, dass sie mehr Zeit für das Gespräch benötigt hätten, als zur Verfügung stand Aspekte zum Verlauf der Rückmeldemoderation Die Schulleiterinnen und Schulleiter wurden in einem weiteren Schritt auch dazu befragt, wie sie verschiedene Aspekte des Gesprächsverlaufs einschätzen. Für die Beurteilung der einzelnen Aspekte standen vier Antwortkategorien zur Auswahl (trifft nicht zu 1 trifft eher nicht zu 1 trifft eher zu 1 trifft zu).

34 30 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich Abb. 18: Bewertung des Gesprächsverlaufs zwischen Schulleitung und RMM Die unterschiedlichen Aspekte zum Verlauf des Rückmeldegesprächs werden insgesamt durchwegs positiv beurteilt. 100 Prozent (138 Nennungen) der Schulleiterinnen und Schulleiter schätzen das Gesprächsklima als gut ein und geben an, dass die Moderatorinnen und Moderatoren wertschätzend und freundlich waren. Mit dem organisatorischen Ablauf (Kontaktaufnahme usw.) waren 94 Prozent (130 Nennungen) zufrieden. Auch mit der fachlichen Kompetenz des Rückmeldemoderators/der Rückmeldemoderatorin waren rund 90 Prozent der Teilnehmer/innen (123 Personen) zufrieden, für 10 Prozent (14 Personen) trifft dies eher zu. Auf diesem insgesamt sehr hohen Niveau an Zustimmung wurde die praktische Verwertbarkeit des Gesprächs für die Weiterarbeit in der Schule vergleichsweise am seltensten mit trifft zu (86 %, 118 Nennungen) bewertet, insgesamt beurteilen aber auch diesen Aspekt 99 Prozent (137 Personen) mit trifft zu oder trifft eher zu Inhaltliche Schwerpunkte der Rückmeldemoderation Um die inhaltlichen Schwerpunkte und den Informationsgehalt der Rückmeldemoderationen einschätzen zu können, wurden die Schulleiter/innen gebeten, bei jenen Aussagen ein Häkchen zu setzen, die aus ihrer Sicht zutreffen.

35 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich 31 Bitte geben Sie an, welche der folgenden Aussagen über die Rückmeldemoderation für Sie zutreffen. Durch die Rückmeldemoderation... Abb. 19: Inhaltliche Schwerpunkte der RMM Die Rückmeldemoderation soll eine statistisch korrekte Interpretation der rückgemeldeten Daten sicherstellen. 80 Prozent der Schulleiterinnen und Schulleiter (111 Nennungen) gaben an, dass die Rückmeldemoderation an ihrem Schulstandort die korrekte Interpretation der Ergebnisse unterstützte. Die Aussage, man habe eine hilfreiche Unterstützung für die Ergebnispräsentation im Schulforum erhalten, wurde von 81 Prozent (112 Nennungen) der Befragten gewählt. Deutlich seltener gaben die Schulleiterinnen und Schulleiter an, dass im Gespräch das Aufzeigen von Handlungsfeldern (31 %, 43 Personen) bzw. die konkrete Verwendung der Ergebnisse für Maßnahmen zur Qualitätssicherung und -entwicklung (38 %, 52 Nennungen) thematisiert worden war. Während 75 Prozent (104 Nennungen) der Befragten angaben, dass sie nun wissen, wo die Stärken und Schwächen der überprüften Klassen liegen, wurden Stärken und Schwächen der Schule nur für 54 Prozent der Schulleiterinnen und Schulleiter (75 Nennungen) ersichtlich. 34 Prozent (47 Nennungen) gaben an, im Rahmen der Rückmeldemoderation eine hilfreiche Unterstützung für weiterführende schulinterne Diskussionsprozesse erhalten zu haben. Die geringste Aufmerksamkeit kam bei den Moderationen Unterstützungsangeboten der PH OÖ (15 %, 21 Personen) bzw. Anregungen für konkrete Fortbildungsangebote für Lehrkräfte zu, den letztgenannten Aspekt gaben nur 9 Prozent (13 Nennungen) der Befragten an. Insgesamt spiegeln die Angaben der Schulleitungen eine positive Resonanz wider, was darauf schließen lässt, dass die Rückmeldemoderation ihren Kernaufgaben (Dateninterpretation) in ausreichendem Maße nachgekommen ist Konkrete Maßnahmen bzw. Schritte aufgrund der Ergebnisrückmeldung Durch die Rückmeldung von Ergebnissen aus der Standardüberprüfung soll an den Schulen ein Prozess der Qualitätssicherung und -entwicklung initiiert werden (vgl. Erläuterungen Bundes-Schulaufsichtsgesetz [Stand ]). Auf die Rezeption der Ergebnisse und die daran anschließende Reflexion sollte also die Umsetzung von Maßnahmen im Bereich der Unterrichts- und Schulentwicklung folgen (vgl. Schreiner, Breit & Wiesner, 2014). Ziel der Evaluation war es unter anderem auch, einen Eindruck zur Nutzung der Ergebnisse an den Schulstandorten zu erhalten. Im Detail fokussierten die Fragen darauf, ob an den Schulen auf Basis der rückgemeldeten Ergebnisse Maßnahmen der Qualitätsentwicklung angestoßen wurden.

36 32 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich Um zu erfassen, zu welchen konkreten Reaktionen und Maßnahmen es an den Schulen kam, wurden 18 Statements zur Auswahl gestellt, die mögliche Reaktionen auf die Rückmeldung beinhalten (Mehrfachnennungen waren möglich). Die Palette der Statements reichte von Einbindung von Testformaten in den Unterricht bis hin zur gezielten Auswahl von Fortbildungsangeboten. Welche Maßnahmen/Schritte wurden an Ihrer Schule als Reaktion auf die Ergebnisrückmeldung gesetzt? Abb. 20: Maßnahmen aufgrund der Ergebnisrückmeldung Am häufigsten wurde von den Schulleiterinnen und Schulleitern angegeben, dass bestimmte Unterrichtsinhalte verstärkt werden, was im Grunde bedeutet, dass der Fokus bewusst auf jene Kompetenzbereiche gelegt wird, in denen die Schülerinnen und Schüler schlechter abgeschnitten haben (72 %, 99 Nennungen). Die Einarbeitung der Ergebnisse in SQA wurde am zweithäufigsten genannt (44 %, 61 Nennungen). Auch die Nutzung der Informellen Kompetenzmessung (IKM) (34 %, 47 Nennungen) und die Einbindung von Testformaten in den Unterricht (33 %, 45 Nennungen) zählen zu jenen Maßnahmen, die häufig genannt wurden. Auch eine bewusste Unterstützung bestimmter Subgruppen (30 %, 42 Nennungen) und die Anpassung von Schularbeiten an die Standards (24 %, 33 Nennungen) wurden wiederholt angeführt. Veränderungsmaßnahmen beziehen sich auch auf die Wahl der Schulbücher und Unterrichtsmittel. Die Verwendung anderer Schulbücher bzw. die bewusste Wahl standardbasierter Unterrichtsmittel wurde ebenfalls mehrfach genannt (26 %, 36 Nennungen). Insgesamt 27 Schulen (20 %) leiteten aus der Rückmeldung die Fortbildung ihrer Lehrkräfte als Maßnahme der Qualitätsentwicklung ab. An manchen Schulen werden auch Maßnahmen zur Persönlichkeitsbildung gesetzt. Diese umfassen zum einen die Steigerung des Wohlbefindens an der Schule (11 %, 15 Nennungen) wie auch die Stärkung des Selbstkonzepts der Schülerinnen und Schüler (23 %, 32 Nennungen). An 4 Schulen (3 %) wurde als Reaktion auf das Rückmeldeergebnis externe Beratung seitens der Pädagogischen Hochschule angefordert und an 13 Schulen (9 %) wurden keine Maßnahmen aus dem Ergebnis abgeleitet. Teilt man die einzelnen Maßnahmen unterschiedlichen Kategorien zu, zeigt sich, dass Maßnahmen im Bereich der Planung und Gestaltung von Unterricht (209 Nennungen) überwiegen, hierzu zählen vor allem eine Verstärkung einzelner Unterrichtsinhalte sowie eine Änderung der verwendeten Unterrichtsmaterialien. Die Standardisierung im Unterricht (144 Nennungen) bezieht sich einerseits auf einen verstärkten Einsatz von standardisierten Diagnoseinstrumenten (IKM) im Unterricht, andererseits auf die Einbindung von Testformaten und die Leistungsbeurteilung. Maßnahmen, die zeitliche und personelle Ressourcen (79 Nennungen) betreffen, werden deutlich weniger gesetzt und betreffen hauptsächlich die Einarbeitung der Ergebnisse in SQA. Die wenigsten Maßnahmen wurden in den

37 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich 33 Abb. 21: Maßnahmenkategorien aufgrund der Ergebnisrückmeldung Kategorien Motivation und Wohlbefinden (47 Nennungen) und Fortbildung und externe Beratung (31 Nennungen) gesetzt Nützlichkeit der Rückmeldemoderation Ein weiteres Element der Befragung war, einen Einblick zu erhalten, wie hilfreich und nützlich die Rückmeldemoderation insgesamt von den Schulleiterinnen und Schulleitern eingeschätzt wird. Dazu mussten sich die Befragten auf einer 4-stufigen Skala (sehr hilfreich 1 eher hilfreich 1 eher nicht hilfreich 1 gar nicht hilfreich) positionieren. Insgesamt gesehen, wie hilfreich/nützlich war die Rückmeldemoderation für Sie? Abb. 22: Nützlichkeit der RMM

38 34 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich Wie aus Abbildung 22 hervorgeht, gaben 64 % der befragten Schulleiterinnen und Schulleiter (88 Nennungen) an, dass die Moderation sehr hilfreich für sie war. 34 % (47 Personen) haben die zweite Antwortkategorie eher hilfreich gewählt, 2 % der Befragten (3 Nennungen) geben an, dass die Rückmeldemoderation eher oder gar nicht hilfreich war Angebot eines zweiten Termins Die Schulleiter/innen wurden auch dazu befragt, ob sie, wenn dies angeboten worden wäre, die/den Rückmeldemoderator/in auch für einen zweiten Termin (pädagogische Konferenz mit anschließender Möglichkeit eines Vier-Augen-Gesprächs für Lehrer/innen, deren Klassen überprüft wurden) angefordert hätten. Für die Beantwortung wurden vier Antwortkategorien zur Auswahl gestellt (ja 1 eher ja 1 eher nein 1 nein). Hätten Sie, wenn dies angeboten worden wäre, die/den Rückmeldemoderator/in auch für einen zweiten Termin (pädagogische Konferenz mit anschließender Möglichkeit eines Vier-Augen-Gesprächs für Lehrer/innen, deren Klassen überprüft wurden) angefordert? Abb. 23: Angebot eines zweiten Termins Abbildung 23 zeigt, inwieweit ein zweiter Termin in Anspruch genommen worden wäre. 27 % (37 Nennungen) der Schulleitungen geben an, dass sie das Angebot eines zweiten Termins genützt hätten, 26 % (36 Personen) wählten die Antwort eher ja. Weiters geht aus der Antwortverteilung hervor, dass 20 % (28 Nennungen) eher keinen zweiten Termin gewählt hätten und dass die restlichen 27 % (37 Personen) die Rückmeldemoderation nicht für einen zweiten Termin angefordert hätten Zukünftige Inanspruchnahme einer Rückmeldemoderation Um den Umfang einer zukünftigen Inanspruchnahme von Rückmeldmoderationen im VS-Bereich einschätzen zu können, wurden die Schulleiterinnen und Schulleiter gefragt, ob sie nach der nächsten Ergebnisrückmeldung (Deutsch 4. Schulstufe) wieder eine Moderation für die Ergebnisinterpretation anfordern werden. Es wurden drei Antwortkategorien (ja 1 nein 1 kann ich noch nicht sagen) zur Auswahl vorgegeben. Auf die Frage, ob sie in Zukunft wieder eine Rückmeldemoderation anfordern werden, antworteten 65 % der befragten VS-Leiterinnen und Leiter (90 Nennungen) mit ja, 5 % (7 Personen) mit nein. 30 % der Befragten (41 Nennungen) gaben an, dass sie zu diesem Zeitpunkt noch nicht sagen können, ob sie wieder eine Rückmeldemoderation anfordern werden. Werden Sie in Zukunft wieder eine Rückmeldemoderation anfordern?

39 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich 35 Abb. 24: Zukünftige Inanspruchnahme einer RMM Auf die Frage, ob sie in Zukunft wieder eine Rückmeldemoderation anfordern werden, antworteten 65 % der befragten VS-Leiterinnen und Leiter (90 Nennungen) mit ja, 5 % (7 Personen) mit nein. 30 % der Befragten (41 Nennungen) gaben an, dass sie zu diesem Zeitpunkt noch nicht sagen können, ob sie wieder eine Rückmeldemoderation anfordern werden Zukünftige Inanspruchnahme im Hinblick auf einen zweiten Termin Um einen Überblick zu bekommen, wie groß der Bedarf für einen zweiten Moderationstermin (pädagogische Konferenz mit anschließender Möglichkeit eines Vier-Augen-Gesprächs für Lehrer/innen, deren Klassen überprüft wurden) an jenen Schulen gewesen wäre, die angeben, auch in Zukunft eine Rückmeldemoderation anfordern zu wollen, wurden die Ergebnisse beider Fragen miteinander verknüpft und getrennt nach den Antworten ja, eher ja, eher nein und nein der Fragestellung Hätten Sie, wenn dies angeboten worden wäre, die/den Rückmeldemoderator/in auch für einen zweiten Termin (pädagogische Konferenz mit anschließender Möglichkeit eines Vier-Augen-Gesprächs für Lehrer/innen, deren Klassen überprüft wurden) angefordert? ausgewertet. Abb. 25: Zukünftige Inanspruchnahme & zweiter Moderationstermin Wie in Abbildung 25 ersichtlich, war der Wunsch nach einem zweiten Termin an jenen Schulen am größten, die auch in Zukunft eine Rückmeldemoderation anfordern wollen. 86 Prozent der Schulleiterinnen und Schulleiter, die einen zweiten Termin in Anspruch genommen hätten, geben an, dass sie auch in Zukunft eine Moderation anfordern werden. Unter jenen Leiterinnen und Leitern, die auf die Frage

40 36 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich nach einem zweiten Termin mit eher ja geantwortet haben, befinden sich auch noch fast 70 Prozent, die angeben, dass sie die Rückmeldemoderation auch in Zukunft anfordern werden. Im Gegensatz dazu geben nur 43 Prozent aller Befragten, die laut eigenen Angaben keinen zweiten Termin gewollt hätten, an, die Rückmeldemoderation auch nächstes Jahr nutzen zu wollen Positive Aspekte der Ergebnisrückmeldung In einem weiteren Schritt wurden die Schulleiterinnen und Schulleiter gebeten, in einem Textfeld (offene Fragestellung) die wichtigsten positiven Aspekte im Hinblick auf die Rückmeldung der Ergebnisse aus der Standardüberprüfung zu nennen. Die gestellte Frage bezog sich nicht mehr auf die Rückmeldemoderation, sondern auf die Ergebnisrückmeldung an sich. Da ein Teil der gegebenen Antworten aber direkt die Rückmeldemoderation anspricht, besteht die Möglichkeit, dass durch die Fragenanordnung im Fragebogen Kontexteffekte aufgetreten sind, die sich auf das Antwortverhalten ausgewirkt haben. Das anschließende Kategoriensystem (Abb. 27) wurde induktiv ausgearbeitet. Das heißt, das Textmaterial wurde durchgesehen und anschließend kategorisiert. Dabei wurde vom konkreten Textmaterial abstrahiert und versucht, zusammenfassende Bedeutungseinheiten zu finden. Hierbei ist darauf hinzuweisen, dass eine besondere Schwierigkeit bei der Erstellung des Kategoriensystems in der Vieldeutigkeit der vorliegenden Kurzstatements liegt. Dies (...) entspricht aber der Tatsache, dass die soziale Realität nur in den seltensten Fällen verbal eindeutig erfasst und wiedergegeben werden kann. (Atteslander, 2003, S.144) Aussagen werden demnach nicht als isolierte Daten gewertet, sondern als Hinweise auf Zusammenhänge. Als Auswertungsbasis liegt die Interpretation zugrunde. Die von Bortz & Döring (2006, S.140) formulierten Bedingungen, dass die Kategorien exakt definiert sein müssen (Genauigkeitskriterium), sich gegenseitig ausschließen (Exklusivitätskriterium) müssen und das Merkmal erschöpfend beschreiben müssen (Exhausitivitätskriterium), wurden bei der Erstellung des Kategoriensystems berücksichtigt. Die Bedeutungseinheiten, die aus dem Auswertungsprozess hervorgingen, wurden grafisch mit dem Programm Wordle aufbereitet. Wordle ist ein frei zugängliches Werkzeug aus dem Bereich des Web 2.0. Das Tool ist in der Lage, eine Sammlung von Worten und Wortgruppen optisch ansprechend darzustellen. Dabei wird die Anzahl der Wortnennungen dadurch berücksichtigt, dass Wordle in der grafischen Ausgabe häufige Nennungen durch Vergrößerung der Schrift für das betreffende Wort darstellt. Wird beispielsweise eine Sammlung von Obstsorten erstellt und der Begriff Apfel dreimal genannt, Orange aber nur einmal, so wird dementsprechend ersterer dreimal so groß präsentiert wie letzterer (vgl. Wordle [Stand: ]). Abb. 26: Wordle : Positive Aspekte der Ergebnisrückmeldung Die grafische Darstellung (Abb. 26) der positiven Aspekte der Rückmeldung der Ergebnisse verdeutlicht, dass die Kategorien Außensicht, Bestätigung und Sicherheit wie auch die Unterstützung bei der Vorbereitung auf das Schulforum sehr positiv bewertet und am häufigsten erwähnt wurden. 30 Personen

41 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich 37 gaben an, dass der neutrale Blick von außen besonders wichtig sei und so ein/e Befragte/r vor sogenannter Betriebsblindheit schützt. Als Loslösung aus der Isolation der eigenen Schulergebnisse bezeichnete ein/e Leiter/in die neutrale Außensicht der Rückmeldemoderatorin/des Rückmeldemoderators. Die Bestätigung der eigenen Interpretation und der geleisteten Arbeit wurde von 23 Leiterinnen und Leitern positiv betrachtet, sie wurde als Bestärkung der eigenen Sichtweise und als Gewissheit, auf dem richtigen Weg zu sein gesehen. Die Verwertbarkeit der Gespräche und die damit verbundene Unterstützung bei der Präsentation im Schulforum sehen 23 Schulleiterinnen und Schulleiter als gewinnbringend an. Die durch die Rückmeldemoderation vermittelte Sicherheit im Lesen und Interpretieren von Testergebnissen und die damit gewonnene Sicherheit und Stärkung der Schulleitung für die Aufgaben im Schulforum wurde von 21 Befragten als positiver Aspekt erwähnt. 17 Personen gaben an, den Anstoß zur Qualitätsarbeit besonders zu schätzen, 16 Befragte vertraten die Meinung, dass sie Hilfestellung im Bereich der Stärken-Schwächen-Analyse erhalten haben und 7 Personen meinten, durch die Moderation Zusammenhänge besser verstehen und erkennen zu können. Ich dachte vorher, selbst genug in diversen Seminaren zum Thema Lesen der Ergebnisse gelernt zu haben. Nach der Rückmeldung durch den Moderator wurde ich aber auf Feinheiten aufmerksam, die ich vorher noch nicht so bewusst wahrgenommen hatte. Die positiven Aspekte zur Anregung und Verwertbarkeit für SQA und der Umsetzung bei der Erstellung von Entwicklungsplänen wurden von jeweils drei Schulleitungen angeführt. Insgesamt gaben 140 Leiterinnen und Leiter positive Statements ab. Abb. 27: Kategoriensystem: Positive Aspekte der Ergebnisrückmeldung Problematische Aspekte der Ergebnisrückmeldung Die Leiterinnen und Leiter wurden ebenfalls gebeten, die wichtigsten Aspekte, die sie im Hinblick auf die Rückmeldung der Bildungsstandard-Ergebnisse problematisch sehen, zu notieren. Jene Aspekte, die von den Befragten als problematisch empfunden wurden, sind dem folgenden Kategoriensystem (Abb. 29) und der grafischen Wordle-Darstellung (Abb. 28) zu entnehmen:

42 38 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich Abb. 28: Wordle : Problematische Aspekte der Ergebnisrückmeldung Wie Abbildung 28 verdeutlicht, wurde die Offenlegung der Ergebnisse im Schulforum am häufigsten (9 Personen) negativ bewertet. Es wurde mehrfach erwähnt, dass die Ergebnisse unterschiedlich ausgelegt werden können und viele der beim Schulforum anwesenden Eltern gar keine Kinder haben, die bei der Testung teilgenommen haben. Ein/e Befragte/r meinte, dass sich die Präsentation der Ergebnisse im Schulforum als Bumerang erweisen werde. Auch die durch die Rückmeldung aufkommende Konkurrenzsituation innerhalb des Lehrkörpers und das befürchtete Ranking wurden von jeweils 7 Personen als negativ angeführt. Aufgrund der Einschätzung, dass manchmal falsche Angaben zum sozioökonomischen Hintergrund gemacht werden, wurden von 5 Personen kritische Statements zum Eltern-Schüler-Fragebogen abgegeben. 5 weitere Aussagen von Schulleitungen bezogen sich auf die Kategorie Verschwiegenheit. Es wird als problematisch angesehen, dass die Ergebnisse einerseits im Schulforum offengelegt werden müssen und so öffentlich werden, andererseits die anwesenden Eltern zur Verschwiegenheit verpflichtet werden und nichts weitersagen dürfen. Die Testung selbst wurde von 3 Leiterinnen und Leitern als problematisch angesehen. Eine Schulleiterin/ein Schulleiter schrieb, dass die Testung eine Momentaufnahme ist und nicht alle Schüler/innen gleich gut mit dieser Testsituation umgehen können und manche Ergebnisse dadurch verzerrt sein können. Ebenfalls kritisch wurde die Tatsache gesehen, dass Schüler/innen mit SPF in Deutsch bei den Bildungsstandards in Mathematik mitmachen müssen, obwohl sie große Schwierigkeiten beim Erlesen haben. Auch die fehlende Veränderungsbereitschaft im Lehrkörper, das Kosten-Nutzen-Verhältnis und die Rückmeldung an Kleinschulen wurden kritisch gesehen. Eine Schulleitung bewertete auch die eigenen mangelnden Statistikkenntnisse als hinderlich bei der Interpretation von Ergebnissen. Insgesamt wurden von den Schulleiterinnen und Schulleitern zu den beiden offenen Fragestellungen 140 positive und 43 negative Aspekte notiert.

43 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich 39 Abb. 29: Kategoriensystem: Problematische Aspekte der Ergebnisrückmeldung

44 40 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich 6 Diskussion Die vorliegende Evaluationsstudie beleuchtet vorrangig den Beitrag der Rückmeldemoderation zur Rezeption und Nutzung der Ergebnisse am Schulstandort. Im Wesentlichen ging es dabei um Fragen nach dem Ablauf, dem Erfolg und den Wirkungen. Darüber hinaus wurden auch Erkenntnisse gewonnen, wie die Rückmeldeergebnisse für schulische Qualitätsarbeit genutzt werden und welche positiven und problematischen Aspekte Schulleiterinnen und Schulleiter mit der Rückmeldung der Bildungsstandards assoziieren. 6.1 Rezeption der rückgemeldeten Ergebnisse zur Standardüberprüfung Fast 100 Prozent der befragten Schulleiterinnen und Schulleiter setzten sich vor der Rückmeldemoderation individuell mit den Ergebnisberichten auseinander. Da an die 80 Prozent der Schulleiterinnen und Schulleiter angaben, sich (sehr) ausführlich mit den Ergebnissen auseinandergesetzt zu haben, lassen die vorliegenden Daten den Schluss auf eine intensive Auseinandersetzung zu. Im Vergleich zu Rezeptionsstudien aus dem deutschsprachigen Raum, in denen nicht zwingend von einer Auseinandersetzung mit den Ergebnissen berichtet wird (vgl. Maier, 2011, S. 70), zeigt diese Erhebung ein anderes Bild, was eine wichtige Basis für die weitere Nutzung der Ergebnisse für Prozesse der Schulund Unterrichtsentwicklung am Schulstandort darstellt. 6.2 Kommunikation der rückgemeldeten Ergebnisse vor der Rückmeldemoderation Die Kommunikation der Ergebnisse vor dem Moderationsgespräch war standortspezifisch unterschiedlich. An den meisten Schulstandorten (62 %) wurde bereits vor der angeforderten Rückmeldemoderation mit den Lehrkräften der getesteten Klassen über die Testergebnisse gesprochen. 32 Prozent der Schulleiterinnen und Schulleiter kommunizierten vor der Moderation im Rahmen einer pädagogischen Konferenz die Ergebnisse. Es dominierte klar die schulinterne Auseinandersetzung mit dem Schulbericht vor der Rückmeldemoderation. Eine externe Kommunikation mit den Schulpartnern und der Schulaufsicht erfolgte vor der Rückmeldmoderation nur an wenigen Standorten. Dies lässt darauf schließen, dass den Schulleitungen ein professioneller Datenabgleich vor den gesetzlich verordneten externen Kommunikationsprozessen wichtig war. Einen Rückschluss darauf, ob und wenn ja in welcher Form die Ergebnisse extern kommuniziert wurden, liefern die vorliegenden Daten nicht. 6.2 Motive für die Anforderung einer Rückmeldemoderation Die Rückmeldemoderation hat zum Ziel, die Schulleiterinnen und Schulleiter bei der Analyse und objektiven Interpretation der Ergebnisse und bei der Identifizierung von Handlungsfeldern zu unterstützen. Als maßgebliche Motive für die Inanspruchnahme der Rückmeldemoderation traten das Motiv zum Abgleich der eigenen Interpretation (76 %) und das Motiv der Unterstützung beim Interpretieren der Ergebnisse (75 %) zutage. Die beiden Hauptmotive waren in klarer Übereinstimmung mit dem Angebot, welches die Rückmeldemoderation leisten sollte. Somit war die Gefahr einer Enttäuschung durch falsche Erwartungen nicht vorhanden und die Grundlage für die adäquate Verwendung der Rückmeldemoderation gegeben. Erwähnenswert ist im Hinblick auf die Anforderungsmotive, dass 64 Prozent der Schulleitungen die Unterstützung für die Darstellung der Ergebnisse im Schulforum als Motiv angaben. Um gezielter auf diesen Beweggrund eingehen zu können, erscheint eine vertiefte Auseinandersetzung mit dieser Thematik bei der Grundausbildung und bei den Update-Schulungen der Rückmeldemoderatorinnen und -moderatoren in Zukunft sinnvoll, da die Kommunikation mit den Schulpartnern in der Ausbildung bisher eine sehr untergeordnete Rolle spielte.

45 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich Anforderung der Rückmeldemoderation Die überwiegende Mehrheit der Schulleiterinnen und Schulleiter (96 %) bewertete die Anforderung der Rückmeldemoderation als problemlos, nur an fünf Schulstandorten verlief diese mit kleinen Schwierigkeiten. Aus diesem Ergebnis kann eine Bestätigung der bisherigen Anmeldemodalitäten (Anmeldefristen, Zielgruppenansprache ) mit dem Hinweis auf kleine Verbesserungsmöglichkeiten, die im Bereich der Onlineanmeldung liegen, abgeleitet werden. Ein sofortiges Antwort-Mail auf die Anforderung der Rückmeldemoderation erscheint als Optimierungsmaßnahme sinnvoll. 6.5 Verfügbarkeit der Rückmeldemoderation Die Verfügbarkeit der Rückmeldemoderatorinnen und Rückmeldemoderatoren erschien ausreichend gegeben. Dies wird dadurch bestätigt, dass 83 Prozent der Schulleitungen angaben, die Moderation zum Wunschtermin erhalten zu haben. 17 Prozent erhielten die Moderation nicht zum Wunschtermin, die Wartezeit behinderte sie aber bei der Auseinandersetzung mit dem Schulbericht nicht. Dieses Ergebnis bestätigt die vom Zentrum für Bildungsstandards geplante und durchgeführte Organisation. Unterstützungsangebote können meist nur dann gelingen, wenn sich die Motivation der Inanspruchnahme mit den gebotenen Möglichkeiten der Unterstützungsmaßnahmen deckt und die zeitnahe Verfügbarkeit der Leistung sichergestellt ist (vgl. Friedmann, 1990, in: Rieß & Zuber, 2014, S. 43). 6.6 Verfügbare Zeit für die Moderation Nahezu alle Schulleitungen (99 %) sahen die zur Verfügung stehende Zeit als ausreichend an. Die zeitliche Konzeption der Rückmeldemoderation erhält durch diese Rückmeldung eine eindeutige Bestätigung. 6.7 Detailergebnisse zum Verlauf der Rückmeldemoderation Für das Gelingen eines Moderationsgesprächs ist es maßgeblich, den Kommunikationsregeln entsprechend ein konstruktives Gesprächsklima herzustellen sowie dem Gegenüber persönliche Wertschätzung entgegenzubringen. (Rieß & Zuber, 2014, S. 44) Die beiden Detailergebnisse zu Gesprächsklima und wertschätzender Umgang bezogen sich auf die soziale Kompetenz der Moderatorin/des Moderators und wurden jeweils mit den Höchstpunkten bewertet. Weiters wurde auch die fachliche Kompetenz der Moderatorin/des Moderators, die für das Gelingen eines Rückmeldemoderationsgesprächs ebenfalls sehr wichtig ist, abgefragt. Die befragten Schulleitungen bewerteten die fachliche Kompetenz mit 3,9 von 4 möglichen Punkten. Im selben Ausmaß waren sie mit dem organisatorischen Ablauf zufrieden. Die Verwertbarkeit des Moderationsgesprächs für die Weiterarbeit in der Schule scheint mit einer Bewertung von 3,8 ebenfalls gegeben. Diese sehr positiven Ergebnisse lassen darauf schließen, dass die im Vorfeld gesetzten Schritte (z. B. Ausbildung und Schulung der Moderatorinnen und Moderatoren) zum Gelingen einen wichtigen Beitrag geleistet haben und von hoher Qualität waren. Es ist aber auch der Schluss zulässig, dass sich die Rückmeldemoderatorinnen und -moderatoren sehr intensiv auf ihre Einsätze vorbereitet haben. 6.8 Hilfestellungen durch die Rückmeldemoderation Die Rückmeldemoderation hat als vorrangiges Ziel, die Datenlesekompetenz der Schulleiterinnen und Schulleiter zu unterstützen und so eine korrekte Interpretation der Ergebnisse zu gewährleisten. Die Kompetenzzuwächse waren, so die Aussagen der Schulleitungen, vor allem im Bereich Ergebnisinterpretation ersichtlich. Ebenso hat die Rückmeldemoderation dazu beigetragen, mögliche Stärken und Schwächen sowie Handlungsfelder zu identifizieren. Die Befragung zeigte darüber hinaus, dass die Moderation für 81 Prozent der Schulleitungen eine hilfreiche Unterstützung für die Ergebnispräsentation

46 42 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich im Schulforum darstellte. An fast 40 Prozent der Standorte diente die Moderation als Anregung, die Ergebnisse als Grundlage für Maßnahmen zur Qualitätssicherung und Qualitätsentwicklung zu verwenden. Diese Bewertungen stellen im Gesamten eine klare Bestätigung der Rückmeldemoderation im Hinblick auf die oben angeführte Zielerreichung dar. Dass nur 15 Prozent der Schulleitungen durch die Moderation wissen, welche Unterstützungsmaßnahmen (Schul- und Unterrichtsentwicklungsangebote) es seitens der Pädagogischen Hochschule OÖ gibt, sollte nicht überbewertet werden. Möglicherweise ist die Anzahl der Nennungen hier deshalb so gering, weil die Schulleitungen die Angebote schon aus anderen Quellen kennen. Das Ergebnis sollte aber als Anlass genommen werden, die Moderatorinnen und Moderatoren in Zukunft gezielter darauf hinzuweisen, entsprechende Angebote am Ende der Moderation vorzustellen. Hierfür würde sich ein bereits im Vorfeld gestalteter Folder als Informationsgrundlage gut eignen. 6.9 Gesetzte Maßnahmen aufgrund der Ergebnisrückmeldung Ein komplexes soziales System lernt dann, wenn durch die Verarbeitung von Information die Bandbreite der Handlungsmöglichkeiten erweitert wird. Für das System Schule bedeutet dies, dass die involvierten Personen relevante Informationen für zukünftiges Handeln benötigen. Des Weiteren müssen diese Informationen im System richtig interpretiert werden, um Entwicklungen in Gang setzen zu können. Dies ist in komplexen Systemen wie der Schule nicht immer der Fall. Einschränkungen ergeben sich z. B. durch die individuell unterschiedliche Wissensbasis der Mitglieder, sozial konstruierte Überzeugungen und die Machthierarchie innerhalb der Institution (vgl. Maier, 2008, S. 98). Die Frage, welche konkreten Maßnahmen aus den Daten abgeleitet werden, ist daher wohl einer der zentralsten Indikatoren, an denen der Nutzen der Rückmeldung zu messen ist (vgl. Koch, 2011 in: Rieß & Zuber, 2014, S. 44). Als Reaktion auf die Ergebnisse gaben über 70 Prozent der Schulleitungen an, bestimmte Unterrichtsinhalte verstärkt im Unterricht zu behandeln. Diese Maßnahme, die dem Bereich Unterrichtsgestaltung zugeordnet werden kann, wurde von den meisten Schulleiterinnen und Schulleitern (99 Nennungen) genannt, gefolgt von der Qualitätsentwicklungsarbeit im Sinne von SQA (61 Nennungen) und dem Einsatz von standardisierten Diagnoseinstrumenten (z. B. IKM). Ebenso zeigt sich, dass die Einbindung von Testformaten in den Unterricht, die erhöhte Aufmerksamkeit für bestimmte Subgruppen, die Anpassung von Schularbeiten und Leistungsbeurteilung an die Standards und die Neuausrichtung bei Schulbüchern und Unterrichtsmaterial verstärkt angeregt wurde. Nur an ganz wenigen Schulen (13 Nennungen) wurden keine Maßnahmen als Reaktion auf die Ergebnisrückmeldung abgeleitet. Angesichts der Datenlage stellt sich die Frage, ob die Logik des österreichischen Rahmenmodells zum Umgang mit Ergebnisrückmeldungen auch wirklich die Realität abbildet. Die genannten Umsetzungsmaßnahmen lassen jedenfalls darauf schließen, dass nicht nur die Überprüfungsergebnisse, sondern auch die Testinstrumente selbst, die eigentlich nur Mittel zum Zweck sein sollten, einen erkennbaren Einfluss auf den Unterricht ausüben. Maßnahmen wie etwa die Nutzung von Testaufgaben als Übungsmaterial, die Anpassung von Schularbeiten an die Standards, der Einsatz der Informellen Kompetenzmessung und die Auswahl von Schulbüchern, die vermehrt auch Testformate enthalten, deuten jedenfalls darauf hin, dass im österreichischen Rahmenmodell nicht alle Prozesse (z. B. Einfluss der Testinstrumente an sich) abgebildet werden. Dass dieses Phänomen kein rein österreichisches ist, zeigen verschiedene internationale Studien (vgl. Maier, 2014, S. 9). Auch Rieß & Zuber (2014, S. 45) weisen im Rahmen ihrer Rezeptionsstudie zur Ergebnisrückmeldung der Mathematikergebnisse auf der 8. Schulstufe darauf hin, dass die Ursachenattribuierungen, welche die Schulleitungen bei der Rezeption der Daten vollzogen, nur selten in direkt nachvollziehbarem Zusammenhang mit den gesetzten Entwicklungsschritten standen. Auch zeigte sich das Bild hinsichtlich der Einflussfaktoren auf die Qualitätsentwicklungsarbeit an den Schulen diffus. Die Maßnahmenableitung erwies sich als relativ unabhängig vom rückgemeldeten Ergebnis.

47 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich Nützlichkeit der Rückmeldemoderation Die Schulleiterinnen und Schulleiter erachteten die Rückmeldemoderation überwiegend als sehr/eher hilfreich und nützlich (98 %). Die Moderation wurde somit von den Schulleitungen sehr nutzbringend erlebt. Diese hohe Akzeptanz trägt möglicherweise dazu bei, dass die Bereitschaft, Maßnahmen zur Qualitätssicherung und -verbesserung zu initiieren, erhöht wird Anforderung einer weiteren Moderation im Rahmen einer pädagogischen Konferenz 47 Prozent der Schulleitungen sahen sich durch das Angebot einer Moderation ausreichend versorgt und hätten eher keine oder keine weiterführende Unterstützung in Form eines zweiten Termins angefordert. Die Mehrheit der Schulleitungen sprach sich allerdings für das Angebot eines zweiten Moderationstermins aus. 27 Prozent der Befragten beantworteten die Frage Hätten Sie, wenn dies angeboten worden wäre, den RMM auch für einen zweiten Termin angefordert? mit ja, 26 Prozent mit eher ja. Dieses Ergebnis weist sehr deutlich darauf hin, dass es für einen Teil der Schulleitungen hilfreich wäre, wenn die Rückmeldemoderatorinnen und -moderatoren nach dem Erstgespräch auch für eine pädagogische Konferenz zur Verfügung stehen würden Zukünftige Anforderung einer Moderation Eine weitere Fragestellung bezog sich auf die zukünftige Anforderung einer Rückmeldemoderation. Ein beträchtlicher Teil der Schulleitungen gab an, auch in Zukunft wieder eine Moderation anfordern zu wollen. Ein Teil der Befragten konnte sich zum Abfragezeitpunkt noch nicht festlegen und antworteten mit kann ich noch nicht sagen. Kombiniert man die Ergebnisse von Frage 13 und Frage 14, so zeigt sich, dass ein Großteil der Schulleiterinnen und Schulleiter, die wieder eine Moderation anfordern werden, auch die Möglichkeit eines zweiten Termins schätzen und in Anspruch nehmen würden. Nach Abelmann und Elmore (1999 in: Rieß & Zuber, 2014, S. 42) unterstützt eine kollektive Dateninterpretation datenbasierte Schulentwicklung, da ein kollektives Sensemaking (vgl. Coburn, 2004 in: Rieß & Zuber, 2014, S. 42) ausgelöst wird und interne Verantwortlichkeit entsteht. Die Rückmeldungen der Schulleitungen können somit als Auftrag gesehen werden, die notwendigen Ressourcen für einen zweiten Moderationstermin bereitzustellen, um eine noch intensivere Auseinandersetzung mit den Ergebnissen unter Einbindung des Kollegiums zu gewährleisten Positive Aspekte der Ergebnisrückmeldung Die Ergebnisse der Befragung nach den positiven Aspekten der Ergebnisrückmeldung zeigen ebenfalls, dass die Rückmeldemoderation eine hilfreiche Unterstützung für die Schulleitungen darstellte. Der neutrale Blick von außen sowie die Unterstützung im Hinblick auf die Ergebnispräsentation im Schulforum, die Bestätigung der eigenen Interpretation und der Zugewinn an Sicherheit bei Lesen und Interpretieren der Ergebnisrückmeldung wurden besonders oft genannt. Aber auch die Impulse für die Weiterarbeit mit den Daten innerhalb der Schule und die Stärken-Schwächen-Analyse wurden positiv konnotiert. Die sehr positive Bewertung eines neutralen Spiegelbildes von außen deutet darauf hin, dass die Befragten hohes Interesse am Abgleich mit den eigenen Interpretationsergebnissen hatten und motiviert waren, sich mit den Daten auseinanderzusetzen. Die Gespräche mit geschulten Moderatorinnen

48 44 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich und Moderatoren gaben den Schulleiterinnen und Schulleitern die Sicherheit, die Berichte richtig gelesen und interpretiert zu haben, was als wichtige Basis für die weitere Nutzung der Ergebnisse am Schulstandort gesehen werden kann. Die Datenlage lässt weiters den Schluss zu, dass der Blick auf die Ergebnisse aus unterschiedlichen Perspektiven und die damit verbundene Transferleistung im Sinne der Erhöhung der Datenkompetenz der Schulleitung als hilfreiche Unterstützung im Hinblick auf die Ergebnispräsentation im Schulforum gesehen werden kann. Diese höhere Sicherheit führt möglicherweise zu einer (selbst)bewussteren Einbindung der Schulpartner in den Datenkommunikationsprozess, welcher sich laut Rieß & Zuber (2014, S. 43) im Rahmen der M8-Rückmeldung als bedenklich erwies, da an manchen Schulen die Kommunikation bewusst vermieden wurde. Der Aspekt, dass die bisher geleistete Arbeit eine sehr gute war, kann natürlich auch dazu führen, dass die Rückmeldeergebnisse nicht in Prozesse der schulischen Qualitätssicherung und -entwicklung einfließen. Ergebnisse, die im oder über dem statistisch errechneten Erwartungsbereich einer Schule liegen, können für die Schulleitungen (sehr) akzeptabel und zufriedenstellend sein und keine weitergehende Reflexion anregen. Visscher und Coe (2003) sprechen in diesem Zusammenhang von symbolischer Datennutzung, bei der Feedback-Informationen selektiv genutzt werden, um den eigenen, bereits feststehenden Standpunkt argumentativ zu stützen. Beispielsweise könnten die Daten für die Imagepflege verwendet werden, um etwa im Rahmen eines Schulforums die Eltern davon zu überzeugen, wie gut die Schule im Vergleich zum österreichischen Schuldurchschnitt ist. Die Ergebnisse der Frage nach den positiven Aspekten weisen insgesamt gesehen deutlich darauf hin, dass eine Rückmeldemoderation zu Kompetenzzuwächsen im Umgang mit den Daten führt und auch die schulische Qualitätsarbeit anregt. Geht man davon aus, dass es ein wesentliches Ziel der Rückmeldemoderation ist, die Datenkompetenz der Schulleitungen zu unterstützen und so eine korrekte Interpretation der Ergebnisse zu gewährleisten, dann stellen die Antworten auf die Fragen nach den positiven Aspekten eine klare Legitimation für eine Weiterführung dieses Unterstützungsangebots dar (vgl. dazu auch Rieß & Zuber, 2014, S. 44) Problematische Aspekte der Ergebnisrückmeldung Problematische Aspekte der Ergebnisrückmeldung wurden von den Befragten vor allem darin gesehen, dass die Schulberichte im Schulforum offengelegt werden müssen, die Rückmeldungen Schulrankings nach sich ziehen könnten und dass im Lehrkörper Konfliktsituationen entstehen können. Ewas seltener waren die Schulleitungen der Ansicht, dass der Eltern-Schüler-Fragebogen und die von den Eltern verlangte Verschwiegenheit problematische Aspekte darstellen. Vereinzelt wurden auch Äußerungen dahingehend gemacht, dass die Testdurchführung selbst eine bürokratische Routine sei, bei der die Kosten in keinem Verhältnis zum erzielten Nutzen stehen würden und dass es Lehrkräfte gäbe, denen die Motivation zur Weiterarbeit mit den Ergebnissen fehle. Bei der Frage nach den problematischen Aspekten zeigte sich, dass die Ergebnisrückmeldung auch mit Ängsten und Bedenken besetzt ist. Vor allem schwingt in sehr vielen Antworten mit, dass es im Zuge der Ergebnisrückmeldung zu Schulrankings kommen könnte. Um diesen Ängsten entgegenzuwirken, ist ein sehr sensibler Umgang mit den Daten erforderlich. Dabei erscheint es wesentlich, dass auf Ebene der Schulleitung und der Schulaufsicht sehr sorgsam mit den rückgemeldeten Ergebnissen umgegangen und vermittelt wird, dass es um die Qualitätsentwicklung am jeweiligen Schulstandort und nicht um den Vergleich mit anderen Schulen oder Lehrkräften geht (vgl. dazu auch die Ergebnisse von Grillitsch & Amtmann, 2012, S. 21). Ob ein Bundesländerranking, das die Veröffentlichung der Länderergebnisse zwangsläufig mit sich bringt, einen positiven Beitrag zum Abbau der genannten Ängste und Bedenken leistet, muss bezweifelt werden.

49 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich 45 Insgesamt gesehen könnte es von Vorteil sein, wenn seitens des BMBF die Regelungen für den Umgang mit den Rückmeldeergebnissen noch klarer definiert werden. Der Hinweis, dass es nicht im Sinne einer seriösen Auseinandersetzung mit Schulentwicklung ist, wenn die Schulleitung oder Mitglieder der Schulpartnerschaftsgremien mit Ergebnissen an die Öffentlichkeit treten, geht in die richtige Richtung (vgl. BMUKK Umgang mit Rückmeldungen [Stand ]). Verbindlicher wäre aber beispielsweise ein Erlass, der den Schulen eine Veröffentlichung ihrer Ergebnisse untersagt. Damit könnte auch regionalen Rankings (die beispielsweise dadurch entstehen könnten, dass einzelne Schulen ihre Ergebnisse aus Werbezwecken bekannt geben) vorgebeugt werden. Ein weiterer problematischer Aspekt, der hier noch kurz diskutiert werden soll, bezog sich auf die fehlende Veränderungsbereitschaft und Motivation mancher Lehrkräfte. Aus schultheoretischer Sicht erzeugen externe Evaluationen wie sie die Überprüfungen der Bildungsstandards darstellen konfliktträchtige Spannungsfelder, die sich motivationshemmend auswirken können. Einerseits wird mit zentralen Tests der Versuch unternommen, Schuleffektivitätsforschung für Einzelschulentwicklungsprozesse anschlussfähig zu machen. Andererseits werden die Tests von der Bildungsadministration verordnet und somit von Lehrkräften auch als externes Kontrollinstrument wahrgenommen, was zu Abwehrreaktionen führen kann (vgl. Maier, 2008, S. 96). Externe Evaluationen haben im österreichischen Schulsystem keine Tradition, daher wird ihnen auch oft mit Skepsis oder sogar Ablehnung begegnet. Es ist daher eine wichtige Aufgabe für Schulleiterinnen und Schulleiter, ein Innovationsklima im Lehrkörper aufzubauen, das die Nutzung von extern erhobenen Daten fördert. Datenbasierte Schul- und Unterrichtsentwicklung muss in diesem Sinn als ein Bestandteil von Schulentwicklung gesehen werden, und dies folgt ganz speziellen Gesetzmäßigkeiten. Das Kollegium muss offen über Handlungsfelder sprechen können, die Schulleitung muss zusammen mit Steuergruppen einen Entwicklungsprozess partizipativ gestalten können, die Schule muss Ziele und Indikatoren definieren und sich kontinuierlich hinterfragen, inwiefern man die Ziele schon erreicht hat (vgl. Maier, 2014, S. 10). 7 Resümee Insgesamt betrachtet zeigen die Daten, dass das Projekt Rückmeldemoderation im Schuljahr 2013/2014 als gelungen bezeichnet werden kann. Die befragten Schulleiterinnen und Schulleiter erachteten das Angebot überwiegend als (sehr) hilfreich, um die Ergebnisse der Standardüberprüfung korrekt interpretieren und in weiterer Folge adäquate Unterrichts- und Schulentwicklungsmaßnahmen ableiten zu können. Auch der Verlauf der Moderationen wurde sehr positiv bewertet, was die Qualität der im Vorfeld gesetzten Maßnahmen (z. B. Ausbildung und Schulung der Moderatorinnen und Moderatoren) bestätigt. Verbesserungsbedarf ist im Bereich der Online-Anmeldung zu erkennen. In diesem Zusammenhang muss zukünftig darauf geachtet werden, dass nach erfolgter Anmeldung über die Anmeldeplattform sofort ein standardisiertes Antwortmail an die Schulleitung als Bestätigung versendet wird. Optimiert kann das Angebot auch dadurch werden, dass die Moderatorin/der Moderator für einen zweiten Termin im Rahmen einer pädagogischen Konferenz zur Verfügung steht. Schritte in diese Richtung sollten jedenfalls angedacht werden, da es auf Seiten der Schulleitungen einen erkennbaren Bedarf dafür gibt. Angemerkt sei aber, dass Schritte in diese Richtung zusätzliche Qualifizierungsmaßnahmen auf Seiten der Rückmeldemoderatorinnen und Rückmeldemoderatoren nach sich ziehen müssen, um ein professionelles Agieren in heiklen Rückmeldegesprächen bzw. mit schwierigen Gesprächspartnerinnen und -partnern (im Rahmen von Konferenzen) zu unterstützen. In diesem Zusammenhang muss auch die Frage geklärt werden, ob im Rahmen einer pädagogischen Konferenz nur mit fiktiven Grafiken gearbeitet werden soll oder ob reale Schulergebnisse moderiert werden sollen. Geht man in Richtung Moderation realer Schulergebnisse, dann wird die klare Trennung zwischen Rückmeldemoderation und Schulentwicklung teilweise nicht mehr möglich sein, da die Grenzen verwischt werden. Die vorgelegte Studie gibt nicht nur einen Einblick über den Beitrag der Rückmeldemoderation zur Rezeption und Nutzung der Bildungsstandardergebnisse an den Schulstandorten, die diese Unterstützung über die Pädagogische Hochschule OÖ angefordert haben. Sie zeigt darüber hinaus auch auf, welche

50 46 Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich Maßnahmen die rückgemeldeten Ergebnisse an den Schulen nach sich ziehen und welche positiven und problematischen Aspekte Schulleiterinnen und Schulleiter mit der Rückmeldung der Bildungsstandards assoziieren. Betrachtet man die Maßnahmen, die nach der Ergebnisrückmeldung an den Schulen gesetzt wurden, dann stellt sich die Frage, ob das österreichische Rahmenmodell zur schulischen Qualitätsarbeit in seiner derzeitigen Form die Realität abbildet. Basierend auf den Daten liegt die Vermutung nahe, dass die standortspezifisch gesetzten Maßnahmen sich auch an den Testinstrumenten selbst orientieren. Die hier geäußerte Vermutung ist vor allem der Tatsache geschuldet, dass die von den Schulleitungen genannten Maßnahmen nur teilweise in direkt nachvollziehbarem Zusammenhang mit den Rückmeldeergebnissen stehen können. Die vorliegenden Ergebnisse sprechen tendenziell dafür, das österreichische Rahmenmodell zur schulischen Qualitätsarbeit um den Punkt Testwirkungen zu ergänzen. Angemerkt sei an dieser Stelle, dass das hier angedeutete Phänomen nicht einfach mit der Bezeichnung teaching to the test abgetan werden kann. Einige Effekte können durchaus auch positiv gesehen werden, weil damit die eine oder andere Innovation (z. B. Aufgabenkultur, kriteriale Beurteilung von Texten) in den Unterricht transportiert wird. Abb. 30 (selbst erstellt): Auf Basis der Datenlage verändertes Rahmenmodell Die von den Schulleitungen geäußerten problematischen Aspekte weisen zudem noch auf eine weitere Ergänzungsmöglichkeit hin. Wenn an einer Schule kein Evaluations- und Kooperationsklima vorhanden ist, dann kann nicht davon ausgegangen werden, dass die Rückmeldeergebnisse automatisch in schulische Qualitätsarbeit einfließen. Damit die Daten gar nicht oder nur symbolisch genutzt werden, muss schon im Vorfeld von Rückmeldungen von den Schulleitungen ein Innovationsklima aufgebaut werden, das datenbasierte Entwicklungsprozesse unterstützt (vgl. dazu auch Maier, 2014, S. 9). Die vorliegende Studie gibt Einblicke über die Wirkung von Rückmeldemoderationen im Hinblick auf die Rezeption und Nutzung der Ergebnisse der M4-Standardüberprüfung am Schulstandort und legt damit eine fundierte Entscheidungsbasis für die zukünftige Gestaltung dieses Unterstützungsangebots. Die Ergebnisse dieser Studie werfen aber auch Fragen auf, die nicht beantwortet werden können.