REPORT. 7/2011 Bildungsstandards in Österreich Die Ergebnisrückmeldung im ersten Praxistest

Transkript

1 REPORT 7/2011 Bildungsstandards in Österreich Die Ergebnisrückmeldung im ersten Praxistest Das Rückmeldedesign zur Baseline-Testung (8. Schulstufe) aus Sicht der Adressaten Elisabeth Amtmann Maria Grillitsch Angelika Petrovic Graz I Zentrum für Bildungsforschung & Evaluation Hans-Sachs-Gasse 3/II / 8010 Graz Tel.: / Fax DW -6 office.graz@bifiie.at /

2

3 BIFIE-Report 7/2011 Bildungsstandards in Österreich Die Ergebnisrückmeldung im ersten Praxistest Das Rückmeldedesign zur Baseline-Testung (8. Schulstufe) aus Sicht der Adressaten Elisabeth Amtmann Maria Grillitsch Angelika Petrovic Leykam

4 Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens Alpenstraße 121 / 5020 Salzburg BIFIE-Report 7/2011 Bildungsstandards in Österreich Die Ergebnisrückmeldung im ersten Praxistest. Das Rückmeldedesign zur Baseline-Testung (8. Schulstufe) aus Sicht der Adressaten. Elisabeth Amtmann, Maria Grillitsch, Angelika Petrovic Graz: Leykam, 2011 ISBN: Einbandgestaltung: Die Fliegenden Fische & Andreas Kamenik, BIFIE I Zentrales Management & Services Layout und Satz: BIFIE I Zentrales Management & Services Koordination: Christian Wiesner, BIFIE I Zentrales Management & Services Druck: DMS Data+Mail Schinnerl, Graz Leykam Buchverlagsgesellschaft m. b. H. Nfg. & Co. KG, Graz Kein Teil des Werks darf in irgendeiner Form (durch Fotografie, Mikrofilm oder ein anderes Verfahren) ohne schriftliche Genehmigung des Verlags reproduziert oder unter Verwendung elektronischer Systeme verarbeitet, vervielfältigt oder verbreitet werden.

5 Vorwort Die Entwicklung und Implementation von Bildungsstandards markieren in Österreich einen Kulturbruch in der Schule. Im Unterricht wird zunehmend nicht mehr das Lernen von Schularbeit zu Schularbeit im Mittelpunkt stehen, sondern die Frage, was Schülerinnen und Schüler am Ende bestimmter Bildungsstufen an Fachkompetenzen nachhaltig erworben haben. Die Systemsteuerung wird sich in ihren bildungspolitischen Entscheidungen in Zukunft zunehmend auf konkrete Informationen darüber stützen können, was und wie viel Schülerinnen und Schüler am Ende ihrer Schullaufbahnen gelernt haben und ob sich die Lernstände in den vergangenen Jahren eher verbessert oder verschlechtert haben. Schulen und Lehrkräfte werden sich im Zuge der Selbstevaluation auf Daten über die Kompetenzentwicklung ihrer Schüler/innen stützen können. Dies ist es, was wir seit einigen Jahren mit dem Begriff der outputorientierten Steuerung bezeichnen. Welche Früchte dieses neue Steuerungsmodell in einigen Jahren erbringen wird, ist abhängig von den Antworten auf zwei eng miteinander verknüpfte Fragestellungen: Werden Lehrerinnen und Lehrer lernen, mit den Bildungsstandards selbst und mit den Ergebnissen und Daten der entsprechenden Testungen konstruktiv umzugehen und sie zu Richtschnüren ihres Unterrichtshandelns zu machen? Werden die Bildungsstandards selbst und die Ergebnisse ihrer Überprüfung so gestaltet sein, dass sie von den Praktikerinnen und Praktikern in ihrer Intention und in ihrem konkreten Wert für Schule und Unterricht verstanden werden? Die letztere Frage bedeutet, dass sehr viel davon abhängt, ob die Bildungsstandards und die sie begleitenden Implementierungsmaßnahmen in einer Weise auf die Praxis treffen, die den Lehrkräften und Schulleiterinnen bzw. -leitern hilft, in den neuen Instrumenten wirksame Tools für eine effektive Schul- und Unterrichtsentwicklung zu erkennen. In der vorliegenden Studie geht es um einen spezifischen Aspekt dieser Frage, dem in der Literatur über datengestützte Entwicklungsprozesse ein hoher Stellenwert zuerkannt wird. Im Anschluss an einen Probelauf ( Baseline-Testung ) zur Überprüfung der Bildungsstandards auf der 8. Stufe in den Fächern Deutsch, Englisch und Mathematik, wurden die Ergebnisse dieser Messungen an Schüler/ innen, Lehrkräfte, Leitungspersonen und Angehörige der Schulaufsicht rückgemeldet. Diese Rückmeldungen waren ein Versuch, die Praktiker/innen unterschiedlicher Ebenen mit den sie betreffenden Ergebnissen zu konfrontieren und somit zu einer sachangemessenen Selbstevaluation beizutragen. Dass ein solcher Versuch nicht trivial ist, weiß jeder, der es einmal unternommen hat, Laien auch nur einfache statistische Zusammenhänge zu erklären. Am BIFIE in Salzburg, wo das Design der Rückmeldungen erstellt wurde, ist zuvor mehrere Wochen intensiv an einer optimalen Darstellung von Individual-, Schul- und Klassenergebnissen sowie entsprechenden Referenzwerten gearbeitet worden, die zu einem guten Verständnis der verschiedenen Ergebnisprofile führen sollten. Die vorliegende Studie geht nun auf den verschiedenen Ebenen (Schüler/innen, Lehrkräfte, Schulleiter/innen, Angehörige der Schulaufsicht) drei einfachen Fragen nach: Werden die rückgemeldeten Ergebnisse meist in grafischer Form von den Adressaten verstanden? Halten die Betroffenen diese Ergebnisse für pädagogisch relevant? Welche Schlussfolgerungen werden in der Praxis aus den Rückmeldungen gezogen? Taugen sie als Initialzündungen für Prozesse der Schul- und Unterrichtsentwicklung?

6 Ziel dieser Evaluation des Rückmeldeprozesses ist es, die Ergebnisse zu nutzen, um die Rückmeldedesigns im Hinblick auf die ab 2012 jährlich stattfindenden, regulären Standardüberprüfungen zu verbessern und zu optimieren. Erste Präsentationen der vorliegenden Ergebnisse haben außerdem bereits zu einer Optimierung der Rückmeldungen im Zusammenhang mit der Baseline-Testung der 4. Schulstufe geführt. Im Teil A der Untersuchung stellt Elisabeth Amtmann in einigem Detail das Design der Rückmeldungen an die verschiedenen Adressatengruppen dar, um somit für die folgenden Evaluationsuntersuchungen eine Verständnisbasis zu schaffen. Im Teil B präsentiert Maria Grillitsch die Ergebnisse einer groß angelegten Befragung von Leitungspersonen und Lehrkräften von 204 Schulen, die an der Baseline-Testung teilgenommen hatten Lehrkräfte und 182 Schulleiter/innen beteiligten sich an der Befragung über Verständnis und Wert der Rückmeldungen an die Schulen. Im Teil C werden von Maria Grillitsch die Ergebnisse einer Online-Befragung von Schülerinnen und Schülern präsentiert, die im Anschluss an die personenbezogene Rückmeldung der Testergebnisse einige Fragen über den Wert der Rückmeldungen an die am unmittelbarsten Betroffenen beantworteten. Im Teil D stellen Elisabeth Amtmann und Angelika Petrovic die Ergebnisse einer Interviewstudie dar, die auf dreißig leitfadengestützten Interviews mit Angehörigen der Schulaufsicht beruhen. Die Beamtinnen und Beamten der Schulaufsicht hatten ebenfalls eine Rückmeldung über die Ergebnisse der Schulen ihres Aufsichtsbezirks erhalten. Der Teil E beschließt die Studie mit einem Resümee, in dem die verschiedenen Teile der Untersuchung noch einmal gesamthaft und aufeinander bezogen dargestellt werden. Mit dieser Studie setzt das BIFIE Graz (Bildungsforschung und Evaluation) eine Tradition fort, die es vor bereits sieben Jahren mit den ersten Pilotversuchen zur Implementation der Bildungsstandards begründet hatte: Alle Implementationsschritte werden seitdem sorgfältig daraufhin überprüft, ob und inwieweit sie von denjenigen, die letztlich jede Schulreform in die Wirklichkeit bringen müssen, also den Lehrerinnen und Lehrern, angenommen, akzeptiert und umgesetzt werden. Die vorliegende Studie setzt dabei einige eher hoffnungsvolle Akzente: Es scheint, als ob es gelungen sei, eine Form der Ergebnisrückmeldung zu kreieren, die von den meisten verstanden und auch als interessant befunden wird. Über die tatsächliche Praxisrelevanz solcher Rückmeldungen und über die konkreten Auswirkungen auf Schule und Unterricht gehen die Wahrnehmungen der Befragten zwar noch relativ weit auseinander. Die Hoffnung scheint aber nicht unbegründet, dass der Wert einer faktenbasierten Steuerung in Praxis und Politik mit der wiederholten Konfrontation mit diesen Instrumenten zunehmend an Akzeptanz und Zustimmung gewinnen könnte. Graz, im Februar 2011 Werner Specht

7 Inhalt BIFIE-Report 7/2011 Das Rückmeldedesign zur Baseline-Testung (8. Schulstufe) aus Sicht der Adressaten 7 A Einleitung 7 1 Ausgangslage 8 2 Ergebnisrückmeldung Gesetzliche Grundlagen und Bedeutung Konzept der Rückmeldung Aufbereitung der Ergebnisse Rückmeldung an Schüler/innen Struktur und Aufbau der Schülerrückmeldung Testergebnisse im Überblick Testergebnisse in Deutsch, Englisch bzw. Mathematik Rückmeldung an Lehrer/innen Struktur und Aufbau der Lehrerrückmeldung Ergebnis der Gruppe/Klasse im Überblick Ergebnis der Gruppe/Klasse im fairen Vergleich Ergebnis der Gruppe/Klasse im absoluten Vergleich Ergebnis nach Kompetenzbereichen Ergebnis Deutsch Ergebnis Englisch Rückmeldung an Schulleiter/innen Teil 1 Ergebnisse der Schule nach Fächern im Überblick Teil 1 Ergebnisse der Schule im fairen Vergleich Teil 1 Ergebnisse der Schule nach Geschlecht bzw. nach Migrationshintergrund Teil 1 die besten Leistungen der Schule Teil 2 Deutsch: Ergebnis der Gruppen/Klassen im Überblick bzw. nach Kompetenzbereichen Teil 2 Deutsch: Ergebnis der Gruppen/Klassen aus Schreiben/ Argumentieren bzw. aus Schreiben/Erzählen Teil 3 Englisch: Ergebnis der Gruppen/Klassen im Überblick bzw. nach Kompetenzbereichen Teil 3 Englisch: Ergebnis der Gruppen/Klassen Englisch Listening bzw. Englisch Reading Teil 3 Englisch: Ergebnis der Gruppen/Klassen Englisch Writing Teil 4 Mathematik: Ergebnis der Gruppen/Klassen im Überblick, nach Inhaltsbereichen bzw. nach Handlungsbereichen Rückmeldung an die Schulaufsicht 39 3 Evaluation der Ergebnisrückmeldung Evaluationskonzept Ergebnisdarstellung

8 41 B Befragung von Lehrkräften und Schulleiterinnen und Schulleitern 41 1 Die Stichprobe 44 2 Ergebnisse Lehrerbefragung Informiertheit über die Ergebnisrückmeldung Zugang zur Rückmeldung und Abrufen der Ergebnisse Intensität der Auseinandersetzung mit der Rückmeldung Beurteilung der Ergebnisrückmeldung Informationsgehalt, Verständlichkeit, Übersichtlichkeit und praktische Verwertbarkeit der Rückmeldung insgesamt Bewertung einzelner Teilbereiche der Rückmeldung Bedeutung der Rückmeldung für den eigenen Unterricht und für die schulische Praxis insgesamt Zwischenbilanz Verbesserungsmöglichkeiten Unterstützungsbedarf bei der Interpretation der Ergebnisse und der Ableitung von Qualitätsentwicklungsmaßnahmen Reaktionen auf die Ergebnisrückmeldung Besprechung von Ergebnissen mit anderen Personen Vergleich der Ergebnisse mit den persönlichen Erwartungen der Lehrkraft Bedeutung der Ergebnisrückmeldung für die Motivation Ergebnisrückmeldung als Ausgangspunkt für Veränderungen? Standpunkt der Lehrkräfte zur Rückmeldung der Ergebnisse an die Schulleitung und die Schulaufsicht Zwischenbilanz Ergebnisse Schulleiterbefragung Informiertheit über die Ergebnisrückmeldung Weitergabe der Zugangscodes an die Lehrkräfte Intensität der Auseinandersetzung mit der Rückmeldung Beurteilung der Ergebnisrückmeldung Informationsgehalt, Verständlichkeit, Übersichtlichkeit und praktische Verwertbarkeit der Rückmeldung insgesamt Bewertung einzelner Teilbereiche der Rückmeldung Bedeutung der Rückmeldung für die schulische Praxis Zwischenbilanz Verbesserungsmöglichkeiten Unterstützungsbedarf bei der Interpretation der Ergebnisse und der Ableitung von Qualitätsentwicklungsmaßnahmen Reaktionen auf die Ergebnisrückmeldung Besprechung von Ergebnissen mit anderen Personen Vergleich des Ergebnisses mit den persönlichen Erwartungen des Schulleiters/der Schulleiterin Bedeutung der Ergebnisrückmeldung für die Motivation Veränderungen im schulischen Alltag Standpunkt der Schulleitung zur Rückmeldung der Ergebnisse an die Schulaufsicht Zwischenbilanz 141 C Befragung von Schülerinnen und Schülern Ablauf der Befragung und Stichprobe Ergebnisse

9 Verständlichkeit und Nützlichkeit der Rückmeldung Die Rückmeldung als Ausgangspunkt für die Identifikation eigener Stärken und Schwächen? Vergleich der Ergebnisse mit den persönlichen Erwartungen der Schüler/innen Reaktion auf die Rückmeldung Zwischenbilanz 148 D Befragung von Vertreterinnen und Vertretern der Schulaufsicht Stichprobe Erhebung Ergebnisse Bildungsstandards allgemein Erwartungen der Schulaufsicht Implementationsprozess der Bildungsstandards Ergebnisrückmeldung der Baseline-Testung Informationsangebot Grafische und inhaltliche Darstellung der Ergebnisse Umgang mit den Ergebnissen seitens der Schulaufsicht Umgang mit den Ergebnissen seitens der Schulen Qualitätsentwicklung auf Basis der Ergebnisrückmeldung Veröffentlichung der Ergebnisse Anmerkungen zur Baseline-Testung selbst Zeitpunkt der Testung und der Rückmeldung Probleme bei der Testung Ausblick auf die Standardüberprüfungen ab Geplanter Umgang mit den Ergebnissen Personalressourcen Rolle der Schulaufsicht Begleitmaßnahmen Informelle Kompetenzmessung Rückmeldemoderation 173 E Resümee Zentrale Befunde der Befragung von Lehrkräften und Schulleiterinnen und Schulleitern Zentrale Befunde der Befragung von Schülerinnen und Schülern Zentrale Befunde der Befragung von Vertreterinnen und Vertretern der Schulaufsicht Schlussfolgerungen 193 F ANHANG Ergebnis der Hauptkomponentenanalyse Informiertheit Lehrer/innen Ergebnis der Hauptkomponentenanalyse Informiertheit Schulleiter/innen Evaluationsfragebogen 199 G Literatur

10

11 BIFIE-Report 7/ A Einleitung Elisabeth Amtmann 1 Ausgangslage Das Bildungssystem Österreichs erfährt im Moment durch die Einführung der Bildungsstandards einen bemerkenswerten Reformprozess. Bemerkenswert deshalb, da durch diese Maßnahmen erstmalig der Fokus stärker auf den Output unseres Bildungssystems, also auf die im System erworbenen Kompetenzen und die daraus resultierenden Leistungen, gelegt wird. Der Output wird in diesem Fall als Effekt des systeminternen Lehr-Lern-Prozesses interpretiert und soll als Ausgangspunkt für die Ableitung von Maßnahmen der Qualitätssicherung und -entwicklung von Schule und Unterricht dienen (vgl. Kuper & Schneewind, 2008, S. 2). Zu diesem Zweck ist es notwendig, Zielerwartungen hinsichtlich der aus dem Unterrichtsgeschehen in der Regel resultierenden Kompetenzen und Leistungen zu formulieren. Diese Aufgabe erfüllen die Bildungsstandards, die als Kompetenzund Leistungserwartungen für die 4. und 8. Schulstufe in den Gegenständen bzw. Domänen Deutsch, Lebende Fremdsprache Englisch und Mathematik formuliert sind und mit der Änderung des Schulunterrichtsgesetzes (BGBl. Nr. 117/2008) und der Verordnung «Bildungsstandards im Schulwesen» (BGBl. II Nr. 1/2009) auch gesetzlich verankert wurden. Überprüft wird der Grad der Zielerreichung durch Standardüberprüfungen, die ab 2012 jährlich durchgeführt werden, wobei jeweils ausschließlich eine Domäne im Mittelpunkt des Interesses steht. Aufgrund dieses domänenorientierten Überprüfungsdesigns ergibt sich ein Zyklus von drei Jahren, in dem die Unterrichtsfächer Mathematik, Englisch und Deutsch alternierend getestet werden. Durch den dadurch möglichen, kontinuierlichen Soll-Ist-Vergleich des Kompetenzstandes soll neben der Voraussetzung für eine kontinuierliche Qualitätsentwicklung von Unterricht und Schule auch eine Grundlage für die individuelle Förderung der Schüler/innen geschaffen werden (vgl. BGBl. II Nr. 1/2009). outputorientierte Steuerung Bildungsstandards und ihre Funktion Zielsetzungen der Standardüberprüfungen Im Grundschulbereich kommt es im Laufe des Dreijahreszyklus zu einem testfreien Jahr, da die Domäne Englisch auf dieser Stufe nicht Gegenstand einer Überprüfung ist (Tabelle 1). Schulstufe 8. Schulstufe (HS/NMS/AHS-Unterstufe) 4. Schulstufe (VS) 1. Zyklus 2. Zyklus Frühjahr 2012 Frühjahr 2013 Frühjahr 2014 Frühjahr 2015 Frühjahr 2016 Frühjahr 2017 Mathematik Englisch Deutsch Mathematik Englisch Deutsch Mathematik Deutsch Mathematik Deutsch Tabelle 1: Überprüfungszyklen Bildungsstandards Im Rahmen von sog. Baseline-Testungen auf der 8. Schulstufe (Frühjahr 2009) und auf der 4. Schulstufe (Frühjahr 2010) galt es, einerseits den Ist-Stand vorhandener Kompetenzen als Referenz für die Standardüberprüfungen ab 2012 zu erheben und gleichzeitig auch Rückmeldung über die Qualität der Abwicklung der Überprüfungen von der Testung vor Ort bis zur Ergebnisrückmeldung zu erhalten. Die Ergebnisse dieser Testungen wurden und werden am BIFIE Salzburg mit wissenschaftlichen Methoden analysiert und ausgewertet. Anhand dieser Befunde soll Zielsetzungen der Baseline-Testung Aufbereitung der Ergebnisse

12 8 BIFIE-Report 7/2011 es gelingen, eine solide Diagnose über die Stärken und Schwächen von Unterricht und Schule zu erstellen, die in weiterer Folge als Ausgangspunkt für Schul- und Unterrichtsentwicklung dienen soll. Rückmeldung an das System Als wohl eine der wesentlichen Voraussetzungen für das In-Gang-Setzen dieses intendierten Entwicklungsprozesses kann in diesem Zusammenhang die Rückmeldung der Ergebnisse an das System (Lehrer/innen, Schulleiter/innen, Schulaufsicht) gesehen werden. Um die Ergebnisrückmeldung nicht nur als Reflexionsanlass zu sehen und damit mehr oder weniger auf halber Strecke stehen zu bleiben, sondern auch in weiterer Folge eine Veränderung im Unterrichtshandeln der Lehrpersonen in Richtung kompetenzorientierter Unterricht zu bewirken und damit auch Schulentwicklungsprozesse in Gang zu setzen, bedarf es einer verständlichen, für die jeweilige Adressatengruppe maßgeschneiderten Rückmeldung. 2 Ergebnisrückmeldung 2.1 Gesetzliche Grundlagen und Bedeutung Ergebnisrückmeldung als gesetzliche Verpflichtung Der großen Bedeutung einer adäquaten Ergebnisrückmeldung für einen gelingenden Entwicklungsprozess wird auch vom österreichischen Gesetzgeber Rechnung getragen, indem er nicht nur die Bildungsstandards selbst gesetzlich verankert hat, sondern im Zuge dessen auch dezidiert auf die Rückmeldung Bezug nimmt. So findet sich im Schulunterrichtsgesetz (BGBl. Nr. 117/2008), das zu diesem Zweck am 8. August 2008 im 17 um den Absatz 1a erweitert wurde, folgender Passus:, dass die Ergebnisse von Standardüberprüfungen so auszuwerten und rückzumelden sind, dass sie für die langfristige systematische Qualitätsentwicklung in den Schulen nutzbringend verwertet werden können. Gemeint sind damit vor allem fachliche, fachdidaktische und pädagogisch-psychologische Impulse für die Unterrichts- und Schulentwicklung. Rückmeldung als Ausgangspunkt für Qualitätsentwicklung von der Rückmeldung zur Innovation In ähnlicher Weise wird auch in der Verordnung Bildungsstandards im Schulwesen (BGBl. II Nr. 1/2009) auf die Ergebnisrückmeldung hingewiesen. So wird in 3 Abs. 4 definitiv festgelegt, dass die Schulen über die Ergebnisse informiert werden müssen. Des Weiteren heißt es: Die Auswertungen der Standardüberprüfung und deren Rückmeldungen haben so zu erfolgen, dass sie für Zwecke der Qualitätsentwicklung an den Schulen herangezogen werden können. Maßnahmen der Qualitätsentwicklung sind zu dokumentieren und periodisch zu evaluieren (Evaluationsfunktion gemäß Abs. 1 Z 3). In weiterer Folge wird nochmals differenziert dargelegt, dass Qualitätsentwicklungsmaßnahmen sowohl bundesweit und landesweit als auch schulbezogen intendiert sind (vgl. 4 Abs. 4). Damit soll gewährleistet werden, dass die Ergebnisse nicht nur von einer Ebene als Feedback und Impuls für Weiterentwicklung genützt werden können, sondern diese eine möglichst breite Wirksamkeit im Mehrebenensystem Schule entfalten können (vgl. Altrichter, 2010, S. 224). Für die Einschätzung eines Rückmeldeformates auf dessen Praxistauglichkeit hin stellen sowohl die wahrgenommene Nützlichkeit durch die Beteiligten aller Ebenen als auch die idealer Weise daraus resultierende, tatsächliche Nutzung der Ergebnisse wesentliche Ansatzpunkte dar. Dass diese beiden Aspekte nicht zwangsläufig nahtlos ineinander übergreifen, liegt an einer Vielzahl unterschiedlicher Bedingungen. Helmke & Hosenfeld (2005) identifizieren in ihrem Zyklenmodell von der Rückmeldung zur Innovation vier Schritte, die in diesem Prozess aufeinander folgen sollen. Rezeption, Reflexion, Aktion und Evaluation reihen sich im Idealfall

13 BIFIE-Report 7/ aneinander, wobei jeder dieser Ablaufschritte sowohl von externen Bedingungen (Unterstützung durch die Schulaufsicht, das Fort- und Weiterbildungsangebot, ), schulischen Bedingungen (Ausstattung, Klima, ) als auch von individuellen Bedingungen auf Ebene der Lehrperson (Motivation, professionelles Selbstverständnis, Veränderungsbereitschaft, ) beeinflusst werden. Schneewind (vgl. 2007, S. 372 ff.) erweitert dieses Modell dahingehend, dass sie die Gestaltung der Rückmeldung als wichtigen Einflussfaktor für die tatsächliche Nutzung der Ergebnisse identifiziert. Gelingt es, die Daten in einer nutzerfreundlichen, verständlichen Form den Beteiligten zur Verfügung zu stellen und somit eine tragfähige Brücke zwischen Spezialisten des Messens und Experten der Praxis (Specht, 2007, S. 14; vgl. Kuper & Schneewind, 2008, S. 9f.) zu schlagen, so wird eine wichtige Grundlage für eine positive Rezeption der Ergebnisse geschaffen, der die weiteren Schritte in Richtung Innovation also Reflexion, Aktion und Evaluation folgen können. Somit kann eine adäquate Rückmeldung die Chancen auf die Überleitung von Ergebnissen aus Schulleistungstests in Maßnahmen der Schul- und Unterrichtsentwicklung erhöhen, jedoch nicht gewährleisten, denn wie zahlreiche Befunde zeigen (vgl. Specht, 2006, S. 33, Visscher & Coe, 2003, S. 344, van Ackeren, 2007, S. 207 zit. n. Altrichter, 2010, S. 237), erweist sich gerade diese Schnittstelle als sehr brüchig. Oberstes, intendiertes Ziel des BIFIE ist es somit, mit der Ergebnisrückmeldung optimale Voraussetzungen für einen gelingenden Transfer von Testergebnissen in adäquates Unterrichtshandeln und in einen produktiven Schulentwicklungsprozess zu schaffen. Im Folgenden werden Konzept und Aufbau der Rückmeldung der Baseline-Testung der 8. Schulstufe an die einzelnen Ebenen im Detail dargestellt, um jene Leser/innen, die von dieser Überprüfung selbst nicht betroffen waren, mit den unterschiedlichen Ergebnisdarstellungen vertraut zu machen. Gestaltung als wichtige Gelingensbedingung Zielsetzung der Ergebnisrückmeldung 2.2 Konzept der Rückmeldung Um die Akteurinnen und Akteure aller Ebenen (Schüler/innen, Schule, Schulaufsicht) bedarfsgerecht und adäquat über den zum Zeitpunkt der Erhebung bestehenden Kompetenzstand der Schüler/innen informieren zu können, wurde versucht, folgenden Grundsätzen in der Gestaltung der Ergebnisrückmeldung Folge zu leisten (vgl. BIFIE 2010, S. 37 ff.): Gestaltungsgrundsätze zielgruppengerechte Aufbereitung Bedeutsamkeit der Information inhaltliche Korrektheit der Darstellung Verständlichkeit in der grafischen und textlichen Umsetzung einfacher Zugang und Verfügbarkeit für die einzelnen Zielgruppen Gewährleistung der Anonymität der einzelnen Schülerin/des einzelnen Schülers Die Rückmeldung der Ergebnisse zur Baseline-Testung der 8. Schulstufe, an der insgesamt 204 Schulen mit Schülerinnen und Schülern teilgenommen haben, erfolgte auf drei Ebenen auf der Ebene der getesteten Schüler/innen selbst, jener der Schule (Lehrpersonen und Schulleitung) sowie auf jener der Schulaufsicht (Landes- bzw. Bezirksschulinspektorinnen und -inspektoren) 1. Adressaten der Rückmeldung 1 Im Rahmen der Rückmeldungen für die Standardüberprüfungen ab 2012 ist auf Ebene der Schulaufsicht auch eine Berichterstattung an die Landes- und Stadtschulratspräsidentinnen bzw. -präsidenten sowie das BMUKK als Auftraggeber geplant.

14 10 BIFIE-Report 7/2011 Anonymität der Schüler/innen Form der Rückmeldung Die Ergebnisse wurden für die jeweilige Zielgruppe in unterschiedlicher Form aufbereitet und dieser zur Verfügung gestellt (Abbildung 1). Großes Augenmerk wurde in der Konzeption der Rückmeldung auf die Wahrung der Anonymität der einzelnen Schüler/innen gelegt, die ja auch vom Gesetzgeber im Rahmen der Verordnung Bildungsstandards im Schulwesen (vgl. BGBl. II, Nr. 1/2009, 4 Abs. 4) zugesichert wird. Dies wurde erreicht, indem die individuelle Ergebnisrückmeldung einzig und allein von der Schülerin/dem Schüler selbst online über einen individuellen Code zugänglich war. Ende 2009 wurde zudem entschieden, neben den Schülerinnen bzw. Schülern, den Lehrpersonen und Schulleiterinnen bzw. -leitern auch der Schulaufsicht Rückmeldung über die Ergebnisse der Schulen ihres Aufsichtsbereiches zu geben. Diese Rückmeldung erfolgte in Form des ersten Teils des Schulberichts, der die aggregierten Schulergebnisse, jedoch keine Klassen- bzw. Gruppenresultate enthielt (Abbildung 1). Art Zielgruppe Inhalt Online- Rückmeldung gedruckte Berichte Schüler/innen Lehrer/innen Schulleiter/innen Schulaufsicht individuelle Ergebnisse + diverse Vergleiche Klassen- bzw. Gruppenergebnisse + div. Vergleiche Schulbericht Teil 1: aggregierte Ergebnisse auf Schulebene + div. Vergleiche Schulbericht Teil 2 4: Ergebnisse der Klassen/Gruppen Teil 1 der Schulberichte des jeweiligen Zuständigkeitsbereichs Abbildung 1: Art der Ergebnisrückmeldung nach Adressatengruppen 2.3 Aufbereitung der Ergebnisse statistische Analyse der Schülerdaten überdurchschnittliche Leistung Mittelwert unterdurchschnittliche Leistung sd sd aller Schüler/innen 2 3 aller Schüler/innen 1 6 aller Schüler/innen Abbildung 2: Skalierung der Daten nach dem Rasch-Modell Um die einzelnen Schülerleistungen vergleichbar zu machen, mussten die Daten unter Berücksichtigung des Schwierigkeitsgrades der jeweiligen Aufgabenstellungen sowie etwaiger eindeutiger Tendenzen in der Beurteilung der offenen Testformate (Strenge bzw. Milde der Rater/innen) skaliert werden. Für die Aufbereitung der Daten wurde auf das Rasch-Modell, das auch der PISA-Metrik zugrunde liegt, zurückgegriffen. Der Mittelwert dieser Skala liegt bei 500 Punkten und die Standardabweichung bei 100 Punkten. Wie auch die nebenstehende Abbildung (Abbildung 2) zeigt, liegt somit der österreichische Durchschnitt bei der Baseline-Testung exakt bei 500 Punkten und zwei Drittel aller Schülerleistungen liegen zwischen 400 und 600 Punkten, je ein Sechstel erzielt bessere bzw. schlechtere Leistungen. Diese Vorgangsweise erlaubt auch eine

15 BIFIE-Report 7/ Vergleichbarkeit in Prozenträngen, 400 Punkte entsprechen dem Prozentrang 16, 600 Punkte dem Prozentrang 84. Weitere Details die Rückmeldung bzw. Datenanalyse betreffend finden sich im technischen Bericht zur Baseline-Testung der 8. Schulstufe (veröffentlicht auf der BIFIE Homepage 2 ) bzw. in der Informationsbroschüre für Lehrer/innen und Schulleiter/ innen Bildungsstandards in Österreich. Überprüfung und Rückmeldung (sowohl als Printversion als auch online auf der BIFIE Homepage veröffentlicht 3 ). Im Folgenden wird die Ergebnis rückmeldung an die einzelnen Akteur innen und Akteure im Zuge der Baseline-Testung der 8. Schulstufe im Detail dargestellt. Zu diesem Zweck wird nach einem Hinweis zur allgemeinen Struktur der jeweiligen Rückmeldung die Art der Ergebnisaufbereitung einerseits verbal erläutert und andererseits werden diese Ausführungen mit Beispielgrafiken illustriert, um den Leserinnen und Lesern einen möglichst realitätsnahen Eindruck der Ergebnisrückmeldung zu erlauben. Um die Anzahl der Grafiken jedoch überschaubar zu halten, wird in weiterer Folge jeweils die grafische Darstellung eines Unterrichtsfaches (Deutsch, Mathematik oder Englisch) exemplarisch herausgegriffen und etwaige Unterschiede zu den anderen Fächern werden verbal erläutert. Spezielle, nur in der Rückmeldung einzelner Domänen vorhandene Grafiken werden hingegen einzeln beschrieben und dargestellt. Aufbau der folgenden Kapitel 2.4 Rückmeldung an Schüler/innen Wie eingangs erwähnt (vgl. Kapitel A 1), zielen die Bildungsstandards vorrangig auf die standortbezogene Unterrichts- und Schulentwicklung in Richtung eines nachhaltigen Kompetenzaufbaus bei den Schülerinnen und Schülern bzw. auf ein Systemmonitoring ab. Dies bedingt, dass die Rückmeldung für die Schulleiter/innen und Lehrer/innen von besonderer Wichtigkeit ist. Nichts desto trotz ist es auch von großer Bedeutung, den getesteten Personen selbst, also den Schülerinnen und Schülern, die Möglichkeit zu geben, eine objektive Rückmeldung über ihre persönlichen Leistungen zu erhalten (vgl. Breit & Schreiner, 2010). Die Schüler/innen erhielten im Rahmen der Baseline-Testung im Mai 2009 einen persönlichen Code für den Online-Zugang zu ihren individuellen Ergebnissen mit der Aufforderung diesen sorgsam zu verwahren, da im Falle des Verlustes aus Datenschutzgründen keine Möglichkeit bestand, diesen zu rekonstruieren und somit die eigenen Ergebnisse abzurufen. Mit Hilfe dieses Codes konnten die Schüler/ innen in der Zeit von Anfang Jänner bis Ende Juni 2010 ihre Ergebnisse auf der Homepage des BIFIE abrufen. Schüler/innen erhalten Rückmeldung über ihre Leistungen Zugang der Schüler/innen zu ihrem Ergebnis Struktur und Aufbau der Schülerrückmeldung Die Rückmeldung der Schüler/innen folgte der nun kurz dargestellten Struktur: Begrüßungstext Basisinformationen zur Baseline-Testung Darstellung der Testergebnisse Glossar Gliederung der Schülerrückmeldung 2 Breit, S. & Schreiner, C. (Hrsg.) (2010). Bildungsstandards: Baseline 2009 (8. Schulstufe). Technischer Bericht. In: 3 BIFIE (Hrsg.) (2010). Bildungsstandards in Österreich. Überprüfung und Rückmeldung. Informationen für Lehrer/innen und Schulleiter/innen. In:

16 12 BIFIE-Report 7/2011 Nach einem kurzen Begrüßungstext hatten die Schüler/innen die Möglichkeit, grundsätzliche Informationen zur Baseline-Testung nachzulesen. Diese Informationen umfassten eine Beschreibung dessen, wer an der Testung teilgenommen hatte, welche Ziele mit der Testung verfolgt wurden und wie diese konkret abgelaufen war bzw. welche anderen Personengruppen in welcher Form darüber hinaus Ergebnisse rückgemeldet bekamen. Erläuterungen unterstützen die grafischen Darstellungen Wie das folgende Beispiel zeigt (Abbildung 3), wurden sämtliche Ergebnisse so aufbereitet, dass einem kurzen Einleitungstext die grafische Darstellung mit entsprechenden Erklärungstexten folgte. Abbildung 3: Schülerrückmeldung Ergebnisdarstellung allgemein Neben der Information über die eigenen Ergebnisse in den getesteten Domänen Deutsch, Englisch und Mathematik, ermöglichte die Angabe von Referenzwerten

17 BIFIE-Report 7/ (Österreich-Schnitt, AHS-Schnitt, HS-Schnitt) auch eine bessere Einschätzung der eigenen Leistung im Vergleich zu anderen Schülergruppen. Wichtige Begriffe (wie z. B. Deutsch, Englisch, Mathematik oder Durchschnitt in Abbildung 3) waren entsprechend farblich gestaltet und direkt mit einem beigeschlossenen, ausführlichen Glossar verlinkt. Die Schüler/innen hatten die Möglichkeit, ihre Ergebnisse inkl. Glossar als pdf-dokument abzuspeichern bzw. auszudrucken. Die Schülerrückmeldung enthielt insgesamt sieben Grafiken, die im Folgenden kurz dargestellt und beschrieben werden: Überblick über die Grafiken zur Schülerrückmeldung Testergebnisse im Überblick Testergebnisse in Deutsch Ergebnisse in Deutsch Schreiben: Argumentieren Testergebnisse in Englisch Ergebnisse in Englisch Writing (Ergebnisse in Englisch Speaking) 4 Testergebnisse in Mathematik Testergebnisse im Überblick Zu Beginn erhielten die Schüler/innen einen Überblick über ihre Testergebnisse in Deutsch, Englisch und Mathematik allgemein. Bereits hier bot sich die Möglichkeit, das eigene Ergebnis (durch ± symbolisiert) mit dem Mittelwert aller getesteten Schüler/innen Österreichs (Österreich-Schnitt), dem Mittelwert aller getesteten AHS- Schüler/innen (AHS-Schnitt) bzw. dem Mittelwert aller getesteten Hauptschüler/innen (HS-Schnitt) zu vergleichen. Zudem war jener Prozentrang ersichtlich, dem die Ergebnisdarstellung in den Fächern D, E und M allgemein Abbildung 4: Schülerrückmeldung Testergebnisse im Überblick 4 Der Kompetenzbereich Speaking in Englisch wurde nur an 63 Schulen getestet und daher auch nur an diese Schüler/innen rückgemeldet.

18 14 BIFIE-Report 7/2011 Leistung der Schülerin/des Schülers in Relation zu den Leistungen aller getesteten Schüler/innen, unabhängig von der Schulart, entsprach. Auf diese Weise konnten die Schüler/innen ablesen, wie viele getestete Schüler/innen schlechter bzw. gleich gut abgeschnitten hatten (Abbildung 4). Im Anschluss daran erfolgte eine weitere Differenzierung der Testergebnisse Testergebnisse in Deutsch, Englisch bzw. Mathematik Ergebnisdarstellung differenziert nach Kompetenzbereichen Ergebnisse in Englisch und ihr Bezug zum GERS Die Schüler/innen erhielten ihre Ergebnisse in den einzelnen Unterrichtsfächern auch in die jeweiligen Kompetenzbereiche aufgeschlüsselt. In Deutsch waren dies die Kompetenzbereiche Lesen, Schreiben und Sprachbewusstsein, in Englisch Listening, Reading und Writing und in Mathematik die Inhaltsdimensionen Zahlen und Maße, Variable und funktionale Abhängigkeiten sowie Geometrische Figuren und Körper. Auf eine grafische Darstellung der Ergebnisse der Dimension Statistische Darstellungen und Kenngrößen wurde aufgrund einer zu geringen Anzahl an Testaufgaben im Rahmen der Baseline-Testung verzichtet. Die grafische Aufbereitung erfolgte in Deutsch und Mathematik analog zu den Testergebnissen im Überblick (Abbildung 4), jedoch wurden anstelle der einzelnen Unterrichtsgegenstände die jeweiligen Kompetenzbereiche angeführt. In Englisch wurden die Ergebnisse zusätzlich in Bezug zum Gemeinsamen europäischen Referenzrahmen für Sprachen (GERS) gesetzt und nach Niveaustufen (unter A2, A2 bzw. über A2) differenziert, farblich aufbereitet (Abbildung 5). Die Schüler/innen konnten somit erkennen, inwieweit sie das Lernziel der achten Schulstufe, das Niveau A2, erreicht hatten bzw. darüber oder darunter lagen. Abbildung 5: Schülerrückmeldung Testergebnisse in Deutsch, Englisch oder Mathematik am Beispiel Englisch

19 BIFIE-Report 7/ Im Rahmen der Kompetenzbereiche Schreiben in Deutsch bzw. Writing in Englisch hatten die Schüler/innen bei der Testung freie Texte (Deutsch: Argumentationstext oder Bildgeschichte, Englisch: ein kürzerer und ein längerer Text) zu verfassen. Diese Texte wurden anhand eines von Expertinnen und Experten festgelegten Kriterienkataloges von sogenannten Raterinnen bzw. Ratern bewertet. Diese erfahrenen Lehrer/innen wurden durch eine mehrwöchige Schulung speziell auf die Tätigkeit des Ratens von Schülertexten der achten Schulstufe vorbereitet. Der festgelegte Kriterienkatalog enthielt für jedes Kriterium vier Niveaustufen (0 bis 3), denen die von den Schülerinnen und Schülern produzierten Texte zugeordnet wurden. Dem entsprechend wurde für die Schüler/innen, die einen Argumentationstext erstellt hatten, der Kompetenzbereich Schreiben: Argumentieren in einer weiteren Grafik, differenziert nach den drei Kriterien Inhalt, Textzusammenhang und Wortschatz dargestellt (Abbildung 6). Für jene Schüler/innen, die im Zuge der Testung eine Bildgeschichte zu verfassen hatten, wurde der Kompetenzbereich Schreiben: Erzählen in derselben Art und Weise nach den fünf Kriterien Inhalt, Textaufbau, Wortschatz, Syntax und Sprachrichtigkeit gegliedert, rückgemeldet. Bewertung der Schülertexte in Deutsch Abbildung 6: Schülerrückmeldung Deutsch Schreiben am Beispiel Argumentieren In Englisch wurde der Kompetenzbereich Writing nach Task Achievement, Coherence/ Cohesion, Grammar und Vocabulary aufgegliedert, wobei diese Texte von den Raterinnen und Ratern auf einer achtstufigen Skala (0 bis 7) bewertet wurden. Die Grafiken zeigten wiederum den Österreich-Schnitt, ebenso wie den AHS- bzw. HS- Schnitt. Darüber hinaus war aus dieser Grafik ersichtlich, wie viele Prozent aller getesteten Schüler/innen die jeweilige Punkteanzahl erhalten hatten. Im Englischen wurde erneut zusätzlich auf den Gemeinsamen europäischen Referenzrahmen für Sprachen (GERS) Bezug genommen bzw. wurden nicht bewertbare Texte (mangelnde Lesbarkeit, Themenverfehlung, zu kurze bzw. fehlende Texte) in der Kategorie nicht auswertbar sichtbar gemacht. Bewertung der Schülertexte in Englisch

20 16 BIFIE-Report 7/2011 Zur Veranschaulichung wird exemplarisch die Ergebnisdarstellung in Englisch im Kompetenzbereich Writing dargestellt (Abbildung 7). Abbildung 7: Schülerrückmeldung Ergebnisse am Beispiel Englisch: Writing Die Schüler/innen jener 63 Schulen, die im Rahmen der Baseline-Testung im Kompetenzbereich Speaking getestet worden waren, erhielten auch eine Rückmeldung in diesem Bereich, die analog zu jener in Writing (Abbildung 7) aufgebaut war.

21 BIFIE-Report 7/ Rückmeldung an Lehrer/innen Ebenso wie die Schüler/innen konnten die Lehrkräfte die Ergebnisse ihrer Klasse(n) bzw. Gruppe(n) online mit einem eigenen Zugangscode abrufen. Dieser Zugangscode wurde ihnen in einem verschlossenen Kuvert durch die Schulleiter/innen ausgehändigt. Befanden sich weniger als fünf Schüler/innen in ihrer Lerngruppe bzw. lieferten weniger als fünf Schüler/innen auswertbare Daten, so wurde von einer Rückmeldung an diese Lehrerin/diesen Lehrer abgesehen. Zugang der Lehrer/innen zum Ergebnis Struktur und Aufbau der Lehrerrückmeldung Der Aufbau der Lehrerrückmeldung folgte einer ähnlichen Logik wie die Schülerrückmeldung und setzte sich aus folgenden Teilen zusammen: Aufbau der Lehrerrückmeldung Begrüßungstext Informationen zur Baseline-Testung Ergebnis der Gruppe/Klasse im Überblick Ergebnis der Gruppe/Klasse im fairen Vergleich Ergebnis der Gruppe/Klasse im absoluten Vergleich Ergebnis der Gruppe/Klasse nach Kompetenzbereichen Ergebnis der Gruppe/Klasse nach Teilkompetenzen Glossar Im Anschluss an einen kurzen Begrüßungstext erhielten die Lehrer/innen Informationen zur Baseline-Testung. Diese waren verständlicher Weise wesentlich umfassender ausgeführt als jene für die Schüler/innen. Es wurde unter anderem beschrieben, wer an der Testung teilgenommen hatte, wie die Schulen bzw. Klassen ausgewählt worden waren, welche Ziele die Baseline-Testung verfolgte und wie die Testungen konkret in den einzelnen Unterrichtsfächern bzw. Kompetenzbereichen abgelaufen waren. Auch das Rückmeldeprozedere (welche Personengruppen in welcher Form informiert werden) war sehr detailliert dargestellt. Zudem wurden die Lehrkräfte über die gesetzlichen Grundlagen aufgeklärt, auf Unterschiede zwischen der Rückmeldung zur Baseline-Testung und jener zu den Standardüberprüfungen hingewiesen und erhielten einen Einblick in geplante, künftige Aktivitäten hinsichtlich der Bildungsstandards. Den Hauptteil bildeten die unterschiedlichen Ergebnisdarstellungen für das jeweilige Unterrichtsfach der betroffenen Lehrperson, wobei die Grafiken wiederum einem kurzen Einleitungstext folgten und in ihrer Aussagekraft durch die entsprechenden verbalen Erläuterungen abgerundet wurden (Abbildung 8, Seite 18). Auch in der Rückmeldung für die Lehrer/innen waren die wichtigsten Begriffe (wie z. B. das durchschnittliche Ergebnis, Gruppe/Klasse oder Durchschnitt in Abbildung 8) farblich hinterlegt und direkt mit einem ausführlichen Glossar verlinkt, das ebenso wie die Ergebnisrückmeldung von den Lehrkräften als pdf-dokument gespeichert und ausgedruckt werden konnte. Die Rückmeldung an die Lehrer/innen sollte diesen die Möglichkeit bieten, die Leistungen ihrer Schüler/innen mit bundesweiten Referenzwerten vergleichen und davon ausgehend das eigene Unterrichtshandeln und die fächerbezogenen Schwerpunktsetzungen reflektieren zu können. Ziele der Rückmeldung an die Lehrer/innen

22 18 BIFIE-Report 7/2011 Abbildung 8: Lehrerrückmeldung Ergebnisdarstellung allgemein Wiederum werden nun die einzelnen Ergebnisdarstellungen beschrieben Ergebnis der Gruppe/Klasse im Überblick Ergebnisdarstellung der Gruppe/Klasse allgemein Am Beginn der Rückmeldung stand jeweils der Überblick über das Ergebnis der getesteten Klasse/Gruppe (wiederum mit ± dargestellt) in den Unterrichtsfächern Deutsch, Mathematik oder Englisch, je nachdem für welches Fach die Lehrperson die Rückmeldung erhielt. Wiederum waren der Österreich-Schnitt, der Durchschnitt aller getesteten Hauptschüler/innen sowie aller getesteten AHS-Schüler/innen als Referenzwerte angeführt. Beispielhaft wird im Folgenden die Darstellung zum Klassen- bzw. Gruppenergebnis aus Deutsch gezeigt (Abbildung 9).

23 BIFIE-Report 7/ Abbildung 9: Lehrerrückmeldung Ergebnis der Gruppe/Klasse im Überblick am Beispiel Deutsch Ergebnis der Gruppe/Klasse im fairen Vergleich In der folgenden Überblicksgrafik wird die Leistung der betreffenden Gruppe/ Klasse im fairen Vergleich dargestellt. Dies bedeutet, dass als zusätzlicher Referenzwert der Erwartungsbereich für die getestete Schule ausgewiesen wurde. Diesem Erwartungsbereich liegt eine statistische Berechnung (Regressionsanalyse) zugrunde, mittels derer der Leistungsbereich einer Schule unter Berücksichtigung ähnlicher Kontextbedingungen prognostiziert werden kann. Damit wurde versucht, den unterschiedlichen Rahmenbedingungen und der Schülerklientel einer Schule Rechnung zu tragen. So fanden hier unter anderem die Schulart (AHS/HS), die Gemeindegröße in fünf Abstufungen (von einer Größe kleiner Einwohner bis zu mehr als Einwohner), der Urbanisierungsgrad, die Entfernung zur nächsten AHS, der Schultyp in Verbindung mit dem Standort (HS/Stadt bzw. HS/Land oder AHS/Stadt bzw. AHS/Land) sowie der Anteil männlicher bzw. weiblicher Schüler/innen in der Gruppe/Klasse, der Anteil der Schüler/innen mit Migrationshintergrund (lt. Definition der OECD) 5, der sozioökonomische Hintergrund und das Ausbildungsniveau der Eltern Berechnung eines Erwartungsbereiches relevante Kontextdaten 5 Als einheimische Schüler/innen gelten lt. OECD jene, die selbst und deren beide Elternteile im Inland geboren wurden bzw. die selbst und ein Elternteil im Inland geboren wurden bzw. die zwar im Ausland, deren beide Elternteile aber im Inland geboren wurden bzw. die selbst und ein Elternteil im Ausland, aber ein Elternteil im Inland geboren wurden (vgl. Breit, S. (2006). Sozialisationsbedingungen von Schülerinnen und Schülern mit Migrationshintergrund).

24 20 BIFIE-Report 7/2011 Darstellung des Erwartungsbereiches Berücksichtigung. Dieses Datenmaterial beruhte auf den Angaben der Schüler/ innen und Schulleiter/innen und wurde mittels Kontextfragebögen, die im Zuge der Testung ausgefüllt wurden, erhoben. Die Lehrer/innen hatten auf Basis des fairen Vergleichs die Möglichkeit, die Leistung ihrer Gruppe/Klasse nicht nur absolut mit den Durchschnittsergebnissen einzelner Schultypen bzw. Österreichs insgesamt zu vergleichen, sondern auch mit jenen Schulen, die unter ähnlichen Rahmenbedingungen arbeiten. Dieser Bereich wurde in der Grafik durch einen grauen Balken dargestellt (Abbildung 10). Abbildung 10: Lehrerrückmeldung Ergebnis der Gruppe/Klasse im fairen Vergleich am Beispiel Mathematik

25 BIFIE-Report 7/ Ergebnis der Gruppe/Klasse im absoluten Vergleich In der Darstellung der Gruppen- bzw. Klassenergebnisse im absoluten Vergleich (Abbildung 11) wurden neben dem Österreich-Schnitt bzw. dem AHS-Schnitt, die Durchschnittswerte der Hauptschüler/innen (HS-Schnitt), differenziert nach den drei Leistungsgruppen, sowie das durchschnittliche Gruppen- bzw. Klassenergebnis dargestellt. Zudem wurden die Leistungen der einzelnen Schüler/innen mit Punkten gekennzeichnet. Dadurch ließ sich aus der Streuung der Punkte erkennen, wie homogen bzw. heterogen die Gruppe/Klasse in ihren Leistungen war. Darüber hinaus war es möglich, Aussagen darüber zu treffen, ob die Verteilung der Schülerleistungen der betreffenden Gruppe/Klasse dem österreichischen Durchschnitt entsprach (vgl. Kapitel A 2.3), nämlich dass zwei Drittel der Schüler/innen zwischen 400 und 600 Punkten erreicht hatten, oder ob verhältnismäßig mehr Jugendliche über- oder unterdurchschnittliche Leistungen erzielt hatten. Ergebnisdarstellung der Gruppe/Klasse im absoluten Vergleich Verteilung der Schülerleistungen Abbildung 11: Lehrerrückmeldung Ergebnis der Gruppe/Klasse im absoluten Vergleich am Beispiel Deutsch

26 22 BIFIE-Report 7/ Ergebnis nach Kompetenzbereichen Ergebnisdarstellung der Gruppe/Klasse differenziert nach Kompetenzbereichen Die Lehrer/innen erhielten darüber hinaus eine, auf dem jeweiligen Kompetenzmodell basierende, differenzierte Auswertung für ihr Fach. Neben dem Klassen-/ Gruppenergebnis bzw. dem Schulergebnis wurden wiederum der Österreichschnitt, der AHS-Schnitt sowie der HS-Schnitt (in diesem Fall nicht nach Leistungsgruppen differenziert) durch unterschiedliche Linien gekennzeichnet. Darüber hinaus waren auch die Ergebnisse der einzelnen Schüler/innen, die mit grauen Punkten markiert wurden, ersichtlich. Im Unterrichtsfach Deutsch erfolgte die Darstellung nach den Kompetenzbereichen Lesen, Schreiben und Sprachbewusstsein, in Mathematik nach den Inhaltsbereichen Zahlen und Maße, Variable und funktionale Abhängigkeiten, Geometrische Figuren und Körper sowie Statistische Darstellung und Kenngrößen. Außerdem wurden in einer weiteren Grafik auch die Ergebnisse in den mathematischen Handlungsbereichen Darstellen und Modellbilden, Rechnen und Operieren, Interpretieren sowie Argumentieren und Begründen dargestellt (Abbildung 12). In Englisch wurde analog zu den vorangegangenen Ergebnisdarstellungen (vgl. Abbildung 5 und Abbildung 7) zusätzlich durch unterschiedliche, farbliche Hinterlegung der Bezug zum Gemeinsamen europäischen Referenzrahmen für Sprachen (GERS) hergestellt. Abbildung 12: Lehrerrückmeldung Ergebnis nach Kompetenzbereichen am Beispiel Mathematik Die bisher dargestellten und beschriebenen Grafiken lieferten den Lehrerinnen und Lehrern unabhängig vom Unterrichtsfach dieselben Informationen. In Deutsch und Englisch wurden darüber hinaus die Ergebnisse der offenen Antwortformate in Form spezieller Darstellungen aufbereitet.

27 BIFIE-Report 7/ Ergebnis Deutsch In Deutsch hatten die Schüler/innen einen Argumentationstext oder eine Bildgeschichte zu verfassen. Der Argumentationstext wurde hinsichtlich der drei Kriterien Inhalt, Kohäsion und Wortschatz nach einem vorgegebenen Katalog auf einer Skala von 0 bis 3 Punkten bewertet, die Bildgeschichte analog dazu hinsichtlich der Kriterien Inhalt, Textaufbau, Wortschatz, Syntax und Sprachrichtigkeit. Die entsprechenden Grafiken zeigten neben den Gruppen-/Klassenmittelwerten auch den prozentuellen Anteil jener Schüler/innen der getesteten Gruppe/Klasse, die für ihre Texte 0, 1, 2 oder 3 Punkte erhalten hatten. Als weitere Referenzwerte dienten der Österreich-Schnitt, der AHS- sowie der HS-Schnitt (Abbildung 13). Bewertung der Schülertexte in Deutsch Abbildung 13: Lehrerrückmeldung Deutsch: Schreiben - Erzählen Ergebnis Englisch In Englisch wurden die Kompetenzbereiche Listening, Reading und Writing zusätzlich getrennt berichtet. In Listening, wo die Schüler/innen Fragen zu gehörten Texten beantworten mussten, wurde nach Direct Meaning Comprehension (erfasst das allgemeine und das genaue Hörverständnis) sowie nach Inferred Meaning Comprehension (erfasst, inwieweit der/die Schüler/in in der Lage ist, Rückschlüsse und Schlussfolgerungen aus dem Gehörten zu ziehen) differenziert. In Reading wurde zwischen Expeditious Reading (erfasst, inwieweit ein allgemeines Textverständnis gegeben ist) und Careful Reading (bezieht sich auf das Verständnis der Hauptideen und wichtigen Details eines Textes ebenso wie auf das lexikale Verständnis) (vgl. Breit & Schreiner, 2010). In beiden Grafiken wurden neben den einzelnen Schülerleistungen in Punktform, Ergebnisdarstellung in Listening und Reading

28 24 BIFIE-Report 7/2011 der Österreich-Schnitt, der AHS- sowie HS-Schnitt als Linien dem Gruppen-/ Klassenergebnis gegenübergestellt (Abbildung 14). Abbildung 14: Lehrerrückmeldung Englisch: Reading Der Kompetenzbereich Writing wurde nach den Teilkompetenzen Task Achievement (Erfüllen der Aufgabenstellung inhaltlich), Coherence and Cohesion (Herstellen von Textkohärenz und -kohäsion), Grammar (korrekte Anwendung adäquater grammatikalischer Strukturen) und Vocabulary (korrekte Verwendung adäquaten Vokabulars) beurteilt. Im Unterschied zu Deutsch wurden die Schülerleistungen jedoch auf einer achtstufigen Skala (0 7) bewertet. Neben dem Gruppen-/ Klassenergebnis waren der Österreich-Schnitt, der AHS- sowie HS-Schnitt ersichtlich. Weiters wurde analog zu einigen anderen Rückmeldungen aus Englisch, der Bezug zum Gemeinsamen europäischen Referenzrahmen für Sprachen (GERS) farblich sichtbar gemacht. Bezugspunkt war jeweils die Niveaustufe A2, wobei zwischen drei Abstufungen (unter A2 A2 über A2) unterschieden wurde. Ergänzend war der prozentuelle Anteil jener Schüler/innen angeführt, der die jeweilige Niveaustufe erreicht hatte. Darüber hinaus wurde, analog zur Schülerrückmeldung für Writing (vgl. Abbildung 7), eine Kategorie nicht auswertbar angegeben (Abbildung 15). Ergebnisdarstellung der Gruppe/Klasse nach Niveaustufen Den Abschluss der Ergebnisrückmeldung in Englisch bildete eine Grafik, die tabellarisch und in Form von Kreisdiagrammen bezogen auf die drei Hauptkompetenzen Listening, Reading und Writing einen Überblick über den absoluten und relativen Anteil der Schüler/innen je Kompetenzniveau (unter A2 A2 über A2) gab. So ließ sich für die Lehrkraft gut erkennen, wie viele ihrer Schüler/innen das Lernziel der achten Schulstufe, das Niveau A2, erreicht hatten bzw. darüber oder darunter lagen (Abbildung 16).

29 BIFIE-Report 7/ Abbildung 15: Lehrerrückmeldung Ergebnisse in Englisch: Writing Abbildung 16: Lehrerrückmeldung Englisch: Ergebnisse der Gruppe/Klasse nach Niveaustufe Jene Lehrer/innen, deren Schüler/innen auch in Speaking getestet wurden, erhielten eine Rückmeldung, die differenziert nach den Teilkompetenzen Task Achievement & Communication Skills (Aufgabenerfüllung und Aufrechterhalten der Kommunikation), Clarity & Naturalness of Speech (Produzieren von klarer und natürlicher Sprache), Grammar sowie Vocabulary analog zu jener in Writing (Abbildung 15) aufbereitet wurde. Ergebnisdarstellung in Speaking

30 26 BIFIE-Report 7/ Rückmeldung an Schulleiter/innen Gliederung der Rückmeldung an die Schulleiter/innen Die Schulleiter/innen konnten ihre Rückmeldung nicht so wie die Schüler/innen und Lehrer/innen online abrufen, sondern erhielten diese in gedruckter Form. Postalisch wurde ihnen ein Paket übermittelt, dass folgende Teile umfasste: Anschreiben Schulbericht Daten-CD Glossar Informationsblatt zu den getesteten Lerngruppen/Klassen Kuverts mit den Zugangscodes der Lehrer/innen. Aufbau des Schulberichts Der Schulbericht wurde den Schulleiterinnen und -leitern in zweifacher Form übermittelt (gedruckt und in digitaler Version auf einer Daten-CD) und war in folgende Teile gegliedert: Vorwort Informationen zur Baseline-Testung Ziele und Aufbau des Schulberichts Teil 1 Ergebnisse der Schule in Deutsch, Englisch und Mathematik im Überblick Zuordnung der Lehrkräfte zu Gruppen/Klassen Teil 2 Ergebnisse aus Deutsch Teil 3 Ergebnisse aus Englisch Teil 4 Ergebnisse aus Mathematik Nach einem kurzen Vorwort erhielten die Schulleiter/innen Informationen zur Baseline-Testung. Diese betrafen unter anderem die Grundlagen und Ziele, den Auswahlmodus sowie den Ablauf der Testung. Vertrauensintervall In einem eigenen Abschnitt wurden die Schulleiter/innen darüber informiert, welche Ziele mit dem Schulbericht selbst verfolgt wurden, welche Personengruppen in welcher Form über die Ergebnisse der Baseline-Testung und in weiterer Folge über jene der Standardüberprüfungen ab 2012 Rückmeldung erhielten bzw. wie der Schulbericht aufgebaut war. Zudem erhielten die Schulleiter/innen eine Interpretationshilfe bezüglich der Vertrauensintervalle, die sie in der professionellen Interpretation der Daten unterstützen sollte. Da jeder Schülerin/jedem Schüler im Rahmen der Testung nur eine Auswahl an Aufgaben gestellt werden konnte, war das Ergebnis hinsichtlich der Aussagekraft zum Kompetenzstand mit einem statistischen Messfehler behaftet. Mit Hilfe des Vertrauensintervalls war es möglich, jenen Wertebereich, in dem das Ergebnis für die Gruppe/Klasse statistisch gesehen am ehesten lag, anzugeben. Weiters ermöglichte diese Information eine rasche Analyse, inwieweit sich die Leistungen der einzelnen Gruppen/Klassen signifikant unterschieden. Überschnitten sich die vertikalen Linien nicht, so konnte grundsätzlich davon ausgegangen werden, dass die Schülerleistungen sich signifikant voneinander unterschieden. Generell wurden die Ergebnisse im Schulbericht, wie auch in der Schüler- bzw. Lehrerrückmeldung, nach einem kurzen Einleitungstext grafisch dargestellt und mit entsprechenden Erläuterungstexten ergänzt (Abbildung 17).

31 BIFIE-Report 7/ Ergebnisse Ihrer Schule nach Migrationshintergrund Die vierte Grafik zeigt das Ergebnis Ihrer Schule bei der Testung in Deutsch, Englisch und Mathematik getrennt nach Herkunft: einmal für Schüler/innen mit Migrationshintergrund, einmal für Schüler/innen ohne Migrationshintergrund (Einheimische). Die Daten beruhen auf den Angaben der Schüler/innen. MUSTER MUSTER Dieses Symbol markiert das Ergebnis Ihrer Schule und entspricht dem Punktemittelwert aller an Ihrer Schule getesteten Schüler/innen. Die schwarze Linie (mit der rot-weiß-roten Flagge) zeigt den Durchschnitt aller in der Baseline-8-Studie getesteten Schüler/innen. Die strichlierte lilafarbene Linie (HS-oM) steht für das Mittel aller Schüler/innen Ihrer Schulart ohne Migrationshintergrund (Einheimische). Die strichlierte rote Linie (HS-mM) stellt das Mittel aller getesteten Schüler/innen Ihrer Schulart mit Migrationshintergrund dar. Die lilafarbenen Rauten repräsentieren den Mittelwert Ihrer Schüler/innen ohne Migrationshintergrund, während die roten Raute jenen der Schüler/innen Ihrer Schule mit Migrationshintergrund abbilden. Die entsprechenden Punktewerte finden Sie unterhalb der Grafik in der Legende. Die Definition des Begriffs Migrationshintergrund basiert auf den Richtlinien der OECD. Eine Schülerin/einSchüler gilt demnach als Jugendliche/r mit Migrationshintergrund, wenn beide Elternteile im Ausland geboren wurden. Ist mindestens ein Elternteil in Österreich geboren, wird die/der Jugendliche als Einheimische/r (ohne Migrationshintergrund) bezeichnet. Die Grafik erlaubt den Vergleich zwischen den Leistungen der Jugendlichen mit und ohne Migrationshintergrund Ihrer Schule sowie mit den durchschnittlichen Leistungen der Schülerinnen und Schüler mit und ohne Migrationshintergrund Ihrer Schulart. Dabei ist die Zulässigkeit des Vergleichs von der Richtigkeit der Angaben im Schülerfragebogen abhängig. Abbildung 17: Schulbericht - Ergebnisrückmeldung allgemein

32 28 BIFIE-Report 7/2011 Überblick über die Grafiken Schulergebnisse Der erste Teil der Ergebnisrückmeldung enthielt die domänenbezogenen Schulergebnisse aus unterschiedlichen Gesichtspunkten betrachtet und war gleichzeitig auch jener Teil, der an die zuständige Person der Schulbehörde übermittelt wurde. Konkret handelte es sich dabei um folgende Aspekte: Ergebnisse der Schule nach Fächern im Überblick Ergebnisse der Schule im fairen Vergleich Ergebnisse der Schule nach Geschlecht Ergebnisse der Schule nach Migrationshintergrund die besten Leistungen der Schule Zuordnung der Lehrkräfte zu den Gruppen/Klassen Bevor die Ergebnisse in den Teilen zwei bis vier nach Gruppen/Klassen differenziert dargestellt wurden, erfolgte eine Erklärung, wie die Zuordnung der Lehrkräfte zu den Gruppen/Klassen vorgenommen worden war. Bereits im Februar 2009 waren die Schulleiter/innen aufgefordert worden, für jede zu testende Gruppe/Klasse eine anonymisierte Schülerliste unter Angabe der jeweiligen Lehrperson, ebenso in anonymisierter Form, zu erstellen. Dem BIFIE wurden nur die Kürzel der Lehrpersonen mitgeteilt, wodurch eine direkte Zuordnung Kürzel Name der Lehrperson ausschließlich der Schulleitung vorbehalten blieb. Dies war auch der Grund dafür, dass die verschlossenen Kuverts mit dem jeweiligen Zugangscode für die Online-Abfrage der Lehrerrückmeldung an die Schulleiter/innen übermittelt wurden und nicht direkt an die betroffenen Lehrpersonen. Aus Datenschutzgründen dienten diese von den Schulleitungen vergebenen Kürzel nun als alleinige Basis für die richtige Zuordnung der verschlossenen Kuverts an die entsprechende Lehrperson. In den folgenden Teilen der Rückmeldung wurden die detaillierten Ergebnisse differenziert nach den jeweiligen Kompetenzbereichen präsentiert. Überblick über die Grafiken Deutsch In Teil 2 wurden die Ergebnisse aus Deutsch dargestellt. Dies erfolgte durch vier unterschiedliche Grafiken: Ergebnis der Gruppen/Klassen im Überblick Ergebnis der Gruppen/Klassen nach Kompetenzbereichen Ergebnis der Gruppen/Klassen aus Schreiben/Argumentieren Ergebnis der Gruppen/Klassen aus Schreiben/Erzählen Überblick über die Grafiken Englisch Überblick über die Grafiken Mathematik Teil 3 beschrieb die Ergebnisse aus Englisch und folgte im Aufbau Teil 2. Ergebnis der Gruppen/Klassen im Überblick Ergebnis der Gruppen/Klassen nach Kompetenzbereichen Ergebnis der Gruppen/Klassen Englisch Listening Ergebnis der Gruppen/Klassen Englisch Reading Ergebnis der Gruppen/Klassen Englisch Writing Ergebnis der Gruppen/Klassen Englisch Speaking Teil 4 beschäftigte sich mit den Ergebnissen aus Mathematik und umfasste folgende Darstellungen: Ergebnis der Gruppen/Klassen im Überblick Ergebnis der Gruppen/Klassen nach Inhaltsbereichen Ergebnis der Gruppen/Klassen nach Handlungsbereichen Mit Hilfe dieses Schulberichts sollte es möglich werden, etwaige Stärken und Schwächen der eigenen Schule zu identifizieren und daraus Handlungsmaßnahmen

33 BIFIE-Report 7/ abzuleiten, wie etwa in bestimmten Bereichen das (schulinterne) Fortbildungsangebot zu intensivieren oder im Unterricht Adaptierungen in der Schwerpunktsetzung vorzunehmen. Gemeinsam mit dieser Übersicht der Ergebnisse sämtlicher, getesteter Gruppen/ Klassen wurden den Schulleiterinnen und -leitern ein Glossar sowie ein Informationsblatt zu den Lerngruppen/Klassen übermittelt, das neben der Lerngruppen- ID, die Bezeichnung der Gruppe/Klasse sowie das jeweilige, getestete Fach enthielt und Auskunft darüber gab, ob die Lehrperson eine Rückmeldung erhalten hatte 6. Zudem bekamen die Schulleiter/innen, wie bereits erwähnt, in verschlossenen Kuverts die Zugangscodes für die Lehrer/innen zur Online-Abfrage der Lehrerrückmeldung. An den für die Baseline-Testung zufällig ausgewählten Schulen wurden bei einer maximalen Anzahl von drei Klassen alle Klassen getestet, bei einer größeren Schule wurden per Zufall zwei Klassen ausgewählt. Der Schulbericht enthielt somit maximal die Ergebnisse von drei Klassen. Ziele des Schulberichts weitere Informationen für die Schulleiter/innen getestete Klassen pro Schule Im Folgenden werden nun die einzelnen Teile des Schulberichts dargestellt und beschrieben Teil 1 Ergebnisse der Schule nach Fächern im Überblick Die erste Grafik des Schulberichts zeigte das Gesamtergebnis der Schule (Schulmittelwert, gekennzeichnet durch ±) in Deutsch, Englisch und Mathematik im Überblick. Als Referenzwerte dienten der Österreich-Schnitt, der AHS- und HS- Schnitt. Zudem informierte der Prozentrang, wie die Leistungen der betreffenden Schule im Vergleich zu allen getesteten Schulen Österreichs derselben Schulart lagen (Abbildung 18). Darstellung der Schulergebnisse im Überblick Abbildung 18: Schulbericht Teil 1 Ergebnisse der Schule nach Fächern im Überblick 6 Bei weniger als 5 Schülerinnen bzw. Schülern erhielten die Lehrpersonen keine Rückmeldung.

34 30 BIFIE-Report 7/ Teil 1 Ergebnisse der Schule im fairen Vergleich Ergebnisdarstellung der Schule im fairen Vergleich Analog zur Lehrerrückmeldung erhielt auch die Schulleitung Auskunft darüber, wie die Leistungen in den getesteten Fächern im Vergleich zum Erwartungsbereich, also im fairen Vergleich 7, lagen. Neben dem Mittelwert der Schule wurden auch die Mittelwerte der getesteten Gruppen/Klassen, die als graue Punkte gekennzeichnet waren, ausgewiesen (Abbildung 19). Abbildung 19: Schulbericht Teil 1 Ergebnisse der Schule im fairen Vergleich 7 Angaben darüber, welche Kontextmerkmale im fairen Vergleich berücksichtigt werden, finden sich auf Seite 19 im Kapitel A

35 BIFIE-Report 7/ Teil 1 Ergebnisse der Schule nach Geschlecht bzw. nach Migrationshintergrund Die nach Geschlecht und Migrationshintergrund differenzierte Rückmeldung wurde grafisch auf dieselbe Weise aufbereitet. Neben dem durchschnittlichen Schulergebnis in den einzelnen Fächern wurden die Mittelwerte der männlichen und weiblichen Schüler/innen bzw. der Schüler/innen mit bzw. ohne Migrationshintergrund getrennt ausgewiesen. Als Referenzwerte dienten einerseits der Österreich-Schnitt und andererseits der Durchschnitt der Buben bzw. Mädchen sowie der Schüler/innen mit bzw. ohne Migrationshintergrund und zwar bezogen auf den eigenen Schultyp (HS oder AHS), wie auch die folgende Musterrückmeldung für eine Hauptschule zeigt (Abbildung 20). differenzierte Darstellung der Schulergebnisse (Geschlecht, Migrationshintergrund) Abbildung 20: Schulbericht Teil 1 Ergebnisse der Schule nach Migrationshintergrund

36 32 BIFIE-Report 7/ Teil 1 die besten Leistungen der Schule Ergebnisse der besten Schüler/innen Den Abschluss des ersten Teils des Schulberichts bildete eine Übersicht über die Leistungen der 10 % der besten Schüler/innen der eigenen Schule in den drei getesteten Fächern. Neben dem Österreich-Schnitt und dem Durchschnitt der eigenen Schulart wurde auch das 90. Perzentil, also der 90. Prozentrang der eigenen Schule ausgewiesen. Den angeschlossenen, tabellarischen Ausführungen konnten zum einen die geschlechterbezogene Verteilung der 10 % der besten Schülerleistungen in Deutsch, Englisch und Mathematik, in absoluten Zahlen ausgedrückt, entnommen werden und zum anderen die Anzahl jener Schüler/innen, die in allen drei Unterrichtsfächern zu den besten 10 % zählten (Abbildung 21). Abbildung 21: Schulbericht Teil 1 Die besten Leistungen der Schule Die nun folgenden Teile 2 4 des Schulberichts bezogen sich auf die Ergebnisse der einzelnen, geprüften Fächer Deutsch, Englisch und Mathematik. Im Teil 2 des Schulberichts wurden in vier Grafiken die Ergebnisse aus Deutsch präsentiert.

37 BIFIE-Report 7/ Teil 2 Deutsch: Ergebnis der Gruppen/Klassen im Überblick bzw. nach Kompetenzbereichen Die Grafik Ergebnisse aller getesteten Gruppen/Klassen im Überblick (ohne Abbildung) zeigte das Resultat der unterschiedlichen Gruppen/Klassen, durch verschiedenfärbige Punkte markiert, im Verhältnis zum Österreich-Schnitt, zum AHS- und HS-Schnitt sowie zum Durchschnittsergebnis der jeweiligen Schule, symbolisiert durch ±. Zudem wurde für die einzelnen Gruppen-/Klassenergebnisse mit Hilfe einer vertikalen Linie durch den jeweiligen Farbpunkt, auch das entsprechende Vertrauensintervall 8 angegeben. Ergebnisdarstellung aller Gruppen/Klassen in Deutsch Die differenzierte Darstellung nach den Kompetenzbereichen Lesen, Schreiben und Sprachbewusstsein war in derselben Art gestaltet, jedoch wurde zusätzlich der Prozentrang der Schule in Bezug zur eigenen Schulart ausgewiesen (Abbildung 22). Abbildung 22: Schulbericht Teil 2 Deutsch: Ergebnis der Gruppen/Klassen nach Kompetenzbereichen 8 Eine Erläuterung zum Vertrauensintervall findet sich auf S. 26.

38 34 BIFIE-Report 7/ Teil 2 Deutsch: Ergebnis der Gruppen/Klassen aus Schreiben/Argu mentieren bzw. aus Schreiben/Erzählen Ergebnisdarstellung der Gruppen/Klassen im Verfassen von Texten Weiters erfolgte analog zur Lehrerrückmeldung für den Kompetenzbereich Schreiben eine weitere Differenzierung nach Teilkompetenzen für das Argumentieren nach Inhalt, Kohäsion und Wortschatz bzw. für das Erzählen nach Inhalt, Textaufbau, Wortschatz, Syntax und Sprachrichtigkeit. Diese von den Schülerinnen und Schülern im Rahmen der Testung frei zu verfassenden Textformate wurden, wie bereits erwähnt, von Raterinnen und Ratern nach einem definierten Kriterienkatalog einer von vier Niveaustufen (0 3 Punkte) zugeordnet. Als Referenzwerte für die Punktemittelwerte der Schule insgesamt dienten der Österreich-, der AHS- sowie der HS-Schnitt. Die Ergebnisse der einzelnen Gruppen/Klassen waren ausschließlich im tabellarischen Teil als Punktemittelwerte ausgewiesen und waren somit aus der Grafik selbst nicht ersichtlich (Abbildung 23). Abbildung 23: Schulbericht Teil 2 Deutsch: Schreiben - Erzählen Im dritten Abschnitt, der sechs Grafiken umfasste und ähnlich jenem aus Deutsch aufgebaut war, wurden die Ergebnisse aus Englisch dargestellt.

39 BIFIE-Report 7/ Teil 3 Englisch: Ergebnis der Gruppen/Klassen im Überblick bzw. nach Kompetenzbereichen Der Überblick über die Leistungen der Gruppen/Klassen in Englisch (ohne Abbildung) war grafisch ident mit jener aus Deutsch aufbereitet, ebenso wie die Ergebnisse nach Kompetenzbereichen, mit dem einzigen Unterschied, dass für die Darstellung nach Kompetenzbereichen wiederum die Niveaustufen des Gemeinsamen europäischen Referenzrahmens für Sprachen (GERS) farblich hinterlegt waren (Abbildung 24). Ergebnisdarstellung aller Gruppen/Klassen in Englisch Abbildung 24: Schulbericht Teil 3 Englisch: Ergebnisse der Gruppen/Klassen nach Kompetenzbereichen Wie im Schulbericht Teil 2 mit den Ergebnissen aus Deutsch wurden die Kompetenzbereiche in Englisch auch nach Teilkompetenzen differenziert rückgemeldet.

40 36 BIFIE-Report 7/ Teil 3 Englisch: Ergebnis der Gruppen/Klassen Englisch Listening bzw. Englisch Reading Ergebnisdarstellung aller Gruppen/Klassen in Listening und Reading In Listening waren dies wiederum Direct Meaning Comprehension sowie Inferred Meaning Comprehension und in Reading handelte es sich um Expeditious Reading sowie Careful Reading 9. Die Leistungen der einzelnen Gruppen/Klassen wurden wiederum durch unterschiedliche Farbpunkte dargestellt und konnten mit dem Schulergebnis sowie dem Österreich-, AHS- und HS-Schnitt verglichen werden. Die Vertrauensintervalle gaben wiederum Auskunft darüber, in welchem Wertebereich die Ergebnisse tatsächlich lagen bzw. inwieweit sich die Leistungen der einzelnen Gruppen/Klassen signifikant voneinander unterschieden (Abbildung 25). Abbildung 25: Schulbericht Teil 3 Englisch: Reading Teil 3 Englisch: Ergebnis der Gruppen/Klassen Englisch Writing Ergebnisdarstellung aller Gruppen/Klassen in Writing Im Writing wurden die von den Schülerinnen und Schülern verfassten Texte, wie bereits erwähnt auf einer achtstufigen Skala (0 7 Punkte) bewertet. Aus der grafischen Aufbereitung war das durchschnittliche Schulergebnis im Vergleich zum bundesweiten Schnitt und den durchschnittlichen Leistungen aller AHS- bzw. HS-Schüler/innen ersichtlich. Weiters wurde analog zur Rückmeldung in den Teilkompetenzen in Deutsch angegeben, wie hoch der Anteil der Schüler/innen in den einzelnen Niveaustufen (unter A2 A2 über A2) war. Die Ergebnisse der einzelnen Gruppen/Klassen konnten wiederum aus den tabellarischen Angaben abgelesen werden (Abbildung 26). 9 Eine Erklärung dieser Begriffe findet sich auf Seite 23.

41 BIFIE-Report 7/ Abbildung 26: Schulbericht Teil 3 Ergebnisse in Englisch: Writing Teil 4 Mathematik: Ergebnis der Gruppen/Klassen im Überblick, nach Inhalts bereichen bzw. nach Handlungsbereichen Den Abschluss des Schulberichts bildeten die Ergebnisse aus Mathematik, die in drei Grafiken aufbereitet wurden. Nach einem Überblick (ohne Abbildung) erfolgte einerseits eine Darstellung nach den Inhaltsbereichen (Zahlen und Maße, Variable und funktionale Abhängigkeiten, Geometrische Figuren und Körper, Statistische Darstellungen und Kenngrößen) und andererseits nach den Handlungsbereichen (Darstellen & Modellbilden, Rechnen & Operieren, Interpretieren, Argumentieren & Begründen), die in ihrer Darstellungsform deckungsgleich mit den nach Kompetenzbereichen differenzierten Rückmeldungen für Deutsch und Englisch waren (Abbildung 27, Seite 38). Ergebnisdarstellung aller Gruppen/Klassen in Mathematik

42 38 BIFIE-Report 7/2011 Abbildung 27: Schulbericht Teil 4 Mathematik: Ergebnis der Gruppen/Klassen nach Handlungsbereichen 2.7 Rückmeldung an die Schulaufsicht Gliederung der Rückmeldung an die Schulaufsicht Die Vertreter/innen der Schulaufsicht (Bezirksschulinspektorinnen und -inspektoren für den Pflichtschulbereich (HS), Landesschulinspektorinnen und -inspektoren für den Pflichtschulbereich und für den Bereich allgemein bildender höherer Schulen (HS und AHS)) erhielten Rückmeldung über alle getesteten Schulen ihres Aufsichtsbereiches. Diese Rückmeldung setzte sich aus folgenden Teilen zusammen: Anschreiben Schulbericht Teil 1 jeder getesteten Schule Glossar Begleitheft mit Informationen zur Baseline-Testung bzw. Ergebnisrückmeldung So war es auch den Schulaufsichtsbeamtinnen und -beamten möglich, aufgrund der von ihnen erhaltenen Informationen, einerseits Rückschlüsse auf das Leistungsniveau der Schulen ihres Aufsichtsbereiches zu ziehen und andererseits ihre Schulleiter/innen im Umgang mit den Ergebnissen bzw. in der Ableitung von Handlungsmaßnahmen zu unterstützen.