Rezeption der Bildungsstandards und Erfahrungen mit der Ergebnisrückmeldung. Befunde der Begleitforschung zur Baseline-Testung auf der 4.

Transkript

1 Rezeption der Bildungsstandards und Erfahrungen mit der Ergebnisrückmeldung Befunde der Begleitforschung zur Baseline-Testung auf der 4. Schulstufe Maria Grillitsch & Elisabeth Amtmann Februar 2012

2 Herausgeber: Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens Alpenstraße 121 / 5020 Salzburg Rezeption der Bildungsstandards und Erfahrungen mit der Ergebnisrückmeldung Befunde der Begleitforschung zur Baseline-Testung auf der 4. Schulstufe Maria Grillitsch & Elisabeth Amtmann Februar 2012

3 Inhaltsverzeichnis A EINLEITUNG... 5 B REZEPTIONSSTUDIE ZIEL DER STUDIE ABLAUF DER BEFRAGUNG STICHPROBE ERGEBNISSE Informationsstand zum Thema Bildungsstandards Fortbildungsverhalten Teilnahme an einer Fortbildung Fortbildungsintensität Bewertung der Nützlichkeit der besuchten Fortbildung Bewertung des Fortbildungsangebotes Erlebte Unterstützung und Unterstützungsbedarf Erlebte Unterstützung bei der Umsetzung der Bildungsstandards Bekanntheit von Begleitmaßnahmen Unterstützungsbedarf Einstellungen zu den Bildungsstandards Einschätzung positiver Aspekte Einschätzung problematischer Aspekte Identifikation von Einstellungsgruppen Einschätzung des praktischen Nutzens der Bildungsstandards Einschätzung des Nutzens der Bildungsstandards für die Praxis Mehr Klärung und Orientierung durch Bildungsstandards? Bildungsstandards eine Arbeitserleichterung? Verwendung der Bildungsstandards im Unterricht Gruppenunterschiede Vergleich zwischen Lehrkräften und Schulleiterinnen bzw. Schulleitern Informiertheit, Fortbildung und erlebte Unterstützung als zentrale Einflussfaktoren für die Rezeption der Bildungsstandards Vergleich zwischen Befragten der Volksschule und der Sekundarstufe I C EVALUATION DER ERGEBNISRÜCKMELDUNG ZIEL DER STUDIE BEFRAGUNG VON LEHRKRÄFTEN UND SCHULLEITERINNEN BZW. SCHULLEITERN Ablauf der Befragung Stichprobe Ergebnisse Informiertheit über die Ergebnisrückmeldung Zugang zu den Ergebnissen und Intensität der Auseinandersetzung mit der Rückmeldung Beurteilung der Ergebnisrückmeldung Informationsgehalt, Verständlichkeit und Übersichtlichkeit der Rückmeldung insgesamt Bewertung einzelner Teilbereiche der Rückmeldung Bedeutung der Rückmeldung für die schulische Praxis und für den eigenen Unterricht Verbesserungsmöglichkeiten Unterstützungsbedarf beim Umgang mit den Ergebnissen Reaktionen auf die Ergebnisrückmeldung Besprechung der Ergebnisse Testergebnis verglichen mit den eigenen Erwartungen Standpunkt zur Rückmeldung der Ergebnisse an die Schulaufsicht Veränderungen in der Unterrichtsplanung und -gestaltung

4 2.3.7 Gruppenunterschiede Vergleich zwischen Lehrkräften und Schulleiterinnen bzw. Schulleitern Vergleich zwischen Befragten der Volksschule und der Sekundarstufe BEFRAGUNG VON SCHÜLERINNEN BZW. SCHÜLERN UND ERWACHSENEN Ablauf der Befragung und Stichprobe Ergebnisse Schüler/innen Verständlichkeit der Rückmeldung Identifikation eigener Stärken und Schwächen Auseinandersetzung mit der Rückmeldung Testergebnis verglichen mit den persönlichen Erwartungen Ergebnisse Erwachsene Verständlichkeit der Rückmeldung Identifikation von Stärken und Schwächen Bewertung der Hintergrundinformationen Testergebnis verglichen mit den persönlichen Erwartungen Besprechung der Ergebnisse Zusammenfassung D EVALUATION DER RÜCKMELDEMODERATION PILOTPROJEKT RÜCKMELDEMODERATION Ziel der Rückmeldemoderation Schulungskonzept Ablauf der Rückmeldemoderation Evaluationsdesign ERGEBNISSE Beurteilung des Schulungskonzepts Beweggründe für die Inanspruchnahme einer Rückmeldemoderation Beurteilung der Rückmeldemoderation Weiterer Unterstützungsbedarf Gesamteinschätzung E RESÜMEE F LITERATURVERZEICHNIS G ANHANG TABELLENANHANG ZU KAPITEL B Ergebnis Hauptkomponentenanalyse Informiertheit (VS) Ergebnis Hauptkomponentenanalyse Einstellung (VS) Ergebnis Hauptkomponentenanalyse Nutzen (VS) Ergebnis Hauptkomponentenanalyse Informiertheit (VS und Sek I) Ergebnis Hauptkomponentenanalyse Einstellung (VS und Sek I) Ergebnis Hauptkomponentenanalyse Nutzen (VS und Sek I) Analyse von Gruppenunterschieden Vergleich zwischen Lehrkräften und Schulleiter/innen Unterschiede nach Informiertheit Unterschiede nach Fortbildungsbesuch (ja/nein) Unterschiede nach Fortbildungsintensität Unterschiede nach erlebter Unterstützung Vergleich zwischen Befragten der Sekundarstufe I und der Volksschule Einstellungsgruppen Gruppenvergleiche Evaluationsfragebogen zur Rezeption der Bildungsstandards Lehrkräfte

5 2 TABELLENANHANG ZU KAPITEL C Analyse von Gruppenunterschieden Vergleich zwischen Lehrkräften und Schulleiter/innen Vergleich zwischen Befragten der Sekundarstufe I und der Volksschule Evaluationsfragebogen zur Ergebnisrückmeldung Lehrkräfte Evaluationsfragebogen zur Ergebnisrückmeldung Schüler/innen & Erwachsene

6 A Einleitung Elisabeth Amtmann Mit dem Inkrafttreten der Verordnung der Bildungsstandards im Jänner 2009 wurde die gesetzliche Grundlage für ein nationales Bildungsmonitoring geschaffen. Dieses erlaubt eine kontinuierliche Beobachtung des Schulsystems und der von den Schülerinnen und Schülern erzielten Lernergebnisse. Dem Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens (BIFIE) wird dabei laut Gesetz eine wichtige Rolle übertragen. Die Durchführung der periodischen Standardüberprüfungen auf der vierten und achten Schulstufe sowie die Unterstützung des Implementationsprozesses der Bildungsstandards durch die Entwicklung und Umsetzung geeigneter Begleit- und Fortbildungsmaßnahmen sind in diesem Zusammenhang wesentliche Aufgabenbereiche. Die Baseline-Testungen lieferten die Ausgangsdaten für die ab dem Frühjahr 2012 stattfindenden jährlichen Standardüberprüfungen. Sie dienten außerdem als Probelauf und sollten einen reibungslosen Ablauf der Standardüberprüfungen gewährleisten. Dabei wurden u. a. das Testdesign, diverse Abläufe und Rückmeldemodelle erprobt. Auf der achten Schulstufe fand die Baseline-Testung bereits im Frühjahr 2009 statt. Mit der Baseline-Testung auf der vierten Schulstufe im Frühjahr 2010 wurden diese Ausgangsmessungen abgeschlossen. Das Zentrum für Bildungsforschung & Evaluation (BIFIE Graz) wurde mit der Evaluation der Implementierung der Bildungsstandards und der Testungen betraut. Ziel dieser Evaluation ist es, evidenzbasierte Aussagen über den Erfolg der Maßnahmen treffen zu können und damit eine kontinuierliche Weiterentwicklung der Bildungsstandards und der Begleitmaßnahmen zu ermöglichen. Im Zuge dieses Evaluationsprojektes wurden 2009 und 2010 bereits Erhebungen zur Rezeption der Bildungsstandards bei Schulleiterinnen bzw. Schulleitern und Lehrkräften der Sekundarstufe I (8. Schulstufe) sowie zur Ergebnisrückmeldung der Baseline-Testung auf der 8. Schulstufe durchgeführt. Die Ergebnisse dieser Befragungen wurden als BIFIE-Reports 1 veröffentlicht. Der vorliegende Bericht widmet sich nun den Befunden der Begleitforschung zur Baseline- Testung auf der 4. Schulstufe. Die Ergebnisse von drei Erhebungen werden dabei zusammenfassend dargestellt (vgl. Tabelle 1). 1 Grillitsch, 2010; Amtmann, Grillitsch & Petrovic,

7 Erhebung Befragtengruppe Anzahl der Befragten Erhebungsinstrument Rezeption der Bildungsstandards Schulleiter/innen 252 Lehrkräfte 431 Fragebogen Ergebnisrückmeldung Schulleiter/innen 237 Lehrkräfte 415 Schüler/innen 576 Eltern 641 Fragebogen Online-Fragebogen Rückmeldemoderation Rückmeldemoderatorinnen und Online-Fragebogen moderatoren Gruppendiskussion Schulleiter/innen 33 Fragebogen gesamtes Kollegium 2 Schulen vertiefendes Interview Tabelle 1: Übersicht der Erhebungen (Befragtengruppen, Anzahl der Befragten und Erhebungsinstrument) Die Schulleiter/innen und Lehrer/innen der Baseline-4-Schulen wurden in einem ersten Schritt mittels Fragebogen befragt, wie sie die Bildungsstandards allgemein rezipieren. Die Ergebnisse dieser Befragung werden in Kapitel B dargestellt. Nachdem sämtliche Akteursgruppen eine Rückmeldung der Ergebnisse der Baseline-Testung erhalten hatten, wurden sie gebeten, Auskunft über ihre Erfahrungen mit dem Rückmeldeprozedere zu geben und die Ergebnisrückmeldung zu beurteilen. Die betroffenen Lehrer/innen und Schulleiter/innen erhielten einen Paper-Pencil-Fragebogen. Schüler/innen und Eltern hatten die Gelegenheit, online ein Feedback zur Rückmeldung zu geben. Die Befunde dieser Befragungen finden sich in Kapitel C. Um Schulleiter/innen und Lehrer/innen bei der Überleitung von Rückmeldeinformationen in produktive Schulentwicklungsprozesse zu unterstützen, wird ab den Standardüberprüfungen österreichweit ein adäquates Unterstützungssystem zur Verfügung stehen. Im Zuge der Baseline- Testung auf der vierten Schulstufe fand die Pilotierung dieses Konzeptes zur Rückmeldemoderation statt. Die Evaluationsergebnisse dazu werden in Kapitel D dieses Berichtes dargestellt. Im Resümee werden die wichtigsten Ergebnisse und Schlussfolgerungen dieser Erhebungen noch einmal zusammengefasst. Hinweis zur Ergebnisdarstellung Die in den Grafiken bzw. im Text angegebenen Prozentwerte sind gerundete Werte, weshalb es vorkommen kann, dass die Summe der gerundeten Prozentangaben nicht exakt 100 ergibt. Die Darstellungen basieren auf den jeweils gültigen Antworten (fehlende Werte sind nicht explizit angegeben). Soweit möglich finden sich die Originalfragestellungen in den Grafiken wieder. Vor allem in Kapitel B (Rezeptionsstudie) wurden aus Gründen der besseren Lesbarkeit jedoch vielfach kurze Titel für die Abbildungen gewählt. Die exakten Fragestellungen können dem Evaluationsfragebogen im Anhang entnommen werden. -6-

8 B Rezeptionsstudie Maria Grillitsch 1 Ziel der Studie Im Fokus der Studie stand die Frage, wie die Bildungsstandards und die bisher gesetzten Implementierungsmaßnahmen von den Lehrkräften und Schulleiterinnen bzw. Schulleitern der Baseline-Schulen (4. Schulstufe) rezipiert werden. Um Informationen darüber zu gewinnen, wurde vom BIFIE Graz ein Evaluationsfragebogen entwickelt, der Fragen zu folgenden Bereichen enthielt: Informationsstand und Informationsquellen zum Thema «Bildungsstandards» Einstellungen zu den Bildungsstandards Bedeutung der Standards für die tägliche Unterrichtsarbeit Nutzung von Begleitangeboten Unterstützungs- und Fortbildungsbedarf 2 Ablauf der Befragung Der Evaluationsfragebogen wurde an alle Lehrkräfte und Schulleiter/innen übermittelt, deren Schüler/innen an der Baseline-Testung in der 4. Schulstufe teilgenommen hatten. Die Erhebung fand im November 2010 statt. Die Fragebögen wurden postalisch an die Schulen gesandt, wobei die Schulleiter/innen gebeten wurden, diese an die jeweiligen Lehrkräfte weiterzugeben. Nach dem Ausfüllen wurden die Fragebögen (in einem verschlossenen Kuvert) an den Schulleiter bzw. die Schulleiterin retourniert und anschließend gesammelt an das BIFIE Graz übermittelt. Die Ergebnisse der Befragungen wurden unmittelbar nach deren Auswertung an die Projektverantwortlichen des BIFIE rückgemeldet (Frühjahr 2011), sodass diese bei der Gestaltung der Implementierungsmaßnahmen Berücksichtigung finden konnten. 3 Stichprobe Zielgruppe der Befragung in der Volksschule waren alle Klassenlehrer/innen, deren Schüler/innen im Frühjahr 2010 an der Baseline-Testung in der 4. Schulstufe teilgenommen hatten sowie alle Schulleiter/innen der 267 Baseline-Schulen. Kontaktaufnahme Rücklauf absolut Rücklauf Prozent Lehrer/innen ,2 % Schulleiter/innen ,4 % Summe ,0 % Tabelle 2: Rücklaufquoten der Fragebogenerhebung bei Lehrkräften und Schulleiter/innen -7-

9 Die in diesem Bericht dargestellten Ergebnisse beruhen auf den Angaben von 431 Lehrkräften und 252 Schulleiterinnen bzw. Schulleitern. Die Rücklaufquote lag damit bei den Lehrkräften bei 86 % und bei den Leitungspersonen bei 94 % (Tabelle 2). Geschlecht Lehrer/innen Schulleiter/innen absolut Prozent absolut Prozent weiblich ,4 % ,5 % männlich 50 11,6 % 59 23,5 % Tabelle 3: Geschlechterverteilung der befragten Lehrkräfte und Schulleiter/innen 88 % der befragten Lehrkräfte waren weiblich, die restlichen 12 % männlich. Bei den Schulleiterinnen bzw. Schulleitern waren etwas mehr als drei Viertel weiblich und rund ein Viertel männlich (Tabelle 3). Dienstjahre Lehrer/innen (Dienstjahre als Lehrer/in) Schulleiter/innen (Dienstjahre als SL) absolut Prozent absolut Prozent bis zu 5 Jahre 34 7,9 % 54 21,6 % 6 bis 15 Jahre 92 21,3 % ,2 % mehr als 15 Jahre ,8 % 78 31,2 % Tabelle 4: Verteilung der Befragten nach der Anzahl der Dienstjahre als Lehrer/in bzw. als Schulleiter/in Der Großteil der befragten Lehrkräfte (71 %) verfügte über mehr als 15 Jahre Berufserfahrung. Bei den Schulleiterinnen bzw. Schulleitern übte eine deutliche Mehrheit der Befragten (78 %) die Leitungsfunktion schon mehr als 5 Jahre aus (Tabelle 4). 4 Ergebnisse In der Folge werden die wichtigsten Ergebnisse der Befragung berichtet. In einem ersten Schritt (Kapitel 4.1 bis 4.6) erfolgt eine deskriptive Darstellung der Antwortverteilungen, in weiterer Folge (Kapitel 4.7) werden Gruppenunterschiede analysiert (z. B. Unterschiede zwischen Lehrkräften und Schulleiter/innen). Zudem werden auch Unterschiede zu den Ergebnissen der Lehrer- bzw. Schulleiterbefragung in der Sekundarstufe I, die im Oktober/November 2009 durchgeführt wurde, dargelegt. 4.1 Informationsstand zum Thema Bildungsstandards Wie gut sich die Befragten über die Bildungsstandards im Allgemeinen, die Baseline-Testung und die Standardüberprüfung informiert fühlten, wurde in Form von sieben Items erhoben. Diese wurden von den Befragten auf einer vierstufigen Skala (sehr gut gar nicht) beantwortet. -8-

10 Wie gut fühlen Sie sich informiert über... den Ablauf der Baseline-Testung in den Klassen? die Ziele und Funktionen der Baseline-Testung? die Ziele und Funktionen der Bildungsstandards? die Verbindlichkeit der Umsetzung der Bildungsstandards? die gesetzliche Verordnung der Bildungsstandards? die Rückmeldung der Testergebnisse (Wer welche Informationen erhält)? die Ziele und Funktionen der Standardüberprüfungen ab 2013? % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% sehr gut gut wenig gar nicht Abbildung 1: Informiertheit über die Bildungsstandards allgemein, die Baseline-Testung und die Standardüberprüfung Antwortverteilungen der Befragten gesamt (n ~ 675); Werte 2 % sind in der Grafik nicht angeführt Insgesamt fühlten sich die Befragten mehrheitlich sehr gut oder gut informiert. Jeweils rund 90 % der Lehrkräfte und Schulleiter/innen gaben an, sich über den Ablauf der Baseline-Testung sowie über deren Ziele und Funktionen sehr gut oder gut informiert zu fühlen. Auch über die Ziele und Funktionen der Bildungsstandards im Allgemeinen (89 %) und über die Verbindlichkeit der Umsetzung der Bildungsstandards (84 %) fühlte sich die überwiegende Mehrheit der Befragten sehr gut oder gut informiert. Vergleichsweise etwas weniger gut informiert zeigten sich die Befragten in Bezug auf die gesetzliche Verordnung der Bildungsstandards, die Rückmeldung der Ergebnisse und v. a. die Standardüberprüfung ab Aber auch bei diesen Bereichen wählten zwischen 75 % und 63 % die Antwortkategorien sehr gut oder gut (Abbildung 1). Primäre Informationsquelle war für die Lehrkräfte und Schulleiter/innen das Bundesinstitut für Bildungsforschung, Innovation und Entwicklung des österreichischen Schulwesens (BIFIE). 87 % der Befragten äußerten, vom BIFIE Informationen rund um das Thema Bildungsstandards erhalten zu haben. Weiters haben 69 % vom Bundesministerium für Unterricht, Kunst und Kultur, 57 % vom Landesschulrat bzw. Stadtschulrat für Wien und 54 % vom Bezirksschulrat Informationen bezogen (ohne Tabelle oder Abbildung). Insgesamt lässt sich anhand dieser Ergebnisse schließen, dass die Informationsstrategie rund um die Baseline-Testung auf der 4. Schulstufe breite Wirkung gezeigt hat und die Befragten daher über eine (für sie) zufriedenstellende Informationsbasis verfügten. Jene Bereiche, in denen sich noch eher Informationsdefizite feststellen lassen (siehe Abbildung 1), betreffen v. a. die Informiertheit über die Ziele und Funktionen der Standardüberprüfungen und die Rückmeldung der Ergebnisse. Dies lässt sich zum einen damit erklären, dass die Standardüberprüfungen, welche in der Volksschule ab dem Frühjahr 2013 stattfinden, zum Zeitpunkt der Befragung noch relativ weit weg lagen und insofern für die Befragten wohl auch noch nicht zentraler Gegenstand der persönlichen Auseinandersetzung waren. Zum anderen ist zu erwähnen, dass die Standardüberprüfungen zum Erhebungszeitpunkt noch nicht im Fokus der -9-

11 Informationsbemühungen standen. Ähnliches gilt für die Ergebnisrückmeldung. Die Rückmeldung der Baseline-4-Ergebnisse erfolgte Ende Das bedeutet, es wurde zwar bereits im Vorfeld der Befragung grundlegend über die Rückmeldung informiert, wirklich konkret wurde dieses Thema für die Lehrkräfte und Schulleiter/innen aber erst als die Rückmeldung der Ergebnisse tatsächlich erfolgte. Im Zuge dessen erhielten die Befragten dann auch noch einmal umfassende Informationen. Einen dritten Bereich, in dem sich die Lehrkräfte und Schulleiter/innen vergleichsweise etwas weniger gut informiert fühlten, stellt die gesetzliche Verordnung der Bildungsstandards dar. Dies ist insofern hervorzuheben, als dass die Bildungsstandards mit 1. Jänner 2009 verordnet wurden. Zum Befragungszeitpunkt war die Verordnung also bereits seit fast zwei Jahren in Kraft. Dennoch äußerte ein Viertel, über diese wenig oder gar nicht informiert zu sein (siehe auch Kapitel 4.3.2). Hier zeigt sich insofern noch Informationsbedarf, gleichzeitig muss aber auch betont werden, dass es in der Verantwortung der Lehrkräfte und Schulleiter/innen liegt, sich über festgelegte Bestimmungen zu informieren und vorhandene Informationsquellen zu nutzen. 4.2 Fortbildungsverhalten Um Informationen zum Fortbildungsverhalten zu erhalten, wurden die Lehrkräfte und Schulleiter/innen gefragt, ob sie bereits eine Fortbildung zum Thema Bildungsstandards besucht haben. Weiters wurde erhoben, ob die Befragten einmal oder mehrmals eine Fortbildung absolviert haben und wie lange diese gedauert hat. Die Einschätzung der Nützlichkeit der besuchten Fortbildung(en) sowie die Bewertung des Fortbildungsangebotes zur Thematik Bildungsstandards standen ebenfalls im Zentrum des Interesses Teilnahme an einer Fortbildung Etwa drei Viertel der Lehrkräfte und 95 % der Schulleiter/innen gaben an, zum Erhebungszeitpunkt bereits einmal eine Fortbildung zum Thema Bildungsstandards besucht zu haben (Abbildung 2 und Abbildung 3). Teilnahme an einer Fortbildung Lehrer/innen Teilnahme an einer Fortbildung Schulleiter/innen 5% 27% ja nein ja nein 73% 95% Abbildung 2: Teilnahme an einer Fortbildung zum Abbildung 3: Teilnahme an einer Fortbildung zum Thema Bildungsstandards Lehrkräfte (n = 423) Thema Bildungsstandards Schulleiter/innen (n = 248) -10-

12 Damit lässt sich feststellen, dass sich insgesamt bereits ein Großteil der Befragten im Rahmen einer Fortbildung mit den Bildungsstandards auseinandergesetzt hat, wobei sich die Schulleiter/innen häufiger fortgebildet haben als die Lehrkräfte. Erklären lässt sich dieser Fortbildungsvorsprung u. a. dadurch, dass die Schulleiter/innen in die Abwicklung der Baseline-Testung wesentlich stärker involviert waren als die Lehrkräfte. Denn während die Koordination der Testung an der Schule dem Schulleiter/der Schulleiterin oblag, wurde die Testung in den Klassen von externen Testleiterinnen bzw. Testleitern durchgeführt. Dadurch war für die Schulleiter/innen vermutlich die Notwendigkeit, sich (zu diesem Zeitpunkt) mit der Bildungsstandards-Thematik auseinanderzusetzen, höher als für die Lehrkräfte. Zum anderen standen die Schulleiter/innen auch gezielt im Mittelpunkt der Informationspolitik des BIFIE im Hinblick auf die Durchführung der Baseline-Testung und die Ergebnisrückmeldung. So gab es beispielsweise Informationsveranstaltungen zur Ergebnisrückmeldung, die speziell für Schulleiter/innen angeboten und zu denen diese gezielt eingeladen wurden Fortbildungsintensität Insgesamt haben 52 % aller Befragten, die eine Fortbildung absolviert haben, bereits öfter als zweimal an einer solchen teilgenommen. 29 % haben zweimal und 19 % einmal eine Fortbildung zum Thema Bildungsstandards besucht. Auch hier lässt sich feststellen, dass die Schulleiter/innen häufiger als die Lehrkräfte mehrere Fortbildungsangebote wahrgenommen haben (ohne Tabelle oder Abbildung). Was die Dauer der besuchten Fortbildung betrifft, so wurden mehrheitlich Kurzveranstaltungen besucht. Mehrtägige Veranstaltungen bzw. Lehrgänge wurden nur von einem sehr geringen Prozentsatz der Lehrkräfte und Schulleiter/innen in Anspruch genommen (Abbildung 4). Dauer der besuchten Fortbildung halbtägige (oder kürzere) VA 60% halbtägige + eintägige VA 24% verschiedene Kombinationen eintägige VA mehrtägige VA Lehrgang 7% 6% 2% 1% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Abbildung 4: Dauer der besuchten Fortbildung(en) Antwortverteilungen jener Befragten, die eine Fortbildung absolviert haben (n = 545) Für die Analyse von Gruppenunterschieden (siehe Kapitel 4.7) wurde weiters eine eigene Variable für die Fortbildungsintensität gebildet, die die Anzahl und die Dauer der absolvierten -11-

13 Fortbildung(en) berücksichtigt. Jene Befragten, die eine Fortbildung besucht haben, wurden in drei Gruppen eingeteilt: Fortbildungsintensität absolut Prozent hoch 44 8,1 % mittel ,2 % gering ,7 % Tabelle 5: Fortbildungsintensität Zuordnung der Befragten zu den Gruppen (n = 541) Die Gruppe hohe Fortbildungsintensität umfasst Personen, die sich intensiv zum Thema Bildungsstandards fortgebildet haben, z. B. Personen, die einen Lehrgang oder mehrmals eine mehrtägige Fortbildung absolviert haben. 8 % jener Befragten, die sich fortgebildet haben, fallen in diese Gruppe. Der Gruppe mittlere Fortbildungsintensität gehören z. B. jene Personen an, die mehrmals Kurzfortbildungen oder einmal eine mehrtägige Veranstaltung besucht haben. Dies trifft auf die überwiegende Mehrheit (73 %) der Befragten zu. Eine geringe Fortbildungsintensität weisen jene Personen auf, die bisher eine Fortbildungsveranstaltung besucht haben, wobei es sich bei dieser um eine Kurzveranstaltung (halbtägig oder maximal eintägig) handelte. 19 % der Befragten zählen zu dieser Gruppe (Tabelle 5) Bewertung der Nützlichkeit der besuchten Fortbildung Zur Frage, wie hilfreich die besuchte(n) Fortbildung(en) für sie insgesamt waren, äußerten sich die Befragten mehrheitlich positiv. Nützlichkeit der besuchten Fortbildung(en) 7% 2% 25% sehr hilfreich 24% eher hilfreich unentschieden wenig hilfreich gar nicht hilfreich 42% Abbildung 5: Einschätzung der Nützlichkeit der besuchten Fortbildung(en) Antwortverteilungen jener Befragten, die eine Fortbildung absolviert haben (n = 533) Zwei Drittel der Befragten bezeichneten die Fortbildungen als sehr hilfreich bzw. eher hilfreich. 9 % schätzten die besuchten Fortbildungen als wenig oder gar nicht hilfreich ein. Etwa ein Viertel legte sich diesbezüglich nicht fest und wählte die Mittelkategorie (Abbildung 5). -12-

14 4.2.4 Bewertung des Fortbildungsangebotes Das Fortbildungsangebot zum Thema Bildungsstandards empfand etwas mehr als die Hälfte der Befragten (58 %) als völlig ausreichend oder eher ausreichend. Insgesamt 14 % bekundeten in Bezug auf das Fortbildungsangebot noch Verbesserungsbedarf, indem sie dieses als eher nicht ausreichend oder gar nicht ausreichend bewerteten. Die restlichen 28 % wählten die Antwortkategorie unentschieden (Abbildung 6). Bewertung des Fortbildungsangebotes 10% 4% 22% völlig ausreichend eher ausreichend 28% unentschieden eher nicht ausreichend 36% gar nicht ausreichend Abbildung 6: Bewertung des Fortbildungsangebotes Antwortverteilungen der Befragten gesamt (n = 646) Insgesamt lässt sich anhand der Ergebnisse feststellen, dass sich die überwiegende Mehrheit der befragten Schulleiter/innen und Lehrkräfte, zum Thema Bildungsstandards fortgebildet hat. Dies ist zweifelsohne positiv zu bewerten, wenngleich auch relativierend hinzugefügt werden muss, dass von den Lehrkräften und Schulleiterinnen bzw. Schulleitern vorwiegend Kurzveranstaltungen besucht wurden. Insofern kann angenommen werden, dass die Auseinandersetzung mit dieser Thematik nicht allzu intensiv war. Gleichzeitig ist auch davon auszugehen, dass die Lehrkräfte und Schulleiter/innen an den Baseline-Schulen ein größeres Interesse hatten, an Fortbildungen teilzunehmen als jene Lehrkräfte und Schulleiter/innen, deren Schüler/innen nicht an der Baseline-Testung teilgenommen haben. Das bedeutet, es ist anzunehmen, dass die Ergebnisse zum Fortbildungsverhalten nicht auf die Grundgesamtheit übertragbar sind und keine Aussagen über das Fortbildungsverhalten der Lehrkräfte und Schulleiter/innen generell abgeleitet werden können. Dennoch lässt sich schließen, dass es gelungen ist, im Zuge von Fortbildungsveranstaltungen einen großen Kreis der Befragtengruppe zu erreichen und mit grundlegenden und hilfreichen Informationen zu versorgen. In Bezug auf das Fortbildungsangebot lassen sich insgesamt doch noch Verbesserungspotentiale orten, wenngleich sich auch die Mehrheit der Lehrkräfte und Schulleiter/innen zum bestehenden Angebot (eher) positiv äußerte. Konkrete Verbesserungsvorschläge wurden nur vereinzelt vorgebracht. So wurde beispielsweise in diesem Zusammenhang erwähnt, dass es wichtig sei, die Informations- sowie Aus- und Fortbildungsangebote weiter auszubauen (n = 13). Das zur Verfügung stellen von Informationen und Weiterbildung auf breiter Basis, ein intensiver Praxisbezug der Fortbildungen, die Schaffung regionaler Angebote und die Auswahl kompetenter -13-

15 Referentinnen und Referenten wurden weiters als ganz konkrete Verbesserungsmöglichkeiten genannt. 4.3 Erlebte Unterstützung und Unterstützungsbedarf Ziel der Befragung war es auch zu erfassen, wie gut sich die Befragten insgesamt bei der Umsetzung der Bildungsstandards unterstützt fühlen und in welchen Bereichen sie noch speziellen Unterstützungsbedarf orten. Zudem wurde auch der Frage nachgegangen, inwiefern zur Verfügung gestellte Begleitmaßnahmen in der Lehrerschaft bekannt sind Erlebte Unterstützung bei der Umsetzung der Bildungsstandards 64 % der Lehrkräfte und 85 % der Schulleiter/innen fühlten sich bei der Umsetzung der Bildungsstandards sehr gut oder gut unterstützt. Etwa ein Drittel der Lehrkräfte fühlte sich wenig unterstützt bei den Schulleiterinnen bzw. Schulleitern trifft dies vergleichsweise nur für 14 % zu. Lediglich ein geringer Prozentsatz (5 % der Lehrkräfte und 1 % der Schulleiter/innen) gab an, sich gar nicht unterstützt zu fühlen (Abbildung 7 und Abbildung 8). erlebte Unterstützung Lehrer/innen erlebte Unterstützung Schulleiter/innen 1% 5% 9% sehr gut 14% 23% sehr gut 32% gut wenig gar nicht gut wenig gar nicht 55% 62% Abbildung 7: Einschätzung der erlebten Unterstützung Abbildung 8: Einschätzung der erlebten Unterstützung Lehrkräfte (n = 414) Schulleiter/innen (n = 245) Insgesamt lässt sich feststellen, dass sich die Schulleiter/innen deutlich besser unterstützt fühlten als die Lehrkräfte. Ausschlaggebend dafür dürften zum einen die konstatierten Unterschiede zwischen Lehrkräften und Schulleiterinnen bzw. Schulleitern im Hinblick auf das Fortbildungsverhalten und die Informiertheit darstellen (siehe dazu auch Kapitel 4.1, 4.2 und 4.7). Zum anderen ist auch anzunehmen, dass Lehrkräfte im Vergleich zu ihren Vorgesetzten auch andere Erwartungen an das Unterstützungsangebot stellen. Schließlich obliegt ihnen die unmittelbare, praktische Umsetzung der Bildungsstandards im Unterricht, während die Schulleiter/innen in der Regel stärker mit organisatorisch-administrativen Belangen konfrontiert sind. -14-

16 4.3.2 Bekanntheit von Begleitmaßnahmen Um einen Einblick zu erhalten, inwiefern vorhandene Unterlagen und bisher gesetzte Begleitmaßnahmen bekannt sind, wurden die Lehrkräfte 2 gebeten anzugeben, ob sie die in Tabelle 6 angegebenen Unterlagen bzw. Instrumente kennen. Kennen Sie die folgenden Unterlagen bzw. Materialien? ja (in Prozent) Verordnung zu den Bildungsstandards (n = 400) 68,0 % Aufgabenbeispiele (freigegebene Items) auf der BIFIE-Website (n = 416) 77,7 % Praxishandbuch Deutsch (4. Schulstufe) (n = 418) 79,4 % Praxishandbuch Mathematik (4. Schulstufe) (n = 418) 79,6 % Kennen Sie die Diagnoseinstrumente zur Informellen Kompetenzmessung (IKM)? ja (in Prozent) für Mathematik (3. Schulstufe) (n = 421) 26,0 % für Deutsch (3. Schulstufe) (n = 420) 26,7 % Tabelle 6: Prozentsatz der Lehrkräfte, dem die angegebenen Unterlagen bzw. Instrumente bekannt sind Etwas mehr als zwei Drittel der Lehrkräfte gaben an, die Verordnung zu den Bildungsstandards zu kennen. Besser bekannt waren hingegen die Aufgabenbeispiele auf der BIFIE-Website (78 %) sowie die Praxishandbücher für Mathematik (80 %) und Deutsch (79 %). Die sogenannten Diagnoseinstrumente zur Informellen Kompetenzmessung kannten etwas mehr als ein Viertel der befragten Lehrkräfte (Tabelle 6). Angesichts dessen, dass die Bildungsstandards mit 1. Jänner 2009 verordnet wurden und insofern zum Erhebungszeitpunkt schon seit fast zwei Jahren in Kraft waren, ist der Anteil jener, die die Verordnung nicht kannten (rund ein Drittel), durchaus hoch. Damit weist dieses Ergebnis in die gleiche Richtung, wie die in Kapitel 4.1 dargestellten Befunde zur Informiertheit. Es lässt sich schließen, dass das Interesse der Lehrkräfte an jenen Materialien und Unterlagen, die stärker anwendungsorientiert aufbereitet sind (Aufgabenbeispiele und Praxishandbücher), größer ist als an der Verordnung selbst. Dies ist zwar grundsätzlich nachvollziehbar, dennoch erscheint auch die Kenntnis der Verordnung selbst als wichtig. Denn diese gibt grundlegend Auskunft über die Begriffsbestimmungen, die Funktionen der Bildungsstandards und der Standardüberprüfungen. Vor allem sind in der Anlage der Verordnung auch die Kompetenzmodelle und die Bildungsstandards beschrieben. Die Tatsache, dass die Diagnoseinstrumente zur Informellen Kompetenzmessung innerhalb dieser Befragtengruppe noch nicht außerordentlich bekannt waren, war durchaus zu erwarten. Die Diagnoseinstrumente stehen in der Volksschule für die 3. Schulstufe zur Verfügung. Somit hätten die befragten Lehrpersonen die Informelle Kompetenzmessung bereits im Schuljahr vor der Baseline-Testung (oder am Beginn des laufenden Schuljahres) durchführen müssen. Zu 2 Diese Fragen waren ausschließlich im Lehrerfragebogen enthalten. -15-

17 diesem Zeitpunkt war IKM allerdings erst in der Anfangsphase. Für viele Lehrkräfte gab wohl erst die Teilnahme an der Baseline-Testung den Impuls, sich mit der Bildungsstandards-Thematik und den entsprechenden Begleitmaßnahmen näher auseinanderzusetzen Unterstützungsbedarf Die Lehrkräfte wurden in weiterer Folge auch noch zum Unterstützungsbedarf befragt und sollten angeben, wie wichtig bestimmte Materialien bzw. Begleitmaßnahmen für sie sind. Insgesamt wurden neun Begleitmaßnahmen vorgegeben, die von den Lehrkräften auf einer fünfstufigen Skala (1 = gar nicht wichtig 5 = sehr wichtig) beurteilt werden sollten. Abbildung 9 zeigt das Ergebnis dazu in Form einer Darstellung der Mittelwerte. Wichtigkeit folgender Materialien bzw. Begleitmaßnahmen Lehrer/innen Schulbücher Praxishandbücher Ergebnisrückmeldung standardbasierte Unterrichtsaufgaben Instrumente zur Lernstandsdiagnose 4,58 4,38 4,30 4,14 4,08 vertiefende Fortbildungsveranstaltungen 3,63 kollegiale Hospitation Vernetzung mit anderen Schulstandorten Videos mit Unterrichtssequenzen 2,95 3,08 3,07 1 1,5 2 2,5 3 3,5 4 4,5 5 Beurteilungsskala: 1 = gar nicht wichtig 5 = sehr wichtig Abbildung 9: Beurteilung der Wichtigkeit der vorgegebenen Materialien bzw. Begleitmaßnahmen durch die Lehrkräfte Darstellung der Mittelwerte (n ~ 420) Es lässt sich feststellen, dass vor allem jenen Materialien große Bedeutung zugeschrieben wurde, die als unmittelbare Grundlage für die Planung und Gestaltung von Unterricht herangezogen werden können. Als besonders wichtig erachteten die Lehrkräfte Schulbücher, die die Umsetzung der Bildungsstandards unterstützen. Ebenfalls als wichtig eingeschätzt wurden Praxishandbücher, denen Hintergrundinformationen, fachdidaktische Empfehlungen und Unterrichtsbeispiele entnommen werden können. Auch die Rückmeldung der Ergebnisse der getesteten Klasse war den Lehrkräften wichtig. Die Vernetzung mit Kolleginnen und Kollegen, sei es am eigenen Schulstandort oder über die eigene Schule hinaus, wurde hingegen vergleichsweise als weniger bedeutsam eingeschätzt. Den niedrigsten Mittelwert weisen Videos mit Unterrichtssequenzen auf (Abbildung 9). Diese Videos, in denen die Kompetenzentwicklung der Schüler/innen im Hinblick auf Bildungsstandards anhand exemplarischer Unterrichtssequenzen veranschaulicht wird, kommen in erste Linie in der Lehrerfortbildung zum Einsatz und waren zum Erhebungszeitpunkt noch nicht besonders bekannt. -16-

18 Neben der Einschätzung der Wichtigkeit der oben dargestellten Materialien und Begleitmaßnahmen wurden die Lehrkräfte auch gefragt, zu welchen Themenbereichen sie noch mehr Informationen bzw. Materialien benötigen. Konkret wurden zehn Themenbereiche vorgegeben, die auf einer fünfstufigen Skala bewertet werden sollten (1 = nicht notwendig 5 = sehr wichtig). Wie sich zeigt, wurden von den Lehrkräften unterstützende Informationen und Materialien zum Umgang mit den Testergebnissen am wichtigsten erachtet (AM = 3,72). Auch in Bezug auf die Themenbereiche Diagnose des Lernstandes (AM = 3,66), Möglichkeiten innerer Differenzierung (AM = 3,62) und kompetenzorientiertes Unterrichten (AM = 3,59) wurde häufig noch weiterer Unterstützungsbedarf geäußert (ohne Tabelle oder Abbildung). Ergänzend dazu wurden die Lehrkräfte gefragt, ob sie noch weitere Materialien bzw. Maßnahmen als notwendig erachten, um mit den Bildungsstandards adäquat arbeiten zu können. 32 % (127 Personen) bejahten diese Frage und äußerten sich auch verbal dazu, welche Materialien und Maßnahmen dies aus ihrer Sicht sein sollten. Unterstrichen wurde v. a. noch einmal der Bedarf an Schulbüchern, die auf die Bildungsstandards abgestimmt sind (n = 30). Auch der Wunsch nach weiteren praktischen Anregungen für den Unterricht (Unterrichtsmaterialien, Aufgabenbeispiele etc.) wurde in diesem Zusammenhang häufig geäußert (n = 22). Zudem wurde darauf hingewiesen, dass eine Verbesserung der unterrichtlichen Rahmenbedingungen (n = 9) wie Personalressourcen, Ausstattung etc. sowie ein adäquates Fortbildungsangebot (n = 7) wichtig seien. Insgesamt lässt sich in Bezug auf den Unterstützungsbedarf zusammenfassen, dass sich v. a. die Lehrkräfte noch mehr bzw. bessere Unterstützung wünschen. Dabei bedarf es aus Sicht der Befragten in erster Linie an Informationen und Materialien, die bei der konkreten Umsetzung der Bildungsstandards im Unterricht unterstützen. Es sollte aber auch bedacht werden, dass die Verwendung anderer Schulbücher und anderer Aufgabenbeispiele allein keinen Wandel der Unterrichtskultur, wie ihn die Bildungsstandards implizieren sollen, bewirken kann. Dazu braucht es mehr ein fundiertes Basiswissen über die Ziele, Funktionen und Inhalte der Bildungsstandards sowie die Reflexion des eigenen Unterrichtes sind in diesem Zusammenhang zentral. 4.4 Einstellungen zu den Bildungsstandards Zur Erfassung der Einstellungen gegenüber den Bildungsstandards wurde eine von Freudenthaler und Specht entwickelte Skala verwendet (vgl. Freudenthaler & Specht 2005, S. 19). Diese wurde bereits im Zuge der Evaluation der Pilotphasen zur Einführung der Bildungsstandards entwickelt und kam auch dort bereits zur Anwendung. Die Einstellungsskala umfasst insgesamt 23 Aussagen, die häufig diskutierte positive bzw. problematische Aspekte der Implementierung von Bildungsstandards thematisieren. -17-

19 4.4.1 Einschätzung positiver Aspekte Die Befragten konnten die vorgegebenen Aussagen auf einer fünfstufigen Skala (stimmt genau stimmt gar nicht) bewerten. Abbildung 10 zeigt zunächst die Antwortverteilungen in Bezug auf die Einschätzung der positiven Aspekte der Einführung der Bildungsstandards, wobei die Aussagen nach dem Grad der Zustimmung angeordnet sind (Prozentsatz der Personen, welche die Antwortkategorien stimmt genau und stimmt eher gewählt haben). Einschätzung positiver Aspekte Bildungsstandards machen die Ziele der Schule für alle Beteiligten transparenter Standards können dazu führen, dass die Übergänge auf weiterführende Schulformen objektiviert werden und es mehr Chancengleichheit gibt Bildungsstandards sind ein nützliches Instrument zur Qualitätssicherung im Schulwesen Bildungsstandards schärfen den Blick der Lehrkraft für Stärken und Schwächen ihrer Schüler/innen Bildungsstandards geben Eltern und Schüler/innen Klarheit über das, was von der Schule erwartet wird Bildungsstandards geben Klarheit,worauf es in der Schule letztendlich ankommt Bildungsstandards fördern die Zusammenarbeit und die Koordination der Lehrkräfte eines Faches Die unterschiedlichen Verhältnisse der Schulenin Stadt und Land erfordern gemeinsame Standards Nur wenn wir gemeinsame Bildungsstandards haben, wird der Wert eines Schulabschlusses wieder eindeutig anerkannt werden Bildungsstandards erleichtern den Einsatz gezielter Maßnahmen zur Förderung schwächerer Schüler/innen Wenn es nicht klare Standards gibt, ist ein Schulabschluss bald nichts mehr wert % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% stimmt genau stimmt eher unentschieden stimmt eher nicht stimmt gar nicht Abbildung 10: Einschätzung positiver Aspekte der Einführung von Bildungsstandards Antwortverteilungen der Befragten gesamt (n ~ 670) Insgesamt äußerten die Lehrkräfte und Schulleiter/innen am häufigsten, dass sie die Bildungsstandards als Chance sehen, mehr Transparenz zu schaffen (64 %), Objektivität sowie Chancengleichheit zu forcieren (61 %) und insgesamt zur Qualitätssicherung im Schulwesen (60 %) beizutragen. Vergleichsweise weniger Zustimmung erhielten jene Aussagen, die die Bildungsstandards mit konkreten Implikationen für den Unterricht/die Schule verbinden. So waren insgesamt weniger Befragte der Auffassung, dass Bildungsstandards Verbesserungen bzw. Erleichterungen hinsichtlich der Lernstandsdiagnose (Einschätzung der Stärken/Schwächen der Schüler/innen: 52 %) bzw. des gezielten Einsatzes von Fördermaßnahmen (39 %) mit sich bringen oder Veränderungen in der Zusammenarbeit der Lehrkräfte eines Faches nach sich ziehen -18-

20 (43 %). Insgesamt am wenigsten stimmten die Befragten jenen Aussagen zu, die die Bildungsstandards als zentrale Voraussetzung für die Anerkennung von Schulabschlüssen hervorheben (39 % bzw. 26 %; Abbildung 10). Dass die Befragten die Bildungsstandards stärker als ein Instrument der allgemeinen Qualitätssicherung sehen und in geringerem Maße mit konkreten, positiven Implikationen für den eigenen Unterricht verbinden, liegt vermutlich in verschiedenen Ursachen begründet. Zwei mögliche Erklärungen seien an dieser Stelle herausgegriffen. Zum einen muss berücksichtigt werden, dass die Einführung einer Innovation wie es die Bildungsstandards definitiv sind einen langfristigen Veränderungsprozess darstellt. Das heißt es braucht ein gewisses Maß an Zeit bis derartige Veränderungen auch tatsächlich in der Schulpraxis greifen. Die Begleitmaßnahmen, die die Akteurinnen und Akteure an den Schulen auf den Umgang mit den Bildungsstandards vorbereiten und bei der praktischen Umsetzung im Unterricht unterstützen sollen, sind seit einiger Zeit intensiv angelaufen. Dennoch lässt sich konstatieren, dass diese Maßnahmen noch nicht tief genug gesickert sind, um in der Praxis auch bereits breite Wirkung zu zeigen. Derzeit ist die Arbeit mit den Bildungsstandards für die Lehrkräfte also noch großteils Neuland. Die konkrete Umsetzung und die Implikationen für den Unterricht sind offenbar vielfach noch mit Unklarheiten verbunden (siehe auch Kapitel 4.4.2). Es ist anzunehmen, dass sich dies auch in den vorliegenden Ergebnissen zu den Einstellungen gegenüber den Bildungsstandards widerspiegelt. Ein zweiter, zentraler Aspekt, den es bei der Interpretation der Ergebnisse zu berücksichtigen gilt, ist die Konzeption der Bildungsstandards und der Standardüberprüfungen. Festgelegt sind die Bildungsstandards für die 4. und 8. Schulstufe. Die Standardüberprüfungen finden jeweils am Ende des Schuljahres dieser beiden Schulstufen statt. Die Rückmeldung der Ergebnisse erfolgt etwa sechs Monate später, also im darauffolgenden Schuljahr. Damit haben die getesteten Schüler/innen die Schule in der Regel bereits verlassen. Die Lehrkraft erhält die Ergebnisse ihrer Klasse/Lerngruppe somit zu einem Zeitpunkt, an dem sie diese nicht mehr unterrichtet. Diese Form der Überprüfung der Bildungsstandards an den Schnittstellen sowie die Wahrung der Anonymität der einzelnen Schüler/innen 3 sind zentrale Eckpfeiler des österreichischen Bildungsstandards-Konzeptes und in der gesetzlichen Verordnung festgelegt. Die Ergebnisse der Standardüberprüfungen und deren Rückmeldung an die Lehrkräfte und Schulleiter/innen sollen Qualitätsentwicklung am Schulstandort fördern und den Lehrkräften Orientierung für die Weiterentwicklung ihres Unterrichtes bieten. Der Unterricht und nicht die einzelnen Schülerleistungen stehen also im Zentrum des Interesses. Das heißt die Identifikation einzelner Schülerleistungen und eine gezielte Förderung der Schüler/innen auf Basis der Ergebnisse der Standardüberprüfungen sind nicht intendiert und in der Regel auch nicht möglich. Dies bedeutet allerdings nicht, dass die Bildungsstandards an sich keine Möglichkeit der Diagnose von Fördermöglichkeiten bieten. Die zur Verfügung gestellten Begleitmaßnahmen, wie beispielsweise die Diagnoseinstrumente zur Informellen Kompetenzmessung, sollen die Lehrkräfte gezielt dabei unterstützen, ihren Unterricht kompetenzorientiert zu gestalten und gegebenenfalls vorhandene 3 Nur der Schüler/die Schülerin erhält eine Rückmeldung über sein/ihr persönliches Ergebnis. -19-

21 Defizite bei den Schülerinnen und Schülern feststellen zu können. Da jedoch im Zuge der Baseline-Testung der Fokus der Lehrkräfte anzunehmenderweise noch sehr stark auf der Überprüfung selbst und weniger auf der inhaltlichen Arbeit mit den Bildungsstandards lag, wurde die Testung offenbar von vielen Befragten unmittelbar mit den Bildungsstandards selbst gleichgesetzt. Zudem waren noch nicht alle bestehenden Begleitangebote hinreichend bekannt. Vor diesem Hintergrund lässt sich auch erklären, warum die Potentiale der Bildungsstandards für die Diagnose von Fördermöglichkeiten im Vergleich zu anderen Aspekten weniger positiv eingeschätzt wurden. Mit der zunehmenden Auseinandersetzung mit den Bildungsstandards und deren Einbindung in den Unterricht wird vermutlich auch deren praktischer Nutzen noch klarer werden Einschätzung problematischer Aspekte Abbildung 11 zeigt die Einschätzung problematischer Aspekte, wobei die Aussagen wiederum nach dem Grad der Zustimmung angeordnet sind. Einschätzung problematischer Aspekte Von Standards zu Schulrankings ist der Weg nicht weit Die einseitige Betonung der Fachleistungen führt zu einer Unterschätzung der erzieherischen Leistungen der Schule Der ausschließliche Blick auf die Ergebnisse vernachlässigt die wichtige Prozessdimension des Unterrichts Am Konzept zur Umsetzung der Bildungsstandards ist noch zu vieles ungeklärt, um es wirklich beurteilen zu können Bildungsstandards verstärken den Leistungsund Selektionsdruck in der Schule Bildungsstandards sind meiner Ansicht nach primär ein Instrument der Kontrolle von Schule und Lehrer/innen Schulen sind zu verschieden, um ihre Leistungen an gleichen Maßstäben zu messen Bildungsstandards bringen die Gefahr einer inhaltlichen Verarmung des Unterrichts mit sich Die professionelle Handlungsund Entscheidungsfreiheit wird durch Standards deutlich eingeschränkt Standards und Schulautonomie - das geht einfach nicht zusammen Außer Mehrarbeit für die Lehrkräfte werden die Bildungsstandards vermutlich nicht viel bringen Bildungsstandards bewirken eine "Nivellierung nach unten" und vermindern die Schulqualität eher, als dass sie sie verbessern % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% stimmt genau stimmt eher unentschieden stimmt eher nicht stimmt gar nicht Abbildung 11: Einschätzung problematischer Aspekte der Einführung von Bildungsstandards Antwortverteilungen der Befragten gesamt (n ~ 670); Werte 1 % sind in der Grafik nicht angeführt -20-

22 Problematische Aspekte der Bildungsstandards wurden vor allem darin gesehen, dass diese Schulrankings nach sich ziehen (65 %) sowie zu einer Überbetonung der Fachleistungen (61 %) bzw. zu einer Vernachlässigung der wichtigen Prozessdimension des Unterrichts (60 %) führen könnten. Insgesamt waren die Befragten auch vielfach der Ansicht, dass am Konzept zur Umsetzung der Bildungsstandards noch zu vieles ungeklärt ist, um es wirklich beurteilen zu können (54 %). Vergleichsweise am seltensten wurden Befürchtungen dahingehend geäußert, dass die Bildungsstandards in Widerspruch zur Schulautonomie stehen (25 %) bzw. ausschließlich mit Mehrarbeit für die Lehrkräfte verbunden sein könnten (24 %). Ängste im Hinblick darauf, dass die Bildungsstandards eine Nivellierung nach unten bewirken könnten (9 %), waren am wenigsten stark ausgeprägt (Abbildung 11). Insgesamt lässt sich feststellen, dass die Bildungsstandards doch auch mit Ängsten und Bedenken verbunden werden. Vor allem besteht Sorge darüber, dass es zur Erstellung von Schulrankings kommen könnte, obwohl dies definitiv nicht intendiert ist. Um solche Ängste abbauen zu können, ist v. a. ein sensibler Umgang mit den Daten unerlässlich. Dieser ist zum einen durch die strikten Datenschutzbestimmungen, an die sich das BIFIE bei der Auswertung und Rückmeldung der Daten strengstens hält, gewährleistet. Gleichzeitig ist es aber auch wichtig, dass auf Ebene der Schulleitung und der Schulaufsicht konstruktiv mit den rückgemeldeten Ergebnissen umgegangen und vermittelt wird, dass es um die Qualitätsentwicklung am jeweiligen Schulstandort und nicht um den Vergleich mit anderen Schulen geht. Insgesamt erscheint es auch wichtig, dass es klare Regelungen für den Umgang mit den Ergebnissen gibt. Unterstützend wäre beispielsweise ein Erlass von Seiten des Ministeriums, der den Schulen eine Veröffentlichung ihrer Ergebnisse klar untersagt. Damit könnte auch informellen Rankings (die beispielsweise dadurch entstehen könnten, dass einzelne Schulen ihre Ergebnisse bekannt geben) vorgebeugt werden Identifikation von Einstellungsgruppen Neben einer getrennten Betrachtung der Einschätzung positiver und problematischer Aspekte der Einführung der Bildungsstandards wurde auch der Versuch unternommen, eine Zusammenschau der Bewertungen zu erreichen. Ziel dabei war es, Einstellungsgruppen zu identifizieren und einen Einblick zu erhalten, ob die Befragten den Bildungsstandards insgesamt tendenziell positiv oder tendenziell kritisch gegenüberstehen oder ob sie eine eher unentschlossene Haltung einnehmen. Die Bildung der Einstellungsgruppen erfolgte auf Basis der Antworten der Befragten auf die 23 Items der Einstellungsskala. Die Items der Einstellungsskala wurden von den Befragten, wie bereits beschrieben, auf einer fünfstufigen Skala (1 = stimmt gar nicht 5 = stimmt genau) beurteilt. Eine zum Zweck der Datenreduktion durchgeführte Hauptkomponentenanalyse (siehe dazu auch Kapitel G 1.2) zeigte, dass sich die Items, wie bei der Fragebogenkonstruktion angenommen, tatsächlich zwei Komponenten zuordnen lassen: einer Komponente, die die positiven Aspekte und einer Komponente, die die problematischen Aspekte der Einführung der Bildungsstandards subsumiert. -21-

23 Auf dieser Grundlage wurden in weiterer Folge Überlegungen für die Bildung der Einstellungsgruppen angestellt. Die oberste Prämisse bestand dabei darin, dass die Klassifikation plausibel und inhaltlich möglichst gut interpretierbar sein sollte. Aus diesem Grund wurden schließlich nicht die Faktorwerte für die Kategorisierung herangezogen, sondern die Befragten wurden auf Basis ihrer durchschnittlichen Bewertung der positiven und problematischen Aspekte in jeweils fünf Gruppen unterteilt: Befragte, die den Aussagen völlig zustimmten (stimmt genau), Befragte, die den Aussagen eher zustimmten (stimmt eher), Befragte, die den Aussagen unentschieden gegenüber standen (unentschieden), Befragte, die den Aussagen eher nicht zustimmten (stimmt eher nicht) und Befragte, die den Aussagen gar nicht zustimmten (stimmt gar nicht). Dementsprechend ergaben sich 25 mögliche Antwortkombinationen (z. B. Personen, die den positiven Aspekten völlig zustimmten und den problematischen Aspekten gar nicht zustimmten; Personen, die den positiven Aspekten zustimmten und den problematischen Aspekten unentschieden gegenüber standen etc.). Anschließend erfolgte eine Untergliederung in fünf Gruppen, die durch die farblichen Markierungen in Abbildung 12 veranschaulicht sind: Befragte, für die die positiven Aspekte überwiegen (grün), Befragte, für die die problematischen Aspekte überwiegen (orange), Befragte, die sowohl den positiven als auch den problematischen Aspekten unentschieden gegenüber stehen (weiß), Befragte, die weder positive noch problematische Aspekte sehen (dunkelgrau), Befragte, die sowohl positive als auch problematische Aspekte sehen (hellgrau). Abbildung 12: Übersicht über die möglichen Antwortkombinationen der Einschätzung positiver und problematischer Aspekte der Implementation der Bildungsstandards Ausgangspunkt für die Bildung der Einstellungsgruppen -22-

24 Als schwierig stellte sich vor allem die Einordnung jener Personen heraus, die hinsichtlich der Bewertung der positiven Aspekte keine eindeutige Haltung einnahmen (unentschieden) und gleichzeitig keine problematischen Aspekte in Zusammenhang mit der Implementierung der Bildungsstandards sahen (stimmt gar nicht). Dasselbe gilt umgekehrt für jene Personen, die bei der Bewertung der problematischen Aspekte keine eindeutige Position bezogen und gleichzeitig keine positiven Aspekte sahen. Da es sich hierbei insgesamt nur um zwei Personen handelte, fiel die Entscheidung, erstere der Gruppe positive Aspekte überwiegen und zweitere der Gruppe problematische Aspekte überwiegen zuzuordnen. Jene beiden Personengruppen, die zum einen weder positive noch problematische Aspekte in Zusammenhang mit der Einführung von Bildungsstandards bzw. zum anderen sowohl positive als auch problematische Aspekte sehen (insgesamt 28 Personen) wurden von der Klassifizierung ausgeschlossen, da ihre Zuordnung inhaltlich nicht plausibel erschien 4. Aus der beschriebenen Vorgehensweise resultiert eine Kategorisierung der Befragten in drei Einstellungsgruppen: Befragte, für die die positiven Aspekte überwiegen (grün), Befragte, für die die problematischen Aspekte überwiegen (orange), Befragte, die sowohl den positiven als auch den problematischen Aspekten unentschieden gegenüber stehen und für die insofern weder positive, noch problematische Aspekte der Bildungsstandards überwiegen (weiß). Insgesamt 512 der befragten Personen konnten einer dieser drei Einstellungsgruppen zugeordnet werden. Die übrigen Befragten hatten die Items der Einstellungsskala entweder gar nicht bzw. nicht vollständig beantwortet oder wurden aufgrund der dargestellten Vorgehensweise nicht in die Gruppenbildung miteinbezogen. Einstellungsgruppe absolut Prozent positive Aspekte überwiegen 74 14,5 % weder positive, noch problematische Aspekte überwiegen ,7 % problematische Aspekte überwiegen 66 12,9 % Tabelle 7: Zuordnung der Befragten zu den Einstellungsgruppen (n = 512) Aus Tabelle 7 geht hervor, dass auf Basis dieser Kategorisierung für die überwiegende Mehrheit der Befragten (73 %) weder positive noch problematische Aspekte deutlich überwiegen. Für rund 15 % der Befragten überwiegen die positiven Aspekte, für 13 % die problematischen Aspekte der Einführung der Bildungsstandards. Insgesamt lässt sich auf Basis dieser Ergebnisse auf eine weitgehend noch undifferenzierte Haltung gegenüber den Bildungsstandards schließen. 4 Insgesamt wurde bei der Kategorisierung analog vorgegangen, wie bei der Rezeptionsstudie in der Sekundarstufe I (Grillitsch, 2010), um einen Vergleich der Ergebnisse zu ermöglichen. Detaillierte Ausführungen dazu, finden sich in: Grillitsch 2010, S

25 4.5 Einschätzung des praktischen Nutzens der Bildungsstandards Die Lehrkräfte und Schulleiter/innen wurden auch dazu befragt, wie sie den praktischen Nutzen der Bildungsstandards einschätzen. Konkret wurde danach gefragt, wie hilfreich die Bildungsstandards für die tägliche Praxis erachtet werden, ob die Bildungsstandards im Vergleich zu den Lehrplänen zusätzliche Klärung und Orientierung mit sich bringen und ob die Befragten die Bildungsstandards eher als eine Arbeitserleichterung oder Arbeitserschwernis empfinden Einschätzung des Nutzens der Bildungsstandards für die Praxis Für wie hilfreich sie die Bildungsstandards für einzelne Bereiche der täglichen Arbeit einschätzen, sollten die Befragten auf einer siebenstufigen Antwortskala (sehr hilfreich gar nicht hilfreich) beurteilen. Abbildung 13 zeigt das Ergebnis zu dieser Fragestellung, wobei zur besseren Lesbarkeit die Darstellung auf drei Antwortkategorien (eher hilfreich, unentschieden, eher nicht hilfreich) reduziert wurde. Einschätzung des Nutzens der Bildungsstandards Einschätzung/Diagnose des Lernstandes der Klasse Selbstreflexion der Lehrkraft Planung und Gestaltung des Unterrichts Unterscheidung verschiedener Kompetenzniveaus Ausgangspunkt für Qualitäts- und Schulentwicklungsmaßnahmen Einschätzung von Stärken/Schwächen von Schüler/innen Grundlage für Gespräche mit Schüler/innen und Eltern Planung von individuellen Fördermaßnahmen Fördernde Leistungsfeststellung Schullaufbahnentscheidungen Gerechte Leistungsbeurteilung % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% eher hilfreich unentschieden eher nicht hilfreich Abbildung 13: Einschätzung des Nutzens der Bildungsstandards für Bereiche der täglichen Unterrichtsarbeit Antwortverteilungen der Befragten gesamt (n ~ 670) Wie sich zeigt, wurden die Bildungsstandards insgesamt als durchaus hilfreich für einzelne Bereiche der täglichen Arbeit eingeschätzt. Am hilfreichsten erachteten die Befragten die Bildungsstandards für die Einschätzung bzw. Diagnose des Lernstandes der Klasse (74 %), für die Selbstreflexion der Lehrkraft (72 %) sowie für die Planung und Gestaltung des Unterrichts im Sinne der Förderung von Grundkompetenzen (67 %). Vergleichsweise am seltensten sprachen die Lehrkräfte und Schulleiter/innen den Bildungsstandards unterstützende Funktion beim Treffen von Schullaufbahnentscheidungen (54 %) sowie bei der Leistungsfeststellung (55 %) und Leistungsbeurteilung (46 %) zu (Abbildung 13). -24-

26 Dass die Befragten gerade den Nutzen in Bezug auf die drei letztgenannten Bereiche vergleichsweise geringer einschätzten, liegt wohl nicht zuletzt in der Konzeption der Bildungsstandards und der Standardüberprüfungen begründet. Denn zum einen ist in der gesetzlichen Verordnung festgelegt, dass die Bestimmungen zur Leistungsfeststellung und -beurteilung von den Ergebnissen der Standardüberprüfungen unberührt bleiben (BGBl. II Nr. 1/2009, 4) und die Ergebnisse der Überprüfungen nicht in die Leistungsbeurteilung einzubeziehen sind. Zum anderen ist eine solche Einbeziehung der Ergebnisse auch insofern nicht möglich, als dass die Ergebnisrückmeldung im folgenden Schuljahr erfolgt. Unter diesem Gesichtspunkt betrachtet, ist der Prozentsatz jener, der die Bildungsstandards als (eher) hilfreich für die Leistungsfeststellung und -beurteilung sowie für das Treffen von Schullaufbahnentscheidungen erachtete, durchaus beachtenswert. Gleiches gilt für den Anteil jener, der die Bildungsstandards als Unterstützung bei der Planung von individuellen Fördermaßnahmen sah. Es lässt sich anhand dieser Ergebnisse schließen, dass die Bildungsstandards offenbar auch unabhängig von der Überprüfung und Rückmeldung als ein Instrument gesehen werden, das Orientierung bietet und dabei unterstützt, den Kompetenzstand der Schüler/innen festzustellen und Leistungen kriteriengeleitet zu beurteilen Mehr Klärung und Orientierung durch Bildungsstandards? Abbildung 14 und Abbildung 15 zeigen die Einschätzungen der Lehrkräfte und Schulleiter/innen zur Frage, inwiefern die Bildungsstandards im Vergleich zu den Lehrplänen zusätzliche Klärung und Orientierung mit sich bringen. Klärung/Orientierung durch Bildungsstandards? Lehrer/innen Klärung/Orientierung durch Bildungsstandards? Schulleiter/innen 8% 4% 6% 11% 24% ja, eindeutig ja, eindeutig kaum weiß ich noch nicht 25% 44% kaum weiß ich noch nicht 27% nein nein 31% eher Verwirrung eher Verwirrung 22% Abbildung 14: Bringen Bildungsstandards Klärung und Abbildung 15: Bringen Bildungsstandards Klärung und Orientierung? Antwortverteilungen der Lehrkräfte Orientierung? Antwortverteilungen der Schulleiter/innen (n = 417) (n = 248) Rund ein Viertel der Lehrkräfte und 44 % der Schulleiter/innen gaben an, dass Bildungsstandards im Vergleich zu den Lehrplänen eindeutig Klärung und Orientierung mit sich bringen. Ein eher geringer Prozentsatz äußerte, dass die Bildungsstandards keine zusätzliche Klärungs- bzw. Orientierungsfunktion erfüllen (L: 11 %, SL: 4 %) oder eher Verwirrung bewirken (L: 8 %, SL: 6 %). Jeweils ein Viertel beider Befragtengruppen war sich noch nicht im -25-

27 Klaren darüber, wie die Bildungsstandards im Vergleich zu den Lehrplänen einzuschätzen sind ( weiß ich noch nicht ). Der Rest wählte die Antwortkategorie kaum. Insgesamt fällt auf, dass die Schulleiter/innen den Bildungsstandards eine stärkere Klärungs- und Orientierungsfunktion zuschreiben als die Lehrkräfte (Abbildung 14 und Abbildung 15) Bildungsstandards eine Arbeitserleichterung? Abbildung 16 und Abbildung 17 zeigen in weiterer Folge die Antwortverteilungen der Lehrkräfte und Schulleiter/innen auf die Frage, ob sie die Bildungsstandards eher als Erleichterung oder eher als Erschwernis der Unterrichtsarbeit erleben. Arbeitserleichterung durch Bildungsstandards? Lehrer/innen Arbeitserleichterung durch Bildungsstandards? Schulleiter/innen 24% 10% eher eine Erleichterung 19% 15% eher eine Erleichterung weder noch weder noch weiß ich noch nicht weiß ich noch nicht 21% 46% eher eine Erschwernis 22% eher eine Erschwernis 44% Abbildung 16: Bringen Bildungsstandards Erleichterung Abbildung 17: Bringen Bildungsstandards Erleichterung mit mit sich? Antwortverteilungen der Lehrkräfte (n = 423 ) sich? Antwortverteilungen der Schulleiter/innen (n = 250) Der Großteil der Befragten (L: 46 %, SL: 44 %) gab an, die Bildungsstandards weder als Erleichterung noch als Erschwernis zu empfinden. 10 % der Lehrkräfte und 15 % der Schulleiter/innen bekundeten, dass sie die Bildungsstandards eher als Erleichterung der Unterrichtsarbeit erleben. 24 % der Lehrkräfte und 19 % der Schulleiter/innen äußerten hingegen, dass diese für sie eher eine Erschwernis darstellen. Jeweils etwas mehr als 20 % der Befragten wählten die Antwortkategorie weiß ich noch nicht. Die Antwortverteilungen der Lehrkräfte und Schulleiter/innen sind in Bezug auf diese Fragestellung sehr ähnlich ausgefallen (Abbildung 16 und Abbildung 17). Insgesamt lässt sich aus den Ergebnissen ableiten, dass die Meinung der Befragten, ob die Bildungsstandards mehr Klärung und Orientierung mit sich bringen und ob diese eine Arbeitserleichterung oder Erschwernis bedeuten, sehr geteilt ist. Dies liegt offenbar auch daran, dass die Materie Bildungsstandards für die Befragten noch relativ neu war bzw. ist und diese Aspekte aus Sicht der Befragten noch nicht so gut abschätzbar waren. Dies wird auch dadurch ersichtlich, dass nur ein eher geringer Anteil der Befragten die Bildungsstandards zum Erhebungszeitpunkt bereits regelmäßig für die Unterrichtsplanung und -gestaltung herangezogen hat (Abbildung 18). Die Tatsache, dass ein größerer Anteil der Lehrkräfte die Bildungsstandards eher als Arbeitserschwernis und weniger als eine Arbeitserleichterung auffasst, erscheint ebenfalls wenig -26-

28 überraschend und dahingehend erklärbar, dass eine Veränderung gewohnter und routinierter Arbeitsweisen zunächst stets mit einem etwas größeren Arbeitsaufwand verbunden ist. In diesem Zusammenhang wird es interessant sein, weiterzuverfolgen, wie die Arbeit mit den Bildungsstandards eingeschätzt wird, wenn die Lehrkräfte mehr Routine damit haben. 4.6 Verwendung der Bildungsstandards im Unterricht Um einen Einblick zu erhalten, welche Rolle die Bildungsstandards bereits in der täglichen Unterrichtspraxis spielen, wurden die Lehrkräfte gebeten anzugeben, ob sie die Bildungsstandards für ihre Unterrichtsplanung und -gestaltung verwenden. Verwendung der Bildungsstandards Lehrer/innen 17% 15% 69% ja, regelmäßig ja, hin und wieder nein Abbildung 18: Verwendung der Bildungsstandards für die Unterrichtsplanung und -gestaltung Antwortverteilungen der Lehrkräfte (n = 414) Wie aus Abbildung 18 hervorgeht, äußerten 15 % der Lehrkräfte, dass sie die Bildungsstandards regelmäßig für ihre Unterrichtsplanung und -gestaltung verwenden. Mehr als zwei Drittel (69 %) gaben an, diese hin und wieder heranzuziehen und für 17 % waren die Bildungsstandards bislang kein Bestandteil ihrer Unterrichtsplanung und -gestaltung. Damit zeigt sich, dass zum Erhebungszeitpunkt die Bildungsstandards für einen eher geringen Anteil der Befragten fixer Bestandteil ihrer Unterrichtsplanung und -gestaltung waren. Gleichzeitig hält sich aber auch der Anteil jener, der die Bildungsstandards nicht verwendete, in Grenzen und es lässt sich schließen, dass doch bei einer deutlichen Mehrheit der Befragten die Bildungsstandards Eingang in den Unterricht gefunden haben. Jene Lehrkräfte, die äußerten, die Bildungsstandards für ihre Unterrichtsplanung und -gestaltung heranzuziehen (n = 343), wurden auch gebeten anzugeben, in welcher Form sie dies tun. Am häufigsten wurde in diesem Zusammenhang genannt, dass Aufgabenbeispiele, Arbeitsblätter, Übungsbeispiele und Übungsmaterialien eingesetzt werden, die auf den Bildungsstandards basieren (n = 76). Auch auf die Verwendung von Praxishandbüchern (n = 29) sowie von Schulbüchern (n = 19), die die Bildungsstandards berücksichtigen, wurde vergleichsweise häufig hingewiesen. Darüber hinaus äußerten die Lehrkräfte mehrfach, dass sie die Bildungsstandards gerne für den offenen Unterricht bzw. für freie Lernformen heranziehen (n = 18). Aus diesen Ergebnissen lässt sich schließen, dass die Lehrkräfte bei der Umsetzung der Bildungsstandards -27-

29 gegenwärtig in erster Linie auf die Verwendung bereitgestellter Arbeitsmaterialien im Unterricht fokussieren. Veränderungen in der Didaktik und Methodik bzw. eine gezielte Weiterentwicklung des Unterrichts in Richtung Kompetenzorientierung, wie es die Bildungsstandards intendieren, finden sich in den verbalen Stellungnahmen der Lehrkräfte hingegen bislang kaum wieder. 4.7 Gruppenunterschiede Vergleich zwischen Lehrkräften und Schulleiterinnen bzw. Schulleitern In fast allen Bereichen, in denen im Lehrer- und Schulleiterfragebogen idente oder vergleichbare Fragestellungen vorgegeben waren, lassen sich signifikante Unterschiede zwischen den Lehrkräften und den Schulleiterinnen bzw. Schulleitern feststellen. Abbildung 19 zeigt, inwiefern sich die beiden Befragtengruppen in Bezug auf die Informiertheit, die Bewertung der positiven und problematischen Aspekte sowie die Bewertung des Nutzens der Bildungsstandards voneinander unterscheiden. Für diese Analyse der Gruppenunterschiede wurden die Items zur Erfassung der Informiertheit, der Einstellung und der Einschätzung des praktischen Nutzens einer Hauptkomponentenanalyse (Varimax-Rotation) unterzogen. Für die Informiertheit und die Einschätzung des Nutzens ergab sich eine Ein-Komponenten-Lösung, welche die bei der Fragebogenerstellung getroffene Annahme, dass die Items zur Erfassung der Informiertheit sowie zur Einschätzung des Nutzens zu einer Skala zusammengefasst werden können, bestätigt. Die durchgeführte Reliabilitätsanalyse ergab ein Cronbachs-Alpha von.88 für die Informiertheit und ein Cronbachs-Alpha von.95 für den Nutzen. Für die Einstellungsskala konnte auf Basis der theoriegeleiteten Vorgehensweise bei der Fragebogenkonstruktion und der Evaluationsergebnisse der Pilotphasen angenommen werden, dass den Daten ein Zwei- Komponenten-Modell zugrunde liegt (Komponente 1: positive Aspekte, Komponente 2: problematische Aspekte). Dies wurde durch die Hauptkomponentenanalyse bestätigt 5. Die durchgeführte Reliabilitätsanalyse ergab in diesem Zusammenhang ein Cronbachs-Alpha von.90 für die positiven Aspekte und.89 für die problematischen Aspekte. Für die Analyse der Gruppenunterschiede wurden die standardisierten Faktorwerte (Mittelwert von 0, Standardabweichung von 1) herangezogen. 5 Ergebnisse der Hauptkomponentenanalyse siehe Kapitel G 1.1 bis G

30 Informiertheit und Bewertung der Bildungsstandards Vergleich zwischen Lehrer/innen und Schulleiter/innen 1 0,5 0,493 0,097 0,173 0, ,057-0,129-0,5-0,291-0,292-1 L SL L SL L SL L SL Informiertheit (p 0,001) Bewertung positiver Aspekte (p = 0,059) Bewertung problematischer Aspekte (p 0,001) Nutzen (p 0,001) Abbildung 19: Informiertheit, Bewertung positiver und problematischer Aspekte sowie Bewertung des Nutzens der Bildungsstandards Vergleich zwischen Lehrkräften und Schulleiter/innen (z-standardisierte Mittelwerte) Aus Abbildung 19 geht hervor, dass sich die Lehrkräfte und die Schulleiter/innen sowohl hinsichtlich ihrer Informiertheit als auch in Bezug auf die Bewertung der Bildungsstandards voneinander unterscheiden. Die Schulleiter/innen fühlten sich insgesamt besser informiert, sie stimmten den positiven Aspekten der Einführung der Bildungsstandards stärker zu und schätzten auch den Nutzen der Bildungsstandards höher ein als die Lehrkräfte. Außerdem sahen die Schulleiter/innen die Einführung der Bildungsstandards in geringerem Maße mit problematischen Aspekten verbunden als die Lehrkräfte. Mit Ausnahme der Bewertung der positiven Aspekte sind diese Unterschiede statistisch signifikant (Teststatistiken siehe Tabelle 22, S. 100 im Anhang). Auch hinsichtlich der Zuordnung zu den Einstellungsgruppen, die in Kapitel vorgenommen wurde, lässt sich feststellen, dass die Schulleiter/innen signifikant häufiger als die Lehrkräfte in jener Gruppe zu finden sind, für die insgesamt die positiven Aspekte der Einführung der Bildungsstandards überwiegen (siehe Tabelle 42, S. 105 im Anhang). Weiters zeigen sich in Bezug auf die Fortbildungsintensität und die erlebte Unterstützung wie bereits in Kapitel 4.2 und Kapitel 4.3 dargelegt signifikante Unterschiede zwischen den beiden Befragtengruppen. Die Schulleiter/innen haben sich häufiger und intensiver zum Thema Bildungsstandards fortgebildet. Sie fühlten sich im Vergleich zu den Lehrkräften auch deutlich besser bei der praktischen Umsetzung der Bildungsstandards unterstützt (für Details siehe Tabelle 23 bis Tabelle 26, S. 100 im Anhang). Insgesamt lässt sich also eine positivere Haltung der Schulleiter/innen gegenüber den Bildungsstandards feststellen, verbunden mit einer besseren Informiertheit, einer höheren Fortbildungsintensität und einer positiver erlebten Unterstützung bei der Umsetzung der Bildungsstandards. -29-

31 4.7.2 Informiertheit, Fortbildung und erlebte Unterstützung als zentrale Einflussfaktoren für die Rezeption der Bildungsstandards Die Informiertheit, der Besuch von Fortbildungen und die Fortbildungsintensität sowie die erlebte Unterstützung erweisen sich insgesamt als zentrale Einflussfaktoren im Hinblick darauf, wie die Bildungsstandards rezipiert werden. Je besser sich die Befragten informiert fühlten, umso stärker stimmten sie den positiven Aspekten der Einführung der Bildungsstandards zu und umso höher schätzten sie den Nutzen der Bildungsstandards ein 6. Je besser die Informiertheit, umso weniger stimmten die Befragten auch den problematischen Aspekten zu und umso besser fühlten sie sich bei der praktischen Umsetzung der Bildungsstandards unterstützt (für Details siehe Tabelle 27 und Tabelle 28, S. 101 im Anhang). Ähnliches zeigt sich in Bezug auf den Besuch von Fortbildungen und die Fortbildungsintensität. Personen, die sich fortgebildet haben, fühlten sich signifikant besser informiert und erlebten die Unterstützung bei der Umsetzung der Bildungsstandards deutlich positiver als Personen, die keine Fortbildung zum Thema Bildungsstandards absolviert haben. Befragte, die ein Fortbildungsangebot wahrgenommen haben, verbanden auch in deutlich geringerem Maße problematische Aspekte mit der Einführung der Bildungsstandards und schätzten den praktischen Nutzen der Bildungsstandards tendenziell positiver ein. In Zusammenhang mit der Bewertung der positiven Aspekte der Einführung der Bildungsstandards zeigen sich keine statistisch bedeutsamen Unterschiede (für Details siehe Tabelle 29 und Tabelle 30, S. 101 im Anhang). Innerhalb jener Personengruppe, die eine Fortbildung besucht hat, lassen sich ebenfalls deutliche Unterschiede feststellen. Je intensiver sich Lehrkräfte bzw. Schulleiter/innen fortgebildet haben 7, umso besser fühlten sie sich auch informiert und unterstützt. Sie stimmten zudem den problematischen Aspekten der Bildungsstandards signifikant weniger stark zu und schätzten den Nutzen der Bildungsstandards tendenziell positiver ein (für Details siehe Tabelle 31 und Tabelle 32, S. 102 im Anhang). Positive Effekte zeigen sich ebenso im Hinblick auf die erlebte Unterstützung. Je besser sich die Befragten unterstützt fühlten, umso positiver bewerteten sie die positiven Aspekte der Bildungsstandards sowie deren Nutzen und umso weniger stimmten sie den problematischen Aspekten der Einführung der Bildungsstandards zu (für Details siehe Tabelle 33, S. 102 im Anhang). Die dargelegten Ergebnisse spiegeln sich auch in Bezug auf die in Kapitel erörterten Einstellungsgruppen wider. In diesem Zusammenhang lässt sich ebenfalls ableiten, dass Befragte, die sich besser informiert bzw. unterstützt fühlten häufiger jener Gruppe von Personen 6 Für die Analyse von Gruppenunterschieden wurden drei Gruppen gebildet und miteinander verglichen: Personen, die sich besser, durchschnittlich und weniger informiert fühlten. 7 Bei der Fortbildungsintensität wurden die Anzahl und die Dauer der besuchten Fortbildung(en) berücksichtigt und drei Vergleichsgruppen gebildet: Personen, die eine hohe, mittlere und geringe Fortbildungsintensität aufweisen (siehe Kapitel 4.2.2). -30-

32 angehören, für die die positiven Aspekte der Einführung der Bildungsstandards überwiegen. Gleiches gilt für Personen, die sich intensiver fortgebildet haben (für Details siehe Tabelle 43 bis Tabelle 45, S. 105 im Anhang). Die dargelegten Zusammenhänge verdeutlichen sich zudem anhand der Korrelationen zwischen den Bewertungsdimensionen. Die Informiertheit korreliert signifikant negativ mit der Bewertung der problematischen Aspekte (r = -0.37) und signifikant positiv mit der Bewertung des Nutzens (r = 0.27) sowie der Bewertung der positiven Aspekte der Einführung der Bildungsstandards (r = 0.13). Auch die Informiertheit und die erlebte Unterstützung korrelieren signifikant positiv (r = 0.48). Eine signifikante, positive Korrelation lässt sich auch zwischen erlebter Unterstützung und der Bewertung der problematischen Aspekte (r = -0.28) und wenn auch in geringerem Maße mit der Bewertung der positiven Aspekte der Einführung der Bildungsstandards (r = 0.09) feststellen 8. Insgesamt bestätigen und bestärken die vorliegenden Evaluationsergebnisse die bereits im Zuge anderer Studien postulierten positiven Effekte gezielter Informations-, Fortbildungs- und Unterstützungsmaßnahmen auf die Einstellungen gegenüber den Bildungsstandards (vgl. u. a. Klieme et al., 2007; Specht & Freudenthaler, 2004; Freudenthaler & Specht, 2005, Grillitsch, 2010). Gezielte Begleitmaßnahmen tragen offenbar vor allem dazu bei, Ängste, Bedenken und Vorbehalte gegenüber den Bildungsstandards abzubauen Vergleich zwischen Befragten der Volksschule und der Sekundarstufe I Im Zuge der Analyse von Gruppenunterschieden wurde weiters der Frage nachgegangen, ob sich zwischen den Befragten in der Volksschule und den Befragten in der Sekundarstufe I, welche im Herbst 2009 zur selben Thematik befragt worden waren, bedeutsame Unterschiede feststellen lassen. Dazu wurden jene Variablen, die sowohl den Befragten in der Volksschule als auch jenen in der Sekundarstufe I vorgegeben wurden, zusammengeführt. Um das Ergebnis möglichst übersichtlich darstellen zu können, wurde wiederum eine Datenreduktion durchgeführt. Die Items zur Informiertheit, zu den Einstellungen und zur Bewertung des Nutzens wurden einer Hauptkomponentenanalyse unterzogen und wie im vorherigen Abschnitt beschrieben zu Skalen zusammengefasst 9. Die durchgeführte Reliabilitätsanalyse ergab zufriedenstellende Werte (Cronbachs-Alpha Informiertheit =.90, Cronbachs-Alpha positive Aspekte =.91, Cronbachs-Alpha problematische Aspekte =.87, Cronbachs-Alpha Nutzen =.95). Für den Vergleich wurden die standardisierten Faktorwerte (Mittelwert von 0, Standardabweichung von 1) herangezogen. 8 Sämtliche Korrelationen sind auf dem Niveau von 0,01 (2-seitig) signifikant. 9 Ergebnisse der Hauptkomponentenanalyse siehe Kapitel G1.4 bis G1.6. Das Item Außer Mehrarbeit werden die Bildungsstandards vermutlich nicht viel bringen wurde bei den weiteren Berechnungen ausgeschlossen (etwa gleich hohe Ladungen auf beiden Komponenten). -31-

33 Informiertheit und Bewertung der Bildungsstandards Vergleich zwischen Befragten der Sek I und der VS 1 0,680 0,5 0,146 0,061 0, ,069-0,129-0,103-0,5-0,317-1 Sek I VS Sek I VS Sek I VS Sek I VS Informiertheit (p 0,001) Bewertung positiver Aspekte (p 0,001) Bewertung problematischer Aspekte (p 0,001) Nutzen (p 0,001) Abbildung 20: Informiertheit, Bewertung positiver und problematischer Aspekte sowie Bewertung des Nutzens der Bildungsstandards Vergleich zwischen Befragten der Sekundarstufe I und der Volksschule (z-standardisierte Mittelwerte) Wie sich zeigt, unterscheiden sich die Befragten der Sekundarstufe I (Befragung Herbst 2009) und der Volksschule (Befragung Herbst 2010) sowohl hinsichtlich der Informiertheit als auch in Bezug auf die Bewertung der Bildungsstandards signifikant voneinander. Die Volksschullehrkräfte und -schulleiter/innen fühlten sich deutlich besser informiert als die Lehrkräfte und Schulleiter/innen der Sekundarstufe I. Sie stimmten den positiven Aspekten der Einführung der Bildungsstandards stärker zu und schätzten auch den Nutzen der Bildungsstandards insgesamt positiver ein. Zudem stimmten die Volksschulbefragten den problematischen Aspekten der Einführung der Bildungsstandards weniger stark zu (Abbildung 20). Signifikante Unterschiede zwischen Befragten der Volksschule und der Sekundarstufe I lassen sich auch noch in anderen Bereichen feststellen. So haben die Volksschulbefragten signifikant häufiger an Fortbildungen zum Thema Bildungsstandards teilgenommen. Sie haben sich insgesamt intensiver fortgebildet 10 und fühlten sich auch deutlich besser bei der praktischen Umsetzung der Bildungsstandards unterstützt. Zudem schrieben die Volksschullehrkräfte und -schulleiter/innen den Bildungsstandards deutlich häufiger eine eindeutige Klärungs- und Orientierungsfunktion zu. Die Volksschullehrer/innen gaben außerdem deutlich häufiger an, die Bildungsstandards für ihre Unterrichtsplanung und -gestaltung zu verwenden (für Details siehe Tabelle 35 bis Tabelle 40, S. 103 und S. 104 im Anhang). In Bezug auf die Zuordnung der Befragten zu den Einstellungsgruppen zeigt sich, dass sich Befragte der Volksschule deutlich seltener in jener Gruppe finden, für die die problematischen Aspekte der Bildungsstandards überwiegen (für Details siehe Tabelle 46, S. 105 im Anhang). Insgesamt lässt sich eine positivere Haltung der Volksschulbefragten gegenüber den Bildungsstandards ableiten, verbunden mit einer besseren Informiertheit, einer höheren 10 Sie sind seltener in der Gruppe geringe Fortbildungsintensität zu finden. -32-

34 Fortbildungsintensität und einer positiver erlebten Unterstützung bei der praktischen Umsetzung der Bildungsstandards. Die letztgenannten Aspekte (Informiertheit, Fortbildung, Unterstützung) dürften wie im vorigen Abschnitt bereits dargelegt zentrale Einflussfaktoren für die Einstellung gegenüber den Bildungsstandards darstellen. Rund um die Baseline-Testung in der Volksschule waren die Informations- und Begleitmaßnahmen schon intensiver angelaufen als noch im Jahr davor. Zudem konnte schon auf die Erfahrungen und Evaluationsergebnisse aus dem Jahr 2009 zurückgegriffen werden und die Informationsstrategie sowie die Begleitmaßnahmen wurden weiter ausgebaut und optimiert. Zum anderen lässt sich schließen, dass die vorliegenden Ergebnisse die Hypothese stützen, dass die Rezeption der Bildungsstandards davon abhängt, inwiefern die Akteurinnen und Akteure an den Schulen mit jenen zentralen Problemfeldern unseres Bildungssystems konfrontiert sind, die zum Nachdenken über die Bildungsstandards als mögliche Lösungswege geführt haben. Eine Hypothese, die von Freudenthaler und Specht (vgl. 2006, S. 39) bereits im Zuge der Evaluation der Pilotphasen aufgestellt wurde. Grundlage für diese Schlussfolgerung war ein Vergleich der Einstellungen von Volksschul-, Hauptschul- und AHS-Lehrkräften, welche mit derselben Einstellungsskala erhoben worden war, die auch im Zuge der vorliegenden Studie verwendet wurde. Die Autoren kamen in ihrer Studie zu dem Schluss, dass sich die Lehrkräfte von den Bildungsstandards umso mehr versprechen bzw. diese umso positiver bewerten, je mehr die Vermittlung und Sicherung von Grundkompetenzen im Zentrum ihrer beruflichen Tätigkeit steht bzw. je mehr es in ihrer Verantwortung liegt, über Leistungsbeurteilungen Berechtigungen vergeben und damit letztlich schwerwiegende Entscheidungen über den weiteren Bildungsweg junger Menschen treffen zu müssen (Freudenthaler & Specht 2006, S. 39f.). Dies trifft für die Pflichtschullehrkräfte und hier v. a. für die Volkschullehrkräfte in stärkerem Maße zu als für die AHS-Lehrkräfte. Diese Annahme wird auch durch die Ergebnisse der vorliegenden Studie bekräftigt, wobei sich auf einen ersten Blick wie oben dargelegt zeigt, dass die Befragten der Volksschule den Bildungsstandards insgesamt positiver gegenüberstehen als die Befragten der Sekundarstufe I. Bei einer differenzierteren Analyse wurden Lehrkräfte und Schulleiter/innen getrennt voneinander betrachtet und in der Sekundarstufe I zudem zwischen HS- und AHS-Befragten unterschieden. In diesem Zusammenhang lässt sich feststellen, dass bedeutsame Unterschiede in der Bewertung der Bildungsstandards in erster Linie bei den Lehrkräften vorliegen (nicht hingegen bei den Schulleiterinnen bzw. Schulleitern). Die Volksschullehrkräfte bewerteten die positiven Aspekte der Einführung der Bildungsstandards und den Nutzen der Bildungsstandards sowohl im Vergleich zu den HS- als auch im Vergleich zu den AHS-Lehrkräften signifikant positiver. Zudem stimmten sie auch den problematischen Aspekten der Einführung der Bildungsstandards am wenigsten zu. Signifikant ist der Unterschied hier aber lediglich im Vergleich zu den AHS-Lehrkräften (Abbildung 21; Tabelle 41, S. 104 im Anhang). -33-

35 Bewertung der Bildungsstandards Lehrer/innen 1 0,5 0 0,080 0,035 0,085 0,266 0,106-0,5-0,106-0,217-0,138-0,321-1 VS HS AHS VS HS AHS VS HS AHS positive Aspekte (p 0,001) problematische Aspekte (p = 0,005) Nutzen (p 0,001) Abbildung 21: Bewertung der Bildungsstandards Vergleich zwischen Lehrkräften der Volksschulen, der Hauptschulen und der allgemeinbildenden höheren Schulen (z-standardisierte Mittelwerte) Innerhalb der Sekundarstufe I lässt sich feststellen, dass die AHS-Lehrkräfte den Nutzen der Bildungsstandards im Vergleich zu ihren HS-Kolleginnen und -Kollegen bedeutend kritischer bewerteten und den problematischen Aspekten der Einführung der Bildungsstandards signifikant stärker zustimmten. Für die Bewertung der positiven Aspekte zeigen sich hingegen keine signifikanten Unterschiede zwischen HS- und AHS-Lehrkräften. Keine statistisch bedeutsamen Unterschiede in den Einstellungen (positive Aspekte, problematische Aspekte, Nutzen) lassen sich zwischen Schulleiterinnen bzw. Schulleitern der drei Schularten (VS, HS und AHS) feststellen (Abbildung 22; Tabelle 41, S. 104 im Anhang) Bewertung der Bildungsstandards Schulleiter/innen 0,5 0,258 0,342 0,477 0,420 0,439 0, ,5-0,404-0,313-0,288-1 VS HS AHS VS HS AHS VS HS AHS positive Aspekte (p = 0,288) problematische Aspekte (p = 0,665) Nutzen (p = 0,812) Abbildung 22: Bewertung der Bildungsstandards Vergleich zwischen Schulleiter/innen der Volksschulen, der Hauptschulen und der allgemeinbildenden höheren Schulen (z-standardisierte Mittelwerte) Abschließend erfolgt nun noch eine detailliertere Analyse in Bezug auf die Einstellungen der Befragten. Es wird der Frage nachgegangen, inwiefern sich in der Beantwortung der einzelnen 11 Detailliertere Ergebnisse zur Befragung in der Sekundarstufe I finden sich in Grillitsch,

36 Einstellungsitems übereinstimmende Tendenzen bei den Befragten der Volksschule und der Sekundarstufe I feststellen lassen. Da im Zuge der beiden Befragungen in der Volksschule und der Sekundarstufe I dieselbe Einstellungsskala verwendet wurde, wie bei der von Freudenthaler und Specht durchgeführten Erhebung, ist auch ein Vergleich der Einstellungsdaten mit jenen der Pilotphase möglich. Im Jahr 2004 waren HS- und AHS-Lehrkräfte befragt worden, die an der Pilotphase I teilgenommen hatten. 5 Bewertung positiver Aspekte Vergleich 2009, 2010 und ,5 4 3,5 3 2,5 2 1,5 1 E_a E_b E_e E_h E_j E_k E_l E_n E_s E_u E_w 2009 (Sek I) 2010 (VS) 2004 (Pilot) Beurteilungsskala: 1 = stimmt gar nicht 5 = stimmt genau Abbildung 23: Vergleich der Einschätzungen positiver Aspekte von Befragten aus dem Jahr 2004 (n ~ 110), dem Jahr 2009 (n ~ 1420) und dem Jahr 2010 (n ~ 670) grafische Darstellung der Mittelwerte Bezeichnung E_a E_b E_e E_h E_j E_k E_l E_n E_s E_u E_w Item Bildungsstandards sind ein nützliches Instrument zur Qualitätssicherung im Schulwesen. Bildungsstandards machen die Ziele der Schule für alle Beteiligten transparenter. Wenn es nicht klare Standards gibt, ist ein Schulabschluss bald nichts mehr wert. Bildungsstandards geben Klarheit, worauf es in der Schule letztendlich ankommt. Die unterschiedlichen Verhältnisse der Schulen in Stadt und Land erfordern gemeinsame Standards. Nur wenn wir gemeinsame Bildungsstandards haben, wird der Wert eines Schulabschlusses wieder eindeutig anerkannt werden. Standards können dazu führen, dass die Übergänge auf weiterführende Schulformen objektiviert werden und es mehr Chancengleichheit gibt. Bildungsstandards schärfen den Blick der Lehrkraft für Stärken und Schwächen der Schüler/innen. Bildungsstandards erleichtern den Einsatz gezielter Maßnahmen zur Förderung schwächerer Schüler/innen. Bildungsstandards geben Eltern und Schüler/innen Klarheit über das, was von der Schule erwartet wird. Bildungsstandards fördern die Zusammenarbeit und die Koordination der Lehrkräfte eines Faches. Tabelle 8: Items zur Erfassung der positiven Aspekte Legende zu Abbildung

37 Abbildung 23 zeigt die Mittelwerte für die einzelnen Items, aufgeschlüsselt nach den drei Befragungen, wobei der Wert 1 für einen niedrigen Grad an Zustimmung und der Wert 5 für einen hohen Grad an Zustimmung steht. Es lässt sich insgesamt feststellen, dass sich durchaus Übereinstimmungen in den Antworttendenzen der drei Befragtengruppen zeigen. Sowohl bei der Befragung 2009 (Sek I), der Befragung 2010 (VS) als auch der Befragung 2004 (Pilotphase) weisen die Items Bildungsstandards sind ein nützliches Instrument zur Qualitätssicherung im Schulwesen (E_a), Bildungsstandards machen die Ziele der Schule für alle Beteiligten transparenter (E_b) und Standards können dazu führen, dass die Übergänge auf weiterführende Schulformen objektiviert werden und es mehr Chancengleichheit gibt (E_l) die höchsten Mittelwerte auf. Am wenigsten stimmten die Befragten aller drei Befragungen der Aussage Wenn es nicht klare Standards gibt, ist ein Schulabschluss bald nichts mehr wert (E_e) zu. Auch in Bezug auf die anderen Items zeigen sich im Wesentlichen ähnliche Antworttendenzen. Vergleicht man die Mittelwerte der Befragten aus dem Jahr 2009 (Sek I) mit jenen aus dem Jahr 2010 (VS), so liegen die Mittelwerte der Befragten der Volksschule bei allen Items (zumindest leicht) über jenen der Befragten der Sekundarstufe I. Die stärkere Zustimmung zu den positiven Aspekten der Einführung von Bildungsstandards von Seiten der Befragten der Volksschule, die bereits aus Abbildung 20 hervorgegangen ist, lässt sich also über alle Items hinweg feststellen. Die Befragten aus dem Jahr 2004 (Pilotphase) weisen im Vergleich zu den Befragten aus dem Jahr 2009 (Sek I) und dem Jahr 2010 (VS) bei neun von elf Items (zumindest leicht) höhere Mittelwerte auf. Somit ist die Zustimmung der befragten Pilotlehrkräfte im Vergleich zu den 2009 und 2010 befragten Lehrkräften und Schulleiterinnen bzw. Schulleitern an den Baseline- Schulen etwas höher (Abbildung 23). 5 Bewertung problematischer Aspekte Vergleich 2009, 2010 und ,5 4 3,5 3 2,5 2 1,5 1 E_c E_d E_f E_g E_i E_m E_o E_p E_q E_r E_t E_v 2009 (Sek I) 2010 (VS) 2004 (Pilot) Beurteilungsskala: 1 = stimmt gar nicht 5 = stimmt genau Abbildung 24: Vergleich der Einschätzungen problematischer Aspekte von Befragten aus dem Jahr 2004 (n ~ 110), dem Jahr 2009 (n ~ 1420) und dem Jahr 2010 (n ~ 670) grafische Darstellung der Mittelwerte -36-

38 Bezeichnung E_c E_d E_f E_g E_i E_m E_o E_p E_q E_r E_t E_v Item Bildungsstandards sind meiner Ansicht nach primär ein Instrument der Kontrolle von Schule und Lehrer/innen. Die professionelle Handlungs- und Entscheidungsfreiheit wird durch Standards deutlich eingeschränkt. Bildungsstandards bewirken eine «Nivellierung nach unten» und vermindern die Schulqualität eher als dass sie sie verbessern. Bildungsstandards verstärken den Selektions- und Leistungsdruck in der Schule. Standards und Schulautonomie das geht einfach nicht zusammen. Der ausschließliche Blick auf die Ergebnisse vernachlässigt die wichtige Prozessdimension des Unterrichts. Am Konzept zur Umsetzung der Bildungsstandards ist noch zu vieles ungeklärt, um es wirklich beurteilen zu können. Die einseitige Betonung der Fachleistungen führt zu einer Unterschätzung der erzieherischen Leistungen der Schule. Außer Mehrarbeit für die Lehrkräfte werden die Bildungsstandards vermutlich nicht viel bringen. Schulen sind zu verschieden, um ihre Leistungen an gleichen Maßstäben zu messen. Von Standards zu Schulrankings ist der Weg nicht weit. Bildungsstandards bringen die Gefahr einer inhaltlichen Verarmung des Unterrichts mit sich. Tabelle 9: Items zur Erfassung der problematischen Aspekte Legende zu Abbildung 24 In Abbildung 24 sind die Mittelwerte für die Bewertung der problematischen Aspekte dargestellt. Es lassen sich auch hier durchaus Übereinstimmungen in den Antworttendenzen der drei Befragtengruppen erkennen. Vergleichsweise die höchsten Mittelwerte weisen bei allen drei Befragungen die Aussagen Am Konzept zur Umsetzung der Bildungsstandards ist noch zu vieles ungeklärt, um es wirklich beurteilen zu können (E_o), Von Standards zu Schulrankings ist der Weg nicht weit (E_t), Der ausschließliche Blick auf die Ergebnisse vernachlässigt die wichtige Prozessdimension des Unterrichts (E_m) und Die einseitige Betonung der Fachleistungen führt zu einer Unterschätzung der erzieherischen Leistungen der Schule (E_p) auf. Vergleichsweise die geringste Zustimmung erhielten die Aussagen Bildungsstandards bewirken eine «Nivellierung nach unten» und vermindern die Schulqualität eher als dass sie sie verbessern (E_f), Außer Mehrarbeit für die Lehrkräfte werden die Bildungsstandards vermutlich nicht viel bringen (E_q) und Standards und Schulautonomie das geht einfach nicht zusammen (E_i). Vergleicht man auch hier die Mittelwerte der Befragten aus dem Jahr 2009 (Sek I) mit jenen der Befragten aus dem Jahr 2010 (VS), so lässt sich feststellen, dass bei sieben der zwölf Items die Befragten der Sekundarstufe I höhere Mittelwerte aufweisen. Es spiegelt sich also, wie bereits aus Abbildung 20 hervorgegangen ist, eine etwas stärkere Zustimmung der Befragten der Sekundarstufe I zu den problematischen Aspekten der Einführung der Bildungsstandards wider. Diese zeigt sich allerdings nicht in Bezug auf alle Items. Vergleicht man zudem die Mittelwerte der Befragungen aus dem Jahr 2009 (Sek I) und 2010 (VS) mit der Befragung der Pilotlehrkräfte (2004), so liegen die Mittelwerte der Pilotlehrkräfte teils über jenen der beiden anderen Befragtengruppen, teils decken sie sich oder liegen etwas unter jenen der beiden anderen Befragtengruppen. Es lässt sich also keine solche eindeutige Tendenz wie bei der Bewertung der positiven Aspekte der Einführung der Bildungsstandards feststellen. -37-

39 Besonders interessant ist der Vergleich der Mittelwerte der drei Befragungen in Bezug auf das Item Am Konzept zur Umsetzung der Bildungsstandards ist noch zu vieles ungeklärt, um es wirklich beurteilen zu können (E_o). Das Item weist bei allen drei Befragungen einen vergleichsweise hohen Mittelwert auf. Dies begründet sich wohl mitunter darin, dass eine Vielzahl der Lehrkräfte die Verordnung der Bildungsstandards nach wie vor nicht zu kennen scheint (siehe dazu auch Kapitel 4.3.2). Anhand der Ergebnisse lässt sich aber auch feststellen, dass die Zustimmung zu diesem Item bei den Pilotlehrkräften (2004) am höchsten war, bei den Befragten der Sekundarstufe I (2009) bereits deutlich geringer war und bei den Befragten der Volksschule (2010) nochmals deutlich niedriger ausfiel. Somit kann davon ausgegangen werden, dass das Konzept zur Umsetzung der Bildungsstandards mit dem Fortschreiten des Implementationsprozesses an Klarheit gewonnen hat und die Begleitmaßnahmen erste Wirkung gezeigt haben (Abbildung 24). Eine Zusammenschau der Ergebnisse zur Bewertung der positiven und der problematischen Aspekte der Einführung der Bildungsstandards lässt den Schluss zu, dass die Befragten aktuell eine eher noch undifferenzierte und abwartende Haltung gegenüber den Bildungsstandards einnehmen. Sowohl die Zustimmung zu den positiven Aspekten als auch zu den problematischen Aspekten der Einführung der Bildungsstandards liegt insgesamt im mittleren Bereich. Unsicherheit und Unklarheit bestehen vor allem nach wie vor im Hinblick darauf, welche Implikationen die Bildungsstandards für die Praxis mit sich bringen. Gleichzeitig zeigt sich aber auch, dass die Befragten grundlegende Zielsetzungen der Bildungsstandards, wie die Schaffung von mehr Transparenz sowie die Objektivierung und Vergleichbarkeit von Leistungen, durchaus positiv beurteilen. Bei den Befragten der Volksschule und hier wiederum bei den Lehrkräften lässt sich im Vergleich zu den Befragten der Sekundarstufe I eine etwas positivere Haltung gegenüber den Bildungsstandards ausmachen. Mögliche Erklärungen für diesen Befund wurden bereits im vorangegangenen Abschnitt gegeben. Der Vergleich der Einstellungsdaten der aktuellen Studie mit jener der Pilotphase weist im Wesentlichen auf ähnliche Antworttendenzen hin. In Bezug auf die Bewertung der positiven Aspekte der Einführung der Bildungsstandards lässt sich jedoch eine etwas stärkere Zustimmung der Pilotlehrkräfte erkennen. Diese lässt sich nicht zuletzt dadurch erklären, dass es sich bei den Befragten um Lehrkräfte der Pilotschulen handelte, die freiwillig an dieser Pilotphase teilgenommen haben und denen zudem vielfältige Unterstützungsmaßnahmen zur Verfügung gestanden sind. Insofern ist ein direkter Vergleich mit den Befragungsergebnissen aus den Jahren 2009 und 2010, bei denen es sich um Zufallsstichproben handelte, nicht möglich. Es ist anzunehmen, dass die Befragten an den Pilotschulen den Bildungsstandards insgesamt etwas positiver gegenüber standen als eine entsprechend zufällig gezogene Stichprobe. Dennoch liefern die Ergebnisse interessante Hinweise und lassen vermuten, dass die gesetzten Implementierungsmaßnahmen auch bereits erste Wirkungen gezeigt haben (z. B. Klärung im Hinblick auf die Umsetzung der Bildungsstandards im Unterricht). -38-

40 C Evaluation der Ergebnisrückmeldung Maria Grillitsch 1 Ziel der Studie Im Zuge der beiden Baseline-Testungen wurde das Rückmeldesystem erstmals erprobt (siehe auch Kapitel A). Die Begleitforschung hatte in diesem Zusammenhang zum Ziel, die Praxistauglichkeit des Rückmeldeprozederes zu überprüfen und gegebenenfalls vorhandene Verbesserungspotentiale aufzuzeigen. Zu diesem Zweck wurden die Adressatengruppen zur erhaltenen Rückmeldung 12 befragt. Im Zuge der Evaluation der Ergebnisrückmeldung der Baseline-Testung der 4. Schulstufe waren die Lehrkräfte und Schulleiter/innen sowie die Schüler/innen bzw. deren Eltern Zielgruppen dieser Befragungen. Um die Einschätzung der Lehrkräfte und Schulleiter/innen zum Rückmeldesystem zu erfassen, wurde vom BIFIE Graz ein Evaluationsfragebogen konzipiert, der Fragen zu folgenden Bereichen enthielt: Informiertheit über die Ergebnisrückmeldung Zugang zu den Ergebnissen und Intensität der Auseinandersetzung Beurteilung der Ergebnisrückmeldung Verbesserungsmöglichkeiten Unterstützungsbedarf Reaktionen auf die Ergebnisrückmeldung Die Schüler/innen bzw. deren Eltern erhielten einen kurzen Fragebogen mit Fragen zur Verständlichkeit und Nützlichkeit der Rückmeldung sowie zum persönlichen Umgang mit den Ergebnissen. In Kapitel 2 wird auf die Ergebnisse der Lehrer- und Schulleiterbefragung und in Kapitel 3 auf die Ergebnisse der Schüler- und Elternbefragung eingegangen Nähere Informationen zur Rückmeldung finden sich in Breit & Schreiner, Auch die Ergebnisrückmeldung der Baseline-Testung der 8. Schulstufe wurde evaluiert. Die Ergebnisse dazu finden sich in Amtmann, Grillitsch, & Petrovic,

41 2 Befragung von Lehrkräften und Schulleiterinnen bzw. Schulleitern 2.1 Ablauf der Befragung Der Evaluationsfragebogen wurde im März 2011 an alle Lehrkräfte und Schulleiter/innen übermittelt, die eine Rückmeldung von Ergebnissen der Baseline-Testung der 4. Schulstufe erhalten hatten. Wie bei der Rezeptionsstudie wurden die Fragebögen postalisch übermittelt. Die Schulleiter/innen wurden gebeten, die Fragebögen an die betreffenden Lehrkräfte auszuhändigen. Nach dem Ausfüllen wurden die Fragebögen (in einem verschlossenen Kuvert) wieder beim Schulleiter/bei der Schulleiterin abgegeben und anschließend an das BIFIE Graz übermittelt. Die Ergebnisse der Befragung wurden unmittelbar nach deren Auswertung an die Projektverantwortlichen des BIFIE übermittelt (Juni 2011), sodass möglichst rasch Handlungsempfehlungen abgeleitet werden konnten. 2.2 Stichprobe Für die vorliegende Studie wurden all jene Lehrer/innen und Schulleiter/innen kontaktiert, deren Schüler/innen an der Baseline-Testung auf der 4. Schulstufe teilgenommen und eine Rückmeldung der Ergebnisse erhalten hatten. Kontaktaufnahme Rücklauf absolut Rücklauf Prozent Lehrer/innen ,4 % Schulleiter/innen ,8 % Summe ,9 % Tabelle 10: Rücklaufquoten der Fragebogenerhebung bei Lehrkräften und Schulleiter/innen Die Ergebnisse beruhen auf den Angaben von 415 Lehrkräften und 237 Schulleiterinnen bzw. Schulleitern. Die Rücklaufquote lag damit bei den Lehrkräften bei 78 % und bei den Leitungspersonen bei 89 % (Tabelle 10). Geschlecht Lehrer/innen Schulleiter/innen absolut Prozent absolut Prozent weiblich ,5 % ,7 % männlich 43 10,5 % 57 24,3 % Tabelle 11: Geschlechterverteilung der befragten Lehrer/innen und Schulleiter/innen 90 % der befragten Lehrkräfte waren weiblich, der Rest männlich. Bei den Leitungspersonen waren drei Viertel weiblich und ein Viertel männlich (Tabelle 11). Alter der befragten Lehrer/innen absolut Prozent absolut Prozent 20 bis 30 Jahre 35 8,5 % 41 bis 50 Jahre ,4 % 31 bis 40 Jahre 89 21,6 % über 50 Jahre ,5 % Tabelle 12: Verteilung der befragten Lehrer/innen nach Alter -40-

42 Mehr als zwei Drittel der befragten Lehrkräfte (70 %) waren über 40 Jahre alt. Rund 30 % hatten ein Alter von 20 bis 40 Jahren (Tabelle 12). Anzahl der Dienstjahre als Schulleiter/in absolut in Prozent weniger als 1 Jahr 11 4,6 % 1 bis 5 Jahre 46 19,4 % 6 bis 10 Jahre 90 38,0 % mehr als 10 Jahre 90 38,0 % Tabelle 13: Verteilung der Schulleiter/innen nach der Anzahl der Dienstjahre Bei den Leitungspersonen wurde statt dem Alter, die Anzahl der Dienstjahre als Schulleiter/in erhoben. Rund ein Viertel der Leiter/innen war seit weniger als 6 Jahren in dieser Funktion tätig. Jeweils 38 % übten diese Funktion zwischen 6 und 10 Jahren bzw. seit mehr als 10 Jahren aus (Tabelle 13). 2.3 Ergebnisse In der Folge werden die wichtigsten Ergebnisse der Befragung berichtet. In einem ersten Schritt erfolgt eine deskriptive Darstellung der Antwortverteilungen (Kapitel bis 2.3.6). Anschließend (Kapitel 2.3.7) werden Gruppenunterschiede analysiert (z. B. Unterschiede zwischen Lehrkräften und Schulleiterinnen bzw. Schulleitern, Unterschiede zwischen Sekundarstufe I und Volksschule) Informiertheit über die Ergebnisrückmeldung Wie gut sich die Befragten über die Ergebnisrückmeldung informiert fühlten, wurde anhand von fünf Items erhoben. Diese wurden von den Befragten auf einer fünfstufigen Skala (sehr gut sehr schlecht) beantwortet. Wie gut wurden Sie vorab informiert über...? 100% 90% 80% 70% 60% 50% % 30% 20% 10% % L SL L SL L SL L SL L SL Zugang zur Rückmeldung/ Form der Rückmeldung Inhalt der Rückmeldung Adressaten der Rückmeldung sehr gut sehr schlecht Zeitpunkt der Rückmeldung Inhalt Rückmeldung Schulaufsicht Abbildung 25: Informiertheit von Lehrkräften und Schulleiter/innen über die Ergebnisrückmeldung (n L ~ 405, n SL ~230); Werte 2 % sind in der Grafik nicht angeführt -41-

43 Wie sie zu den Ergebnissen ihrer Klasse gelangen, darüber fühlten sich 84 % der Lehrkräfte vorab sehr gut oder gut informiert. Jeweils rund zwei Drittel der Lehrkräfte äußerten über den Inhalt der Rückmeldung und über weitere Adressaten der Rückmeldung sehr gut oder gut informiert gewesen zu sein. Über den Rückmeldezeitpunkt fühlten sich etwas mehr als drei Viertel der Lehrkräfte sehr gut oder gut informiert. Vergleichsweise weniger gut informiert fühlten sich die Lehrkräfte darüber, welche Rückmeldung die Schulaufsicht erhält. 44 % äußerten über den Inhalt der Rückmeldung an die Schulaufsicht sehr gut oder gut informiert gewesen zu sein. Ein Drittel fühlte sich darüber hingegen schlecht oder sehr schlecht informiert. Bei den Schulleiterinnen bzw. Schulleitern fühlten sich jeweils mehr als 90 % der Befragten, über die Form, den Inhalt und die Adressaten der Rückmeldung sehr gut oder gut informiert. 90 % wählten in Bezug auf die Frage nach der Informiertheit über den Rückmeldezeitpunkt die Antwortkategorien sehr gut oder gut. Über die Rückmeldung an die Schulaufsicht fühlten sich 80 % der Schulleiter/innen sehr gut oder gut informiert (Abbildung 25). Auf Basis dieser Ergebnisse lässt sich ableiten, dass es im Zuge der Informationsstrategie rund um die Ergebnisrückmeldung gelungen ist, die überwiegende Mehrheit der Befragten gut zu informieren. Jener Bereich, in dem sich am ehesten Informationsdefizite zeigen, betrifft die Rückmeldung an die Schulaufsicht. Dieser Bereich stand allerdings auch nicht so sehr im Zentrum der Informationsbemühungen. Es wurde eher darauf abgezielt, dass die Akteurinnen und Akteure an den Schulen grundlegend darüber Bescheid wissen, dass die Schulaufsicht eine Rückmeldung von Ergebnissen erhält. Zum anderen ist auch anzunehmen, dass für die Lehrkräfte und Schulleiter/innen v. a. die eigene Rückmeldung im Zentrum des Interesses stand und Informationen darüber, welche Rückmeldung andere Adressatengruppen erhalten für sie gegebenenfalls weniger von Interesse waren und insofern auch in geringerem Maße Informationen dazu eingeholt wurden. Bei den Lehrkräften zeigt sich nämlich auch, dass sich diese neben der Rückmeldung an die Schulaufsicht auch über die Rückmeldung an die Schulleiter/innen vergleichsweise weniger gut informiert fühlten. 59 % wählten diesbezüglich die Antwortkategorien sehr gut oder gut (ohne Tabelle oder Abbildung). Deutliche Unterschiede in der Informiertheit zeigen sich zwischen Lehrkräften und Schulleiterinnen bzw. Schulleitern. Letztere fühlten sich deutlich besser informiert. Wie bereits bei der Darstellung der Ergebnisse der Rezeptionsstudie dargelegt, lässt sich dieser Informationsvorsprung der Schulleiter/innen u. a. damit begründen, dass die Schulleiter/innen ganz gezielt zu Informationsveranstaltungen zum Thema Ergebnisrückmeldung eingeladen wurden 14. Bei diesen (regionalen) Veranstaltungen wurden die Schulleiter/innen über das Rückmeldeprozedere und die Gestaltung der Rückmeldung informiert. Im Rahmen eines anschließenden Workshops hatten sie auch die Möglichkeit sich näher mit der Rückmeldung auseinanderzusetzen. Sie erhielten dazu einen exemplarischen Schulbericht und konnten diesen mit Kolleginnen und Kollegen diskutieren sowie an Expertinnen und Experten Fragen zur Rückmeldung stellen. Für die Lehrkräfte gab es keine vergleichbaren Veranstaltungen. Vielmehr % der Schulleiter/innen haben auch an einer dieser Informationsveranstaltungen teilgenommen. -42-

44 wurde darauf abgezielt, dass die Schulleiter/innen als Multiplikatorinnen bzw. Multiplikatoren fungieren und Informationen in ihr Kollegium weitertragen. Insgesamt war die Informationsstrategie zur Baseline-Testung (4. Schulstufe) offenbar gut gewählt und hat ihre Zielsetzung erfüllt. Im Hinblick auf die Gestaltung der Begleitmaßnahmen rund um die Standardüberprüfung lässt sich die Empfehlung aussprechen, dass es ausreichender Informations- und Fortbildungsangebote bedarf, die alle Beteiligten darauf vorbereiten, was sie im Rahmen der Ergebnisrückmeldung erwartet. Besonders wichtig ist in diesem Zusammenhang, dass das Thema Ergebnisrückmeldung & Umgang mit den rückgemeldeten Daten auch in der Lehrerausbildung und -fortbildung Eingang und entsprechende Berücksichtigung findet. Nicht zuletzt obliegt es dann aber auch der Verantwortung der Akteurinnen und Akteure an den Schulen selbst, vorhandene Angebote zu nützen und sich auf diese Weise auf die Rückmeldung und den Umgang mit den Ergebnissen vorzubereiten Zugang zu den Ergebnissen und Intensität der Auseinandersetzung mit der Rückmeldung Ziel der Evaluation war es auch zu erfassen, wie gut die organisatorische Abwicklung sowie die technische Umsetzung der Rückmeldung funktioniert hat. Im Zentrum des Interesses stand auch die Frage, inwiefern sich die Adressatinnen und Adressaten der Rückmeldung mit dieser auseinandergesetzt haben. Insofern enthielt der Evaluationsfragebogen auch einige Fragen dazu. Das Rückmeldeprozedere hat laut Aussagen der Befragten insgesamt gut funktioniert. 98 % der befragten Lehrkräfte gaben an, den Code für den Zugang zu den Testergebnissen erhalten zu haben. Zudem traten nur bei einem eher geringen Prozentsatz der Befragten (bei 5 % der Lehrkräfte und 9 % der Schulleiter/innen) Probleme beim Abrufen der Ergebnisse auf der BIFIE- Website auf. Jene wenigen Personen, die Probleme beim Abrufen der Testergebnisse hatten (n = 42), äußerten u. a., dass das Aufrufen der Homepage nicht möglich war (n = 19) oder es Probleme mit dem Zugangscode gab (n = 8). Außerdem wurde von einigen Befragten genannt, dass für sie nicht klar war, wie der Einstieg funktioniert (n = 3) oder es Probleme beim Drucken der Rückmeldung gab (n = 4). Sowohl die Lehrer/innen als auch die Schulleiter/innen haben sich mehrheitlich intensiv mit der Rückmeldung auseinandergesetzt. Rund drei Viertel der Lehrkräfte und 90 % der Schulleiter/innen haben sich mit den Testergebnissen ihrer Klasse bzw. ihrer Schule sehr ausführlich oder ausführlich auseinandergesetzt. Lediglich ein sehr geringer Prozentsatz der Befragten hat sich die Rückmeldung gar nicht angesehen (Abbildung 26). -43-

45 Wie ausführlich haben Sie sich mit den Testergebnissen auseinandergesetzt? Lehrer/innen Schulleiter/innen % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% sehr ausführlich gar nicht Abbildung 26: Ausführlichkeit der Auseinandersetzung mit der Rückmeldung Antwortverteilungen der Lehrkräfte und Schulleiter/innen (n L = 405, n SL = 227) Insgesamt lässt sich schließen, dass die Ergebnisse von den Befragten an den Baseline-4-Schulen intensiv rezipiert wurden. Es ist jedoch davon auszugehen, dass unter jenen Personen, die den Evaluationsfragebogen nicht rückübermittelt haben, etwas mehr Personen zu finden sind, die sich die Rückmeldung nicht angesehen haben Beurteilung der Ergebnisrückmeldung Um einen Einblick zu erhalten, wie die Rückmeldung bewertet wird, wurden die Befragten gebeten, den Informationsgehalt, die Verständlichkeit, die Übersichtlichkeit und die praktische Verwertbarkeit der Rückmeldung zu beurteilen. Außerdem wurde danach gefragt, wie die Lehrkräfte und Schulleiter/innen einzelne Teilbereiche der Rückmeldung in Bezug auf ihre Nützlichkeit und Verständlichkeit einstufen und wie sie den praktischen Wert der Rückmeldung einschätzen. Informationsgehalt, Verständlichkeit und Übersichtlichkeit der Rückmeldung insgesamt Wie aus Abbildung 27 hervorgeht, beurteilten jeweils rund 80 % der Lehrkräfte den Informationsgehalt, die Verständlichkeit und die Übersichtlichkeit der Rückmeldung mit Sehr gut oder Gut. Die Schulleiter/innen beurteilten die Ergebnisrückmeldung noch positiver als die Lehrkräfte. Hier waren es jeweils rund 90 %, die den Informationsgehalt, die Verständlichkeit und die Übersichtlichkeit der Rückmeldung mit Sehr gut oder Gut einstuften. Auf die Frage nach der praktischen Verwertbarkeit wählten etwas mehr als die Hälfte der Lehrkräfte und etwas mehr als zwei Drittel der Schulleiter/innen die Antwortkategorien Sehr gut oder Gut. Es lässt sich anhand dieser Ergebnisse feststellen, dass die Rückmeldung insgesamt durchaus positiv bewertet wurde. Offenbar ist es gelungen, eine Rückmeldung zu verfassen, die übersichtlich und gut verständlich ist und die auch vom Informationsgehalt durchwegs positiv eingeschätzt wird. Es zeigt sich aber auch, dass die Beurteilung der praktischen Verwertbarkeit der Rückmeldung etwas weniger positiv ausgefallen ist. Das heißt, wie die Ergebnisse für die Schule und für den eigenen Unterricht konkret genutzt werden können, ist den Lehrkräften und Schulleiterinnen bzw. Schulleitern offenbar vergleichsweise weniger klar. -44-

46 Wie beurteilen Sie die Ergebnisrückmeldung im Hinblick auf...? 100% 90% % 70% % 50% % 30% % 10% % L SL L SL L SL L SL Informationsgehalt Verständlichkeit Übersichtlichkeit praktische Verwertbarkeit Sehr gut Gut Befriedigend Genügend Nicht genügend Abbildung 27: Bewertung der Rückmeldung durch die Lehrkräfte und Schulleiter/innen (n L ~ 395, n SL ~230); Werte 2 % sind in der Grafik nicht angeführt Die Beurteilung der Rückmeldung ist von Seiten der Schulleiter/innen in Bezug auf alle vier abgefragten Bereiche positiver ausgefallen als von Seiten der Lehrkräfte. Neben der Tatsache, dass sich solche Unterschiede im Sinne einer positiveren Haltung der Schulleiter/innen gegenüber (schulischen) Innovationen in sehr vielen Evaluationsbefunden widerspiegeln 15, erscheinen v. a. zwei Gründe für diese Unterschiede zwischen Lehrkräften und Schulleiterinnen bzw. Schulleitern plausibel: Zum einen waren die Schulleiter/innen über die Ergebnisrückmeldung offenbar etwas besser informiert als die Lehrkräfte. Diese bessere Informiertheit hat auf Basis der vorliegenden Ergebnisse auch Einfluss auf die positivere Bewertung der Rückmeldung (siehe dazu auch Kapitel 2.3.7). Zum anderen muss berücksichtigt werden, dass Schulleiter/innen und Lehrkräfte unterschiedliche Formen der Rückmeldung erhalten hatten und mit der Rückmeldung der Ergebnisse auch jeweils unterschiedliche Implikationen für das Handeln dieser beiden Adressatengruppen verbunden sind. Während den Schulleiterinnen bzw. Schulleitern natürlich auch die Aufgabe zukommt, mit den Lehrkräften die rückgemeldeten Ergebnisse zu reflektieren und Schul- und Unterrichtsentwicklungsprozesse zu initiieren bzw. zu unterstützen, obliegt den Lehrkräften die unmittelbare praktische Umsetzung in der Klasse. Dies bedingt anzunehmenderweise auch, dass Lehrkräfte zum Teil andere Anforderungen an die Rückmeldung sowie an die Unterstützungssysteme stellen als die Schulleiter/innen. Für Lehrkräfte ist größtmögliche Klarheit in Bezug auf die praktische Verwertbarkeit der Ergebnisse von noch zentralerer Bedeutung als für die Schulleiter/innen. Bei der Bewertung des letztgenannten Bereiches zeigen sich auch die deutlichsten Unterschiede zwischen den beiden Befragtengruppen (siehe auch Kapitel 2.3.7). In Zusammenhang mit der Beurteilung der praktischen 15 Vgl. u. a. Grabensberger, Freudenthaler & Specht, 2008; Grillitsch, 2010; Amtmann, Grillitsch & Petrovic, 2011; Stanzel-Tischler,

47 Verwertbarkeit spielt wohl außerdem eine Rolle, dass die Rückmeldung der Ergebnisse einerseits zu einem Zeitpunkt erfolgt, an dem die getesteten Schüler/innen die Schule bereits verlassen haben und die Ergebnisse nicht als Basis für die explizite Förderung einzelner Schüler/innen herangezogen werden können (siehe auch Kapitel B 4.4). Stattdessen geht es darum, anhand der rückgemeldeten Ergebnisse den eigenen Unterricht zu reflektieren, Stärken und Schwächen zu identifizieren und dementsprechende Maßnahmen abzuleiten. Den Blick weg von den Leistungen einzelner Schüler/innen und explizit hin zum eigenen Unterricht zu lenken, ist für die Lehrkräfte vielfach neu. Insofern braucht es gerade in diesem Bereich an Unterstützung. Es lässt sich daher auch ableiten, dass im Fokus weiterer Bemühungen um eine Optimierung des Rückmeldekonzeptes sowie einer bedarfsgerechten Gestaltung der Unterstützungsangebote v. a. die Frage stehen sollte, wie der Transfer der rückgemeldeten Ergebnisse in praktisches Handlungswissen möglichst gut gelingen und unterstützt werden kann. Bewertung einzelner Teilbereiche der Rückmeldung Neben einer Gesamtbewertung der Rückmeldung sollten die Befragten auch eine differenzierte Bewertung der Rückmeldung vornehmen und eine Einschätzung zur Nützlichkeit und Verständlichkeit einzelner in der Rückmeldung enthaltener Informationen abgeben. Die Fragen zu diesem Bereich waren im Lehrer- und Schulleiterfragebogen verschieden, da die Lehrkräfte und Schulleiter/innen unterschiedliche Rückmeldungen erhalten hatten. Die im jeweiligen Fragebogen enthaltenen Fragestellungen können Tabelle 14 und Tabelle 15 entnommen werden. Den einzelnen Fragestellungen wurden in der rechten Spalte Kurzbezeichnungen zugeordnet, um die Lesbarkeit der in der Folge dargestellten Grafiken zu erleichtern. (1) Wie nützlich sind für Sie Informationen darüber, Kurz- (2) Wie gut geht aus der Rückmeldung hervor, bezeichnung a) wo die Leistungen Ihrer Klasse verglichen mit anderen Klassen insgesamt liegen? Vergleich mit anderen Klassen b) wo die Leistungen Ihrer Klasse verglichen mit Klassen mit fairer ähnlichen Rahmenbedingungen liegen (fairer Vergleich)? Vergleich c) wie groß die Streuung der Leistungen der getesteten Streuung der Schüler/innen ist? Leistungen d) in welchen Kompetenzbereichen die Stärken bzw. Aufschlüsselung - Schwächen der getesteten Schüler/innen liegen? Kompetenzbereiche e) wie die Schüler/innen beim Verfassen von Texten Abschneiden (Brief und Bildgeschichte) abgeschnitten haben? Textverfassung f) Wenn mehr als eine Klasse an Ihrer Schule getestet wurde: wo Ihre Klasse im innerschulischen Vergleich liegt? innerschulischer Vergleich Tabelle 14: Fragestellungen zur Erfassung der Nützlichkeit und Verständlichkeit einzelner Teilbereiche der Rückmeldung im Lehrerfragebogen L E H R K R Ä F T E Zur Einschätzung der Nützlichkeit (Fragestellung 1) wurden die Lehrkräfte gebeten, die in Tabelle 14 dargestellten Items auf einer fünfstufigen Skala (sehr nützlich gar nicht nützlich) zu beurteilen. -46-

48 Wie nützlich sind folgende Informationen für Sie? Lehrer/innen Aufschlüsselung - Kompetenzbereiche Abschneiden Textverfassung fairer Vergleich Streuung der Leistungen Vergleich mit anderen Klassen innerschulischer Vergleich % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% sehr nützlich gar nicht nützlich Abbildung 28: Einschätzung der Nützlichkeit einzelner Teilbereiche der Rückmeldung Antwortverteilungen der Lehrkräfte (n ~ 395; innerschulischer Vergleich: n = ) Wie sich zeigt, wurden alle in der Rückmeldung enthaltenen (und im Fragebogen abgefragten) Informationen als durchaus nützlich eingestuft. Jeweils zwischen 55 % und 70 % der Lehrkräfte wählten bei den einzelnen Fragen die Antwortkategorien sehr nützlich oder nützlich. Ein eher geringer Prozentsatz erachtete die Informationen als wenig oder gar nicht nützlich (Abbildung 28). In Bezug auf die Verständlichkeit der rückgemeldeten Informationen (Fragestellung 2) spiegelt sich ebenfalls ein positives Bild wider. Wie gut gehen folgende Bereiche aus der Rückmeldung hervor? Lehrer/innen Vergleich mit anderen Klassen Streuung der Leistungen Aufschlüsselung - Kompetenzbereiche innerschulischer Vergleich Abschneiden Textverfassung fairer Vergleich % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% gut mittelmäßig schlecht Abbildung 29: Einschätzung der Verständlichkeit einzelner Teilbereiche der Rückmeldung Antwortverteilungen der Lehrkräfte (n ~ 360; innerschulischer Vergleich: n = 294); Werte 1 % sind in der Grafik nicht angeführt 16 Der innerschulische Vergleich bzw. der Vergleich zwischen getesteten Klassen einer Schule war nur in jenen Volksschulen möglich, in denen mehr als eine Klasse der 4. Schulstufe geführt wird. Daraus resultiert das geringere n bei diesen Items (gleiches gilt für Abbildung 29, Abbildung 30 und Abbildung 31) -47-

49 Zwischen zwei Drittel und drei Viertel der befragten Lehrkräfte gaben an, dass die jeweiligen Informationen gut aus der Rückmeldung hervorgingen. Nur ein geringer Anteil der Befragten wählte in Bezug auf die Verständlichkeit der einzelnen Teilbereiche die Antwortkategorie schlecht (Abbildung 29). Ein ähnliches Bild zeigt sich bei den Schulleiter/innen und Schulleitern. Tabelle 15 gibt auch hier zunächst einen Überblick über die im Schulleiterfragebogen enthaltenen Items inklusive der Zuordnung der Kurzbezeichnungen. (1) Wie nützlich sind für Sie Informationen darüber, (2) Wie gut geht aus der Rückmeldung hervor, a) wo die Leistungen Ihrer Schule verglichen mit anderen Schulen insgesamt liegen? b) wo die Leistungen Ihrer Schule verglichen mit Schulen mit ähnlichen Rahmenbedingungen liegen? (fairer Vergleich) c) wo die Stärken und Schwächen der Schule insgesamt liegen? d) wo die Stärken/Schwächen einzelner getesteter Klassen liegen? e) wie die Schüler/innen beim Verfassen von Texten (Brief und Bildgeschichte) abgeschnitten haben? f) wie stark die Leistungen der getesteten Schüler/innen streuen? g) in welchen Bereichen an Ihrer Schule Qualitätsentwicklungsmaßnahmen erforderlich sind? Wenn an Ihrer Schule mehr als eine Klasse getestet wurde: h) wie die getesteten Klassen im innerschulischen Vergleich liegen? i) wie stark sich die Leistungen zwischen den getesteten Klassen unterscheiden? Kurzbezeichnung Vergleich mit anderen Schulen fairer Vergleich Schule Stärken/Schwächen Schule Stärken/Schwächen Klassen Abschneiden Textverfassung Streuung der Leistungen Qualitätsentwicklungsmaßnahmen innerschulischer Vergleich Unterschiede zwischen den Tabelle 15: Fragestellungen zur Erfassung der Nützlichkeit und Verständlichkeit einzelner Teilbereiche der Rückmeldung im Schulleiterfragebogen S C H U L L E I T E R / I N N E N Wie nützlich sind folgende Informationen für Sie? Schulleiter/innen Stärken/Schwächen - Klassen Stärken/Schwächen - Schule innerschulischer Vergleich fairer Vergleich - Schule Streuung der Leistungen Abschneiden Textverfassung Unterschiede zwischen den getesteten Klassen Qualitätsentwicklungsmaßnahmen Vergleich mit anderen Schulen % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% sehr nützlich Abbildung 30: Einschätzung der Nützlichkeit einzelner Teilbereiche der Rückmeldung Antwortverteilungen der Schulleiter/innen (n ~ 230; innerschulischer Vergleich/Unterschiede zwischen Klassen: n = 157) gar nicht nützlich -48-

50 Von einer deutlichen Mehrheit der Schulleiter/innen wurden die jeweiligen Informationen als sehr nützlich oder nützlich eingestuft. Nur ein eher geringer Prozentsatz schätzte einzelne Teilbereiche der Rückmeldung als wenig oder gar nicht nützlich ein (Abbildung 30). In Bezug darauf, wie gut die einzelnen Informationen aus der Rückmeldung hervorgingen, äußerten sich die Schulleiter/innen ebenfalls durchaus positiv. Zwischen 65 % und 86 % der Befragten wählten in Bezug auf die einzelnen Fragestellungen die Antwortkategorie gut. Der Anteil jener, der sich für die Antwortkategorie schlecht entschied, ist mit maximal 5 % sehr gering (Abbildung 31). Wie gut gehen folgende Bereiche aus der Rückmeldung hervor? Schulleiter/innen Streuung der Leistungen Vergleich mit anderen Schulen innerschulischer Vergleich Unterschiede zwischen den getesteten Klassen fairer Vergleich - Schule Stärken/Schwächen - Klassen Abschneiden Textverfassung Stärken/Schwächen - Schule Qualitätsentwicklungsmaßnahmen % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% gut mittelmäßig schlecht Abbildung 31: Einschätzung der Verständlichkeit einzelner Teilbereiche der Rückmeldung Antwortverteilungen der Schulleiter/innen (n ~ 205; innerschulischer Vergleich/Unterschiede zwischen Klassen: n = 123); Werte 1 % sind in der Grafik nicht angeführt Insgesamt sticht hinsichtlich der Bewertung der Nützlichkeit und der Verständlichkeit sowohl bei den Lehrkräften als auch bei den Schulleiterinnen bzw. Schulleitern kein Teilbereich besonders hervor. Vielmehr sind die Bewertungen der einzelnen Teilbereiche innerhalb der jeweiligen Befragtengruppe sehr ähnlich ausgefallen. Bei den Schulleiterinnen bzw. Schulleitern ist der einzige Bereich, der vergleichsweise etwas weniger gut verständlich eingeschätzt wurde, die Identifikation von Qualitätsentwicklungsmaßnahmen. Dies lässt sich damit erklären, dass die Rückmeldung keine expliziten Hinweise darauf enthält, welche Qualitätsentwicklungsmaßnahmen an der Schule erforderlich sind. Diese müssen von den Akteurinnen und Akteuren an den Schulen erst aus den rückgemeldeten Ergebnissen abgeleitet werden, während die übrigen abgefragten Informationen (wie diverse Vergleiche, die Streuung der Leistungen etc.) konkret aus der Rückmeldung herausgelesen werden können. Insofern ist die etwas weniger positive Bewertung dieses Bereiches durchaus plausibel. -49-

51 Insgesamt lässt sich aus den vorliegenden Ergebnissen zur Bewertung einzelner Teilbereiche der Rückmeldung kein deutlicher Handlungsbedarf im Hinblick auf eine notwendige Veränderung der gewählten Darstellungsform ableiten. Die Informationen werden insgesamt offenbar als nützlich erachtet und gehen auch gut aus der Rückmeldung hervor. Bedeutung der Rückmeldung für die schulische Praxis und für den eigenen Unterricht Um einen Einblick zu erhalten, wie die Befragten den Nutzen der Rückmeldung für ihre eigene Arbeit beurteilen, wurden sowohl die Schulleiter/innen als auch die Lehrkräfte dazu befragt, wie sie den Wert der Rückmeldung für die schulische Praxis einschätzen. Wie wertvoll ist aus Ihrer Sicht die Ergebnisrückmeldung für die schulische Praxis? Lehrer/innen Schulleiter/innen % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% sehr wertvoll gar nicht wertvoll Abbildung 32: Wert der Rückmeldung für die schulische Praxis Antwortverteilungen der Lehrkräfte und Schulleiter/innen (n L = 398, n SL = 227) Etwas weniger als die Hälfte der Lehrkräfte und etwa drei Viertel der Schulleiter/innen schätzten die Ergebnisrückmeldung als sehr wertvoll oder wertvoll für die schulische Praxis ein. 18 % der Lehrkräfte und 9 % der Schulleiter/innen stuften diese hingegen als wenig oder gar nicht wertvoll ein (Abbildung 32). Dieses Ergebnis spiegelt im Wesentlichen die Antwortverteilungen wider, die sich bei der Beurteilung der praktischen Verwertbarkeit gezeigt haben (vgl. Abbildung 27, S. 45). Die Lehrkräfte wurden darüber hinaus gebeten anzugeben, inwiefern sie aus der Ergebnisrückmeldung Erkenntnisse über ihren eigenen Unterricht gewonnen haben. Inwiefern haben Sie aus der Ergebnisrückmeldung neue Erkenntnisse über Ihren Unterricht gewonnen (z. B. wo besondere Stärken liegen, wo es Entwicklungspotenziale gibt)? ich habe viele, wesentliche Erkenntnisse gewonnen ich habe überhaupt nichts Wesentliches erfahren 10 % 35 % 35 % 13 % 7 % Tabelle 16: Erkenntnisse aus der Rückmeldung Antwortverteilungen der Lehrkräfte (n = 400) 45 % der Lehrkräfte äußerten durch die Ergebnisrückmeldung, wesentliche Erkenntnisse über ihren Unterricht gewonnen zu haben (die beiden in der Tabelle links dargestellten Antwortkategorien). 20 % hingegen gaben an, wenig oder gar nichts Wesentliches über ihren Unterricht erfahren zu haben (Tabelle 16). Damit stehen auch diese Ergebnisse in Einklang mit den Befunden zur praktischen Verwertbarkeit. -50-

52 Insgesamt lässt sich schließen, dass der Wert der Rückmeldung für das eigene praktische Handeln von den Lehrkräften eher zurückhaltend bewertet wurde Verbesserungsmöglichkeiten Ein weiteres Ziel der Befragung bestand darin zu erfassen, ob und inwiefern die Befragten noch konkreten Verbesserungsbedarf bei der Rückmeldung orten. Zum einen wurden die Befragten gebeten, Auskunft darüber zu geben, inwiefern sie bei den in der Rückmeldung enthaltenen Abbildungen, Erklärungstexten und Hintergrundinformationen Verbesserungen für wichtig erachten und wie wichtig für sie eine kürzere Zeitspanne zwischen Testung und Rückmeldung wäre. Zum anderen wurden die Lehrkräfte und Schulleiter/innen danach gefragt, ob ihnen bei der Rückmeldung etwas Wichtiges gefehlt hat. Es bestand auch die Möglichkeit im Rahmen einer offenen Frage Stellung zu nehmen, was gegebenenfalls für sie gefehlt hat und welche weiteren Verbesserungen bei der Ergebnisrückmeldung bzw. bei der Gestaltung der Unterstützungsmaßnahmen aus ihrer Sicht für notwendig erachtet werden. Wie wichtig sind aus Ihrer Sicht Verbesserungen in den folgenden Bereichen? 100% 90% 80% % 60% % 40% 30% 20% 10% 0% L SL L SL L SL L SL Abbildungen Erklärungstexte Hintergrundinformationen sehr wichtig 31 gar nicht wichtig Verkürzung Zeitspanne Abbildung 33: Verbesserungsbedarf Einschätzungen der Lehrkräfte und Schulleiter/innen (n L ~ 375, n SL ~225) Aus Abbildung 33 geht hervor, dass aus Sicht der Befragten Verbesserungspotenzial v. a. in einer rascheren Rückmeldung der Ergebnisse liegt. Rund 80 % der Lehrkräfte und 70 % der Schulleiter/innen äußerten, dass sie eine Verkürzung der Zeitspanne zwischen Testung und Rückmeldung für sehr wichtig oder wichtig halten. Deutlich geringerer Bedarf an Verbesserungen lässt sich hingegen in Bezug auf die Gestaltung der Abbildungen, der Erklärungstexte und Hintergrundinformationen ableiten. Jeweils etwa ein Viertel der Befragten gab an, dass Verbesserungen in diesen Bereichen sehr wichtig oder wichtig seien. Vergleicht man die Antwortverteilungen der Schulleiter/innen und der Lehrkräfte, so fällt v. a. auf, dass von den -51-

53 Schulleiterinnen bzw. Schulleitern in Bezug auf alle vier Bereiche häufiger die Antwortkategorie gar nicht wichtig gewählt wurde (Abbildung 33). Auf die Frage, ob ihnen bei der Rückmeldung etwas Wichtiges gefehlt habe, antworteten 16 % der Lehrkräfte und 14 % der Schulleiter/innen mit ja. Einige Befragte nutzten auch die Möglichkeit dazu Stellung zu nehmen, was ihnen bei der Rückmeldung konkret gefehlt hat bzw. welche Verbesserungen sie noch für notwendig erachten (insgesamt 224 Nennungen). In Bezug auf die Rückmeldung äußerten die Befragten am häufigsten, dass es aus ihrer Sicht wünschenswert wäre, die Ergebnisse einzelnen Schülerinnen bzw. Schülern zuordnen zu können (n = 31). Dieser Aspekt wurde v. a. von den Lehrkräften genannt. Auch der Wunsch nach einer rascheren Rückmeldung der Ergebnisse (n = 29) wurde in diesem Zusammenhang nochmals zum Ausdruck gebracht. Unter den häufigsten Nennungen finden sich weiters eine detailliertere Darstellung der Ergebnisse bzw. die Bereitstellung weiterer Informationen (n = 22) und das zur Verfügung stellen weiterer Vergleiche bzw. die Optimierung der Vergleiche (n = 22). Auch zur Gestaltung der Unterstützungsmaßnahmen wurden von einigen Befragten Vorschläge eingebracht. Vergleichsweise am häufigsten wurde in diesem Zusammenhang darauf hingewiesen, dass es auch nach der Rückmeldung der Ergebnisse d. h. bei der Interpretation der Ergebnisse und v. a. bei der Umsetzung von Qualitätsentwicklungsmaßnahmen Unterstützung brauche (n = 13). Weiters wurde genannt, dass es einer Verbesserung der Ressourcen für Personal und Sachmittel (n = 8) bedürfe und die Bereitstellung ausreichender Fortbildungsangebote (n = 5) sowie das zur Verfügung stellen von adäquaten Aufgabenbeispielen (n = 5) und Materialien/Büchern (n = 4) wichtig sei (ohne Tabelle oder Abbildung). Resümierend lässt sich feststellen, dass die Lehrkräfte und Schulleiter/innen bei der Gestaltung der Rückmeldung keinen allzu großen Verbesserungsbedarf orten. Sehr wohl ein Handlungsfeld für mögliche Optimierungen sehen die Befragten jedoch in einer rascheren Rückmeldung der Ergebnisse. Aus den Stellungnahmen (v. a. der Lehrkräfte) kann geschlossen werden, dass der Wunsch nach einer rascheren Rückmeldung vielfach eng in Zusammenhang mit dem Anliegen steht, die Ergebnisse unmittelbarer verwerten zu können. Denn das Bedürfnis nach einer kürzeren Zeitspanne zwischen Testung und Rückmeldung wird wiederholt damit begründet, dass es sinnvoller wäre, die Ergebnisse zu einem Zeitpunkt rückzumelden, an dem die Schüler/innen noch an der Schule sind. Auf diese Weise könnten beispielsweise die Ergebnisse noch mit den Schülerinnen bzw. Schülern besprochen, konkrete Fördermaßnahmen abgeleitet und insgesamt unmittelbarere Rückschlüsse im Hinblick auf notwendige Veränderungen gezogen werden. Aus der Perspektive der Befragten spricht also sehr vieles für eine raschere Rückmeldung. Bei der Ableitung konkreter Handlungsempfehlungen zur Optimierung der Rückmeldung gilt es allerdings zwei zusätzliche Aspekte zu berücksichtigen: Zum einen sieht das österreichische Konzept der Bildungsstandards gezielt eine Überprüfung an den Schnittstellen unseres Schulsystems vor (also am Ende der 4. und 8. Schulstufe) und es ist gesetzlich verankert, dass die Rückmeldung so gestaltet sein muss, dass die Anonymität der Schüler/innen gewährleistet bleibt. Zum anderen sind die Abwicklung der Standardüberprüfungen und die Rückmeldung der -52-

54 Ergebnisse mit einem erheblichen logistischen Aufwand verbunden, der auch ein entsprechendes Maß an Zeit in Anspruch nimmt. Hinsichtlich der Umsetzung von Verbesserungen erscheint insofern zwar der Appel sinnvoll, nach Optimierungsmöglichkeiten zu suchen, um eine möglichst rasche Rückmeldung zu gewährleisten. Gleichzeitig gilt es aber die Grenzen zu bedenken, die der Realisierbarkeit solcher Verbesserungen gesetzt sind. Ein wesentliches Ziel sollte es aber auf alle Fälle sein, für die Akteurinnen und Akteure an den Schulen möglichst transparent zu machen, wann die Ergebnisse vorliegen. Ist dies der Fall und hat sich das System eingespielt, dann sind die Akteurinnen und Akteure an den Schulen von vornherein auf den Rückmeldezeitpunkt eingestellt und können dann unmittelbar mit der Reflexion der Ergebnisse beginnen Unterstützungsbedarf beim Umgang mit den Ergebnissen Damit die Ergebnisrückmeldung an den Schulen als Ausgangspunkt für Qualitätsentwicklung dienen kann, ist es wichtig, dass die Lehrkräfte und Schulleiter/innen in der Lage sind, die rückgemeldeten Ergebnisse korrekt zu interpretieren und in weiterer Folge auch ganz konkret Unterrichts- bzw. Schulentwicklungsmaßnahmen ableiten und umsetzen können. Um zu erfassen, inwiefern in diesen Bereichen Unterstützungsbedarf besteht, enthielt der Evaluationsfragebogen auch einige Fragen dazu. Die Fragen zu diesem Bereich waren im Lehrerund Schulleiterfragebogen unterschiedlich formuliert, weshalb die Ergebnisse dazu in der Folge auch getrennt dargestellt werden. 100% Interpretation der Ergebnisse Unterstützungsbedarf Lehrer/innen Umsetzung von Maßnahmen 90% % 70% 60% % 40% % 20% % 0% 9 5 Schulleitung dringend notwendig 9 3 schulexterne Personen nicht notwendig 14 Schulleitung sehr wichtig 19 schulexterne Personen gar nicht wichtig Abbildung 34: Unterstützungsbedarf beim Umgang mit den Ergebnissen Antwortverteilungen der Lehrkräfte (n Interpretation ~ 385; n Maßnahmen ~ 395) Abbildung 34 widmet sich zunächst dem Unterstützungsbedarf bei den Lehrkräften. Daraus geht hervor, dass im Hinblick auf die Interpretation der Ergebnisse kein allzu großer Unterstützungsbedarf bekundet wurde. 7 % der Lehrkräfte äußerten, dass sie diesbezüglich -53-

55 Unterstützung von der Schulleitung für dringend notwendig oder notwendig erachten. 12 % gaben an, dass aus ihrer Sicht Unterstützung durch schulexterne Personen dringend notwendig oder notwendig sei. Etwas stärkerer Unterstützungsbedarf lässt sich in Bezug auf das Setzen von Qualitätsentwicklungsmaßnahmen feststellen. Ein Drittel der Lehrkräfte bekundete, dass für sie Unterstützung von der Schulleitung in diesem Bereich sehr wichtig bzw. wichtig sei. 39 % schätzten Unterstützung durch schulexterne Personen für sehr wichtig oder wichtig ein. Verzichtet man auf die Differenzierung zwischen Unterstützung von Seiten der Schulleitung und von Seiten schulexterner Personen, so lässt sich feststellen, dass insgesamt 14 % der Lehrkräfte Unterstützung bei der Interpretation der Ergebnisse für notwendig einschätzten 17. Insgesamt 47 % der Lehrkräfte erachteten hingegen bei der Umsetzung von Qualitätsentwicklungsmaßnahmen Unterstützung von mindestens einer der beiden Instanzen für wichtig (ohne Tabelle oder Abbildung). 100% Unterstützungsbedarf (schulexterne Personen) Schulleiter/innen 90% 80% 39 70% % 50% 13 40% 30% 20% 10% 0% bei der Interpretation der Ergebnisse bei der Planung/Durchführung von Rückmeldegesprächen dringend notwendig nicht notwendig bei der Durchführung von Qualitätsentwicklungsmaßnahmen Abbildung 35: Unterstützungsbedarf beim Umgang mit den Ergebnissen Antwortverteilungen der Schulleiter/innen (n ~ 230) Bei den Schulleiterinnen bzw. Schulleitern gaben 11 % der Befragten an, dass Unterstützung bei der Interpretation der Ergebnisse dringend notwendig oder notwendig sei. In Bezug auf die Planung und Durchführung von Rückmeldegesprächen mit den Lehrkräften und die Durchführung von Qualitätsentwicklungsmaßnahmen wurden diese beiden Antwortkategorien von 16 % bzw. 30 % der Schulleiter/innen gewählt (Abbildung 35). Das heißt auch bei den Schulleiterinnen bzw. Schulleitern zeigt sich der vergleichsweise stärkste Unterstützungsbedarf bei der Umsetzung von Qualitätsentwicklungsmaßnahmen. 17 D. h. es wurde bei mindestens einer der beiden Fragen die Antwortkategorie dringend notwendig oder notwendig gewählt. -54-

56 Insgesamt lässt sich bei den Schulleiterinnen bzw. Schulleitern feststellen, dass ein Drittel der befragten Personen äußerte, in zumindest einem Bereich Interpretation, Führen von Rückmeldegesprächen oder Umsetzung von Maßnahmen Unterstützung durch geschulte, schulexterne Personen als notwendig zu erachten 18. Die Befragungsergebnisse zum Unterstützungsbedarf lassen darauf schließen, dass die Rückmeldung für die Befragten gut verständlich war und insofern auch die Interpretation der Ergebnisse keine allzu großen Probleme bereitet hat. Damit spiegeln sich auch die in Kapitel dargestellten Ergebnisse zur Bewertung der Rückmeldung wider. Im Hinblick auf die weitere Gestaltung der Implementierungsmaßnahmen ist es auf Basis der vorliegenden Befunde v. a. wichtig zu überlegen, wie dem stärkeren Unterstützungsbedarf bei der Ableitung und Umsetzung von Qualitätsentwicklungsmaßnahmen konkret Rechnung getragen werden kann. Die Rückmeldemoderation, die mit der Rückmeldung der ersten Standardüberprüfungsergebnisse bundesweit als Angebot zur Verfügung stehen soll, ist eine sehr wichtige Begleitmaßnahme (siehe auch Kapitel D). Sie legt den Fokus allerdings auf das Lesen und Interpretieren der Daten und die Identifikation von Handlungsfeldern an der Schule. Diese Schritte stellen eine wichtige Grundlage für die Ableitung und Umsetzung von Maßnahmen dar. Aber auch für den Prozess der Qualitätsentwicklung selbst wird es gezielte Unterstützungsmaßnahmen brauchen. Vor allem Angebote in Form von Fortbildungen, die den Fokus auf Schul- und Unterrichtsentwicklungsprozesse legen oder auch die Möglichkeit professionelle Unterstützung von Schul- und Unterrichtsentwicklerinnen bzw. -entwicklern in Anspruch nehmen zu können, erscheinen hier wichtig. Eine tragende Rolle kommt in diesem Zusammenhang vor allem den Pädagogischen Hochschulen zu, die explizit den Auftrag haben, Unterstützungsangebote in diesem Bereich bereitzustellen Reaktionen auf die Ergebnisrückmeldung Um auch einen Einblick zu erhalten, welche ersten Reaktionen die Ergebnisrückmeldung an den Schulen nach sich gezogen hat, wurde erhoben, ob und mit wem das Ergebnis der eigenen Klasse bzw. Schule besprochen wurde und wie das Ergebnis verglichen mit den persönlichen Erwartungen ausgefallen ist. Gefragt wurde auch, inwiefern die Rückmeldung bereits Veränderungen nach sich gezogen hat und wie die Befragten der Rückmeldung von Ergebnissen an die Vorgesetzten gegenüberstehen. Besprechung der Ergebnisse Von Seiten der Lehrkräfte wurden die Ergebnisse der eigenen Klasse am häufigsten mit der Schulleitung (88 %) besprochen. Ebenfalls sehr häufig wurden die Ergebnisse mit Kolleginnen bzw. Kollegen diskutiert, deren Schüler/innen auch an der Baseline-Testung teilgenommen haben (79 %). Jeweils etwas mehr als die Hälfte der Lehrer/innen äußerte zudem, dass die Ergebnisse im Rahmen einer pädagogischen Konferenz bzw. in Gesprächen mit Kolleginnen und Kollegen 18 D. h. es wurde bei mindestens einer der drei Fragen die Antwortkategorie dringend notwendig oder notwendig gewählt. -55-

57 thematisiert wurden, deren Schüler/innen nicht an der Testung teilgenommen haben. Insgesamt handelte es sich bei den Gesprächen teils um ausführliche Gespräche, teils wurde die Rückmeldung offenbar nur eher kurz gestreift (Abbildung 36). Haben Sie die Ergebnisse Ihrer Klasse/Gruppe mit anderen Personen besprochen? (Lehrer/innen) mit der Schulleitung mit Kollegen/Kolleginnen (Testung) im Rahmen einer päd. Konferenz mit Kollegen/Kolleginnen (keine Testung) % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% ja, ausführlich ja, kurz nein Abbildung 36: Besprechung von Ergebnissen der eigenen Klasse Antwortverteilungen der Lehrkräfte (n ~ 395) Haben Sie die Ergebnisse Ihrer Schule mit anderen Personen besprochen? (Schulleiter/innen) mit den Lehrer/innen (Testung teilgenommen) im Rahmen einer pädagogischen Konferenz mit den anderen Kolleg/innen (keine Testung) mit dem/der BSI mit dem/der LSI % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% ja, ausführlich ja, kurz nein Abbildung 37: Besprechung von Ergebnissen der eigenen Schule Antwortverteilungen der Schulleiter/innen (n ~ 225) Bei den Schulleiterinnen bzw. Schulleitern gaben fast alle Befragten (96 %) an, dass sie das Ergebnis ihrer Schule mit jenen Lehrkräften besprochen haben, deren Schüler/innen an der Baseline-Testung teilgenommen haben. Von etwas mehr als drei Viertel der Schulleiter/innen wurden die Schulergebnisse im Rahmen einer pädagogischen Konferenz besprochen. Deutlich seltener wurden die Ergebnisse in Gesprächen mit Kolleginnen bzw. Kollegen thematisiert, deren Schüler/innen nicht an der Testung teilgenommen haben (59 %). Auch mit der Schulaufsicht wurde vergleichsweise seltener über die Ergebnisse gesprochen. Dennoch äußerte immerhin mehr -56-

58 als die Hälfte der Befragten, mit dem/der Bezirksschulinspektor/in ein zumindest kurzes Gespräch über die Ergebnisse der eigenen Schule geführt zu haben (Abbildung 37). Insgesamt lässt sich schließen, dass die Ergebnisse vielfach Gesprächsgegenstand an den Schulen waren. In erster Linie fand ein Austausch über die Testergebnisse offenbar zwischen jenen Personen statt, die auch unmittelbar von der Baseline-Testung betroffen waren also zum einen zwischen Kolleginnen bzw. Kollegen, die in einer getesteten Klasse unterrichtet haben und zum anderen zwischen den jeweiligen Lehrkräften und der Schulleitung. Die Gespräche selbst waren offenkundig von unterschiedlicher Intensität. Vergleicht man die Angaben der Lehrkräfte mit jenen der Schulleiter/innen, so lässt sich daraus schließen, dass der Fokus insgesamt wohl stärker auf der Auseinandersetzung mit den Schulergebnissen lag. Die einzelnen Klassenergebnisse wurden offenkundig zum einen seltener in einem größeren Personenkreis (z. B. in einer pädagogischen Konferenz) und zum anderen insgesamt weniger ausführlich thematisiert. Sofern Gespräche zwischen der Lehrkraft und der Schulleitung über die Testergebnisse der jeweiligen Klasse stattgefunden haben, waren diese überwiegend durch ein positives Gesprächsklima geprägt. Jeweils 90 % der Lehrkräfte und Schulleiter/innen äußerten, dass die Gespräche (eher) sachlichkonstruktiv verlaufen seien. Testergebnis verglichen mit den eigenen Erwartungen Die Testergebnisse fielen offenbar mehrheitlich entsprechend der Erwartungen der Befragten aus. Für 68 % der Lehrkräfte und 60 % der Schulleiter/innen entsprachen die Ergebnisse ihrer Klasse bzw. ihrer Schule den persönlichen Erwartungen. Für jeweils ein Viertel fielen die Ergebnisse deutlich besser oder besser als erwartet aus und für 9 % der Lehrkräfte und 16 % der Schulleiter/innen wurden die Erwartungen, die sie an ihre Klasse bzw. Schule hatten, nicht erreicht. Die Antwortverteilungen der Lehrkräfte und der Schulleiter/innen sind diesbezüglich sehr ähnlich ausgefallen (Abbildung 38). Abbildung 38: Ergebnis der eigenen Klasse (Lehrer/innen) bzw. der eigenen Schule (Schulleiter/innen) verglichen mit den persönlichen Erwartungen (n L = 399, n SL = 228) -57-

59 Standpunkt zur Rückmeldung der Ergebnisse an die Schulaufsicht Der Rückmeldung der Schulergebnisse an die zuständige Schulaufsicht standen die Befragten geteilt gegenüber. 36 % der Lehrkräfte und 47 % der Schulleiter/innen äußerten sich zur Rückmeldung der Ergebnisse an die Schulaufsicht positiv oder eher positiv. Ein großer Teil gab an, diesbezüglich eine neutrale Position einzunehmen (jeweils mehr als 40 %). Die übrigen Befragten (20 % der Lehrkräfte bzw. 12 % der Schulleiter/innen) bekundeten eine eher negative oder negative Haltung (Abbildung 39). Wie stehen Sie dazu, dass die Schulaufsicht die Schulergebnisse in Deutsch und Mathematik erhält? Lehrer/innen Schulleiter/innen % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% positiv eher positiv neutral eher negativ negativ Abbildung 39: Standpunkt der Lehrkräfte und Schulleiter/innen zur Rückmeldung der Schulergebnisse an die Schulaufsicht (n L = 407, n SL = 236) Die Lehrkräfte wurden zusätzlich gefragt, wie sie dazu stehen, dass die Schulleitung eine Rückmeldung der Klassenergebnisse erhält. Diesbezüglich lässt sich feststellen, dass etwas mehr als die Hälfte (54 %) der Lehrkräfte eine positive bzw. eher positive Haltung bekundete. 36 % äußerten, der Rückmeldung an die Schulleitung neutral gegenüberzustehen und insgesamt 10 % wählten die Antwortkategorien eher negativ oder negativ. Insgesamt lässt sich ableiten, dass die Rückmeldung an die Schulleitung von Seiten der Lehrkräfte etwas positiver eingeschätzt wurde als die Rückmeldung an die Schulaufsicht (ohne Tabelle oder Abbildung). Im Zuge zukünftiger Erhebungen wird es spannend sein, weiterzuverfolgen, wie sich die Haltungen gegenüber der Rückmeldung und der Umgang mit den Ergebnissen weiterentwickeln. Es ist davon auszugehen, dass v. a. die Haltung gegenüber der Rückmeldung von Ergebnissen an die jeweiligen Vorgesetzten wesentlich geprägt wird von den Erfahrungen, die in diesem Zusammenhang gesammelt werden. Ausschlaggebend wird insofern auch sein, ob der Umgang mit den Ergebnissen als konstruktiv erlebt wird oder nicht. Das Etablieren einer konstruktiven Feedbackkultur stellt somit wohl einen zentralen Erfolgsfaktor für die Entwicklung einer positiven Haltung gegenüber der Rückmeldung und in weiterer Folge für die Verwirklichung von Schul- und Unterrichtsentwicklungsprozessen auf Basis der rückgemeldeten Daten dar. Im Zuge der Baseline-Testung wurden allererste Erfahrungen gesammelt. Alle Beteiligten, v. a. die Schulleiter/innen und die Schulaufsicht, waren und sind in diesem Prozess mit neuen Aufgaben (wie z. B. dem Führen von Rückmeldegesprächen) konfrontiert, die sich erst einspielen müssen. Hinsichtlich der Gestaltung von Begleitmaßnahmen erscheint es insofern auch wichtig, -58-

60 entsprechende Angebote bereitzustellen, die nicht zuletzt auch darauf abzielen, die Schulleiter/innen und die Schulaufsicht auf diese neuen Aufgaben vorzubereiten. Veränderungen in der Unterrichtsplanung und -gestaltung 44 % der Lehrkräfte gaben an, dass sie aufgrund der Rückmeldung Veränderungen in Betracht ziehen, 27 % schlossen Veränderungen hingegen (eher) aus. Die restlichen 30 % äußerten noch nicht zu wissen, ob aus der Rückmeldung Veränderungen in ihrer Unterrichtsplanung und -gestaltung resultieren werden (Abbildung 40). Wird die Ergebnisrückmeldung Veränderungen in Ihrer Unterrichtsplanung und -gestaltung nach sich ziehen? (Lehrer/innen) 9% 10% 18% 34% 30% ja eher ja weiß noch nicht eher nein nein Abbildung 40: Ergebnisrückmeldung als Ausgangspunkt für Veränderungen im Unterricht? Antwortverteilungen der Lehrkräfte (n = 401) Setzt man dieses Ergebnis in Verbindung zur Einschätzung des Ergebnisses der eigenen Klasse, so ist der Prozentsatz jener, der äußerte, Veränderungen in Betracht zu ziehen (Wahl der Antwortmöglichkeit ja oder eher ja ), eigentlich durchaus positiv einzuschätzen. Denn lediglich 9 % der Lehrkräfte gaben an, dass ihre Schüler/innen schlechter oder deutlich schlechter abgeschnitten haben als sie erwartet hatten. Daraus ließe sich in weiterer Folge schließen, dass nur für einen geringen Prozentsatz wirklich unmittelbarer Anlass für Veränderungen besteht. In einer Detailanalyse wurde konkret der Frage nachgegangen, inwiefern die Angaben zum Treffen von Veränderungen in der Unterrichtsplanung und -gestaltung mit den Angaben zur Einschätzung des Ergebnisses der eigenen Klasse in Zusammenhang stehen. Auf Basis der vorliegenden Evaluationsergebnisse lässt sich kein deutlicher Zusammenhang ableiten. Ein Vergleich zwischen Lehrkräften, deren Klassen besser als erwartet, wie erwartet oder schlechter als erwartet abgeschnitten haben, ergibt keine signifikanten Gruppenunterschiede in Bezug darauf, ob Veränderungen in der Unterrichtsplanung und -gestaltung in Betracht gezogen werden Im Rahmen der Evaluation der Baseline-8-Rückmeldung hat sich hingegen gezeigt, dass Veränderungen häufiger von jenen Lehrkräften in Betracht gezogen wurden, deren Klassen/Gruppen schlechter als erwartet abgeschnitten hatten (vgl. dazu Amtmann, Grillitsch & Petrovic 2011, S. 90). -59-

61 Jene Lehrkräfte, die Veränderungen erwogen (n = 176), wurden auch gebeten anzugeben, welcher Art diese sein werden. Am häufigsten wurde von den Lehrkräften genannt, dass sie andere bzw. neue Schwerpunkte in ihrem Unterricht setzen (n = 35) oder den Fokus ganz gezielt auf jene Bereiche legen werden, in denen die Schüler/innen schlechter abgeschnitten haben (n = 19). Auch eine gezieltere Arbeit in Richtung Bildungsstandards bzw. Kompetenzorientierung (n = 21) und die verstärkte Förderung selbstständigen Arbeitens bei den Schülerinnen bzw. Schülern (n = 15) wurden wiederholt angeführt. Veränderungsvorhaben beziehen sich auch auf die Wahl der Schulbücher und Lehrmittel. Die Verwendung anderer Schulbücher bzw. die bewusste Wahl standardbasierter Lehrmittel wurde ebenfalls mehrfach genannt (n = 13) Gruppenunterschiede Vergleich zwischen Lehrkräften und Schulleiterinnen bzw. Schulleitern Wie bereits aus der Gegenüberstellung der Antwortverteilungen von Lehrkräften und Schulleiterinnen bzw. Schulleitern in Kapitel bis ersichtlich wurde, zeigen sich in den meisten Bereichen, die im Lehrer- und Schulleiterfragebogen mit identen Fragestellungen erfasst wurden, deutliche Unterschiede zwischen den beiden Befragtengruppen. So lässt sich auf Basis der Ergebnisse schließen, dass sich die Schulleiter/innen ausführlicher mit der Rückmeldung auseinandergesetzt haben als die Lehrkräfte. Die Schulleiter/innen beurteilten den Informationsgehalt, die Verständlichkeit, die Übersichtlichkeit und die praktische Verwertbarkeit der Rückmeldung signifikant positiver als die Lehrkräfte und bekundeten auch geringeren Verbesserungsbedarf bei der Gestaltung der Rückmeldung. Signifikante Unterschiede zwischen Lehrkräften und Schulleiterinnen bzw. Schulleitern lassen sich auch im Hinblick auf die Informiertheit feststellen. So fühlten sich die Schulleiter/innen insgesamt besser über die Rückmeldung informiert als die Lehrkräfte. Darüber hinaus äußerten sich die Schulleiter/innen auch positiver zur Rückmeldung der Ergebnisse an die Schulaufsicht (die Teststatistiken finden sich in Tabelle 47 bis Tabelle 51, S. 118 und S. 119 im Anhang). Insgesamt lässt sich auf Basis der Ergebnisse auf eine positivere Rezeption der Ergebnisrückmeldung von Seiten der Schulleiter/innen schließen. Damit weisen die Ergebnisse in eine ähnliche Richtung wie Befunde anderer Studien zur Implementation von Innovationen im Schulwesen bzw. zur Rezeption datengestützter Rückmeldeverfahren an den Schulen (vgl. dazu u. a. Bonsen, Büchter & Peek, 2006; Nachtigall & Jantowski, 2007; Grabensberger, Freudenthaler & Specht, 2008; Grillitsch, 2010; Amtmann, Grillitsch & Petrovic, 2011). Als bedeutsame Einflussfaktoren für die positivere Haltung der Schulleiter/innen lassen sich auf Basis der vorliegenden Befunde v. a. die bessere Informiertheit und die ausführlichere Auseinandersetzung mit der Rückmeldung ableiten. Zudem muss berücksichtigt werden, dass in erster Linie den Lehrkräften die unmittelbare Umsetzung der Bildungsstandards bzw. Umsetzung von Veränderungen im Unterricht obliegt. Das heißt zwischen Lehrkräften und Schulleiterinnen bzw. Schulleitern bestehen auch Unterschiede im Hinblick darauf, welche Implikationen die Bildungsstandards und die Rückmeldung der Ergebnisse für ihre tägliche Arbeit haben. Dies beeinflusst wohl auch die Rezeption der Bildungsstandards und der Ergebnisrückmeldungen. -60-

62 Vergleich zwischen Befragten der Volksschule und der Sekundarstufe Bei der Analyse von Gruppenunterschieden wurde außerdem der Frage nachgegangen, ob zwischen den Befragten der Volksschule und den Befragten der Sekundarstufe I Unterschiede hinsichtlich ihrer Einschätzung der Rückmeldung bestehen. Die Lehrkräfte und Schulleiter/innen an 204 Schulen der Sekundarstufe I hatten im Jahr zuvor eine Rückmeldung zur Baseline-Testung auf der 8. Schulstufe erhalten und wurden im Anschluss daran ebenfalls dazu befragt. Die verwendeten Fragebögen waren in weiten Teilen ident mit jenen Fragebögen, die für die Erhebung in der Volksschule verwendet wurden (siehe dazu Amtmann, Grillitsch & Petrovic, 2011). In den meisten Bereichen, die bei beiden Befragungen erfasst wurden, lassen sich signifikante Unterschiede zwischen den Befragten der Volksschule und der Sekundarstufe I feststellen, und zwar in der Form, dass die Befragungsergebnisse in der Volksschule positiver ausgefallen sind als jene in der Sekundarstufe I. Abbildung 41 zeigt zunächst, den Vergleich zwischen den beiden Befragtengruppen im Hinblick auf die Informiertheit über die Ergebnisrückmeldung 20. Daraus geht hervor, dass sich die Befragten in der Volksschule sowohl über den Rückmeldezeitpunkt, den Zugang zur Rückmeldung, den Inhalt der Rückmeldung als auch darüber, welche anderen Personen eine Rückmeldung erhalten (Adressaten der Rückmeldung) signifikant besser informiert fühlten als die Befragten in der Sekundarstufe I (für Details siehe Tabelle 52, S. 119 im Anhang). 5 Informiertheit über die Ergebnisrückmeldung Vergleich zwischen Befragten der Sek I und der VS 4,5 4 4,32 4,47 4,11 4,22 3,5 3,81 3 3,20 3,39 3,35 2,5 2 1,5 1 Sek I VS Sek I VS Sek I VS Sek I VS Zeitpunkt der Rückmeldung (p 0,001) Zugang zur Rückmeldung (p 0,001 ) Inhalt der Rückmeldung (p 0,001) Adressaten der Rückmeldung (p 0,001) Beurteilungsskala: 1 = sehr schlecht 5 = sehr gut Abbildung 41: Informiertheit über die Ergebnisrückmeldung Vergleich zwischen Befragten der Sekundarstufe I und der Volksschule (Mittelwerte) Diese bessere Informiertheit der Volksschulbefragten spiegelt sich sowohl bei den Lehrkräften als auch bei den Schulleiterinnen bzw. Schulleitern wider, wobei die Schulleiter/innen in allen Bereichen höhere Mittelwerte als die Lehrkräfte aufweisen und sich somit insgesamt besser informiert fühlten (für Details siehe Tabelle 53, S. 120 im Anhang). 20 Für den Vergleich wurden nur jene Fragestellungen herangezogen, die in den Fragebögen in identer oder vergleichbarer Form vorhanden waren. -61-

63 Der deutliche Unterschied zwischen den Befragten der Volksschule und der Sekundarstufe I ist anzunehmenderweise v. a. auf zwei Faktoren zurückzuführen. Zum einen waren zum Zeitpunkt der Rückmeldung der Baseline-Ergebnisse in der Volksschule die Implementierungsmaßnahmen noch intensiver angelaufen als im Jahr davor. Zudem konnten die Projektverantwortlichen auf die Erfahrungen aus der Rückmeldung der Baseline-8-Ergebnisse zurückgreifen, was auch noch einmal zu einer Optimierung der Informationsstrategie und der Abläufe rund um die Rückmeldung beigetragen hat. Besonders deutliche Mittelwertunterschiede lassen sich bei der Informiertheit über den Rückmeldezeitpunkt und über die Adressaten der Rückmeldung feststellen. In Bezug auf diese beiden Bereiche fühlten sich die Befragten der Sekundarstufe I vergleichsweise am wenigsten gut informiert. Dies lag unter anderem darin begründet, dass die tatsächliche Rückmeldung der Baseline-8-Ergebnisse später erfolgte als von den Akteurinnen und Akteuren an den Schulen erwartet. Zum anderen erfolgte von Seiten des Auftraggebers dem BMUKK erst relativ spät die Entscheidung, dass auch die Schulaufsicht eine Rückmeldung der Ergebnisse erhalten sollte, sodass diese Information erst später weitergegeben werden konnte. Bei der Rückmeldung der Baseline-4-Ergebnisse kam es zu keinen diesbezüglichen Verspätungen bzw. Veränderungen mehr, was offenbar zu mehr Klarheit geführt hat. Ein zweiter Aspekt, der für die Interpretation der vorliegenden Unterschiede zwischen den Befragten der Volksschule und der Sekundarstufe I als relevant erscheint, ist die Größe des Schulstandortes. Die Volksschulen zählen häufiger zu den kleineren Schulstandorten und verfügen damit in vielen Fällen über ein kleineres Kollegium als die Schulen der Sekundarstufe I. Zudem wird in der Sekundarstufe I im Fachlehrersystem unterrichtet, während es in der Volksschule das Klassenlehrersystem gibt. Dies erleichtert wohl auch die Kommunikation zwischen Direktion und Kollegium sowie zwischen den Kolleginnen und Kollegen untereinander. Im Hinblick auf die bei der Baseline-Testung gewählte Informationsstrategie Schulleiter/innen fungieren als Multiplikatorinnen bzw. Multiplikatoren könnte dies durchaus einen bedeutsamen Einflussfaktor gehabt haben und die Unterschiede zwischen der Volksschule und der Sekundarstufe I mitbegründen. Neben der Informiertheit zeigen sich in weiterer Folge auch hinsichtlich der Bewertung der Rückmeldung bedeutsame Unterschiede zwischen den Befragten in der Volksschule und der Sekundarstufe I. Die Befragten der Volksschule beurteilten sowohl den Informationsgehalt, die Verständlichkeit und die Übersichtlichkeit als auch die praktische Verwertbarkeit der Rückmeldung signifikant positiver als die Befragten der Sekundarstufe I (Tabelle 17, Teststatistiken siehe Tabelle 54, S. 120 im Anhang). Geht man auch hier bei der Analyse noch stärker ins Detail, so lässt sich in weiterer Folge feststellen, dass signifikante Unterschiede zwischen den Befragten der Volksschule und der Sekundarstufe I nur bei den Lehrkräften bestehen. Die Schulleiter/innen unterscheiden sich hinsichtlich der Bewertung der Rückmeldung hingegen nicht bedeutsam voneinander (für Details siehe Tabelle 55, S. 121 im Anhang). -62-

64 Befragte VS Befragte Sek I Informationsgehalt 1,83 2,10 Verständlichkeit 1,76 1,96 Übersichtlichkeit 1,72 1,94 praktische Verwertbarkeit 2,41 2,74 Beurteilungsskala: 1 = Sehr gut 5 = Nicht genügend Tabelle 17: Beurteilung der Ergebnisrückmeldung Vergleich zwischen Befragten (Lehrkräfte und Schulleiter/innen) der Sekundarstufe I und der Volksschule (Mittelwerte) Bei der Analyse wurden daher in weiterer Folge die Lehrkräfte noch näher in den Blick genommen und in der Sekundarstufe I zusätzlich zwischen HS- und AHS-Lehrkräften differenziert (Tabelle 18). Dabei geht hervor, dass die Volksschullehrer/innen den Informationsgehalt und die praktische Verwertbarkeit jeweils am positivsten und die Lehrkräfte der allgemein bildenden höheren Schule vergleichsweise am negativsten beurteilten. In Bezug auf beide Aspekte ist sowohl der Unterschied zwischen VS- und HS- Lehrkräften als auch zwischen VS- und AHS-Lehrkräften signifikant. Bei der Bewertung der praktischen Verwertbarkeit unterscheiden sich auch HS- und AHS-Lehrkräfte signifikant voneinander. Die Verständlichkeit und die Übersichtlichkeit der Rückmeldung werden von den HS-Lehrkräften vergleichsweise am wenigsten positiv bewertet. In beiden Bereichen erweist sich der Unterschied zwischen HS- und VS-Lehrkräften als signifikant und die Unterschiede zwischen HS- und AHS-Lehrerinnen bzw. -Lehrern sowie zwischen AHS- und VS-Lehrkräften hingegen als statistisch nicht bedeutsam (für Details siehe Tabelle 56, S. 121 im Anhang). VS-Lehrkräfte HS-Lehrkräfte AHS-Lehrkräfte Informationsgehalt 1,96 2,15 2,23 Verständlichkeit 1,88 2,05 1,93 Übersichtlichkeit 1,83 2,02 1,93 praktische Verwertbarkeit 2,58 2,75 3,07 Beurteilungsskala: 1 = Sehr gut 5 = Nicht genügend Tabelle 18: Beurteilung der Ergebnisrückmeldung Vergleich zwischen Lehrkräften der VS, der HS und der AHS (Mittelwerte) Was die Interpretation der Unterschiede zwischen den Befragten der verschiedenen Schulformen anbelangt, so bedarf es, gerade was die Unterschiede in der Bewertung der Übersichtlichkeit und Verständlichkeit anbelangt, noch tiefergehender Analysen bzw. weiterer Befragungen. Diesbezüglich wird es interessant sein, weiterzuverfolgen, welche Befunde die zukünftigen Evaluationsmaßnahmen mit sich bringen. Auf Basis der vorliegenden Ergebnisse lässt sich schließen, dass die Informiertheit über das Rückmeldeprozedere eine bedeutsame Rolle in Zusammenhang mit der Bewertung der -63-

65 Rückmeldung darstellt. Denn es zeigt sich, je besser sich die Befragten über die Rückmeldung informiert fühlten, umso besser wurde diese auch bewertet 21. Zudem weisen die Ergebnisse der Evaluation der Ergebnisrückmeldung in dieselbe Richtung wie jene der Rezeptionsstudie und stützen damit auch die von Freudenthaler und Specht postulierte Annahme, dass sich die Lehrkräfte von den Bildungsstandards umso mehr versprechen bzw. diese umso positiver bewerten, je mehr die Vermittlung und Sicherung von Grundkompetenzen im Zentrum ihrer beruflichen Tätigkeit steht (vgl. Freudenthaler & Specht 2006, S. 40f.). Dies trifft für die Hauptschul- und vor allem für die Volksschullehrkräfte in stärkerem Maße zu als für die AHS- Lehrkräfte. Denn letztere sind ohnehin eher mit Schülerinnen bzw. Schülern konfrontiert, die entsprechende Leistungsvoraussetzungen mit sich bringen sollten. Damit ließe sich begründen, warum die AHS-Lehrkräfte den Nutzen der Bildungsstandards insgesamt als geringer einstuften (siehe Ergebnisse der Rezeptionsstudie) und damit verbunden auch den Informationsgehalt und die praktische Verwertbarkeit der Rückmeldung am wenigsten positiv einschätzten. Der Vergleich zwischen Befragten der Sekundarstufe I und der Volksschule zeigt neben den bereits dargestellten Befunden auch hinsichtlich der Einschätzung des Verbesserungsbedarfes bei der Gestaltung der Rückmeldung signifikante Unterschiede. Analog zur Bewertung der Rückmeldung lässt sich bei einer detaillierteren Analyse feststellen, dass die Unterschiede zwischen Volksschule und Sekundarstufe I ausschließlich bei den Lehrkräften signifikant ausfallen. Entsprechende Unterschiede bei den Schulleiterinnen bzw. Schulleitern sind zwar ebenfalls vorhanden, aber nicht signifikant (für Details siehe Tabelle 57 und Tabelle 58, S. 122 im Anhang). 3 Befragung von Schülerinnen bzw. Schülern und Erwachsenen Die Schülerinnen und Schüler erhielten ebenfalls eine Rückmeldung der Baseline- Testungsergebnisse, welche sie mittels ihres persönlichen Zugangscodes über die BIFIE-Website (von Dezember 2010 bis Juni 2011) abrufen konnten. 3.1 Ablauf der Befragung und Stichprobe Die Befragung zur Evaluation der Schülerrückmeldung war an die Onlinerückmeldung gekoppelt. Das heißt in der Navigationsleiste der Website zur Rückmeldung fand sich zum einen ein Link zur Umfrage, zum anderen erschien, nachdem in die Rückmeldung Einsicht genommen wurde, am Bildschirm zusätzlich ein Fenster mit der Bitte, sich an der Befragung zur Evaluation der Rückmeldung zu beteiligen. Bei der Rückmeldung der Ergebnisse der Baseline-Testung der 4. Schulstufe konnte davon ausgegangen werden, dass sich die Schüler/innen die Rückmeldung nur in den seltensten Fällen alleine bzw. zum Teil überhaupt ausschließlich die Erziehungsberechtigten ansehen werden. Aus diesem Grund wurde entschieden, sowohl einen 21 Für den Vergleich wurden die Befragten in drei Gruppen aufgeteilt ( besser, durchschnittlich und weniger informiert) und miteinander verglichen. Die Informiertheit korreliert zudem mit den einzelnen Bewertungsdimensionen der Rückmeldung signifikant (r = 0.32 bis 0.34). -64-

66 Kurzfragebogen für Schüler/innen als auch einen für Erwachsene zur Verfügung zu stellen. Somit ergaben sich folgende Möglichkeiten der Beantwortung: nur die Schülerin/der Schüler beantwortete den Fragebogen (Kind alleine), nur der Erwachsene beantwortete den Fragebogen (Erwachsener alleine), Kind und Erwachsener beantworteten den jeweiligen Fragebogen (Kind und Erwachsener). In den meisten Fällen wurden beide Kurzfragebögen (Kind und Erwachsener) ausgefüllt (n = 461). In 115 Fällen wurde nur der Schülerfragebogen und in 180 Fällen nur der Fragebogen für Erwachsene beantwortet. Das heißt von jenen Schülerinnen bzw. Schülern, die an der Baseline-Testung teilgenommen haben, nützten insgesamt 576 die Möglichkeit, ein Feedback zur Rückmeldung abzugeben. Außerdem nahmen 641 Erwachsene die Möglichkeit wahr, den Evaluationsfragebogen zu beantworten 22 (Tabelle 19). Informationen dazu, wie hoch der Prozentsatz jener ist, die überhaupt in das Ergebnis Einsicht genommen haben, liegen leider nicht vor. Befragungsteilnehmer/innen Kind (alleine) 115 Kind + Erwachsener 461 Erwachsener (alleine) 180 Summe Kinder = 576 Summe Erwachsene = 641 Tabelle 19: Anzahl der Befragungsteilnehmer/innen Kapitel 3.2 widmet sich zunächst den Ergebnissen der Schülerbefragung. In Kapitel 3.3 werden in der Folge die Ergebnisse der Befragung der Erwachsenen dargestellt. 3.2 Ergebnisse Schüler/innen Verständlichkeit der Rückmeldung Um zu erfassen, wie verständlich die Rückmeldung für die Schüler/innen war, wurden diese gebeten anzugeben, wie gut sie ihr Testergebnis in den Fächern Deutsch und Mathematik aus der Rückmeldung herauslesen konnten und wie verständlich es für sie war, wie sie im Vergleich zu den anderen getesteten Schülerinnen bzw. Schülern abgeschnitten haben. 22 Berücksichtigt wurden sowohl bei den Schülerinnen bzw. Schülern als auch bei den Erwachsenen jene Personen, die mehr als die Hälfte der Fragen beantwortet haben (29 Schüler/innen und 55 Erwachsene wurden von der Analyse ausgeschlossen, weil sie weniger als die Hälfte der Fragen beantwortet haben). -65-

67 Wie aus Abbildung 42 hervorgeht, war es für 90 % der Schüler/innen sehr einfach oder eher einfach herauszufinden, wie sie in Deutsch und Mathematik abgeschnitten haben. 10 % äußerten hingegen Schwierigkeiten gehabt zu haben. 1 % davon war, laut eigenen Angaben, gar nicht in der Lage, das Ergebnis aus der Rückmeldung herauszulesen. Wie einfach konntest du herausfinden, wie du in Deutsch und Mathematik insgesamt abgeschnitten hast? 9% 1% 49% 41% sehr einfach eher einfach eher schwierig gar nicht Abbildung 42: Verständlichkeit Gesamtergebnis Antwortverteilungen der Schüler/innen (n = 573) Wie das persönliche Ergebnis im Vergleich zu den anderen getesteten Kindern ausgefallen ist, ging ebenfalls für die überwiegende Mehrheit der Schüler/innen sehr gut oder eher gut hervor (91 %). Insgesamt 10 % gaben an, diese Information eher schlecht oder gar nicht verstanden zu haben (Abbildung 43). Wie gut hast du verstanden, wie viele der getesteten Kinder mehr oder weniger Punkte erzielt haben als du? 8% 2% 31% 60% sehr gut eher gut eher schlecht gar nicht Abbildung 43: Verständlichkeit Vergleich mit anderen getesteten Kindern Antwortverteilungen der Schüler/innen (n = 572) -66-

68 3.2.2 Identifikation eigener Stärken und Schwächen Neben dem Gesamtergebnis in Deutsch und Mathematik wurde auch rückgemeldet, wie die Schülerin/der Schüler in den einzelnen Kompetenzbereichen des jeweiligen Faches abgeschnitten hat (z. B. in Deutsch in den Bereichen: Lesen, Verfassen von Texten, Rechtschreiben und Sprachbetrachtung). Dadurch konnte die Schülerin/der Schüler auch ablesen, in welchen Bereichen sie bzw. er am besten abgeschnitten hat und in welchen Bereichen das Ergebnis gegebenenfalls weniger gut ausgefallen ist. 92 % der Schüler/innen äußerten, dass sie sehr einfach oder eher einfach herausfinden konnten, bei welchen Aufgaben sie am besten abgeschnitten haben. Für 8 % bereitete das Ablesen dieser Information hingegen Schwierigkeiten (Abbildung 44). Wie einfach konntest du herausfinden, bei welchen Aufgaben du am besten abgeschnitten hast? 5% 3% 26% 66% sehr einfach eher einfach eher schwierig gar nicht Abbildung 44: Identifikation von Stärken Antwortverteilungen der Schüler/innen (n = 569) Mehr Probleme bereitete die Identifikation der eigenen Schwächen. 18 % wählten in Bezug auf die Frage, ob sie auch etwas darüber herausfinden konnten, bei welchen Aufgaben sie nicht so gut abgeschnitten haben, die Antwortkategorie nein. Die restlichen 82 % antworteten mit ja (ohne Tabelle oder Abbildung) Auseinandersetzung mit der Rückmeldung Der Evaluationsfragebogen enthielt in weiterer Folge auch Fragen, die Aufschluss darüber geben sollten, wie intensiv sich die Schüler/innen mit der Rückmeldung beschäftigt haben. Explizit wurde in diesem Zusammenhang gefragt, ob sich die Schüler/innen sowohl die Grafiken als auch die Erklärungstexte zu den Grafiken angesehen haben. Außerdem wurde erfasst, ob sie das Lexikon, in dem wichtige Begriffe nachgeschlagen werden konnten, genützt haben und falls ja, wie hilfreich dieses für sie war. 83 % der Schüler/innen haben sich sowohl die grafische Darstellung der Testergebnisse angesehen als auch die jeweiligen Erklärungstexte gelesen. 14 % der Befragten haben auch das Lexikon genützt und dort das eine oder andere Wort nachgeschlagen (ohne Tabelle oder Abbildung). -67-

69 Haben dir die Erklärungen im Lexikon dabei geholfen, die Wörter besser zu verstehen? Bitte gib an, wie hilfreich die Erklärungen für dich waren: 5% 4% 38% 53% sehr hilfreich eher hilfreich eher nicht hilfreich gar nicht hilfreich Abbildung 45: Nützlichkeit des Lexikons Antwortverteilungen der Schüler/innen; gefiltert nach jenen Personen, die sich das Lexikon angesehen haben (n = 74) Von jenen Schülerinnen bzw. Schülern, die das Lexikon aufgerufen haben (n = 76), wurde dieses auch mehrheitlich als nützlich eingeschätzt. 91 % empfanden die Erklärungen im Lexikon als sehr hilfreich oder eher hilfreich (Abbildung 45) Testergebnis verglichen mit den persönlichen Erwartungen Abschließend wurden die Schüler/innen auch gebeten anzugeben, wie ihr Testergebnis verglichen mit ihren persönlichen Erwartungen ausgefallen ist. Wie ist dein Ergebnis in Deutsch und Mathematik insgesamt ausgefallen? Deutsch Mathematik % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% besser als ich es erwartet habe so wie ich es erwartet habe schlechter als ich es erwartet habe Abbildung 46: Ergebnis verglichen mit den persönlichen Erwartungen Antwortverteilungen der Schüler/innen (n Deutsch = 493; n Mathematik = 496) Abbildung 46 zeigt, dass das Ergebnis sowohl im Fach Deutsch als auch im Fach Mathematik für jeweils rund die Hälfte der befragten Schüler/innen wie erwartet ausfiel. Für 40 % fiel das Ergebnis in Deutsch und für 37 % im Fach Mathematik besser aus als sie dies erwartet hatten. In Mathematik fiel das Ergebnis für die Schüler/innen häufiger schlechter als erwartet (15 %) aus als in Deutsch (9 %). Betrachtet man noch näher, wie das Ergebnis für die Schüler/innen insgesamt, sprich bezogen auf beide Fächer, ausgefallen ist, so ergibt sich das in Tabelle 20 dargestellte Ergebnis. -68-

70 Einschätzung des Ergebnisses (gesamt) absolut Prozent in einem Fach wie erwartet, in einem Fach besser als erwartet ,6 % in beiden Fächern wie erwartet ,5 % in beiden Fächern besser als erwartet 79 16,3 % in einem Fach wie erwartet, in einem Fach schlechter als erwartet 55 11,3 % in einem Fach besser, in einem Fach schlechter als erwartet 38 7,8 % in beiden Fächern schlechter als erwartet 12 2,5 % Tabelle 20: Einschätzung des Ergebnisses in Bezug auf beide Fächer Antwortverteilungen der Schüler/innen (n = 486; die Angaben beziehen sich auf jene Personen, die eine Einschätzung für beide Fächer abgegeben haben) Am häufigsten äußerten die Schüler/innen, dass ihr Testergebnis in einem Fach besser als erwartet und in einem Fach wie erwartet ausgefallen sei (37 %) 23. Für etwa ein Viertel fiel das Ergebnis in beiden Fächern wie erwartet aus und 16 % erhielten in beiden Fächern ein Testergebnis rückgemeldet, das ihre Erwartungen übertroffen hat. Am seltensten kam es vor (3 %), dass das Ergebnis in beiden Fächern schlechter als erwartet war (Tabelle 20). 3.3 Ergebnisse Erwachsene Verständlichkeit der Rückmeldung Analog zu den Schülerinnen bzw. Schülern wurden auch die Erwachsenen um ihre Einschätzung zur Rückmeldung gebeten und zunächst zur Verständlichkeit des Rückmeldedesigns befragt. Die Fragen zu diesem Bereich bezogen sich auch hier darauf, wie gut das Testergebnis insgesamt aus der Rückmeldung hervorging und wie verständlich es für sie war, wie das Kind im Vergleich zu den anderen getesteten Schülerinnen bzw. Schülern abgeschnitten hat. Außerdem sollten die Erwachsenen eine Gesamtbewertung der Abbildungen und Erklärungstexte vornehmen. Wie gut konnten Sie aufgrund der Rückmeldung erkennen, wie das getestete Kind in Deutsch und Mathematik insgesamt abgeschnitten hat? 5% 29% 66% sehr gut eher gut eher schlecht sehr schlecht Abbildung 47: Verständlichkeit Gesamtergebnis Antwortverteilungen der Erwachsenen (n = 637) 23 Der Prozentsatz jener, der äußerte in Deutsch ein besseres Ergebnis als erwartet erzielt zu haben, deckt sich dabei mit dem Prozentsatz jener, deren Ergebnis im Fach Mathematik die eigenen Erwartungen übertroffen hat. -69-

71 Das Testergebnis im Fach Deutsch und Mathematik ging für 95 % der Befragten sehr gut oder eher gut aus der Rückmeldung hervor. Die anderen 5 % wählten die Antwortkategorie eher schlecht (Abbildung 47). Wie das Kind verglichen mit den anderen getesteten Schülerinnen bzw. Schülern abgeschnitten hat, war ebenfalls für fast alle Befragten (96 %) sehr gut oder eher gut verständlich (Abbildung 48). Wie verständlich ist die Abbildung, die das Ergebnis des Kindes im Vergleich zu den anderen getesteten Kindern zeigt? (Schülerkette) 4% 1% 17% 79% sehr gut verständlich eher gut verständlich eher schlecht verständlich sehr schlecht verständlich Abbildung 48: Verständlichkeit Vergleich mit anderen getesteten Kindern Antwortverteilungen der Erwachsenen (n = 634) Ein ebenso hoher Prozentsatz äußerte sich in Bezug auf die Verständlichkeit der Abbildungen und Erklärungstexte positiv und stufte diese als sehr gut oder eher gut verständlich ein (Abbildung 49). Wie verständlich sind die Abbildungen und Texte insgesamt für Sie? Abbildungen Texte % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% sehr gut verständlich eher gut verständlich eher schlecht verständlich sehr schlecht verständlich Abbildung 49: Verständlichkeit der Abbildungen und Erklärungstexte Antwortverteilungen der Erwachsenen (n Abbildungen = 640; n Texte = 636); Werte 1 % sind in der Grafik nicht angeführt Identifikation von Stärken und Schwächen Erfasst wurde in weiterer Folge auch, inwiefern die rückgemeldeten Ergebnisse eine Identifikation von Stärken bzw. Schwächen des Kindes ermöglichte. Explizit wurden die Erwachsenen in diesem -70-

72 Zusammenhang gefragt, inwiefern für sie aus der Rückmeldung hervorging, in welchen Bereichen das Kind am besten abgeschnitten hat und ob sie Hinweise darauf erhalten haben, wo noch Übungsbedarf besteht. Abbildung 50 zeigt, dass für 95 % der Erwachsenen aus der Rückmeldung sehr gut oder eher gut hervorging, in welchen Kompetenzbereichen das Kind am besten abgeschnitten hat. Wie gut geht für Sie aus der Rückmeldung hervor, in welchen Kompetenzbereichen das Kind am besten abgeschnitten hat? 5% 1% 25% 70% sehr gut eher gut eher schlecht sehr schlecht Abbildung 50: Verständlichkeit Abschneiden in den Kompetenzbereichen Antwortverteilungen der Erwachsenen (n = 638) In welchen Bereichen das Kind noch mehr Übung braucht, konnte von etwas mehr als drei Viertel der Befragten aus der Rückmeldung entnommen werden. Für etwas weniger als ein Viertel ging dies hingegen nicht aus den Ergebnissen hervor (ohne Tabelle oder Abbildung) Bewertung der Hintergrundinformationen Neben den Testergebnissen enthielt die Rückmeldung auch Informationen zur Baseline-Testung und es bestand wie im vorigen Abschnitt bereits dargelegt die Möglichkeit, wichtige Begriffe in einem Lexikon nachzuschlagen. Um einen Einblick zu erhalten, wie die Aufbereitung dieser Hintergrundinformationen von den Adressatinnen und Adressaten eingeschätzt wird, enthielt der Fragebogen auch Items dazu. Wie bewerten Sie die Hintergrundinformationen im Hinblick auf ihren Informationsgehalt? Informationen zur Baseline-Testung Erklärungen im Lexikon % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% völlig ausreichend eher ausreichend eher nicht ausreichend gar nicht ausreichend unnötig nicht gelesen Abbildung 51: Bewertung der Hintergrundinformationen Antwortverteilungen der Erwachsenen (n Infos Baseline = 613, n Lexikon = 606) -71-

73 Die Informationen zur Baseline-Testung wurden von drei Viertel der Erwachsenen als völlig ausreichend oder eher ausreichend eingeschätzt. 18 % äußerten, diese Informationen nicht gelesen zu haben. Ein eher geringer Prozentsatz bekundete, dass der Informationsgehalt dieses Erklärungstextes eher nicht ausreichend sei (5 %) oder stufte diesen Teil der Rückmeldung als unnötig ein (2 %). Die Erklärungen im Lexikon wurden von einem großen Teil (41 %) der Erwachsenen nicht gelesen. Dies lässt sich anzunehmenderweise vor allem damit erklären, dass die Rückmeldung und damit auch das Lexikon explizit für Kinder konzipiert waren. Für die Erwachsenen bestand insofern wohl kaum die Notwendigkeit, Begriffe nachzuschlagen. Von etwas mehr als der Hälfte der Befragten (53 %) wurden die Erklärungen im Lexikon mit völlig ausreichend oder eher ausreichend bewertet. 4 % äußerten diesbezüglich Verbesserungsbedarf (Abbildung 51) Testergebnis verglichen mit den persönlichen Erwartungen Analog zu den Kindern sollten auch die Erwachsenen Auskunft darüber geben, wie das Ergebnis des Kindes aus ihrer Sicht ausgefallen ist. Wie ist das Ergebnis des Kindes in Deutsch und Mathematik aus Ihrer Sicht insgesamt ausgefallen? Deutsch Mathematik % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% besser als ich es erwartet habe so wie ich es erwartet habe schlechter als ich es erwartet habe Abbildung 52: Ergebnis verglichen mit den persönlichen Erwartungen Antwortverteilungen der Erwachsenen (n Deutsch = 618; n Mathematik = 604) Wie aus Abbildung 52 hervorgeht, fiel sowohl im Fach Deutsch als auch im Fach Mathematik das Ergebnis für die Mehrheit der Befragten (69 % bzw. 59 %) entsprechend den eigenen Erwartungen aus. Für 16 % bzw. 15 % wurde das Ergebnis im Fach Deutsch oder Mathematik übertroffen. In Mathematik (26 %) fiel das Ergebnis häufiger schlechter als erwartet aus als im Fach Deutsch (14 %). Betrachtet man auch bei den Erwachsenen genauer, wie das Testergebnis insgesamt sprich in Bezug auf beide Fächer ausgefallen ist, so zeigt sich das in Tabelle 21 dargestellte Ergebnis. Einschätzung des Ergebnisses (gesamt) absolut Prozent in beiden Fächern wie erwartet ,8 % in einem Fach wie erwartet, in einem Fach schlechter als erwartet ,7 % in einem Fach wie erwartet, in einem Fach besser als erwartet 87 14,4 % in beiden Fächern schlechter als erwartet 41 6,8 % in beiden Fächern besser als erwartet 36 6,0 % in einem Fach besser, in einem Fach schlechter als erwartet 32 5,3 % Tabelle 21: Einschätzung des Ergebnisses in Bezug auf beide Fächer Antwortverteilungen der Erwachsenen (n = 603; die Angaben beziehen sich auf jene Personen, die eine Einschätzung für beide Fächer abgegeben haben) -72-

74 Am häufigsten fiel das Ergebnis in beiden Fächern wie erwartet aus (46 %). 22 % bzw. 14 % äußerten, dass das Testergebnis in einem Fach wie erwartet und in einem Fach schlechter oder besser als erwartet ausgefallen sei 24. Vergleichsweise seltener wurde angegeben, dass das Ergebnis in beiden Fächern schlechter (7 %) oder besser als erwartet (6 %) oder in einem Fach besser und in einem Fach schlechter als erwartet (5 %) gewesen sei (Tabelle 21) Besprechung der Ergebnisse Abschließend wurden die Erwachsenen auch gefragt, ob sie die Ergebnisse der Rückmeldung mit dem Kind besprochen haben. 93 % haben dies, laut eigenen Angaben, getan bzw. haben vor, dies zu tun. 7 % haben die Ergebnisse hingegen nicht mit dem Kind besprochen (ohne Tabelle oder Abbildung). 3.4 Zusammenfassung Insgesamt weisen die vorliegenden Evaluationsergebnisse darauf hin, dass die Rückmeldung für beide Befragtengruppen gut verständlich war. Sowohl das Gesamtergebnis des Kindes im jeweiligen Fach als auch die Information, welche Aufgaben am besten gelöst wurden (Abschneiden in den Kompetenzbereichen), gingen offenbar gut aus der Rückmeldung hervor. Auch die zur Verfügung gestellten Hintergrundinformationen wurden mehrheitlich als ausreichend und hilfreich bewertet. Vergleichsweise am wenigsten gut konnten sowohl die Schüler/innen als auch die Erwachsenen der Rückmeldung entnehmen, bei welchen Aufgaben das Ergebnis nicht so gut ausgefallen ist bzw. in welchen Bereichen noch Übungsbedarf besteht. Hierfür können verschiedene Gründe ausschlaggebend gewesen sein. Zum einen ist es beispielsweise möglich, dass das Ergebnis der Schülerin/des Schülers in allen Bereichen positiv ausgefallen ist, sodass das Ergebnis keinen Übungsbedarf impliziert hat. Zum anderen könnte es auch sein, dass die Befragten nicht genau wussten, was sich hinter den einzelnen Kompetenzbereichen verbirgt und zusätzliche Informationen gebraucht hätten, um ableiten zu können, wo es konkret an Übung bedarf. Da das Ziel darin bestand, den Fragebogen möglichst kurz zu halten, konnten hierzu keine Zusatzinformationen erhoben werden. Zukünftige Befragungen könnten diesbezüglich jedoch Aufschluss geben. Das Ergebnis der Testung selbst fiel für die Mehrheit der Befragten offenbar entsprechend ihrer eigenen Erwartungen aus. In Mathematik war das Ergebnis im Vergleich zum Fach Deutsch sowohl laut Angaben der Schüler/innen als auch laut Angaben der Erwachsenen häufiger schlechter als erwartet. Was die Auseinandersetzung mit der Rückmeldung betrifft, so geht aus den Befragungsergebnissen hervor, dass von Seiten der Erwachsenen die Ergebnisse von einer überwiegenden Mehrheit auch mit dem Kind besprochen wurden. Resümierend lässt sich feststellen, dass die Rückmeldung sowohl von den befragten Schülerinnen und Schülern als auch von den befragten Erwachsenen sehr positiv bewertet wurde. Einschränkend muss jedoch hinzugefügt werden, dass die vorliegenden Ergebnisse nur bedingt 24 Es lassen sich diesbezüglich keine Fachtendenzen feststellen. -73-

75 Rückschlüsse und Interpretationen zulassen. Denn nur von einem eher geringen Prozentsatz all jener, denen die Ergebnisse der Testung zur Verfügung gestellt wurden, liegt auch ein Feedback zur Rückmeldung vor (siehe Kapitel 3.1) 25. Ein anderer Aspekt, den es zu berücksichtigen gilt, ist, dass keine Hintergrundinformationen zu den befragten Personen vorliegen. Die Rückmeldung stand ausschließlich online zur Verfügung. Das Abrufen erforderte insofern gewisse technische Voraussetzungen (Computer, Internetzugang) und entsprechende Kenntnisse im Umgang mit neuen Medien. Berücksichtigt man dies, so ist es durchaus denkbar, dass sich unter den Befragungsteilnehmerinnen bzw. -teilnehmern beispielsweise seltener Personen mit niedrigem sozioökonomischen Status befanden. Bei der Interpretation der Ergebnisse der Schülerbefragung gilt es zudem zu bedenken, dass sich das Kind die Rückmeldung offenbar in vielen Fällen gemeinsam mit einem Erwachsenen angesehen hat und laut Angaben der Erwachsenen die Ergebnisse auch meist mit dem Erwachsenen besprochen hat. Dies könnte ebenfalls einen Einflussfaktor im Hinblick auf die Bewertung der Rückmeldung darstellen. Trotz dieser Einschränkungen lieferten die beiden Befragungen zur Evaluation der Schülerrückmeldung einen ersten, wichtigen Einblick, wie die Rückmeldung wahr- und angenommen wurde. Wie bei der Lehrer- und Schulleiterrückmeldung scheint auch hier der Probelauf gut gelungen zu sein. Interessant wird es vor allem sein, ob mit den regelmäßig stattfindenden Standardüberprüfungen das Interesse der Schüler/innen bzw. Erziehungsberechtigten an den Testergebnissen zunimmt und von einem größeren Anteil an Personen in die Rückmeldung Einsicht genommen wird. Darüber hinaus könnten zukünftige Evaluationsmaßnahmen Aufschluss geben und sich auch nochmals der Frage widmen, wie die Einschätzung der Verständlichkeit und Praktikabilität der Rückmeldung bei ihrem ersten flächendeckenden Einsatz (2012 bzw. 2013) ausfällt. 25 Konkrete Zahlen, wie viele Personen überhaupt in das Ergebnis Einsicht genommen haben, liegen leider nicht vor. Bei der Rückmeldung der Ergebnisse der Baseline-Testung in der 8. Schulstufe waren es insgesamt 14 % der Schüler/innen, die ihr Ergebnis abgerufen haben. Anzunehmen ist, dass dieser Prozentsatz bei der Baseline-4-Rückmeldung doch höher war, jedoch auch ein großer Teil der getesteten Schüler/innen bzw. deren Erziehungsberechtigte sich die Ergebnisse nicht angesehen hat. -74-

76 D Evaluation der Rückmeldemoderation Elisabeth Amtmann 4 Pilotprojekt Rückmeldemoderation 4.1 Ziel der Rückmeldemoderation Rückmeldemoderationen sollen einen erfolgreichen Transfer der Ergebnisse in adäquates Unterrichtshandeln und entsprechende Maßnahmen der Schulentwicklung unterstützen. In einer Kooperation des BIFIE (Zentrum Salzburg), mit der Pädagogischen Hochschule Oberösterreich und dem Landesschulrat Oberösterreich wurde im Schuljahr 2010/11 ein Pilotprojekt zur Rückmeldemoderation umgesetzt. Im Rahmen einer Schulungsmaßnahme wurden 16 Personen zu Rückmeldemoderatorinnen und -moderatoren ausgebildet. Deren Aufgabe bestand in weiterer Folge darin, die Akteurinnen und Akteure auf Schulebene, insbesondere die Schulleiter/innen, bei der sachlichen Analyse und objektiven Interpretation der Ergebnisse, bei einer faktenbasierten Ergebnisaufbereitung (z. B. Erstellen eines Stärken-Schwächen- Profils, Identifizierung von Handlungsfeldern) sowie bei der Schaffung einer soliden Grundlage für evidenzbasierte Schul- und Unterrichtsentwicklung zu unterstützen. 4.2 Schulungskonzept Ein inhaltlicher Schwerpunkt der Ausbildung lag auf der Vermittlung von statistischen Fachkenntnissen und vertiefendem Wissen über Bildungsstandards allgemein. Um die Teilnehmer/innen auf schwierige und konfliktträchtige Situationen vorzubereiten, wurden darüber hinaus personale und soziale Kompetenzen (Kommunikation, Konfliktmanagement und Moderation) geschult. Ebenso wurde der Rollenklärung großes Augenmerk gewidmet, um das Aufgabenprofil einer Rückmeldemoderatorin/eines Rückmeldemoderators zu schärfen und die Grenzen dieser Tätigkeit zu klären. Zwei jeweils zweitägige Präsenzeinheiten und eine dazwischen liegende Selbstlernphase bildeten den organisatorischen Rahmen dieser Schulung. Nach den durchgeführten Rückmeldegesprächen fand ein gemeinsames Reflexionstreffen der Rückmeldemoderatorinnen und -moderatoren statt. 4.3 Ablauf der Rückmeldemoderation Allen 48 Schulleiterinnen bzw. Schulleitern jener oberösterreichischen Volksschulen, die an der Baseline-Testung auf der 4. Schulstufe teilgenommen hatten, wurde angeboten, die Ergebnisse ihrer Schule mit einer Rückmeldemoderatorin bzw. einem Rückmeldemoderator zu besprechen. Derartige Rückmeldegespräche fanden an insgesamt 37 Schulen statt. Die Erstgespräche wurden -75-

77 bis auf wenige Ausnahmen in einem Vier-Augen-Gespräch zwischen Schulleiter/in und Rückmeldemoderator/in durchgeführt. An acht Schulen kam es auf Wunsch der Schulleitung zu einem zweiten Termin mit einem erweiterten Personenkreis (betroffene Lehrpersonen oder gesamter Lehrkörper). 4.4 Evaluationsdesign Ziel der Evaluation dieses Pilotprojektes war es, Rückmeldung über die Praxistauglichkeit der Ausbildung und den Erfolg der Rückmeldemoderationen zu erhalten. Um diesbezüglich möglichst umfassende Aussagen treffen zu können, wurde auf mehreren Ebenen evaluiert. Ein Fokus lag auf den Rückmeldemoderatorinnen und -moderatoren und ein zweiter auf den Akteurinnen und Akteuren auf Schulebene, wobei vorrangig die Schulleiter/innen angesprochen wurden. In einem gezielt eingesetzten Methodenmix von Fragebögen über teilnehmende Beobachtungen und Gruppendiskussionen bis hin zu vertiefenden Interviews wurden umfassende Daten erhoben. Abbildung 53 gibt einen Überblick über das Pilotprojekt Rückmeldemoderation sowie über das Evaluationsdesign. Pilotprojekt Rückmeldemoderation Evaluation Workshop I Workshop II Rückmeldegespräche an den Schulen Reflexionstreffen 19./20. Nov / 22. Jän Feb. 15. Apr Mai 2011 teilnehmende Beobachtung Online-Fragebogen 13 Moderator/innen teilnehmende Beobachtung Online-Fragebogen 16 Moderator/innen Fragebogen 33 Schulleiter/innen Gruppendiskussion 16 Moderator/innen vertiefende Interviews 2 Schulen/SL und LL Abbildung 53: Pilotprojekt Rückmeldemoderation und Evaluationsdesign In der Folge werden nun die zentralen Ergebnisse dieser Evaluation dargestellt. 5 Ergebnisse Der Fokus der Evaluation lag auf dem Schulungskonzept und auf dem Erfolg der durchgeführten Rückmeldegespräche, um so wertvolle Erfahrungen für die in weiterer Folge bundesweit stattfindenden Schulungsmaßnahmen sammeln zu können. 5.1 Beurteilung des Schulungskonzepts In Bezug auf das Schulungskonzept wurde die Schwerpunktsetzung der Ausbildung (statistische Grundlagen, Lesen und Interpretieren der Schulberichte, Kommunikations- und -76-

78 Moderationstechniken, Rollenklärung und Tätigkeitsprofil) von den Teilnehmerinnen und Teilnehmern durchwegs als passend erachtet. Alle Teilnehmer/innen fühlten sich nach Abschluss der Ausbildung sehr gut bzw. gut auf ihre Aufgabe vorbereitet und sahen der Rückmeldemoderation überwiegend positiv entgegen. Dies drückte sich auch im hohen subjektiven Sicherheitsempfinden der Befragten hinsichtlich ihrer fachlichen Kompetenz aus (Abbildung 54). Wie sicher fühlen Sie sich nun in folgenden Bereichen? Lesen der Grafiken nach WS I nach WS II Interpretieren der Grafiken nach WS I nach WS II Erstellung Stärken- Schwächen- Profil nach WS II 8 8 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% sehr sicher sehr unsicher Abbildung 54: Sicherheitsempfinden der Teilnehmer/innen Die Rückmeldemoderatorinnen und -moderatoren bestätigten diese Aussagen auch nach Abschluss sämtlicher Rückmeldegespräche. Zudem beurteilten die Schulleiter/innen deren fachliche Kompetenz bis auf zwei Ausnahmen, die die Mittelkategorie gewählt hatten, mit Sehr gut bzw. Gut. Im Hinblick auf künftige Ausbildungen wurde angemerkt, dass das Kommunikationsmodul ausgeweitet werden sollte, um ein professionelles Agieren in heiklen Rückmeldegesprächen bzw. mit schwierigen Gesprächspartnerinnen und -partnern noch besser zu unterstützen. 5.2 Beweggründe für die Inanspruchnahme einer Rückmeldemoderation Bei den Schulleiterinnen und -leitern interessierte nicht nur deren Einschätzung der Nützlichkeit der Rückmeldemoderation, sondern auch deren Gründe für die Inanspruchnahme dieses Angebotes. Die Bedürfnisse an den Schulen waren sehr unterschiedlich. Bestand an einigen Schulen vorrangig Informations- und Unterstützungsbedarf in Bezug auf das Lesen der Grafiken, so erwarteten sich andere Schulleiter/innen eher Impulse für die Ableitung adäquater Schul- und Unterrichtsentwicklungsmaßnahmen. Wie Abbildung 55 zeigt, wurde am häufigsten der Wunsch nach Unterstützung beim Interpretieren der Ergebnisse bzw. beim Ableiten von -77-

79 Qualitätsentwicklungsmaßnahmen genannt. Bei der Planung und Durchführung von Rückmeldegesprächen bzw. beim Lesen der Grafiken bestand offenbar wesentlich geringerer Unterstützungsbedarf. Verbal ergänzt und unter anderes zusammengefasst wurden die folgenden Äußerungen: Absicherung der eigenen Interpretation durch eine Expertin/einen Experten (4), Informationsquelle für die Schulleiterin/den Schulleiter selbst (1), Information des Kollegiums (1) und Tipps für den Umgang mit Konsequenzen (1). Wunsch nach Unterstützung... beim Interpretieren der Ergebnisse 25 beim Ableiten von Qualitätsentwicklungsmaßnahmen 22 bei der Planung und Durchführung von Rückmeldegesprächen 9 beim Lesen der Grafiken 8 anderes Abbildung 55: Gründe der Schulleiter/innen für die Inanspruchnahme der Rückmeldemoderation (Anzahl der Nennungen; Mehrfachantworten möglich) 5.3 Beurteilung der Rückmeldemoderation Die Moderation selbst wurde von allen Beteiligten sehr positiv erlebt und erfüllte neben der Unterstützungsfunktion auch eine wichtige Informationsfunktion. Generell gaben die Schulleiter/innen bis auf drei Personen an, dass ihre Erwartungen an die Rückmeldemoderation erfüllt oder sogar übertroffen wurden. Von allen Befragtengruppen (Rückmeldemoderatorinnen und -moderatoren sowie Schulleiterinnen bzw. Schulleitern und Lehrkräften) wurde die Wichtigkeit einer professionellen Unterstützung beim Lesen und Interpretieren der Ergebnisse betont. Insbesondere bei den ersten Standardüberprüfungen und wenn weniger positive Ergebnisse rückgemeldet werden, ist diese Form der Unterstützung, aus Sicht der Befragten, essentiell. Bedarf wurde dabei meist in der Absicherung und Diskussion der eigenen Interpretation mit einem Experten/einer Expertin gesehen. In diesem Zusammenhang wurden auch intensive Fortbildungen für Schulleiter/innen und Lehrer/innen speziell zur Ergebnisrückmeldung gewünscht. Erklärtes Ziel der Rückmeldemoderation ist es, die brüchige Schnittstelle zwischen der Rezeption der Ergebnisse und dem Transfer in adäquates Unterrichtshandeln zu schließen. Basierend auf den vorliegenden Evaluationsergebnissen lässt sich folgern, dass ein solcher Transfer auch tatsächlich unterstützt wird. 75 % der befragten Schulleiter/innen gaben an, dass sie sich nach Inanspruchnahme der Rückmeldemoderation in der Lage sahen, adäquate Maßnahmen für eine zielführende Schul- und Qualitätsentwicklung ableiten zu können. An mehr als einem Drittel der -78-

80 Schulen gab es zum Befragungszeitpunkt auch bereits konkrete Reaktionen bzw. waren Maßnahmen geplant, die auf der Rückmeldemoderation beruhten. Dies waren beispielsweise ein strukturierter Informations- und Erfahrungsaustausch im Kollegium, die forcierte Teilnahme an standardbezogenen Fortbildungen, Konsequenzen in der Schulbuchwahl und bei der Beschaffung von Unterrichtsmitteln und/oder die Verlagerung von Unterrichtsschwerpunkten und die Adaptierung der klassenbezogenen bzw. individuellen Förderpläne. 5.4 Weiterer Unterstützungsbedarf Für die Zukunft wurde häufig der Wunsch nach einem größeren, thematisch breit gefächerten Fortbildungsangebot (Bildungsstandards allgemein, Kompetenzmodelle und Kompetenzbereiche, konkrete Unterrichtsgestaltung usw.) für Schulleiter/innen und Lehrer/innen geäußert. Die klare Trennung zwischen Rückmeldemoderation und Schulentwicklung wurde weitgehend befürwortet. Jedoch sollten aus Sicht der Befragten unbedingt die Unterstützungsangebote im Bereich der Schul- und Unterrichtsentwicklung ausgeweitet werden, um auch in diesem Bereich entsprechende Impulse setzen zu können. Äußerst positiv hervorgehoben wurden die Diagnoseinstrumente zur Informellen Kompetenzmessung, da diese den Lehrerinnen und Lehrern die Möglichkeit einer guten Lernstandsdiagnose bieten und somit eine direkte und individuelle Förderung möglich wird. 5.5 Gesamteinschätzung Alles in allem kann aufgrund der Aussagen sämtlicher Beteiligtengruppen das Pilotprojekt zur Rückmeldemoderation als gelungen bezeichnet werden. Die Vertreter/innen der Schulebene erachteten dieses Angebot überwiegend als (sehr) nützlich und hilfreich, um die Ergebnisse der Baseline-Testung professionell interpretieren und in weiterer Folge adäquate Unterrichts- und Schulentwicklungsmaßnahmen ableiten zu können. Vor allem bei den ersten Standardüberprüfungen, also bis der kompetente Umgang mit der Ergebnisrückmeldung sowohl für Schulleiter/innen als auch für Lehrer/innen zur Routine geworden ist, wird die Rückmeldemoderation als wichtige Unterstützungsmaßnahme gesehen. Zusätzlich wird die Ausweitung des Fortbildungsangebotes für Schulleiter/innen, vor allem aber für Lehrpersonen gewünscht. Neben dieser Unterstützungsfunktion erfüllt die Rückmeldemoderation auch eine wichtige, allgemeine Informationsfunktion und leistet somit einen entscheidenden Beitrag zur nachhaltigen Verankerung der Bildungsstandards im österreichischen Bildungswesen. -79-

81 E Resümee Der Einführung der Bildungsstandards liegt der Leitgedanke zugrunde, im österreichischen Schulsystem mehr Verbindlichkeit anzustreben und grundlegende Kompetenzen bei allen Schülerinnen und Schülern sicherzustellen. Damit folgt Österreich einem im gesamten deutschsprachigen Raum eingeleiteten Paradigmenwechsel, der Nachhaltigkeit und Ergebnisorientierung ins Zentrum der Unterrichtsentwicklung stellt (vgl. BIFIE, 2012). Nach einer umfassenden Vorbereitungsphase wurden mit der Änderung des Schulunterrichtsgesetzes im Jahr 2008 (BGBl. I Nr. 117/2008) und der Verordnung der Bildungsstandards im Jahr 2009 (BGBl. II Nr. 1/2009) die gesetzlichen Grundlagen für die definitive Einführung der Bildungsstandards geschaffen. Seitdem wurden zahlreiche Maßnahmen gesetzt und der Implementationsprozess schreitet zügig voran. Im Frühjahr 2009 und 2010 fanden die Ausgangsmessungen, die sogenannten Baseline-Testungen, in der 4. und 8. Schulstufe statt. Sie lieferten die Ausgangsdaten für die ab 2012 stattfindenden Standardüberprüfungen und dienten auch der Erprobung methodischer und logistischer Abläufe. Es wurden zahlreiche Begleitmaßnahmen (Materialien, Aus- und Fortbildungsangebote etc.) entwickelt und umgesetzt. Zudem wurden alle bisherigen Implementationsschritte umfassend evaluiert. Der vorliegende Bericht, widmet sich dem letztgenannten Aspekt, der Evaluation des Implementationsprozesses. Dargestellt wurden die Ergebnisse der Begleitforschung zur Baseline- Testung in der 4. Schulstufe, im Rahmen derer drei Bereiche im Fokus des Forschungsinteresses standen: die Rezeption der Bildungsstandards und der Implementierungsmaßnahmen, die Evaluation der Ergebnisrückmeldung und die Evaluation des Pilotprojektes zur Rückmeldemoderation. Die Zielsetzungen und die zentralen Befunde dieser drei Evaluationsprojekte, die vom BIFIE Graz durchgeführt wurden, werden in der Folge noch einmal kurz zusammengefasst: Rezeptionsstudie Ziel der Rezeptionsstudie war es zu analysieren, wie die Bildungsstandards und die damit in Zusammenhang stehenden Begleitmaßnahmen von den Lehrkräften und Schulleiterinnen bzw. Schulleitern rezipiert werden. Mittels Fragebögen wurden u. a. der Informationsstand zum Thema Bildungsstandards, die Einstellungen gegenüber den Bildungsstandards sowie Informationen zur Nutzung von Begleitangeboten und zum Unterstützungs- und Fortbildungsbedarf erhoben. In Bezug auf die Informiertheit lässt sich feststellen, dass sich die Lehrkräfte und Schulleiter/innen sowohl über die Baseline-Testung als auch über die Ziele, Funktionen und die Umsetzung der Bildungsstandards großteils gut informiert fühlten. Vergleichsweise etwas weniger, aber insgesamt -80-

82 dennoch mehrheitlich gut informiert zeigten sich die Befragten im Hinblick auf die gesetzliche Verordnung der Bildungsstandards, die Rückmeldung der Testergebnisse und v. a. die Ziele und Funktionen der Standardüberprüfungen ab Die deutliche Mehrheit der Lehrkräfte und Schulleiter/innen hatte zum Erhebungszeitpunkt bereits einmal eine Fortbildung zum Thema Bildungsstandards besucht. Hauptsächlich handelte es sich dabei um Kurzveranstaltungen (Dauer: maximal ein Tag). Die Nützlichkeit der besuchten Fortbildung(en) wurde mehrheitlich positiv bewertet, ebenso wie das Fortbildungsangebot. Dennoch wurden diesbezüglich auch Verbesserungsmöglichkeiten geortet (z. B. Ausbau des Angebotes, Wahl kompetenter Vortragender). Was die Einstellungen gegenüber den Bildungsstandards anbelangt, so weisen die Ergebnisse in Richtung einer noch eher abwartenden und unentschiedenen Haltung der Befragten. Für den Großteil der Befragten überwogen zum Erhebungszeitpunkt weder positive, noch problematische Aspekte deutlich. Offenbar war für viele zum Erhebungszeitpunkt noch offen, wie die Einführung der Bildungsstandards und ihre Implikationen auf die schulische Praxis einzuschätzen sind. Bedenken gegenüber den Bildungsstandards wurden v. a. dahingehend geäußert, dass diese Schulrankings nach sich ziehen oder zu einer Überbetonung der Fachleistungen bzw. zu einer Vernachlässigung der Prozessdimension des Unterrichts führen könnten. Für einen doch großen Teil der Befragten waren offenbar auch noch Unklarheiten in Bezug auf das Konzept der Bildungsstandards gegeben. Positive Aspekte der Bildungsstandards wurden vor allem darin gesehen, dass diese dazu beitragen, Transparenz, Objektivität sowie Chancengleichheit zu forcieren und auf diese Weise Qualitätssicherung im Schulwesen fördern. Auch wurden die Bildungsstandards von den Befragten als durchaus hilfreich für einzelne Bereiche ihrer täglichen Arbeit eingeschätzt. Den vergleichsweise größten Nutzen sprachen die Befragten den Bildungsstandards für die Einschätzung bzw. die Diagnose des Lernstandes der Klasse, für die Selbstreflexion und für die Planung und Gestaltung des Unterrichts im Sinne der Förderung von Grundkompetenzen zu. Bei der Umsetzung der Bildungsstandards fühlten sich die Lehrkräfte und Schulleiter/innen mehrheitlich sehr gut oder gut unterstützt. Bei den Lehrkräften lässt sich darüber hinaus feststellen, dass ein beträchtlicher Teil der Befragten auch den Wunsch nach noch mehr bzw. besserer Unterstützung zum Ausdruck brachte. Zusätzlicher Unterstützungsbedarf wurde vor allem in Bezug auf die Bereitstellung von Informationen und Materialien, die bei der konkreten Umsetzung der Bildungsstandards im Unterricht unterstützen, geortet (adaptierte Schulbücher, Unterrichtsmaterialien, Aufgabenbeispiele etc.). Eine regelmäßige Nutzung der Bildungsstandards im Unterricht fand zum Befragungszeitpunkt offenbar nur vereinzelt statt. Die deutliche Mehrheit der Lehrkräfte gab allerdings an, die Bildungsstandards zumindest hin und wieder für die Unterrichtsplanung und -gestaltung zu verwenden. -81-

83 In fast allen Bereichen zeigen sich signifikante Unterschiede zwischen Lehrkräften und Schulleiterinnen bzw. Schulleitern. So fühlten sich die Schulleiter/innen im Vergleich zu den Lehrkräften besser über das Thema Bildungsstandards informiert. Sie standen der Einführung der Bildungsstandards positiver gegenüber und sprachen den Bildungsstandards auch einen größeren Nutzen zu. Darüber hinaus haben sie sich häufiger und intensiver fortgebildet und fühlten sich bei der Umsetzung der Bildungsstandards deutlich besser unterstützt. Die vorliegenden Ergebnisse der Rezeptionsstudie in der Volksschule wurden auch mit den Ergebnissen einer analogen Befragung verglichen, die ein Jahr zuvor in der Sekundarstufe I durchgeführt worden war. In diesem Zusammenhang waren Lehrkräfte und Schulleiter/innen der Baseline-8-Schulen zur Rezeption der Bildungsstandards befragt worden. Die vergleichende Analyse der Daten weist in vielen Bereichen auf signifikante Unterschiede zwischen den Befragten der Volksschule und der Sekundarstufe I hin. So fühlten sich die Befragten der Volksschule deutlich besser über die Bildungsstandards informiert. Die Volksschullehrkräfte bewerteten auch die Einführung der Bildungsstandards positiver und schätzten den Nutzen der Bildungsstandards signifikant höher ein. Ebenso hinsichtlich der Fortbildungsintensität, der erlebten Unterstützung und der Verwendung der Bildungsstandards im Unterricht lassen sich Unterschiede feststellen. So haben sich die Befragten der Volksschule häufiger bzw. intensiver fortgebildet und fühlten sich bei der Umsetzung der Bildungsstandards besser unterstützt als die Befragten der Sekundarstufe I. Die Volksschullehrkräfte gaben zudem häufiger an, die Bildungsstandards im Unterricht zu verwenden. Trotz dieser signifikanten Unterschiede wurden zum einen die positiven Implikationen von Bildungsstandards vergleichbar eingeschätzt (z. B. Eignung als allgemeines Instrument der Qualitätssicherung). Zum anderen wurden ähnliche Bedenken geäußert (z. B. Erstellung von Schulrankings, Vernachlässigung der Prozessdimension des Unterrichts bzw. inhaltliche Verarmung des Unterrichts). Unterstützungsbedarf orteten beide Befragtengruppen v. a. im Hinblick auf die Bereitstellung praxisorientierter Materialien. Resümierend betrachtet, lassen sich im Hinblick auf die Rezeption der Bildungsstandards vor allem die Informiertheit, die Fortbildungsintensität und die erlebte Unterstützung als bedeutsame Einflussfaktoren ableiten. Je besser sich die Lehrkräfte bzw. Schulleiter/innen informiert bzw. unterstützt fühlten, umso positiver schätzten sie auch die Einführung der Bildungsstandards ein und umso höher bewerteten sie deren Nutzen. Ähnliches gilt für die Fortbildungsintensität, wobei sich diesbezüglich zeigt, dass der Besuch von Fortbildungen offenbar vor allem den Abbau von Ängsten und Bedenken gegenüber den Bildungsstandards fördert. Evaluation der Ergebnisrückmeldung Ziel der Evaluation der Ergebnisrückmeldung war es, eine erste Einschätzung des Rückmeldeverfahrens von Seiten der Adressatinnen und Adressaten zu erhalten. Dadurch sollten Informationen über die Praktikabilität des Rückmeldesystems gewonnen und gegebenenfalls vorhandene Optimierungsmöglichkeiten aufgezeigt werden. Neben der Bewertung der Rückmeldung bestand das Ziel darin zu erfassen, in welchen Bereichen die Adressatinnen und -82-

84 Adressaten noch Unterstützung im Umgang mit den Ergebnissen benötigen und welche ersten Reaktionen die Rückmeldung der Ergebnisse nach sich gezogen hat. Mittels Fragebogen wurden Lehrkräfte und Schulleiter/innen sowie Schüler/innen und Eltern befragt. Zentrale Ergebnisse der Lehrer- und Schulleiterbefragung Insgesamt fühlten sich die Befragten über die Rückmeldung gut informiert. Die Lehrkräfte und Schulleiter/innen gaben mehrheitlich an, sowohl über die Form und die Adressatinnen bzw. Adressaten als auch über den Inhalt und den Zeitpunkt der Rückmeldung gut informiert gewesen zu sein. Vergleichsweise am wenigsten gut informiert fühlten sie sich über den Inhalt der Rückmeldung an die Schulaufsicht. Das Rückmeldeprozedere hat offenbar gut funktioniert. Nur in Ausnahmefällen hat die Übermittlung des Zugangscodes nicht geklappt bzw. hat das Abrufen der Ergebnisse auf der BIFIE-Website Probleme bereitet. Die rückgemeldeten Ergebnisse wurden offenkundig sowohl von den Lehrkräften als auch von den Schulleiterinnen bzw. Schulleitern intensiv rezipiert. Denn die deutliche Mehrheit der Befragten gab an, sich mit den Testergebnissen sehr ausführlich oder ausführlich auseinandergesetzt zu haben. Die Rückmeldung selbst wurde von den Befragten durchaus positiv bewertet. Sowohl der Informationsgehalt, die Verständlichkeit und die Übersichtlichkeit der Rückmeldung wurden mehrheitlich mit Sehr gut oder Gut eingestuft. Neben der Gesamtbewertung der Rückmeldung fiel auch die Bewertung einzelner Teilbereiche der Rückmeldung positiv aus. Die in der Lehrer- bzw. Schulleiterrückmeldung zur Verfügung gestellten Informationen wurden durchwegs als nützlich und gut verständlich beurteilt. Vergleichsweise etwas weniger positiv wurden die praktische Verwertbarkeit der Rückmeldung bzw. der Wert der Rückmeldung für die schulische Praxis eingeschätzt. Verbesserungswünsche äußerten die Lehrkräfte und Schulleiter/innen vor allem in Zusammenhang mit einer rascheren Rückmeldung der Ergebnisse. In Bezug auf die Gestaltung der Rückmeldung selbst (Abbildungen, Erklärungstexte und Hintergrundinformationen) wurde hingegen deutlich geringerer Verbesserungsbedarf konstatiert. Unterstützungsbedarf beim Umgang mit den Ergebnissen wurde vorrangig bei der Umsetzung von Qualitätsentwicklungsmaßnahmen und weniger beim Lesen und Interpretieren der Ergebnisse geäußert. Im Hinblick auf erste Reaktionen lässt sich feststellen, dass die Ergebnisrückmeldung zunächst vielfach zu Gesprächen an den Schulen geführt hat. In erster Linie wurden die Ergebnisse offenbar in Gesprächen zwischen jenen Personen thematisiert, die selbst von der Baseline- Testung betroffen waren d. h. zwischen Kolleginnen und Kollegen der getesteten Klassen und der Schulleitung. Das Ergebnis der eigenen Klasse bzw. Schule fiel für die Mehrheit der befragten Lehrkräfte bzw. Schulleiter/innen offenbar erwartungskonform aus. Dennoch äußerte ein beachtlicher Anteil der -83-

85 Lehrkräfte Veränderungen in der Unterrichtsplanung und -gestaltung in Betracht zu ziehen. Veränderungsvorhaben beziehen sich dabei häufig auf das Setzen anderer bzw. neuer Unterrichtsschwerpunkte. Auch die Fokussierung von Bereichen, in denen sich bei den Schülerinnen bzw. Schülern Schwächen gezeigt haben oder eine gezieltere Arbeit in Richtung Bildungsstandards wurden in diesem Zusammenhang mehrfach genannt. Im Hinblick auf ihren Standpunkt zur Rückmeldung von Ergebnissen an die Schulaufsicht äußerten sich die Befragten geteilt. Vielfach wurde diesbezüglich eine neutrale oder positive Position, teils aber auch ein negativer Standpunkt kundgetan. In den meisten Bereichen, die sowohl im Lehrer- als auch im Schulleiterfragebogen erfasst wurden, lassen sich signifikante Unterschiede zwischen den beiden Befragtengruppen feststellen. Die Schulleiter/innen fühlten sich insgesamt besser über die Rückmeldung informiert. Sie haben sich intensiver mit den Ergebnissen auseinandergesetzt und die Rückmeldung auch positiver bewertet. Zudem konstatierten die Schulleiter/innen auch geringeren Verbesserungsbedarf bei der Gestaltung der Rückmeldung und äußerten sich positiver zur Rückmeldung von Ergebnissen an die Schulaufsicht. Ebenso wie bei der Rezeptionsstudie wurde auch im Rahmen der Evaluation der Ergebnisrückmeldung eine vergleichende Analyse mit den Daten einer analogen Erhebung in der Sekundarstufe I durchgeführt. Im Zuge der Rückmeldung der Baseline-Testungsergebnisse der 8. Schulstufe waren ebenfalls die Lehrkräfte und Schulleiter/innen zur erhaltenen Rückmeldung befragt worden. Der Vergleich der Daten der Volksschulbefragten mit den Befragten der Sekundarstufe I weist dabei ebenfalls in vielen Bereichen auf signifikante Unterschiede hin. So fühlten sich die Befragten der Volksschule u. a. deutlich besser über die Rückmeldung informiert. Zudem wurde die Rückmeldung vor allem von den Volksschullehrkräften deutlich positiver bewertet bzw. geringerer Verbesserungsbedarf bei der Rückmeldung geortet als von ihren Kolleginnen und Kollegen in der Sekundarstufe I. Insgesamt lassen die Befunde zur Evaluation der Ergebnisrückmeldung darauf schließen, dass die Informiertheit über die Ergebnisrückmeldung und die Ausführlichkeit der Auseinandersetzung mit den Ergebnissen wesentlichen Einfluss darauf haben, wie die Rückmeldung angenommen wird. Zentrale Ergebnisse der Schüler- und Erwachsenenbefragung Die Schülerrückmeldung wurde von der überwiegenden Mehrheit der befragten Kinder und Erwachsenen als gut verständlich eingestuft. Sowohl das Gesamtergebnis der Testung im jeweiligen Fach als auch das Abschneiden in den einzelnen Kompetenzbereichen ging für die Befragten gut aus der Rückmeldung hervor. Vergleichsweise etwas weniger gut konnten sowohl die Schüler/innen als auch die Erwachsenen aus der Rückmeldung herauslesen, in welchen Bereichen noch Übungsbedarf besteht. Die in der Rückmeldung enthaltenen Hintergrundinformationen (Informationen zur Baseline- Testung, Lexikon) wurden durchwegs als ausreichend und nützlich eingestuft. -84-

86 Das Testergebnis fiel sowohl im Fach Deutsch als auch im Fach Mathematik für den Großteil der Schüler/innen sowie für den Großteil der Erwachsenen erwartungskonform aus. Im Fach Mathematik fiel das Ergebnis häufiger schlechter aus als dies von den Befragten erwartet worden war. Bis auf wenige Ausnahmen gaben die Erwachsenen an, die Testergebnisse mit dem Kind besprochen zu haben. Evaluation des Pilotprojektes Rückmeldemoderation Mit Hilfe von Rückmeldemoderatorinnen und -moderatoren soll es den Akteurinnen und Akteuren auf Schulebene gelingen, durch eine sachliche Analyse und objektive Interpretation die Ergebnisse in adäquates Unterrichtshandeln und entsprechende Maßnahmen der Schulentwicklung überzuleiten. Dieses Unterstützungsangebot soll ab den Standardüberprüfungen 2012 insbesondere für Schulleiter/innen in ganz Österreich zur Verfügung stehen. Im Zuge der Ergebnisrückmeldung zur Baseline-Testung auf der 4. Schulstufe wurde in Oberösterreich ein Pilotprojekt initiiert 26, im Rahmen dessen 16 Personen zu Rückmeldemoderatorinnen bzw. -moderatoren ausgebildet wurden. Durch die Evaluation dieses Projektes war es möglich, Rückschlüsse auf die Praxistauglichkeit der Ausbildung und Aussagen über den Erfolg der Maßnahme zu treffen. Sämtliche Akteursebenen Schulungsteilnehmer/innen sowie Schulleiter/innen und Lehrkräfte von Schulen, die eine Rückmeldemoderation in Anspruch genommen hatten wurden dazu befragt. Insgesamt ist das Pilotprojekt zur Rückmeldemoderation für alle Beteiligten zufriedenstellend verlaufen. Die Schulungsteilnehmer/innen erachteten die inhaltliche Schwerpunktsetzung (statistische Grundlagen, Lesen und Interpretieren der Schulberichte, Kommunikations- und Moderationstechniken, Rollenklärung und Tätigkeitsprofil) als passend und fühlten sich gut auf ihre Aufgabe vorbereitet. Auch die Vertreter/innen der Schulebene beurteilten die durchgeführten Rückmeldemoderationen überwiegend als sehr nützlich bzw. nützlich und hilfreich. Dank der Rückmeldegespräche sahen sich etwa drei Viertel in der Lage, die Ergebnisse professionell zu interpretieren und adäquate Handlungsschritte abzuleiten. So wurde betont, dass ein derartiges Angebot vor allem im Rahmen der ersten Standardüberprüfungen eine wichtige Unterstützungsmaßnahme darstellt, bis sowohl für Schulleiter/innen als auch für Lehrer/innen der kompetente Umgang mit der Ergebnisrückmeldung zur Selbstverständlichkeit geworden ist. Zudem hat sich gezeigt, dass die Rückmeldemoderation auch häufig dazu genützt wird, um Informationen sozusagen aus erster Hand zu erhalten. 26 Es handelte sich dabei um ein Kooperationsprojekt des BIFIE (Zentrum Salzburg) mit dem Landesschulrat und der Pädagogischen Hochschule Oberösterreich. -85-

87 Schlussfolgerungen Folgende zentrale Schlussfolgerungen lassen sich aus der Begleitforschung zur Baseline-Testung auf der 4. Schulstufe ableiten: Primär verdeutlichen die vorliegenden Befunde, dass gezielte Informations- und Unterstützungsmaßnahmen eine der zentralen Bedingungen für eine positive Rezeption der Bildungsstandards und der damit verbundenen Neuerungen darstellen. So lässt sich auf Basis der Ergebnisse folgern, dass die Informiertheit zentralen Einfluss auf die Entwicklung einer positiven Einstellung gegenüber den Bildungsstandards hat und auch die Rezeption der Rückmeldungen positiv beeinflusst. Damit weisen die Ergebnisse in dieselbe Richtung wie jene vorangegangener Erhebungen (Freudenthaler & Specht, 2005; Grillitsch 2010; Amtmann, Grillitsch & Petrovic, 2011) und unterstreichen die Annahme, dass adäquate Informations- und Unterstützungsmaßnahmen die Akzeptanz der Bildungsstandards fördern. Hinsichtlich der Bereitstellung entsprechender Angebote wurden bereits zahlreiche, wichtige Schritte gesetzt. Seien es umfassende Informationsveranstaltungen, die Entwicklung eines fundierten Fortbildungskonzeptes oder die Bereitstellung vielfältiger Materialien und Instrumente wie Praxishandbücher, Aufgabenbeispiele oder die Diagnoseinstrumente zur Informellen Kompetenzmessung. Diesen Weg gilt es zielstrebig weiterzugehen, um die Akteurinnen und Akteure an den Schulen mit dem notwendigen Know-How zu versorgen, das sie für die praktische Umsetzung der Bildungsstandards im Unterricht benötigen. Denn dieses Know-How trägt wesentlich dazu bei, dass die Lehrkräfte Sicherheit im Umgang mit den Bildungsstandards gewinnen und Veränderungen im Unterricht nicht nur darin bestehen, ein anderes (standardbasiertes) Schulbuch zu verwenden oder hin und wieder erprobte Aufgabenbeispiele einzusetzen, sondern sich tatsächlich ein Wandel der Unterrichtskultur vollziehen kann. Sowohl die Ergebnisse der Rezeptionsstudie als auch die Ergebnisse zur Evaluation der Ergebnisrückmeldung weisen darauf hin, dass vor allem die konkrete Umsetzung der Bildungsstandards im Unterricht und der Transfer der rückgemeldeten Testergebnisse in konkretes Handlungswissen Bereiche sind, in denen noch die größten Unsicherheiten und Schwierigkeiten bestehen. Insofern wird es besonders wichtig sein, dass die Begleitmaßnahmen (auch weiterhin) gezielt hier ansetzen und dazu beitragen, mehr Klarheit und Sicherheit zu schaffen. Vor allem ist es essentiell, dass die Vorbereitung auf die Arbeit mit den Bildungsstandards, aber ebenso das Thema Ergebnisrückmeldung & Umgang mit den rückgemeldeten Daten entsprechenden Eingang in die Aus- und Fortbildung der Lehrer/innen finden. Sämtliche Akteurinnen und Akteure sowohl Lehrkräfte, Schulleiter/innen als auch die Schulaufsicht müssen darauf vorbereitet werden, was sie im Zuge der Ergebnisrückmeldung erwartet und mit welchen neuen Aufgaben sie nicht zuletzt in Zusammenhang mit der Rückmeldung konfrontiert sind (z. B. Führen von Rückmeldegesprächen). Sicherheit im Umgang mit den Ergebnissen und den neuen Aufgaben wird grundlegend dazu beitragen, eine konstruktive Feedbackkultur zu entwickeln, gegebenenfalls bestehende Ängste und Bedenken abzubauen und Unterrichtsentwicklung auf Basis der rückgemeldeten Daten zu forcieren. In Verbindung mit der Rückmeldung wird es auch -86-

88 explizit für den Prozess der Qualitätsentwicklung gezielte Unterstützungsmaßnahmen brauchen. Vor allem Angebote in Form von Fortbildungen, die den Fokus auf Schul- und Unterrichtsentwicklungsprozesse legen oder auch die Möglichkeit, dass Schulen professionelle Unterstützung von Schul- und Unterrichtsentwicklerinnen bzw. -entwicklern in Anspruch nehmen können, erscheinen hier wichtig. Insgesamt empfehlenswert wäre es, zukünftig auch verstärkt mehrtägige Fortbildungsveranstaltungen bzw. Lehrgänge anzubieten, um dem Unterstützungsbedarf im Umgang mit den Bildungsstandards und der Ergebnisrückmeldung gerecht zu werden und den Akteurinnen und Akteuren an den Schulen eine vertiefende Auseinandersetzung mit der Thematik zu ermöglichen. Sehr positive Erfahrungen konnten im Zuge des Pilotprojektes zur Rückmeldemoderation gesammelt werden. Die Unterstützung bei der Analyse und Interpretation der Ergebnisse sowie der Identifikation von Handlungsfeldern am jeweiligen Schulstandort wurde von allen Beteiligten als sehr konstruktive Begleitmaßnahme erlebt. Zudem lassen die vorliegenden Evaluationsergebnisse darauf schließen, dass die Rückmeldemoderation den Transfer der rückgemeldeten Ergebnisse in adäquates Unterrichtshandeln intensiv unterstützt und damit wesentlich dazu beiträgt, eine fundierte Ausgangsbasis für Schul- und Unterrichtsentwicklungsprozesse zu schaffen. Dieses Unterstützungsangebot auszubauen und bundesweit zur Verfügung zu stellen wie es auch vorgesehen ist erscheint insofern sehr sinnvoll. Neben der Bereitstellung entsprechender Informations- und Unterstützungsangebote bedarf es nicht zuletzt aber auch der Bereitschaft der Akteurinnen und Akteure an den Schulen selbst, vorhandene Informationen und Angebote zu nutzen und sich mit der Materie Bildungsstandards umfassend auseinander zu setzen. So überrascht es doch, dass beispielsweise im November 2010, mehr als eineinhalb Jahre nach der gesetzlichen Verordnung der Bildungsstandards rund ein Drittel der Lehrkräfte äußerte, diese nicht zu kennen. Wie man Interesse und Bereitschaft zur Nutzung vorhandener Informationen und Begleitmaßnahmen sowie die Teilnahme an Fortbildungen fördern kann, wird insofern ebenfalls eine zentrale Frage sein, der man sich im Zuge der weiteren Gestaltung der Implementierungsmaßnahmen widmen sollte. Resümierend betrachtet, zeichnen die Befunde der bisherigen Begleitforschung zur Implementation der Bildungsstandards ein prinzipiell positives Bild. Es lässt sich feststellen, dass ein großer Teil der Befragten, die mit den Bildungsstandards verbundenen grundlegenden Zielsetzungen (Schaffung von Transparenz, Förderung von Objektivität und Chancengleichheit) befürwortet. Zudem wird der Nutzen der Bildungsstandards für die Praxis durchaus positiv eingeschätzt. Die Rückmeldung der Ergebnisse wurde mit Neugier erwartet und überwiegend positiv rezipiert. Gleichzeitig spiegeln sich aber auch Bedenken der Befragten gegenüber der Einführung der Bildungsstandards und der damit verbundenen Neuerungen wider, die noch Handlungsfelder für die zukünftige Gestaltung des Implementationsprozesses aufzeigen. So ist die Sorge, dass es zur Erstellung von Schulrankings kommen könnte, nach wie vor ziemlich stark -87-

89 ausgeprägt und es herrscht vielfach noch Unklarheit, wie die Umsetzung der Bildungsstandards in der täglichen Praxis aussehen soll. Auch fürchten viele Lehrkräfte, dass die Einführung der Bildungsstandards und die damit verbundene Ergebnisorientierung negative Implikationen auf Schule und Unterricht haben könnten. Um solchen Ängsten, Bedenken und Unsicherheiten entgegenzuwirken, sind zum einen ein sorgsamer Umgang mit den rückgemeldeten Daten auf allen Akteursebenen sowie die Etablierung einer konstruktiven Feedbackkultur sehr wichtig. Zum anderen geht es darum, dass die Lehrkräfte in der praktischen Auseinandersetzung mit den Bildungsstandards und den Rückmeldungen erfahren, dass diese Bedenken unbegründet sind und Sicherheit in der Arbeit damit gewinnen. Die bisher gesetzten Begleitmaßnahmen konnten diesbezüglich offenbar schon dazu beitragen, wichtige, positive Effekte zu erzielen. Bedenkt man zudem, dass verschiedene Studien zur Implementationsforschung darauf verweisen, dass eine entsprechende Neuerung wie die Einführung der Bildungsstandards immer auch ein entsprechendes Maß an Zeit braucht, so lässt sich schließen, dass sich diese Bildungsreform in Österreich auf einem guten Weg befindet. Ergänzend zu den bisher gesetzten Maßnahmen erscheint vor allem eine klare Regelung für den Umgang mit den Ergebnissen als sehr wichtig. Zu empfehlen wäre diesbezüglich beispielsweise ein Erlass von Seiten des Ministeriums, der den Schulen eine Veröffentlichung ihrer Ergebnisse klar untersagt. Damit könnte auch informellen Rankings (die beispielsweise dadurch entstehen könnten, dass einzelne Schulen ihre Ergebnisse bekannt geben) vorgebeugt und mehr Klarheit und Sicherheit im Umgang mit den Ergebnissen geschaffen werden. Die erste Standardüberprüfung in der Sekundarstufe I und damit der nächste Meilenstein im Prozess der Implementation der Bildungsstandards steht unmittelbar vor der Tür. Durch die Erfahrungen aus den Baseline-Testungen sind die Verantwortlichen gut auf die ersten flächendeckenden Überprüfungen und die damit verbundenen logistischen Herausforderungen vorbereitet. Die Begleitforschung zu den Baseline-Testungen konnte zudem wichtige Hinweise liefern, in welchen Bereichen in Bezug auf die Gestaltung der Implementierungsmaßnahmen noch Adaptierungen erforderlich bzw. Verbesserungen möglich sind. Im Rahmen der zukünftigen Evaluationsmaßnahmen wird es interessant sein, weiterzuverfolgen, wie sich die Einstellungen und Grundhaltungen sowie der Umgang mit den Bildungsstandards und den Rückmeldungen weiterentwickeln und welche Effekte der Prozess der Einführung der Bildungsstandards an den Schulen sowie auf Systemebene nach sich ziehen wird. Zudem ergeben sich aus den vorliegenden Evaluationsbefunden weitere Forschungsfragen, denen im Rahmen zukünftiger Studien (vertiefend) nachgegangen werden sollte: Gibt es durch die Einführung der Bildungsstandards grundlegende Veränderungen in der Unterrichtsplanung und -gestaltung und wenn ja, in welcher Form? Findet der intendierte Paradigmenwechsel in Richtung einer stärkeren Kompetenzorientierung im Unterricht statt und wenn ja, wie zeigt sich dies? Welche Bedingungen begünstigen, dass nach der Ergebnisrückmeldung tatsächlich Qualitätsentwicklungsmaßnahmen initiiert werden? Lassen sich gegebenenfalls auch hemmende Wirkmechanismen identifizieren? -88-

90 Zeigen sich unbeabsichtigte Nebenwirkungen in Zusammenhang mit der Einführung von Bildungsstandards und wenn ja, in welcher Form? Wie können nicht erwünschte Nebenwirkungen vermieden bzw. positive Effekte gefördert werden? Die Beantwortung dieser (und anderer) Fragestellungen sowie die weitere wissenschaftliche Begleitung der Implementationsphase leisten einen wichtigen Beitrag zum Gelingen des Reformprojektes. Durch die Begleitforschung werden kontinuierlich datengestützte Informationen über den Verlauf und die Wirkungen der Einführung der Bildungsstandards gesammelt und damit eine fundierte Entscheidungsbasis für die weitere Gestaltung des Implementationsprozesses bereitgestellt. -89-

91 F Literaturverzeichnis Amtmann, E., Grillitsch, M. & Petrovic, A. (2011). Bildungsstandards in Österreich Die Ergebnisrückmeldung im ersten Praxistest. Das Rückmeldedesign zur Baseline-Testung (8. Schulstufe) aus Sicht der Adressaten, BIFIE-Report 7/2011. Graz: Leykam. BGBl. I Nr. 117/2008: Änderung des Schulunterrichtsgesetzes. Verfügbar unter: [ ]. BGBl. II Nr. 1/2009: Verordnung der Bundesministerin für Unterricht, Kunst und Kultur über Bildungsstandards im Schulwesen. Verfügbar unter: [ ]. BIFIE (2012). Bildungsstandards. Verfügbar unter: [ ]. Bonsen, M., Büchter, A. & Peek, R. (2006). Datengestützte Schul- und Unterrichtsentwicklung. In H. G. Holtappels, K. Klemm, H. Pfeiffer, H.-G. Rolff & R. Schulz-Zander (Hrsg.), Jahrbuch der Schulentwicklung. Daten, Beispiele und Perspektiven. Band 14 (S ). Weinheim: Juventa Verlag. Breit, S. & Schreiner, C. (Hrsg.) (2011). Bildungsstandards: Baseline 2010 (4. Schulstufe). Technischer Bericht. Verfügbar unter: [ ]. Freudenthaler, H. H. & Specht, W. (2005). Bildungsstandards aus Sicht der Anwender. Evaluation der Pilotphase I zur Umsetzung nationaler Bildungsstandards in der Sekundarstufe I. Graz: ZSE, Abt.: Evaluation und Schulforschung. Freudenthaler, H. H. & Specht, W. (2006). Bildungsstandards: Der Implementationsprozess aus der Sicht der Praxis. Ergebnisse einer Fragebogen-Studie nach dem ersten Jahr der Pilotphase II. Graz: ZSE, Abt.: Evaluation und Schulforschung. Grabensberger, E., Freudenthaler, H. H. & Specht, W. (2008). Bildungsstandards: Testungen und Ergebnisrückmeldungen auf der achten Schulstufe aus der Sicht der Praxis. Ergebnisse einer Befragung von Leiterinnen, Leitern und Lehrkräften der Pilotschulen. Graz: BIFIE. Grillitsch, M. (2010). Bildungsstandards auf dem Weg in die Praxis. Ergebnisse einer Befragung von Lehrkräften und Schulleiter/innen der Sekundarstufe I zur Rezeption der Bildungsstandards und deren Implementation, BIFIE-Report 6/2010. Graz: Leykam. Klieme, E., Avenarius, H., Blum, W., Döbrich, P., Gruber, H., Prenzel, M., Reiss, K., Riquarts, K., Rost, J., Tenorth, H.-E. & Vollmer, H. J. (2007). Zur Entwicklung nationaler Bildungsstandards Expertise. Unveränderte Auflage. Bonn: Bundesministerium für Bildung und Forschung (BMBF) Referat für Öffentlichkeitsarbeit. -90-

92 Nachtigall, C. & Jantowski, A. (2007). Der Thüringer Kompetenztest unter besonderer Berücksichtigung der Evaluationsergebnisse zum Rezeptionsverhalten. Empirische Pädagogik, 21 (4), S Specht, W. & Freudenthalter, H. H. (2004). Bildungsstandards Bedingungen ihrer Wirksamkeit. Erziehung & Unterricht, 7-8, S Stanzel-Tischler, E. (2011). Begleitende Evaluation des Projekts "Frühe sprachliche Förderung im Kindergarten". Fragebogenerhebung an Volksschulen sowie Interviews mit Eltern, Kindergartenpädagoginnen und Lehrpersonen, BIFIE-Report 8/2011. Graz: Leykam. -91-

93 G Anhang 1 Tabellenanhang zu Kapitel B 1.1 Ergebnis Hauptkomponentenanalyse Informiertheit (VS) KMO- und Bartlett-Test Maß der Stichprobeneignung nach Kaiser-Meyer-Olkin.,894 Bartlett-Test auf Sphärizität Ungefähres Chi-Quadrat 2238,070 df 21 Signifikanz nach Bartlett,000 Erklärte Gesamtvarianz Anfängliche Eigenwerte Summen von quadrierten Faktorladungen für Extraktion Komponente Gesamt % der Varianz Kumulierte % Gesamt % der Varianz Kumulierte % 1 4,148 59,262 59,262 4,148 59,262 59,262 2,849 12,132 71,394 3,558 7,973 79,367 4,406 5,794 85,161 5,378 5,397 90,558 6,361 5,162 95,719 7,300 4, ,000 Extraktionsmethode: Hauptkomponentenanalyse. Komponentenmatrix a Komponente 1 Informiertheit - Ziele und Funktionen der Baseline-Testung,828 Informiertheit - Ziele und Funktionen der BIST,817 Informiertheit - Ziele und Funktionen der Standardüberprüfungen ab 2013,794 Informiertheit - Verbindlichkeit der Umsetzung der BIST,790 Informiertheit - gesetzliche Verordnung der BIST,783 Informiertheit - Rückmeldung der Testergebnisse,700 Informiertheit - Ablauf der Baseline-Testung,662 Extraktionsmethode: Hauptkomponentenanalyse. a. 1 Komponenten extrahiert -92-

94 1.2 Ergebnis Hauptkomponentenanalyse Einstellung (VS) KMO- und Bartlett-Test Maß der Stichprobeneignung nach Kaiser-Meyer-Olkin.,936 Bartlett-Test auf Sphärizität Ungefähres Chi-Quadrat 6709,566 df 253 Signifikanz nach Bartlett,000 Erklärte Gesamtvarianz Anfängliche Eigenwerte Summen von quadrierten Faktorladungen für Extraktion Rotierte Summe der quadrierten Ladungen Komp. Gesamt % der Varianz Kumulierte % Gesamt % der Varianz Kumulierte % Gesamt % der Varianz Kumulierte % 1 8,595 37,370 37,370 8,595 37,370 37,370 5,543 24,099 24, ,449 10,647 48,017 2,449 10,647 48,017 5,501 23,919 48, ,246 5,419 53, ,091 4,742 58,178 5,866 3,765 61,943 6,791 3,440 65,383 7,730 3,174 68,557 8,682 2,966 71,523 9,641 2,786 74,309 10,612 2,661 76,970 11,573 2,490 79,460 12,538 2,339 81,799 13,491 2,135 83,934 14,467 2,028 85,963 15,446 1,941 87,903 16,422 1,835 89,738 17,404 1,755 91,494 18,389 1,692 93,186 19,367 1,598 94,783 20,346 1,503 96,287 21,335 1,457 97,744 22,285 1,238 98,981 23,234 1, ,000 Extraktionsmethode: Hauptkomponentenanalyse. -93-

95 Rotierte Komponentenmatrix a Komponente Die professionelle Handlungs- und Entscheidungsfreiheit wird durch Standards deutlich eingeschränkt Bildungsstandards bringen die Gefahr einer inhaltlichen Verarmung des Unterrichts mit sich Standards und Schulautonomie - das geht einfach nicht zusammen Außer Mehrarbeit für die Lehrkräfte werden die Bildungsstandards vermutlich nicht viel bringen Schulen sind zu verschieden, um ihre Leistungen an gleichen Maßstäben zu messen Bildungsstandards verstärken den Leistungs- und Selektionsdruck in der Schule Bildungsstandards bewirken eine "Nivellierung nach unten" und vermindern die Schulqualität eher, als dass sie sie verbessern Die einseitige Betonung der Fachleistungen führt zu einer Unterschätzung der erzieherischen Leistungen der Schule Am Konzept zur Umsetzung der Bildungsstandards ist noch zu vieles ungeklärt, um es wirklich beurteilen zu können Der ausschließliche Blick auf die Ergebnisse vernachlässigt die wichtige Prozessdimension des Unterrichts Bildungsstandards sind meiner Ansicht nach primär ein Instrument der Kontrolle von Schule und Lehrer/innen Von Standards zu Schulrankings ist der Weg nicht weit Nur wenn wir gemeinsame Bildungsstandards haben, wird der Wert eines Schulabschlusses wieder eindeutig anerkannt werden 1 2,730 -,176,727 -,165,721 -,228,674 -,396,673 -,343,654 -,153,631 -,140,607 -,168,594 -,137,588 -,233,527 -,045,508 -,177 -,107,779 Komponente 1 2 Standards können dazu führen, dass -,194,734 die Übergänge auf weiterführende Schulformen objektiviert werden und es mehr Chancengleichheit gibt Bildungsstandards geben Eltern und -,197,714 Schüler/inne/n Klarheit über das, was von der Schule erwartet wird Bildungsstandards geben Klarheit, -,335,702 worauf es in der Schule letztendlich ankommt Bildungsstandards machen die Ziele -,241,693 der Schule für alle Beteiligten transparenter Bildungsstandards sind ein -,368,672 nützliches Instrument zur Qualitätssicherung im Schulwesen Die unterschiedlichen Verhältnisse -,117,665 der Schulen in Stadt und Land erfordern gemeinsame Standards Wenn es nicht klare Standards gibt,,029,651 ist ein Schulabschluss bald nichts mehr wert Bildungsstandards schärfen den -,299,609 Blick der Lehrkraft für Stärken und Schwächen ihrer Schüler/innen Bildungsstandards erleichtern den -,265,594 Einsatz gezielter Maßnahmen zur Förderung schwächerer Schüler/innen Bildungsstandards fördern die Zusammenarbeit und die Koordination der Lehrkräfte eines Faches -,242,520 Extraktionsmethode: Hauptkomponentenanalyse. Rotationsmethode: Varimax mit Kaiser- Normalisierung. Komponententransformationsmatrix Komponente 1 2 1,709 -,705 2,705,

96 1.3 Ergebnis Hauptkomponentenanalyse Nutzen (VS) KMO- und Bartlett-Test Maß der Stichprobeneignung nach Kaiser-Meyer-Olkin.,941 Bartlett-Test auf Sphärizität Ungefähres Chi-Quadrat 5901,103 df 55 Signifikanz nach Bartlett,000 Erklärte Gesamtvarianz Anfängliche Eigenwerte Summen von quadrierten Faktorladungen für Extraktion Komponente Gesamt % der Varianz Kumulierte % Gesamt % der Varianz Kumulierte % 1 7,315 66,504 66,504 7,315 66,504 66,504 2,865 7,866 74,370 3,576 5,236 79,606 4,443 4,029 83,634 5,377 3,431 87,065 6,308 2,804 89,869 7,291 2,646 92,515 8,257 2,337 94,852 9,215 1,953 96,805 10,201 1,829 98,634 11,150 1, ,000 Extraktionsmethode: Hauptkomponentenanalyse. Komponentenmatrix a Komponente 1 die Einschätzung von Stärken und Schwächen einzelner Schüler/innen,879 eine fördernde Leistungsfeststellung,879 die Planung von individuellen Fördermaßnahmen,842 die Unterscheidung verschiedener Kompetenzniveaus bei den Schüler/innen,838 als Grundlage für Gespräche mit Schüler/innen und Eltern,820 die Einschätzung/Diagnose des Lernstandes der Klasse,811 als Ausgangspunkt für Qualitäts- und Schulentwicklungsmaßnahmen,811 eine gerechte Leistungsbeurteilung,795 für Schullaufbahnentscheidungen,782 die Selbstreflexion der Lehrkraft,773 die Planung und Gestaltung des Unterrichts im Sinne der Förderung von Grundkompetenzen,728 Extraktionsmethode: Hauptkomponentenanalyse. a. 1 Komponenten extrahiert -95-

97 1.4 Ergebnis Hauptkomponentenanalyse Informiertheit (VS und Sek I) KMO- und Bartlett-Test Maß der Stichprobeneignung nach Kaiser-Meyer-Olkin.,901 Bartlett-Test auf Sphärizität Ungefähres Chi-Quadrat 8606,725 df 21 Signifikanz nach Bartlett,000 Erklärte Gesamtvarianz Anfängliche Eigenwerte Summen von quadrierten Faktorladungen für Extraktion Komponente Gesamt % der Varianz Kumulierte % Gesamt % der Varianz Kumulierte % 1 4,493 64,187 64,187 4,493 64,187 64,187 2,752 10,744 74,931 3,496 7,086 82,016 4,393 5,614 87,631 5,333 4,753 92,384 6,283 4,048 96,432 7,250 3, ,000 Extraktionsmethode: Hauptkomponentenanalyse. Komponentenmatrix a Komponente 1 Informiertheit - Ziele und Funktionen der Baselinetestung,863 Informiertheit - Verbindlichkeit der Umsetzung der Bildungsstandards,835 Informiertheit - Ziele und Funktionen der Bildungsstandards,821 Informiertheit - gesetzliche Verordnung der Bildungsstandards,806 Informiertheit - Ziele und Funktionen der Standardüberprüfungen,794 Informiertheit - Ablauf der Baselinetestung in den Klassen,741 Informiertheit - Rückmeldung der Testergebnisse,740 Extraktionsmethode: Hauptkomponentenanalyse. a. 1 Komponenten extrahiert -96-

98 1.5 Ergebnis Hauptkomponentenanalyse Einstellung (VS und Sek I) KMO- und Bartlett-Test Maß der Stichprobeneignung nach Kaiser-Meyer-Olkin.,946 Bartlett-Test auf Sphärizität Ungefähres Chi-Quadrat 20806,770 df 253 Signifikanz nach Bartlett,000 Erklärte Gesamtvarianz Anfängliche Eigenwerte Summen von quadrierten Faktorladungen für Extraktion Rotierte Summe der quadrierten Ladungen Komp. Gesamt % der Varianz Kumulierte % Gesamt % der Varianz Kumulierte % Gesamt % der Varianz Kumulierte % 1 8,733 37,971 37,971 8,733 37,971 37,971 6,048 26,294 26, ,358 10,251 48,222 2,358 10,251 48,222 5,043 21,928 48, ,139 4,952 53, ,061 4,614 57,788 5,901 3,917 61,705 6,743 3,231 64,936 7,718 3,120 68,056 8,684 2,974 71,030 9,639 2,778 73,809 10,622 2,703 76,511 11,546 2,376 78,887 12,503 2,189 81,076 13,492 2,141 83,216 14,485 2,107 85,323 15,461 2,003 87,326 16,448 1,950 89,276 17,436 1,894 91,169 18,400 1,739 92,909 19,371 1,614 94,523 20,361 1,571 96,094 21,357 1,553 97,647 22,289 1,257 98,904 23,252 1, ,000 Extraktionsmethode: Hauptkomponentenanalyse. -97-

99 Rotierte Komponentenmatrix a Nur wenn wir gemeinsame Bildungsstandards haben, wird der Wert eines Schulabschlusses wieder eindeutig anerkannt werden. Standards können dazu führen, dass die Übergänge auf weiterführende Schulformen objektiviert werden und es mehr Chancengleichheit gibt. Bildungsstandards geben Klarheit, worauf es in der Schule letztendlich ankommt. Bildungsstandards geben Eltern und Schüler/inne/n Klarheit über das, was von der Schule erwartet wird. Bildungsstandards machen die Ziele der Schule für alle Beteiligten transparenter. Bildungsstandards sind ein nützliches Instrument zur Qualitätssicherung im Schulwesen. Wenn es nicht klare Standards gibt, ist ein Schulabschluss bald nichts mehr wert. Bildungsstandards erleichtern den Einsatz gezielter Maßnahmen zur Förderung schwächerer Schüler/innen. Bildungsstandards schärfen den Blick der Lehrkraft für Stärken und Schwächen ihrer Schüler/innen. Bildungsstandards fördern die Zusammenarbeit und die Koordination der Lehrkräfte eines Faches. Die unterschiedlichen Verhältnisse der Schulen in Stadt und Land erfordern gemeinsame Standards. Die professionelle Handlungs- und Entscheidungsfreiheit wird durch Standards deutlich eingeschränkt. Komponente 1 2,765 -,140,746 -,178,735 -,271,732 -,178,727 -,204,721 -,321,635 -,060,631 -,193,631 -,258,621 -,154,620 -,193 -,228,726 Bildungsstandards bringen die Gefahr -,224,708 einer inhaltlichen Verarmung des Unterrichts mit sich. Standards und Schulautonomie - das -,287,685 geht einfach nicht zusammen. Bildungsstandards verstärken den -,022,614 Leistungs- und Selektionsdruck in der Schule. Schulen sind zu verschieden, um ihre -,424,613 Leistungen an gleichen Maßstäben zu messen. Der ausschließliche Blick auf die -,177,612 Ergebnisse vernachlässigt die wichtige Prozessdimension des Unterrichts. Die einseitige Betonung der Fachleistungen führt zu einer Unterschätzung der erzieherischen Leistungen der Schule. -,151,598 Außer Mehrarbeit für die Lehrkräfte -,501,585 werden die Bildungsstandards vermutlich nicht viel bringen. Bildungsstandards bewirken eine -,294,570 "Nivellierung nach unten" und vermindern die Schulqualität eher, als dass sie sie verbessern. Am Konzept zur Umsetzung der -,199,563 Bildungsstandards ist noch zu vieles ungeklärt, um es wirklich beurteilen zu können. Von Standards zu Schulrankings ist -,120,552 der Weg nicht weit. Bildungsstandards sind meiner Ansicht nach primär ein Instrument der Kontrolle von Schule und Lehrer/innen. -,052,549 Extraktionsmethode: Hauptkomponentenanalyse. Rotationsmethode: Varimax mit Kaiser-Normalisierung. a. Die Rotation ist in 3 Iterationen konvergiert. Komponententransformationsmatrix Komponente 1 2 1,761 -,649 2,649,

100 1.6 Ergebnis Hauptkomponentenanalyse Nutzen (VS und Sek I) KMO- und Bartlett-Test Maß der Stichprobeneignung nach Kaiser-Meyer-Olkin.,949 Bartlett-Test auf Sphärizität Ungefähres Chi-Quadrat 17899,823 df 45 Signifikanz nach Bartlett,000 Erklärte Gesamtvarianz Anfängliche Eigenwerte Summen von quadrierten Faktorladungen für Extraktion Komponente Gesamt % der Varianz Kumulierte % Gesamt % der Varianz Kumulierte % 1 7,022 70,220 70,220 7,022 70,220 70,220 2,689 6,889 77,109 3,508 5,077 82,185 4,356 3,563 85,748 5,314 3,140 88,889 6,265 2,650 91,538 7,259 2,591 94,129 8,228 2,279 96,408 9,197 1,968 98,377 10,162 1, ,000 Extraktionsmethode: Hauptkomponentenanalyse. Komponentenmatrix a Komponente 1 eine fördernde Leistungsfeststellung,886 die Einschätzung von Stärken und Schwächen einzelner Schüler/innen,881 die Planung von individuellen Fördermaßnahmen,865 die Unterscheidung verschiedener Kompetenzniveaus bei den Schüler/innen,858 die Einschätzung/Diagnose des Lernstandes der Klasse,850 als Grundlage für Gespräche mit Schüler/innen und Eltern,832 die Selbstreflexion der Lehrkraft,811 eine gerechte Leistungsbeurteilung,811 die Planung und Gestaltung des Unterrichts im Sinne der Förderung von Grundkompetenzen,794 Schullaufbahnentscheidungen,785 Extraktionsmethode: Hauptkomponentenanalyse. a. 1 Komponenten extrahiert -99-

101 1.7 Analyse von Gruppenunterschieden Vergleich zwischen Lehrkräften und Schulleiter/innen Informiertheit/ Bewertung der Bist Informiertheit positive Aspekte problematische Aspekte Nutzen Lehrer/innen Schulleiter/innen Signifikanzprüfung AM = -0,291 SD = 0,966 n = 414 AM = -0,057 SD = 0,974 n = 400 AM = 0,173 SD = 0,907 n = 400 AM = -0,129 SD = 0,985 n = 404 AM = 0,493 SD = 0,854 n = 244 AM = 0,097 SD = 1,038 n = 237 AM = -0,292 SD = 1,081 n = 237 AM = 0,221 SD = 0,988 n = 236 T = -10,493, p 0,001, df = 656 T = -1,889, p = 0,059, df = 635 T = 5,559, p 0,001, df = 429,779 T = -4,342, p 0,001, df = 638 Tabelle 22: Informiertheit und Bewertung der Bildungsstandards Vergleich zwischen Lehrer/innen und Schulleiter/innen (z-standardisierte Mittelwerte) Fortbildung Lehrer/innen Schulleiter/innen Signifikanzprüfung ja 73,3 % 94,8 % nein 26,7 % 5,2 % χ 2 = 47,260, df = 1, p 0,001; n = 671 Tabelle 23: Teilnahme an einer Fortbildung Vergleich zwischen Lehrer/innen und Schulleiter/innen Fortbildung (Anzahl) Lehrer/innen Schulleiter/innen Signifikanzprüfung öfter als zweimal 39,2 % 69,1 % zweimal 33,7 % 21,9 % einmal 27,2 % 9,0 % χ 2 = 51,961, df = 2, p 0,001; n = 542 Tabelle 24: Anzahl besuchter Fortbildung(en) Vergleich zwischen Lehrer/innen und Schulleiter/innen Fortbildungsintensität Lehrer/innen Schulleiter/innen Signifikanzprüfung hoch 6,2 % 10,7 % mittel 67,5 % 80,7 % gering 26,3 % 8,6 % χ 2 = 28,826, df = 2, p 0,001; n = 541 Tabelle 25: Fortbildungsintensität Vergleich zwischen Lehrer/innen und Schulleiter/innen erlebte Unterstützung Lehrer/innen Schulleiter/innen Signifikanzprüfung sehr gut 8,5 % 23,3 % gut 54,8 % 62,0 % wenig 31,6 % 13,5 % gar nicht 5,1 % 1,2 % χ 2 = 52,261, df = 3, p 0,001; n = 659 Tabelle 26: Erlebte Unterstützung Vergleich zwischen Lehrer/innen und Schulleiter/innen -100-

102 1.7.2 Unterschiede nach Informiertheit Bewertung der Bist besser durchschnittlich weniger Signifikanzprüfung positive Aspekte problematische Aspekte Nutzen AM = 0,091 SD = 1,101 n = 212 AM = -0,471 SD = 1,061 n = 212 AM = 0,246 SD = 1,059 n = 209 informiert AM = 0,089 SD = 0,892 n = 202 AM = 0,129 SD = 0,919 n = 202 AM = 0,023 SD = 0,846 n = 204 AM = -0,203 SD = 0,961 n = 206 AM = 0,319 SD = 0,820 n = 206 AM = -0,279 SD = 1,005 n = 206 Tabelle 27: Bewertung der Bildungsstandards nach Informiertheit (z-standardisierte Mittelwerte) F = 6,009, p = 0,003, df = 2* F = 40,306, p 0,001, df = 2* F = 15,126, p 0,001, df = 2* erlebte Unterstützung besser durchschnittlich weniger Signifikanzprüfung informiert sehr gut 36,1 % 4,2 % 1,9 % gut 58,8 % 68,4 % 45,0 % wenig 5,1 % 26,4 % 43,1 % gar nicht 0,0 % 0,9 % 10,0 % Tabelle 28: Erlebte Unterstützung nach Informiertheit Unterschiede nach Fortbildungsbesuch (ja/nein) Informiertheit/ Bewertung der Bist Informiertheit positive Aspekte problematische Aspekte Nutzen AM = 0,144 SD = 0,918 n = 530 AM = -0,009 SD = 1,005 n = 510 AM = -0,071 SD = 1,009 n = 510 AM = 0,023 SD = 0,994 n = 514 χ 2 = 218,024, df = 6, p 0,001; n = 637 Fortbildung keine Fortbildung Signifikanzprüfung AM = -0,641 SD = 1,105 n = 120 AM = 0,016 SD = 1,001 n = 120 AM = 0,307 SD = 0,911 n = 120 AM = -0,120 SD = 0,995 n = 119 T = 7,246, p 0,001, df = 158,281 T = -0,242, p = 0,809, df = 628 T = -3,764, p 0,001, df = 628 T = 1,413, p = 0,158, df = 631 Tabelle 29: Informiertheit und Bewertung der Bildungsstandards nach Fortbildungsbesuch (z-standardisierte Mittelwerte) erlebte Unterstützung Fortbildung keine Fortbildung Signifikanzprüfung sehr gut 16,4 % 2,5 % gut 61,4 % 40,2 % wenig 20,5 % 45,1 % gar nicht 1,7 % 12,3 % Tabelle 30: Erlebte Unterstützung nach Fortbildungsbesuch χ 2 = 75,890, df = 3, p 0,001; n = 653 * Die Voraussetzungsprüfung ergab hier Hinweise auf Varianzheterogenität. Allerdings führen auch konservative Verfahren zu einem (beinahe) identen Ergebnis

103 1.7.4 Unterschiede nach Fortbildungsintensität erlebte Unterstützung hohe mittlere geringe Signifikanzprüfung Fortbildungsintensität sehr gut 25,0 % 17,4 % 9,2 % gut 63,6 % 62,6 % 55,1 % wenig 6,8 % 19,2 % 31,6 % gar nicht 4,5 % 0,8 % 4,1 % Tabelle 31: Erlebte Unterstützung nach Fortbildungsintensität Informiertheit/ Bewertung der Bist Informiertheit positive Aspekte problematische Aspekte Nutzen χ 2 = 23,558, df = 6, p = 0,001; n = 527 hohe mittlere geringe Signifikanzprüfung AM = 0,539 SD = 0,807 n = 42 AM = 0,010 SD = 1,158 n = 41 AM = -0,445 SD = 1,027 n = 41 AM = 0,174 SD = 1,200 n = 39 Fortbildungsintensität AM = 0,221 SD = 0,898 n = 385 AM = -0,020 SD = 1,003 n = 372 AM = -0,119 SD = 1,008 n = 372 AM = 0,049 SD = 0,975 n = 376 AM = -0,300 SD = 0,867 n = 99 AM = -0,031 SD = 0,963 n = 93 AM = 0,301 SD = 0,920 n = 93 AM = -0,163 SD = 0,967 n = 95 Tabelle 32: Informiertheit und Bewertung der Bildungsstandards nach Fortbildungsintensität (z-standardisierte Mittelwerte) Unterschiede nach erlebter Unterstützung Informiertheit/ Bewertung der Bist Informiertheit positive Aspekte problematische Aspekte Nutzen F = 18,070, p 0,001, df = 2 F = 0,280, p = 0,756, df = 2 F = 9,858, p 0,001, df = 2 F = 2,252, p = 0,106, df = 2 sehr gut gut wenig/gar nicht Signifikanzprüfung AM = 1,042 SD = 0,562 n = 91 AM = 0,238 SD = 1,060 n = 90 AM = -0,622 SD = 1,078 n = 90 AM = 0,446 SD = 0,988 n = 91 AM = 0,148 SD = 0,813 n = 366 AM = 0,008 SD = 0,979 n = 354 AM = -0,083 SD = 0,943 n = 354 AM = 0,088 SD = 0,968 n = 355 AM = -0,780 SD = 0,920 n = 180 AM = -0,135 SD = 1,016 n = 178 AM = 0,466 SD = 0,878 n = 178 AM = -0,387 SD = 0,942 n = 182 Tabelle 33: Informiertheit und Bewertung der Bildungsstandards nach erlebter Unterstützung (z-standardisierte Mittelwerte) F = 162,852, p 0,001, df = 2* F = 4,190, p = 0,016, df = 2 F = 42,437, p 0,001, df = 2* F = 25,908, p 0,001, df = 2 * Die Voraussetzungsprüfung ergab hier Hinweise auf Varianzheterogenität. Allerdings führen auch konservative Verfahren zu einem (beinahe) identen Ergebnis

104 1.7.6 Vergleich zwischen Befragten der Sekundarstufe I und der Volksschule Informiertheit/ Bewertung der Bist Informiertheit positive Aspekte problematische Aspekte Nutzen Sek I VS Signifikanzprüfung AM = -0,317 SD = 0,915 n = 1412 AM = -0,069 SD = 1,012 n = 1350 AM = 0,061 SD = 0,972 n = 1350 AM = -0,103 SD = 1,005 n = 1375 AM = 0,680 SD = 0,820 n = 658 AM = 0,146 SD = 0,959 n = 637 AM = -0,129 SD = 1,046 n = 637 AM = 0,221 SD = 0,952 n = 643 T = -24,797, p 0,001, df = 1419,129 T = -4,583, p 0,001, df = 1309,638 T = 3,849, p 0,001, df = 1168,274 T = -6,867, p 0,001, df = 2016 Tabelle 34: Informiertheit und Bewertung der Bildungsstandards Vergleich zwischen Befragten der Sekundarstufe I und der Volksschule (z-standardisierte Mittelwerte) Fortbildung Sek I VS Signifikanzprüfung ja 57,6 % 81,2 % χ 2 = 111,884, df = 1, p 0,001; nein 42,4 % 18,8 % n = 2094 Tabelle 35: Teilnahme an einer Fortbildung Vergleich zwischen Befragten der Sekundarstufe I und der Volksschule Fortbildung (Anzahl) Sek I VS Signifikanzprüfung mehrmals 49,2 % 80,6 % χ 2 = 135,730, df = 1, p 0,001; einmal 50,8 % 19,4 % n = 1349 Tabelle 36: Anzahl besuchter Fortbildung(en) Vergleich zwischen Befragten der Sekundarstufe I und der Volksschule Fortbildungsintensität Sek I VS Signifikanzprüfung hoch 6,7 % 8,1 % mittel 44,0 % 73,2 % gering 49,3 % 18,7 % χ 2 = 132,708, df = 2, p 0,001; n = 1348 Tabelle 37: Fortbildungsintensität Vergleich zwischen Befragten der Sekundarstufe I und der Volksschule erlebte Unterstützung Sek I VS Signifikanzprüfung sehr gut 3,0 % 14,0 % gut 30,4 % 57,5 % wenig 54,9 % 24,9 % gar nicht 11,7 % 3,6 % χ 2 = 288,552, df = 3, p 0,001; n = 2059 Tabelle 38: Erlebte Unterstützung Vergleich zwischen Befragten der Sekundarstufe I und der Volksschule -103-

105 Klärungsfunktion Sek I VS Signifikanzprüfung ja, eindeutig 18,9 % 31,0 % kaum 28,3 % 27,7 % weiß ich noch nicht 32,1 % 26,3 % nein 12,2 % 8,1 % eher Verwirrung 8,5 % 6,9 % χ 2 = 41,981, df = 4, p 0,001; n = 2080 Tabelle 39: Bringen Bildungsstandards zusätzliche Klärung und Orientierung? Vergleich zwischen Befragten der Sekundarstufe I und der Volksschule Verwendung Bist Sek I VS Signifikanzprüfung ja, regelmäßig 7,3 % 14,5 % ja, hin und wieder 61,6 % 68,4 % nein 31,1 % 17,1 % χ 2 = 41,661, df = 2, p 0,001; n = 1645 Tabelle 40: Verwendung der Bildungsstandards Vergleich zwischen Lehrkräften der Sekundarstufe I und der Volksschule Lehrer/innen Bewertung der Bist HS AHS VS Signifikanzprüfung positive Aspekte problematische Aspekte Nutzen AM = -0,106 SD = 0,997 n = 887 AM = -0,217 SD = 1,071 n = 270 AM = 0,080 SD = 0,932 n = 400 F = 8,028, p 0,001, df = 2* Mehrfachvergleiche signifikante Unterschiede: VS-HS, VS-AHS AM = 0,085 AM = 0,266 AM = 0,035 SD = 0,919 SD = 1,020 SD = 0,943 n = 887 n = 270 n = 400 F = 5,249, p = 0,005, df = 2 Mehrfachvergleiche signifikante Unterschiede: VS-AHS, HS-AHS AM = -0,138 AM = -0,321 AM = 0,106 SD = 1,002 SD = 1,027 SD = 0,940 n = 910 n = 268 n = 407 F = 16,072, p 0,001, df = 2 Mehrfachvergleiche signifikante Unterschiede: VS-HS, VS-AHS, HS-AHS Schulleiter/innen Bewertung der Bist HS AHS VS Signifikanzprüfung positive Aspekte problematische Aspekte Nutzen AM = 0,342 SD = 0,835 n = 123 AM = 0,477 SD = 0,812 n = 50 AM = 0,258 SD = 0,995 n = 237 Mehrfachvergleiche keine signifikanten Unterschiede AM = -0,313 AM = -0,288 AM = -0,404 SD = 1,045 SD = 1,005 SD = 1,151 n = 123 n = 50 n = 237 Mehrfachvergleiche keine signifikanten Unterschiede AM = 0,439 AM = 0,345 AM = 0,420 SD = 0,768 SD = 0,847 SD = 0,942 n = 129 n = 50 n = 236 Mehrfachvergleiche keine signifikanten Unterschiede F = 1,249, p = 0,288, df = 2* F = 0,408, p = 0,665, df = 2 F = 0,208, p = 0,812, df = 2* Tabelle 41: Bewertung der Bildungsstandards Vergleich zwischen HS-, AHS- und VS-Befragten (getrennt nach Lehrkräften und Schulleiter/innen; z-standardisierte Mittelwerte) * Die Voraussetzungsprüfung ergab hier Hinweise auf Varianzheterogenität. Allerdings führen auch konservative Verfahren zu einem (beinahe) identen Ergebnis

106 1.7.7 Einstellungsgruppen Gruppenvergleiche Einstellungsgruppe Lehrer/innen Schulleiter/innen Signifikanzprüfung positive Aspekte überwiegen 10,2 % 21,7 % weder positive, noch problematische Aspekte 75,2 % 68,3 % problematische Aspekte überwiegen 14,6 % 10,1 % Tabelle 42: Einstellungsgruppen Vergleich zwischen Lehrer/innen und Schulleiter/innen (VS) χ 2 = 13,536, df = 2, p 0,001; n = 512 Einstellungsgruppe besser durchschnittlich weniger Signifikanzprüfung positive Aspekte überwiegen weder positive, noch problematische Aspekte problematische Aspekte überwiegen informiert 25,6 % 13,4 % 4,3 % 65,3 % 76,4 % 75,6 % 9,1 % 10,2 % 20,1 % Tabelle 43: Einstellungsgruppen in Bezug zur Informiertheit (VS) χ 2 = 37,652, df = 4, p 0,001; n = 497 Einstellungsgruppe hohe mittlere geringe Signifikanzprüfung positive Aspekte überwiegen weder positive, noch problematische Aspekte problematische Aspekte überwiegen Fortbildungsintensität 33,3 % 15,0 % 8,2 % 50,0 % 75,1 % 68,5 % 16,7 % 10,0 % 23,3 % Tabelle 44: Einstellungsgruppen in Bezug zur Fortbildungsintensität (VS) χ 2 = 21,465, df = 4, p 0,001; n = 410 Einstellungsgruppe sehr gut gut wenig gar nicht Signifikanzprüfung positive Aspekte überwiegen weder positive, noch problematische Aspekte problematische Aspekte überwiegen unterstützt 31,6 % 15,1 % 5,8 % 0,0 % 60,5 % 74,0 % 76,0 % 68,8 % 7,9 % 10,9 % 18,2 % 31,3 % Tabelle 45: Einstellungsgruppen in Bezug zur erlebten Unterstützung (VS) χ 2 = 34,434, df = 6, p 0,001; n = 498 Einstellungsgruppe Sek I VS Signifikanzprüfung positive Aspekte überwiegen 10,9 % 14,5 % weder positive, noch problematische Aspekte 67,3 % 72,7 % problematische Aspekte überwiegen 21,9 % 12,9 % Tabelle 46: Einstellungsgruppen Vergleich zwischen Befragten der Volkschule und der Sekundarstufe I χ 2 = 19,800, df = 2, p 0,001; n =

107 1.8 Evaluationsfragebogen zur Rezeption der Bildungsstandards Lehrkräfte Da der Schulleiterfragebogen mit dem Lehrerfragebogen weitgehend ident war, wurde dieser nicht in den Anhang aufgenommen. Gab es unterschiedliche Fragestellungen, wird im Textteil des Berichts explizit darauf hingewiesen

108 Lehrerfragebogen Klassen-ID: Klasse: Evaluation zur Einführung von Bildungsstandards FRAGEBOGEN FÜR LEHRER/INNEN Volksschule Herbst 2010 BIFIE Graz I Zentrum für Bildungsforschung & Evaluation Hans-Sachs-Gasse 3/II / 8010 Graz / Telefon / Fax -6 / office.graz@bifie.at /

109 I. Allgemeine Informationen 1. Geschlecht: weiblich 1 männlich 2 2. Anzahl der Dienstjahre (einschließlich des laufenden Schuljahres): bis zu 5 Jahre 1 6 bis 15 Jahre 2 mehr als 15 Jahre 3 II. Fragen zu den Bildungsstandards 3. Sind Sie an Ihrer Schule verantwortlich für den Bereich Bildungsstandards? 1 2 ja nein 4. Sind Sie Bildungsstandards-Koordinator/in bzw. -Fachkoordinator/in für Ihr Bundesland oder Ihren Bezirk? ja nein Sind Sie Multiplikator/in für Bildungsstandards? 1 2 ja nein 6. Waren Sie bei der Baseline-Testung im Frühjahr 2010 als Testleiter/in und bzw. oder Rater/in 1 tätig? ja nein a) als Testleiter/in 1 2 b) als Rater/in Wie gut fühlen Sie sich informiert über sehr gut gut wenig gar nicht a) die Ziele und Funktionen der Bildungsstandards b) die gesetzliche Verordnung der Bildungsstandards Rater/in = speziell geschulte Lehrkraft, die im Rahmen der Testung/Überprüfung verfasste Schülertexte beurteilt Bist 8 Lehrer/innen/fragebogen

110 sehr gut gut wenig gar nicht c) die Verbindlichkeit der Umsetzung der Bildungsstandards d) die Ziele und Funktionen der Baseline-Testung (Frühjahr 2010) e) den Ablauf der Baseline-Testung in den Klassen (Frühjahr 2010) f) die Rückmeldung der Testergebnisse (Wer welche Informationen erhält.) g) die Ziele und Funktionen der Standardüberprüfungen ab Haben Sie von den angeführten Institutionen Informationen zum Thema Bildungsstandards erhalten? Bitte in jeder Zeile alle zutreffenden Kästchen ankreuzen. Wenn ja, wie hilfreich waren diese Informationen für Sie? ja nein sehr hilfreich gar nicht hilfreich a) Unterrichtsministerium b) Landesschulrat/Stadtschulrat c) Bezirksschulrat d) Bundeslandkoordinator/innen bzw. Bundeslandfachkoordinator/innen e) Pädagogische Hochschule f) BIFIE g) andere nämlich: Bist 8 Lehrer/innen/fragebogen

111 9. Wenn Sie Ihr heutiges Wissen über die Bildungsstandards zu Grunde legen: Wie schätzen Sie Möglichkeiten und Probleme von Bildungsstandards ein? a) Bildungsstandards sind ein nützliches Instrument zur Qualitätssicherung im Schulwesen. b) Bildungsstandards machen die Ziele der Schule für alle Beteiligten transparenter. c) Bildungsstandards sind meiner Ansicht nach primär ein Instrument der Kontrolle von Schule und Lehrer/innen. d) Die professionelle Handlungs- und Entscheidungsfreiheit wird durch Standards deutlich eingeschränkt. e) Wenn es nicht klare Standards gibt, ist ein Schulabschluss bald nichts mehr wert. f) Bildungsstandards bewirken eine Nivellierung nach unten und vermindern die Schulqualität eher, als dass sie sie verbessern. g) Bildungsstandards verstärken den Leistungs- und Selektionsdruck in der Schule. h) Bildungsstandards geben Klarheit, worauf es in der Schule letztendlich ankommt. stimmt genau stimmt eher unentschieden stimmt eher nicht stimmt gar nicht i) Standards und Schulautonomie das geht einfach nicht zusammen j) Die unterschiedlichen Verhältnisse der Schulen in Stadt und Land erfordern gemeinsame Standards. k) Nur wenn wir gemeinsame Bildungsstandards haben, wird der Wert eines Schulabschlusses wieder eindeutig anerkannt werden Bist 8 Lehrer/innen/fragebogen

112 stimmt genau stimmt eher unentschieden stimmt eher nicht stimmt gar nicht l) Standards können dazu führen, dass die Übergänge auf weiterführende Schulformen objektiviert werden und es mehr Chancengleichheit gibt. m) Der ausschließliche Blick auf die Ergebnisse vernachlässigt die wichtige Prozessdimension des Unterrichts. n) Bildungsstandards schärfen den Blick der Lehrkraft für Stärken und Schwächen ihrer Schüler/innen. o) Am Konzept zur Umsetzung der Bildungsstandards ist noch zu vieles ungeklärt, um es wirklich beurteilen zu können. p) Die einseitige Betonung von Fachleistungen führt zu einer Unterschätzung der erzieherischen Leistungen der Schule. q) Außer Mehrarbeit für die Lehrkräfte werden die Bildungsstandards vermutlich nicht viel bringen. r) Schulen sind zu verschieden, um ihre Leistungen an gleichen Maßstäben zu messen. s) Bildungsstandards erleichtern den Einsatz gezielter Maßnahmen zur Förderung schwächerer Schüler/innen. t) Von Standards zu Schulrankings ist der Weg nicht weit. u) Bildungsstandards geben Eltern und Schüler/innen Klarheit über das, was von der Schule erwartet wird. v) Bildungsstandards bringen die Gefahr einer inhaltlichen Verarmung des Unterrichts mit sich. w) Bildungsstandards fördern die Zusammenarbeit und Koordination der Lehrkräfte eines Faches Bist 8 Lehrer/innen/fragebogen

113 10. Wie hilfreich sind aus Ihrer Sicht die Bildungsstandards a) für die Planung und Gestaltung des Unterrichts im Sinne der Förderung von Grundkompetenzen? sehr hilfreich gar nicht hilfreich b) für die Selbstreflexion der Lehrkraft? c) für die Einschätzung/Diagnose des Lernstandes der Klasse? d) für die Einschätzung von Stärken und Schwächen einzelner Schüler/innen? e) für die Planung von individuellen Fördermaßnahmen? f) für die Unterscheidung verschiedener Kompetenzniveaus bei den Schüler/innen? g) für eine fördernde Leistungsfeststellung? h) für eine gerechte Leistungsbeurteilung? i) als Grundlage für Gespräche mit Schüler/innen und Eltern? j) für Schullaufbahnentscheidungen? k) als Ausgangspunkt für Qualitätsund Schulentwicklungsmaßnahmen? Bringen Ihrer Ansicht nach die Bildungsstandards gegenüber den Lehrplänen zusätzliche Klärung und Orientierung für die Unterrichtsarbeit? ja, eindeutig kaum nein eher Verwirrung weiß ich noch nicht Stellt die Arbeit mit den Bildungsstandards eher eine Erleichterung oder eine Erschwernis der Unterrichtsarbeit dar? eher eine Erleichterung weder noch eher eine Erschwernis weiß ich noch nicht Bist 8 Lehrer/innen/fragebogen

114 III. Fragen zur Testung und zur Nutzung der Bildungsstandards im Unterricht 13. Wie haben Sie die Haltungen Ihrer Schüler/innen der Testung gegenüber erlebt? Ich hatte den Eindruck, dass viele meiner Schüler/innen stimmt genau stimmt eher unentschieden stimmt eher nicht stimmt gar nicht a) die Testung als positive Herausforderung wahrgenommen haben b) ein möglichst gutes Ergebnis erzielen wollten c) Angst vor der Testung hatten d) der Testung negativ gegenüberstanden e) die Testung nicht ernst nahmen Verwenden Sie die Bildungsstandards für Ihre Unterrichtsplanung bzw. -gestaltung? ja, regelmäßig ja, hin und wieder nein Wenn ja, in welcher Form? 15. Kennen Sie die folgenden Unterlagen bzw. Materialien? Bitte in jeder Zeile alle zutreffenden Kästchen ankreuzen. ja nein Wenn ja, nutzen Sie diese Unterlagen/Materialien für Ihre Unterrichtsplanung und -gestaltung? ja, regelmäßig ja, hin und wieder nein a) Verordnung zu den Bildungsstandards b) Aufgabenbeispiele (freigegebene Items) auf der BIFIE-Website c) Praxishandbuch Mathematik (4. Schulstufe) d) Praxishandbuch Deutsch (4. Schulstufe) Bist 8 Lehrer/innen/fragebogen

115 16. Kennen Sie die Diagnoseinstrumente zur informellen Kompetenzmessung (IKM) ja nein a) für Mathematik (3. Schulstufe)? 1 2 b) für Deutsch (3. Schulstufe)? 1 2 Wenn ja, haben Sie bereits einmal eine solche Kompetenzmessung durchgeführt? ja nein a) in Mathematik 1 2 b) in Deutsch 1 2 IV. Fragen zum Unterstützungsbedarf 17. Insgesamt betrachtet, wie gut fühlen Sie sich im Hinblick auf die Umsetzung der Bildungsstandards unterstützt (durch Informationen, Materialien, Fortbildungen etc.)? sehr gut gut wenig gar nicht Wie wichtig sind bzw. wären für Sie die folgenden Materialien bzw. Begleitmaßnahmen für die Umsetzung der Bildungsstandards im Unterricht? sehr gar nicht wichtig wichtig a) standardbasierte Unterrichtsaufgaben b) Schulbücher, die die Umsetzung der Bildungsstandards unterstützen c) Praxishandbücher (mit Hintergrundinformationen, fachdidaktischen Empfehlungen, ausgewählten Unterrichtsbeispielen) d) Instrumente zur Diagnose des Lernstandes der Schüler/innen e) Videos mit Unterrichtssequenzen, die den Kompetenzaufbau bei Schüler/innen veranschaulichen f) vertiefende Fortbildungsveranstaltungen g) Vernetzung mit Lehrer/innen anderer Schulstandorte h) kollegiale Hospitation (zur konkreten Unterstützung des eigenen Unterrichts) i) Rückmeldung für Lehrkräfte über die Ergebnisse in der getesteten Klasse Bist 8 Lehrer/innen/fragebogen

116 19. Zu welchen der folgenden (Themen-)Bereiche brauchen Sie noch mehr Informationen bzw. Materialien? sehr wichtig nicht notwendig a) zu den Bildungsstandards allgemein b) zu den Kompetenzmodellen c) zum Ablauf der Testungen/Überprüfungen d) zur Rückmeldung der Testergebnisse e) zum Umgang mit den Testergebnissen (Interpretation, Ableitung von Maßnahmen) f) zu kompetenzorientiertem Unterrichten g) zu Möglichkeiten innerer Differenzierung h) zur Diagnose des Lernstandes von Schüler/innen i) zum Thema Bildungsstandards & Leistungsbeurteilung j) zur Auswahl und Handhabung von Lehrbüchern Erachten Sie weitere Materialien bzw. Maßnahmen als notwendig, um mit den Bildungsstandards im Unterricht adäquat arbeiten zu können? ja nein 1 2 Wenn ja, welche? V. Fragen zum Fortbildungsangebot und zum Fortbildungsbedarf 21. Haben Sie eine Schulung zur Testleiterin/zum Testleiter absolviert? Wenn ja, wie zufrieden waren Sie mit dieser Schulung? ja nein sehr zufrieden gar nicht zufrieden Bist 8 Lehrer/innen/fragebogen

117 22. Haben Sie eine Fortbildung/Fortbildungen zum Thema Bildungsstandards besucht? ja nein 1 2 Wenn ja, bitte weiter mit Frage 23. Wenn nein, bitte weiter mit Frage Wie oft haben Sie eine Fortbildungsveranstaltung zum Thema Bildungsstandards besucht? einmal zweimal öfter als zweimal Wann haben Sie die Fortbildungsveranstaltung(en) zum Thema Bildungsstandards besucht? ja nein a) im aktuellen Schuljahr (2010/11) 1 2 b) im vergangenen Schuljahr (2009/10) 1 2 c) vor dem Schuljahr 2009/ An welchen Arten von Fortbildung haben Sie teilgenommen? ja nein a) schulinterne Veranstaltung (SCHILF) 1 2 b) schulübergreifende Veranstaltung (SCHÜLF) 1 2 c) landesweite Veranstaltung (z. B. an der PH) Welche Dauer hatte(n) die besuchte(n) Fortbildungsveranstaltung(en)? ja nein a) halbtägige (oder kürzere) Veranstaltung 1 2 b) eintägige Veranstaltung 1 2 c) mehrtägige Veranstaltung (aber kein Lehrgang) 1 2 d) Lehrgang Haben Sie die Fortbildung aus Eigeninitiative oder auf Anregung Ihrer Schulleiterin/ Ihres Schulleiters besucht? aus Eigeninitiative auf Anregung der Schulleiterin/des Schulleiters sowohl als auch Bist 8 Lehrer/innen/fragebogen

118 28. Wenn Sie Ihre bisher besuchten Fortbildungen zum Thema Bildungsstandards zusammenfassend beurteilen, wie hilfreich waren diese für Sie? sehr gar nicht hilfreich hilfreich Ist das Fortbildungsangebot zum Thema Bildungsstandards aus Ihrer Sicht ausreichend? völlig gar nicht ausreichend ausreichend Wenn Sie noch etwas anmerken möchten, finden Sie im Anschluss noch Raum dafür: Herzlichen Dank für Ihre Mitarbeit! Bist 8 Lehrer/innen/fragebogen

119 2 Tabellenanhang zu Kapitel C 2.1 Analyse von Gruppenunterschieden Vergleich zwischen Lehrkräften und Schulleiter/innen Informiertheit Lehrer/innen Schulleiter/innen Signifikanzprüfung Zeitpunkt der Rückmeldung Inhalt der Rückmeldung Adressaten der Rückmeldung Rückmeldung Schulaufsicht AM = 4,19 SD = 0,965 n = 407 AM = 3,84 SD = 1,036 n = 405 AM = 3,99 SD = 1,145 n = 405 AM = 3,15 SD = 1,388 n = 405 AM = 4,57 SD = 0,761 n = 230 AM = 4,57 SD = 0,771 n = 230 AM = 4,62 SD = 0,808 n = 231 AM = 4,20 SD = 1,160 n = 231 T = -5,462, p 0,001, df = 569,185 T = -10,113, p 0,001, df = 588,570 T = -8,130, p 0,001, df = 606,013 T = -10,237, p 0,001, df = 550,062 Tabelle 47: Informiertheit über die Ergebnisrückmeldung Vergleich zwischen Lehrer/innen und Schulleiter/innen (Beurteilungsskala: 1 = sehr schlecht 5 = sehr gut) Ausführlichkeit der Auseinandersetzung Lehrer/innen Schulleiter/innen Signifikanzprüfung AM = 4,01 SD = 0,971 n = 405 AM = 4,41 SD = 0,706 n = 227 T = -5,841, p 0,001, df = 588,856 Tabelle 48: Ausführlichkeit der Auseinandersetzung mit der Rückmeldung Vergleich zwischen Lehrer/innen und Schulleiter/innen (Beurteilungsskala: 1 = gar nicht 5 = sehr ausführlich) Beurteilung Lehrer/innen Schulleiter/innen Signifikanzprüfung Informationsgehalt Verständlichkeit Übersichtlichkeit praktische Verwertbarkeit AM = 1,96 SD = 0,865 n = 396 AM = 1,88 SD = 0,769 n = 395 AM = 1,83 SD = 0,808 n = 395 AM = 2,58 SD = 1,119 n = 394 AM = 1,59 SD = 0,697 n = 231 AM = 1,55 SD = 0,701 n = 231 AM = 1,54 SD = 0,733 n = 231 AM = 2,13 SD = 1,062 n = 230 T = 5,560, p 0,001, df = 625 T = 5,218, p 0,001, df = 624 T = 4,579, p 0,001, df = 624 T = 4,890, p 0,001, df = 622 Tabelle 49: Bewertung der Ergebnisrückmeldung Vergleich zwischen Lehrer/innen und Schulleiter/innen (Beurteilungsskala: 1 = Sehr gut 5 = Nicht genügend) Wert der Rückmeldung für die schulische Praxis Lehrer/innen Schulleiter/innen Signifikanzprüfung AM = 3,43 SD = 1,081 n = 398 AM = 3,96 SD = 1,017 n = 227 T = -6,083, p 0,001, df = 494,268 Tabelle 50: Einschätzung der Bedeutung der Rückmeldung für die schulische Praxis Vergleich zwischen Lehrer/innen und Schulleiter/innen (Beurteilungsskala: 1 = gar nicht wertvoll 5 = sehr wertvoll) -118-

120 Verbesserungsbedarf Lehrer/innen Schulleiter/innen Signifikanzprüfung Abbildungen Erklärungstexte Hintergrundinformationen Verkürzung Zeitspanne AM = 2,64 SD = 1,205 n = 376 AM = 2,71 SD = 1,209 n = 375 AM = 2,73 SD = 1,192 n = 365 AM = 4,31 SD = 1,090 n = 387 AM = 2,48 SD = 1,346 n = 224 AM = 2,46 SD = 1,322 n = 224 AM = 2,51 SD = 1,278 n = 218 AM = 3,94 SD = 1,375 n = 230 T = 1,469, p = 0,142, df = 428,824 T = 2,315, p = 0,021, df = 436,455 T = 2,103, p = 0,036, df = 581 T = 3,490, p 0,001, df = 398,971 Tabelle 51: Einschätzung des Verbesserungsbedarfes bei der Rückmeldung Vergleich zwischen Lehrer/innen und Schulleiter/innen (Beurteilungsskala: 1 = gar nicht wichtig 5 = sehr wichtig) Vergleich zwischen Befragten der Sekundarstufe I und der Volksschule Informiertheit Sek I VS Signifikanzprüfung Zeitpunkt der Rückmeldung Zugang zu den Ergebnissen Inhalt der Rückmeldung Adressaten der Rückmeldung AM = 3,20 SD = 1,354 n = 1363 AM = 3,81 SD = 1,210 n = 1364 AM = 3,39 SD = 1,305 n = 1354 AM = 3,35 SD = 1,407 n = 1346 AM = 4,32 SD = 0,914 n = 637 AM = 4,47 SD = 0,828 n = 639 AM = 4,11 SD = 1,012 n = 635 AM = 4,22 SD = 1,079 n = 636 T = -21,791, p 0,001, df = 1749,763 T = -14,183, p 0,001, df = 1739,565 T = -13,307, p 0,001, df = 1563,390 T = -15,184, p 0,001, df = 1583,144 Tabelle 52: Informiertheit über die Ergebnisrückmeldung Vergleich zwischen Befragten der Sekundarstufe I und der Volksschule (Beurteilungsskala: 1 = sehr schlecht 5 = sehr gut) -119-

121 Lehrer/innen Informiertheit Sek I VS Signifikanzprüfung Zeitpunkt der Rückmeldung Zugang zu den Ergebnissen Inhalt der Rückmeldung Adressaten der Rückmeldung AM = 3,09 SD = 1,356 n = 1188 AM = 3,74 SD = 1,233 n = 1189 AM = 3,25 SD = 1,300 n = 1178 AM = 3,23 SD = 1,402 n = 1171 AM = 4,19 SD = 0,965 n = 407 AM = 4,37 SD = 0,851 n = 408 AM = 3,84 SD = 1,036 n = 405 AM = 3,99 SD = 1,145 n = 405 Schulleiter/innen T = -17,671, p 0,001, df = 986,836 T = -11,298, p 0,001, df = 1023,084 T = -9,213, p 0,001, df = 872,133 T = -10,794, p 0,001, df = 852,514 Informiertheit Sek I VS Signifikanzprüfung Zeitpunkt der Rückmeldung Zugang zu den Ergebnissen Inhalt der Rückmeldung Adressaten der Rückmeldung AM = 3,93 SD = 1,091 n = 175 AM = 4,29 SD = 0,915 n = 175 AM = 4,34 SD = 0,867 n = 176 AM = 4,11 SD = 1,183 n = 175 AM = 4,57 SD = 0,761 n = 230 AM = 4,65 SD = 0,754 n = 231 AM = 4,57 SD = 0,771 n = 230 AM = 4,62 SD = 0,808 n = 231 T = -6,565, p 0,001, df = 295,755 T = -4,273, p 0,001, df = 332,329 T = -2,814, p = 0,005, df = 352,391 T = -4,892, p 0,001, df = 291,170 Tabelle 53: Informiertheit über die Ergebnisrückmeldung Vergleich zwischen Befragten der Sekundarstufe I und der Volksschule; getrennt nach Lehrkräften und Schulleiter/innen (Beurteilungsskala: 1 = sehr schlecht 5 = sehr gut) Beurteilung Sek I VS Signifikanzprüfung Informationsgehalt Verständlichkeit Übersichtlichkeit praktische Verwertbarkeit AM = 2,10 SD = 0,943 n = 1324 AM = 1,96 SD = 0,895 n = 1324 AM = 1,94 SD = 0,914 n = 1324 AM = 2,74 SD = 1,164 n = 1306 AM = 1,83 SD = 0,826 n = 627 AM = 1,76 SD = 0,760 n = 626 AM = 1,72 SD = 0,793 n = 626 AM = 2,41 SD = 1,118 n = 624 T = 6,464, p 0,001, df = 1386,522 T = 5,005, p 0,001, df = 1948 T = 4,967, p 0,001, df = 1948 T = 5,913, p 0,001, df = 1928 Tabelle 54: Bewertung der Ergebnisrückmeldung Vergleich zwischen Befragten der Sekundarstufe I und der Volksschule (Beurteilungsskala: 1 = Sehr gut 5 = Nicht genügend) -120-

122 Lehrer/innen Beurteilung Sek I VS Signifikanzprüfung Informationsgehalt Verständlichkeit Übersichtlichkeit praktische Verwertbarkeit AM = 2,18 SD = 0,952 n = 1146 AM = 2,02 SD = 0,905 n = 1146 AM = 2,00 SD = 0,924 n = 1146 AM = 2,84 SD = 1,154 n = 1130 AM = 1,96 SD = 0,865 n = 396 AM = 1,88 SD = 0,769 n = 395 AM = 1,83 SD = 0,808 n = 395 AM = 2,58 SD = 1,119 n = 394 Schulleiter/innen T = 4,121, p 0,001, df = 749,599 T = 2,850, p = 0,004, df = 1539 T = 3,163, p = 0,002, df = 1539 T = 3,961, p 0,001, df = 1522 Beurteilung Sek I VS Signifikanzprüfung Informationsgehalt Verständlichkeit Übersichtlichkeit praktische Verwertbarkeit AM = 1,59 SD = 0,693 n = 178 AM = 1,60 SD = 0,731 n = 178 AM = 1,53 SD = 0,730 n = 178 AM = 2,11 SD = 1,022 n = 176 AM = 1,59 SD = 0,697 n = 231 AM = 1,55 SD = 0,701 n = 231 AM = 1,54 SD = 0,733 n = 231 AM = 2,13 SD = 1,062 n = 230 T = -0,046, p = 0,963, df = 407 T = 0,660, p = 0,510, df = 407 T = -0,119, p = 0,905, df = 407 T = -0,215, p = 0,830, df = 404 Tabelle 55: Bewertung der Ergebnisrückmeldung Vergleich zwischen Befragten der Sekundarstufe I und der Volksschule; getrennt nach Lehrkräften und Schulleiter/innen (Beurteilungsskala: 1 = Sehr gut 5 = Nicht genügend) Lehrer/innen Beurteilung HS AHS VS Signifikanzprüfung Informationsgehalt Verständlichkeit Übersichtlichkeit Verwertbarkeit AM = 2,15 SD = 0,944 n = 847 AM = 2,23 SD = 0,972 n = 286 AM = 1,96 SD = 0,865 n = 396 F = 8,204, p 0,001, df = 2* Mehrfachvergleiche signifikante Unterschiede: VS-HS, VS-AHS AM = 2,05 AM = 1,93 AM = 1,88 SD = 0,915 SD = 0,870 SD = 0,769 n = 847 n = 286 n = 395 Mehrfachvergleiche signifikante Unterschiede: VS-HS AM = 2,02 AM = 1,93 AM = 1,83 SD = 0,931 SD = 0,899 SD = 0,808 n = 848 n = 285 n = 395 Mehrfachvergleiche signifikante Unterschiede: VS-HS AM = 2,75 AM = 3,07 AM = 2,58 SD = 1,119 SD = 1,219 SD = 1,119 n = 835 n = 282 n = 394 F = 5,746, p = 0,003, df = 2 F = 5,986, p = 0,003, df = 2 F = 15,909, p 0,001,df = 2 Mehrfachvergleiche signifikante Unterschiede: VS-HS, VS-AHS, HS-AHS Tabelle 56: Bewertung der Rückmeldung Vergleich zwischen HS-, AHS- und Volksschullehrkräften (Beurteilungsskala: 1 = Sehr gut 5 = Nicht genügend) -121-

123 Verbesserungsbedarf Sek I VS Signifikanzprüfung Abbildungen Erklärungstexte Verkürzung Zeitspanne AM = 2,84 SD = 1,239 n = 1277 AM = 2,93 SD = 1,260 n = 1278 AM = 2,97 SD = 1,215 n = 1256 AM = 4,11 SD = 1,186 n = 1293 AM = 2,58 SD = 1,261 n = 600 AM = 2,62 SD = 1,257 n = 599 AM = 2,65 SD = 1,228 n = 583 AM = 4,17 SD = 1,217 n = 617 T = 4,183, p 0,001, df =1153,907 T = 4,924, p 0,001, df = 1875 T = 5,208, p 0,001, df = 1123,206 T = -1,086, p = 0,278, df = 1908 Tabelle 57: Einschätzung des Verbesserungsbedarfes Vergleich zwischen Befragten der Sekundarstufe I und der Volksschule (Beurteilungsskala: 1 = gar nicht wichtig 5 = sehr wichtig) Lehrer/innen Verbesserungsbedarf Sek I VS Signifikanzprüfung Abbildungen Erklärungstexte Verkürzung Zeitspanne AM = 2,88 SD = 1,217 n = 1100 AM = 2,96 SD = 1,244 n = 1101 AM = 3,02 SD = 1,200 n = 1079 AM = 4,08 SD = 1,199 n = 1115 AM = 2,64 SD = 1,205 n = 376 AM = 2,71 SD = 1,209 n = 375 AM = 2,73 SD = 1,192 n = 365 AM = 4,31 SD = 1,090 n = 387 Schulleiter/innen T = 3,308, p 0,001, df = 1474 T = 3,371, p 0,001, df = 1474 T = 3,945, p 0,001, df = 1442 T = -3,278, p 0,001, df = 1500 Verbesserungsbedarf Sek I VS Signifikanzprüfung Abbildungen Erklärungstexte Hintergrundinformationen Hintergrundinformationen Hintergrundinformationen Verkürzung Zeitspanne AM = 2,59 SD = 1,342 n = 177 AM = 2,71 SD = 1,337 n = 177 AM = 2,67 SD = 1,268 n = 177 AM = 4,26 SD = 1,091 n = 178 AM = 2,48 SD = 1,346 n = 224 AM = 2,46 SD = 1,322 n = 224 AM = 2,51 SD = 1,278 n = 218 AM = 3,94 SD = 1,375 n = 230 T = 0,813, p = 0,417, df = 399 T = 1,810, p = 0,071, df = 399 T = 1,230, p = 0,219, df = 393 T = 2,661, p = 0,008, df = 405,746 Tabelle 58: Einschätzung des Verbesserungsbedarfes Vergleich zwischen Befragten der Sekundarstufe I und der Volksschule; getrennt nach Lehrkräften und Schulleiter/innen (Beurteilungsskala: 1 = gar nicht wichtig 5 = sehr wichtig) * Die Voraussetzungsprüfung ergab hier Hinweise auf Varianzheterogenität. Allerdings führen auch konservative Verfahren zu einem (beinahe) identen Ergebnis

124 2.2 Evaluationsfragebogen zur Ergebnisrückmeldung Lehrkräfte Da der Schulleiterfragebogen mit dem Lehrerfragebogen weitgehend ident war, wurde dieser nicht in den Anhang aufgenommen. Gab es unterschiedliche Fragestellungen, wird im Textteil des Berichts explizit darauf hingewiesen

125 Evaluation der Bildungsstandards Lehrerfragebogen Klassen-ID: Getestete Klasse: Befragung zur Verständlichkeit und Gestaltung der Ergebnisrückmeldung Fragebogen für Lehrer/innen Volksschule/März 2011 Allgemeine Informationen 1. Ihr Geschlecht? weiblich männlich 2. Wie alt sind Sie? bis 30 Jahre 1 31 bis 40 Jahre 2 41 bis 50 Jahre 3 über 50 Jahre 4 3. Wie lange hatten Sie die, bei der Baseline-Testung getestete Klasse zum Untersuchungszeitpunkt bereits unterrichtet? das 1. Jahr 1 das 2. Jahr 2 das 3. Jahr 3 das 4. Jahr 4 Fragen zum Ablauf und zur Gestaltung der Ergebnisrückmeldung 4. Wie gut wurden Sie vorab darüber informiert, sehr gut sehr schlecht a) wann Sie die Rückmeldung der Testergebnisse erhalten? b) wie Sie zu den Testergebnissen gelangen (Zugang zu den Ergebnissen)? c) welche Informationen Ihre Rückmeldung enthält? d) wer außer Ihnen noch eine Rückmeldung der Testergebnisse Ihrer Klasse erhält? e) welche Informationen die Rückmeldung an die Schulleiter/innen enthält? f) welche Informationen die Rückmeldung an die Schulaufsicht enthält? Haben Sie den Code für den Zugang zu den Testergebnissen erhalten? ja nein Wenn nein, warum nicht? (falls bekannt) Gab es Probleme beim Abrufen der Testergebnisse? ja nein Wenn ja, welche? 1 2 Bist 4 /Ergebnisrückmeldung Lehrerfragebogen

126 7. Auf der Website des BIFIE sind fiktive Zugangscodes angeführt. Haben Sie diese genützt, um sich die Schüler- und/oder die Schulleiter-Rückmeldung anzusehen? ja nein Wie ausführlich haben Sie sich mit den Testergebnissen Ihrer Klasse auseinandergesetzt? sehr gar Wenn Sie sich die Testergebnisse Ihrer Klasse ausführlich nicht überhaupt nicht angesehen haben, dann sind alle folgenden Fragen gegenstandslos In welcher Form haben Sie sich die Rückmeldung angesehen? nur online nur ausgedruckt (als pdf) erst online, dann ausgedruckt Wie nützlich fanden Sie die Broschüre Bildungsstandards in Österreich. Überprüfung und Rückmeldung bei der Interpretation der Rückmeldeergebnisse? sehr nützlich gar nicht nützlich kenne ich nicht Auf einer Notenskala von 1 bis 5 (1 = Sehr gut, 5 = Nicht genügend) wie beurteilen Sie die Ergebnisrückmeldung im Hinblick auf folgende Aspekte? Sehr gut Nicht genügend a) Informationsgehalt b) Verständlichkeit c) Übersichtlichkeit d) praktische Verwertbarkeit Wie nützlich sind für Sie folgende Informationen (1) und wie gut gehen diese aus der Ergebnisrückmeldung hervor (2)? (1) Nützlichkeit: (2) Verständlichkeit: Wie nützlich sind für Sie Wie gut geht aus der Informationen darüber, Rückmeldung hervor, sehr nützlich gar nicht nützlich gut mittelmäßig schlecht a) wo die Leistungen Ihrer Klasse verglichen mit anderen Klassen insgesamt liegen? b) wo die Leistungen Ihrer Klasse verglichen mit Klassen mit ähnlichen Rahmenbedingungen liegen? (fairer Vergleich) c) wie groß die Streuung der Leistungen der getesteten Schüler/innen ist? d) in welchen Kompetenzbereichen die Stärken bzw. Schwächen der getesteten Schüler/innen liegen? e) wie die Schüler/innen beim Verfassen von Texten (Brief und Bildgeschichte) abgeschnitten haben? Wenn mehr als eine Klasse an Ihrer Schule getestet wurde: f) wo Ihre Klasse im innerschulischen Vergleich liegt? Bist 4 /Ergebnisrückmeldung Lehrerfragebogen

127 13. Wie nützlich waren für Sie a) die Informationen über Ihre Schüler/innen zum Wohlbefinden, zum Selbstkonzept, zur Einstellung zum Lesen etc.? b) die beispielhaften Fragen unter den einzelnen Grafiken, die Sie bei der Interpretation der Ergebnisse unterstützen sollten? sehr nützlich gar nicht nützlich habe ich nicht angesehen c) die Erläuterungen im Glossar? Inwiefern haben Sie aus der Ergebnisrückmeldung neue Erkenntnisse über Ihren Unterricht gewonnen (z. B. wo besondere Stärken liegen, wo es Entwicklungspotenziale gibt)? ich habe viele, wesentliche ich habe überhaupt nichts Erkenntnisse gewonnen Wesentliches erfahren Insgesamt betrachtet, wie wertvoll ist aus Ihrer Sicht die Ergebnisrückmeldung für die schulische Praxis? sehr wertvoll gar nicht wertvoll Fragen zu Verbesserungsmöglichkeiten und Unterstützungsbedarf 16. Wie wichtig sind aus Ihrer Sicht Verbesserungen in den folgenden Bereichen der Rückmeldung? sehr wichtig gar nicht wichtig a) bei der Gestaltung der Abbildungen b) bei den Texten, die die Abbildungen erklären c) bei den Hintergrundinformationen (die über die Hyperlinks abgerufen werden können) d) kürzere Zeitspanne zwischen Testung und Rückmeldung Hat Ihnen bei der Ergebnisrückmeldung etwas Wichtiges gefehlt, das Sie noch interessiert hätte? ja nein 1 2 Wenn ja, was hat Ihnen gefehlt? 18. Bräuchten Sie für die Interpretation der Testergebnisse noch zusätzliche Unterstützung dringend notwendig nicht notwendig a) von der Schulleitung? b) von speziell ausgebildeten, schulexternen Personen (z.b. Rückmeldemoderator/innen)? Für wie wichtig erachten Sie es, dass Lehrer/innen nach der Ergebnisrückmeldung Unterstützung bei der Umsetzung von Qualitätsentwicklungsmaßnahmen bekommen? sehr gar nicht wichtig wichtig a) von der Schulleitung b) von speziell ausgebildeten, schulexternen Personen Bist 4 /Ergebnisrückmeldung Lehrerfragebogen

128 20. Welche weiteren Verbesserungen bei der Ergebnisrückmeldung bzw. der Gestaltung von Unterstützungsmaßnahmen sind aus Ihrer Sicht noch notwendig? Fragen zu Reaktionen auf die Ergebnisrückmeldung 21. Neben der Rückmeldung der Testergebnisse an die Schüler/innen und Lehrer/innen erfolgt auch eine Ergebnisrückmeldung an die Schulleitung und die Schulaufsicht. Wie stehen Sie dazu, dass positiv eher positiv neutral eher negativ negativ a) die Schulleitung eine Rückmeldung der Klassenergebnisse in den einzelnen Fächern erhält? b) die Schulaufsicht die Schulergebnisse in Deutsch und Mathematik erhält? Haben Sie die Testergebnisse Ihrer Klasse mit anderen Personen besprochen? ja, ausführlich ja, kurz nein a) im Rahmen einer pädagogischen Konferenz b) mit dem Schulleiter/der Schulleiterin c) mit Kolleg/innen, deren Schüler/innen auch an der Testung teilgenommen haben d) mit Kolleg/innen, deren Schüler/innen nicht getestet wurden Wenn Sie mit dem/der Schulleiter/in über die Testergebnisse Ihrer Klasse gesprochen haben, wie sind diese Gespräche gesamt betrachtet verlaufen? sachlich-konstruktiv emotional-konflikthaft Wie ist das Ergebnis Ihrer Klasse insgesamt ausgefallen? deutlich besser als erwartet besser als erwartet wie erwartet schlechter als erwartet deutlich schlechter als erwartet Inwiefern hat die Ergebnisrückmeldung Ihre Motivation als Lehrkraft beeinflusst? positiv eher positiv gar nicht eher negativ negativ Wird die Ergebnisrückmeldung Veränderungen in Ihrer Unterrichtsplanung und -gestaltung nach sich ziehen? ja eher ja weiß noch nicht eher nein nein Wenn ja bzw. eher ja, welche Veränderungen? Herzlichen Dank für Ihre Mitarbeit! Bist 4 /Ergebnisrückmeldung Lehrerfragebogen

129 2.3 Evaluationsfragebogen zur Ergebnisrückmeldung Schüler/innen & Erwachsene Schülerfragebogen -128-

130 -129-

131 -130-

132 Fragebogen für Erwachsene -131-

133 -132-

134 -133-