Rückmeldungen und Berichte zu den Bildungsstandardüberprüfungen

Transkript

1 Rückmeldungen und Berichte zu den Bildungsstandardüberprüfungen Technische Dokumentation BIST-Ü Sandra Bröderbauer Christina Haberfellner Susanne Luthe Maria Neubacher Daniel Paasch

2 Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens Alpenstraße 121 / 5020 Salzburg Rückmeldungen und Berichte zu den Bildungsstandardüberprüfungen Technische Dokumentation BIST-Ü BIFIE I Department Bildungsstandards & Internationale Assessments (BISTA), Salzburg 2015 Der Text sowie die Aufgabenbeispiele dürfen für Zwecke des Unterrichts in österreichischen Schulen sowie von den Pädagogischen Hochschulen und Universitäten im Bereich der Lehrer aus-, Lehrerfort- und Lehrerweiterbildung in dem für die jeweilige Lehrveranstaltung erforderlichen Umfang von der Homepage ( heruntergeladen, kopiert und verbreitet werden. Ebenso ist die Vervielfältigung der Texte und Aufgabenbeispiele auf einem anderen Träger als Papier (z. B. im Rahmen von Power-Point-Präsentationen) für Zwecke des Unterrichts gestattet.

3 Inhaltsverzeichnis 3 1 Ergebnisrückmeldung als Ausgangspunkt zur Qualitätsentwicklung 3 2 Intention und Zweck der Ergebnisrückmeldungen Rückmeldungen für die standortbezogene Qualitätsentwicklung Rückmeldung als System-Monitoring 6 3 Inhalte und Aufbau der Ergebnisrückmeldungen Rückmeldungen an Schulleiter/innen, Lehrer/innen und Schüler/innen Berichte an die Schulaufsicht Ergebnisberichte an politische Entscheidungsträger/innen Grundsätze der Ergebnisaufbereitung 8 4 Ergebnisrückmeldungen: Prozessablauf und Umsetzung Konzeption Grafikaufbereitung und Entscheidungsregeln Datenaufbereitung Berichtaufbereitung Distribution der Rückmeldungen 14 5 Hotline 15 6 Anhang Allgemeiner Prozessablauf der Rückmeldung Mathematik, 8. Schulstufe, Mathematik, 4. Schulstufe, Englisch, 8. Schulstufe, Literaturverzeichnis

4

5 Rückmeldungen und Berichte zu den Bildungsstandardüberprüfungen 3 1 Ergebnisrückmeldung als Ausgangspunkt zur Qualitätsentwicklung 1 Das BIFIE bietet mit den Rückmeldungen und Berichten zu den Bildungsstandardüberprüfungen in den Domänen Mathematik und Deutsch/Lesen/Schreiben auf der 4. Schulstufe sowie in Mathematik, Deutsch und Englisch auf der 8. Schulstufe eine umfangreiche Datengrundlage, die wichtige Impulse für mögliche Veränderungsmaßnahmen für verschiedene Akteure im österreichischen Bildungssystem liefern kann. Der Schwerpunkt liegt in der Standardüberprüfung im Gegensatz zu PISA oder anderen internationalen Studien darauf, Schulen konkrete Rückmeldung über die von ihren Schülerinnen und Schülern erzielten Ergebnisse zu geben. In Kombination mit schulinternem Wissen, welches für gezielte Qualitätsentwicklungsprozesse in den Schulen Voraussetzung ist, können geeignete Maßnahmen abgeleitet und konkrete Veränderungen in Gang gesetzt werden (Altrichter 2010). Für die getroffenen Maßnahmen besteht gemäß der Verordnung über Bildungsstandards im Schulwesen (BGB l. II Nr. 185/2012) Dokumentations- und periodische Evaluationspflicht. Helmke (2009) beschreibt Qualitätsentwicklung in seinem Modell als einen mehrphasigen Prozess, der aus Rezeption (das Verstehen der Ergebnisrückmeldung), Reflexion (Identifizieren von Handlungsfeldern und Ableiten von Maßnahmen), Aktion (Umsetzung der Maßnahmen) und Evaluation (Überprüfung der Wirksamkeit der Maßnahmen) besteht. Alle vier Phasen sind beeinflusst durch die Rahmenbedingungen individuelle Merkmale der jeweiligen Akteure, Merkmale der Schule sowie schulexterne Bedingungen. Eine erneute externe Überprüfung in der jeweiligen Domäne trägt zur Evaluation neu initiierter Maßnahmen bei und hilft, den Erfolg dieser Maßnahmen zu beurteilen. Nähere Informationen zu diesem Qualitätszyklus sind in allen Bildungsstandardrückmeldungen für Lehrer/innen und Schulleiter/innen sowie in den Berichten für die einzelnen Bundesländer und Österreich insgesamt zu finden, wie beispielsweise im Bundesergebnisbericht der Standardüberprüfung in Mathematik 2013 auf der 4. Schulstufe (Schreiner & Breit, 2014b). Für die systematische Schul- und Unterrichtsentwicklung ist es erforderlich, die Ergebnisse verschiedenen Ebenen rückzumelden. Die einzelne Schule und damit das Handeln der einzelnen Schulleiter/ innen und Lehrer/innen steht im Zentrum der Ergebnisrückmeldung, denn Maßnahmen zur Sicherung und Verbesserung der Schul- und Unterrichtsqualität und die damit einhergehenden Verbesserungen der Schülerleistungen (Kompetenzen) werden am jeweiligen Schulstandort realisiert und müssen dort gesteuert und getragen werden. Eine Berichtslegung über zentrale Ergebnisse erfolgt außerdem auf den Ebenen des Systems (bundesland- und österreichweit). Die Phasen der Ergebnisverwertung nach Helmke (2009) Rezeption, Reflexion, Aktion lassen sich auch auf diese Ebenen übertragen. 2 Intention und Zweck der Ergebnisrückmeldungen Die Ergebnisrückmeldung auf verschiedenen Ebenen des Schulsystems erlaubt eine weitreichende Nutzung der Daten aus den Standardüberprüfungen. Zentral sind die Rückmeldungen für standortbezogene Qualitätsentwicklung sowie die aggregierten Berichte für das System-Monitoring auf Landes- und Bundesebene. Daneben erhalten auch Schüler/innen ein individuelles Feedback, das Auskunft über die persönliche Lernentwicklung gibt (vgl. Abbildung 1). 1 Die Kapitel 1 3 lehnen sich stark an die Veröffentlichung von Breit, Paasch & Pinwinkler (2012) an.

6 4 Rückmeldungen und Berichte zu den Bildungsstandardüberprüfungen Abbildung 1: Umsetzung der Ergebnisrückmeldung 2.1 Rückmeldungen für die standortbezogene Qualitätsentwicklung Zahlreiche Forschungsergebnisse (z. B. Bonsen, 2009; Schmich & Schreiner, 2009; Köller & Köller 2007; Lohmann, 2013) belegen die Bedeutung der Schulleitung im Qualitätsentwicklungsprozess. Um einen solchen Prozess steuern zu können, ist vonseiten der Schulleitung zunächst eine sachliche Auseinandersetzung (Rezeption) mit den Ergebnissen erforderlich. Bei der Analyse und Reflexion der schuleigenen Ergebnisse müssen Gegebenheiten und Besonderheiten des Standorts berücksichtigt werden. Ergebnisse auf Unterrichtsgruppenebene dienen im Wesentlichen den innerschulischen Analysen, wobei hier schulinterne Gegebenheiten besonders zu berücksichtigen sind. Mit den Informationen aus den Schulberichten können folgende Fragen analysiert werden: In welchem Ausmaß ist es gelungen, den Schülerinnen und Schülern Grundkompetenzen nachhaltig zu vermitteln? Gibt es an der Schule besondere Stärken und Schwächen innerhalb eines Fachs? Wie schneidet die Schule im Vergleich zu anderen ab? Ergebnisse sind multikausal bedingt, d. h. sie hängen von sehr unterschiedlichen Faktoren und ihrem Zusammenspiel ab: Schulebene (z. B. Standortfaktoren und Ausrichtung der Schule etc.), Gruppenebene (z. B. Klassenkomposition, Unterrichtsentfall, Lehrerwechsel, pädagogische Konzepte etc.) und Schülerebene (z. B. Leistungspotenzial, kultureller und sozioökonomischer Hintergrund der Schülerinnen und Schüler, Verhaltensauffälligkeiten etc.) Zur Unterstützung bei der sachlichen Analyse und objektiven Interpretation der Ergebnisse aus den Standardüberprüfungen und bei einer faktenbasierten Ergebnisaufarbeitung (z. B. Erstellen eines Stärken-Schwächen-Profils, Identifizierung von Handlungsfeldern) können Schulleiter/innen Rückmeldemoderatorinnen und -moderatoren über die Pädagogischen Hochschulen anfordern. Informationen zu

7 Rückmeldungen und Berichte zu den Bildungsstandardüberprüfungen 5 Ansprechpersonen werden in den Schulberichten bekannt gegeben. Rückmeldemoderatorinnen und -moderatoren helfen den Schulen dabei, sich der Chancen der Ergebnisrückmeldung bewusst zu werden und Qualitätsentwicklungspotenziale zu erkennen. Die Schulleitung hat die Aufgabe, den ersten Teil des Schulberichts (vgl. Kap. 3.1), der die zusammenfassenden Ergebnisse auf Schulebene enthält, an die Schulpartner zu übermitteln und mit ihnen zu besprechen (BMUKK, 2012). Schulleiter/innen haben zudem den Auftrag, im Anschluss an die Ergebnisanalyse standortspezifische Schul- und Unterrichtsentwicklung zu initiieren. Der gesamte Schulund Unterrichtsentwicklungsprozess ist zu dokumentieren und im Rahmen der Rechenschaftspflicht der Schulaufsicht zu kommunizieren (BMUKK, 2012). Die Rückmeldung auf Unterrichtsgruppenebene bietet Lehrerinnen und Lehrern die Möglichkeit, den persönlichen Unterricht zu reflektieren (Rieß & Zuber 2014, Zuber, Rieß & Bruneforth 2012). Stärken und Schwächen innerhalb der jeweiligen Unterrichtsgruppe sollen mit den eigenen Erwartungen unter Berücksichtigung der jeweiligen Situation am Schulstandort abgeglichen werden. Durch den Austausch im Kollegium oder in Fachgruppen kann der Ertrag für die einzelne Lehrerin/den einzelnen Lehrer erhöht werden. Im Mittelpunkt steht der summative Lernertrag über eine vierjährige Lernperiode sowie die Reflexion darüber, ob sich Schwerpunktsetzungen, pädagogische Konzepte etc. in den Stärken-Schwächen-Profilen niederschlagen. Ferner bietet die Ergebnisrückmeldung an Lehrer/innen die Möglichkeit, über den eigenen Tellerrand zu blicken (Altrichter & Kanape-Willingshofer, 2012) und den Output der eigenen Schüler/innen mit einer Außennorm (kriterial, sozial, fair; siehe dazu Kap. 3) zu vergleichen (z. B. Berkemeyer & van Holt 2010). Auf Schülerebene bieten die individuellen Rückmeldungen ein Feedback zum persönlichen Lernstand. Schülerinnen und Schüler können die Ergebnisse mit ihren eigenen Selbsteinschätzungen vergleichen. Im Idealfall werden realistische Rückschlüsse auch in Hinblick auf zukünftige Anforderungen in Schule und Beruf gezogen und als Anregung für weitere Lernprozesse berücksichtigt. Die Schulaufsicht steht im Zusammenhang mit der Ergebnisrückmeldung in einem Spannungsverhältnis. Einerseits muss sie dafür Sorge tragen, dass man sich an den jeweiligen Schulen mit der Ergebnisrückmeldung auseinandersetzt und am Standort Qualitätsentwicklungsprozesse in Gang setzt (Kontrolle). Andererseits hat die Schulaufsicht die fürsorgende Aufgabe, Schulen Unterstützung in Form von Beratungen und Zielvereinbarungen und/oder Bereitstellung und Zuweisung von Ressourcen anzubieten. Des Weiteren ist die Schulaufsicht angehalten, relevante Landesergebnisse an die Pädagogischen Hochschulen zu kommunizieren, um ein bedarfsgerechtes Fortbildungsangebot für die schulische Entwicklungsarbeit konzipieren und entsprechend bereitstellen zu können (Zuber, Rieß & Bruneforth 2012). 2.2 Rückmeldung als System-Monitoring Die Ergebnisse auf Landes- und Bundesebene beinhalten wichtige Informationen für den Bereich des System-Monitorings, denn an ihnen kann abgelesen werden, wie gut Schulen ihren Auftrag erfüllen, nachhaltig Grundkompetenzen zu vermitteln und Chancengerechtigkeit anzustreben. Diese Informationen dienen als Grundlage für die Weiterentwicklung des Schulsystems sowie der Lehreraus- und -fortbildung. Durch sich wiederholende Überprüfungen wird zudem eine Basis dafür geschaffen, die Entwicklung des Outputs des Bildungssystems (Schülerkompetenzen) auf den beiden Schulstufen über die Zeit hinweg zu verfolgen und in Form von Trendanalysen zu kommunizieren (Quasilängsschnitt bzw. wiederholte Querschnittsuntersuchung). Dadurch wird eine evidenzbasierte Steuerung des Schulsystems ermöglicht.

8 6 Rückmeldungen und Berichte zu den Bildungsstandardüberprüfungen 3 Inhalte und Aufbau der Ergebnisrückmeldungen Ergebnisrückmeldungen werden für unterschiedliche Akteursebenen im österreichischen Bildungssystem erstellt, erfüllen deswegen jeweils unterschiedliche Funktionen und unterscheiden sich in der inhaltlichen und strukturellen Gestaltung. Bezogen auf Inhalte und Aufbau lassen sie sich in Rückmeldungen an Schulleiter/innen, Lehrer/innen und Schüler/innen sowie in Berichte an die Schulaufsicht und Ergebnisberichte an politische Entscheidungsträger/innen untergliedern. 3.1 Rückmeldungen an Schulleiter/innen, Lehrer/innen und Schüler/innen Ziel der Ergebnisrückmeldungen an die Schulleiter/innen und die Lehrer/innen ist die Anregung standortbezogener Qualitätsentwicklung (vgl. Abbildung 1). Schulleitung und Lehrpersonen können die Ergebnisse ausschließlich online mit einem Zugangscode abrufen, der postalisch (per Einschreiben) an die Schulen ergeht. Die Rückmeldung an die Schulleiter/innen wird als Schulbericht bezeichnet und besteht aus zwei wesentlichen Teilen dem Schulbericht. Rückmeldung an die Schulleitung und die Schulpartner sowie dem Schulbericht. Ergänzung für die Schulleitung, Ergebnisse der Unterrichtsgruppen. 2 Der Schulbericht. Rückmeldung an die Schulleitung und Schulpartner beinhaltet die aggregierten Ergebnisse aller getesteten Schüler/innen der Schule. Die Ergebnisse werden dabei nach drei Gesichtspunkten dargestellt: kriterialer Vergleich: Die Ergebnisse der Schüler/innen werden auf ein vorab definiertes Kriterium, in der Regel die Bildungsstandards, bezogen. Der Grad der Kompetenzerreichung der Schüler/innen wird mittels vier Kompetenzstufen 3 berichtet. Diese geben an, ob die Schüler/innen die Bildungsstandards nicht erreicht (unter Stufe 1), teilweise erreicht (Stufe 1), erreicht (Stufe 2) oder übertroffen (Stufe 3) haben. Für die Schule wird ausgewiesen, wie groß der Anteil der Schüler/innen auf den verschiedenen Kompetenzstufen ist. Die Überprüfung der Kompetenzen in Englisch basiert auf dem Gemeinsamen Europäischen Referenzrahmen für Sprachen (GERS), der in Österreich sowohl Grundlage des Lehrplans für die lebenden Fremdsprachen als auch der Verordnung der Bildungsstandards ist. Der GERS beschreibt umfassend, was zu lernen ist, um eine Sprache für kommunikative Zwecke benutzen zu können, und welche Kenntnisse und Fertigkeiten dementsprechend entwickelt werden müssen. Um den Grad der Kompetenzerreichung darzustellen, werden im Fach Englisch, basierend auf dem GERS, die Referenzniveaus A1 oder darunter, A2 und B1 oder darüber rückgemeldet 4. sozialer Vergleich: Als Vergleichswert dient das durchschnittliche Ergebnis aller Schüler/innen auf der Punktskala (österreichweiter Vergleich). fairer Vergleich: Als Referenzwert wird für die Schulen ein Erwartungsbereich ausgewiesen, der die lernrelevanten Rahmenbedingungen der Schule berücksichtigt, die von der Schule selbst aber nicht direkt beeinflussbar sind 5 (Standortfaktoren der Schule sowie demografische und sozioökonomische Merkmale der Schülerpopulation). Im fairen Vergleich werden also Schulen miteinander verglichen, bei denen das Lernen und Lehren unter ähnlichen Bedingungen stattfindet. 2 Die Darstellungsformen und Informationen können je nach Anforderung der jeweiligen Domäne und Schulstufe von Standardüberprüfung zu Standardüberprüfung leicht variieren. Muster-Rückmeldungen auf Schul-, Unterrichtsgruppen- und Schülerebene mit fiktiven Daten bzw. Ergebnissen finden sich unter: für Mathematik auf der 8. Schulstufe, für Englisch auf der 8. Schulstufe, für Mathematik auf der 4. Schulstufe. 3 Ein Experten-Gremium legt die Kompetenzstufen im Rahmen von Standard-Settings fest. Detaillierte Informationen zum Standard-Setting finden Sie auf der BIFIE-Website unter: (Mathematik 8, Freunberger, 2013) bzw. node/2430 (Mathematik 4, Bazinger, Freunberger & Itzlinger-Bruneforth, 2014) 4 Informationen zum Standard-Setting für Englisch 8. Schulstufe finden Sie unter: (Freunberger, Bazinger, & Itzlinger-Bruneforth, 2013) 5 Die Berechnung des Erwartungsbereichs erfolgt mittels multipler Regression (George & Robitzsch, 2014). In jeweiligen Rückmeldungen zu den Standardüberprüfungen variieren die strukturellen und soziodemografischen Merkmale geringfügig.

9 Rückmeldungen und Berichte zu den Bildungsstandardüberprüfungen 7 Diese Vergleiche werden sowohl für das Fach als Ganzes und soweit möglich auch für die einzelnen Kompetenzbereiche angegeben. Des Weiteren werden Informationen zur Streuung/Heterogenität der Schülerleistungen sowie Gruppenvergleiche nach Geschlecht, Migrationshintergrund und seit der Überprüfung 2013 auch nach deutscher vs. nichtdeutscher Erstsprache bereitgestellt. Für die Berechnung dieser Kennwerte vgl. Freunberger, Robitzsch & Pham (2014). Darüber hinaus werden in einem weiteren Kapitel Lösungshäufigkeiten beispielhafter Items dargestellt. Der Schulbericht. Ergänzung für die Schulleitung, Ergebnisse der Unterrichtsgruppen 6 enthält die Ergebnisse der einzelnen Unterrichtsgruppen und stellt ebenso die Testergebnisse der jeweiligen Domäne gesamt sowie die einzelnen Kompetenzbereiche dar. Die Leistungen der Unterrichtsgruppen werden entweder in Form von Kompetenzprofilen (in Mathematik und vorauss. Deutsch) dargestellt oder dem Österreich- Schnitt, den Leistungen der Schule oder einem Erwartungsbereich für die Unterrichtsgruppe (fairer Vergleich) gegenübergestellt. Beide Teile des Schulberichts sowie das Glossar, in dem weiterführende Informationen zu verwendeten Begriffen gegeben werden, können als jeweils eigenständiges PDF-Dokument online abgerufen, ausgedruckt und abgespeichert/archiviert werden. Die Rückmeldung an die Lehrer/innen verfügt über eine strukturell sehr ähnliche Aufbereitung der Ergebnisse wie der Schulbericht. Rückmeldung an die Schulleitung und Schulpartner, jedoch ausschließlich für die jeweilige Unterrichtsgruppe. Darüber hinaus werden zusätzliche Streuungsinformationen (im Falle leistungsgruppengemischter Gruppen auch über die einzelnen Leistungsgruppen) gegeben. Als Referenzwerte dienen z. B. der Schulmittelwert, der Österreich-Schnitt oder der Erwartungsbereich für die Unterrichtsgruppe (fairer Vergleich). 3.2 Berichte an die Schulaufsicht Die Landes- und Bezirksschulinspektorinnen und -inspektoren erhalten zur Information jeweils den Schulbericht. Rückmeldung an die Schulleitung und Schulpartner der Schulen ihres Aufsichtsbereichs sowie eine tabellarische Zusammenfassung ausgewählter Ergebnisse. Die Landesaufsichtsberichte der Landesschulinspektorinnen und -inspektoren wurden für Mathematik auf der 8. Schulstufe durch einen Statis tikteil ergänzt, der die Ergebnisse verschiedener Schülergruppen zusammenfasst sowie Zusammenhänge zwischen Leistung und Rahmenbedingungen im Bundesland (aber immer nur der jeweiligen Schulart) aufzeigt und demnach bereits dem System-Monitoring zugeordnet werden kann. Für Englisch auf der 8. Schulstufe und Mathematik auf der 4. Schulstufe wurde allen Schulaufsichtsbeamtinnen und -beamten gleichermaßen der gesamte Landesergebnisbericht des Bundeslands übermittelt, der alle Schularten enthält. Alle Berichte an die Schulbehörden enthalten dabei keine auf bestimmte Schüler/innen rückführbaren Ergebnisse. Zudem sind die Ergebnisse in den Schulaufsichtsberichten in der Regel nicht auf einzelne Lehrer/innen rückführbar. Die Rückmeldung an die Schulaufsicht erfolgt ebenfalls online mittels eines Zugangscodes, der postalisch (per Einschreiben) an die Behörde ergeht. In M8 erfolgte zusätzlich eine postalische Zusendung der gedruckten Berichte nach Veröffentlichung des Bundesergebnisberichts im Dezember Ergebnisberichte an politische Entscheidungsträger/innen Die für das regionale Schulwesen verantwortlichen amtsführenden Präsidentinnen und Präsidenten der Landesschulräte/des Stadtschulrats in den neun Bundesländern erhalten jeweils einen zusammenfassenden Landesergebnisbericht der Schülerpopulation des jeweiligen Bundeslands. Der Bundesergebnisbericht enthält die bundesbezogenen, statistisch zusammengefassten Ergebnisse der Schüler/innen. Er wird vom BIFIE erstellt und dem zuständigen Bundesministerium übermittelt (vgl. Abbildung 1). Landes- und Bundesergebnisberichte werden auch auf der BIFE-Webseite veröffentlicht. 6 Die Auswertung erfolgt auf Basis jener Unterrichtsgruppen, die die Schulleitung dem BIFIE gemeldet hat. Die Unterrichtsgruppe ist jene Einheit, in der die Schüler/innen gemeinsam unterrichtet wurden. Rückmeldungen an eine gesamte Klasse entfallen demnach, wenn die Klasse nicht ident mit der Unterrichtsgruppe ist (z. B. im Falle von Leistungsgruppen). Die Namen (Kürzel) für die einzelnen Unterrichtsgruppen werden vor der Überprüfung von der Schulleitung festgelegt und können nur von dieser der entsprechenden Lehrperson zugeordnet werden.

10 8 Rückmeldungen und Berichte zu den Bildungsstandardüberprüfungen 3.4 Grundsätze der Ergebnisaufbereitung Die Ergebnisse werden in Form von PDF-Dokumenten zur Verfügung gestellt. Ein lineares Lesen ist empfehlenswert, da die Anordnung der Ergebnisse einer gewissen Logik folgt, die für die einzelnen Überprüfungen individuell festgelegt wird. Das Einführungskapitel der Berichte enthält jeweils allgemeine Informationen zur Standardüberprüfung und Ergebnisrückmeldung, in den weiteren Kapiteln werden die einzelnen Ergebnisse grafisch dargestellt. Dabei folgen die Rückmeldungen entweder dem Prinzip Vom Allgemeinen zum Speziellen (Mathematik), indem zunächst die Ergebnisse des gesamten Unterrichtsfachs, später die Ergebnisse der einzelnen Kompetenzbereiche beschrieben werden. In den Sprachen wird der Fokus auf die Kompetenzbereiche gelegt und damit eine abweichende Berichtsstruktur verwendet. Der Aufbau wird dementsprechend auch im Einführungskapitel erläutert. 7 4 Ergebnisrückmeldungen: Prozessablauf und Umsetzung Im folgenden Kapitel werden sämtliche Prozesse der Ergebnisrückmeldungen im Zeitverlauf beschrieben. 4.1 Konzeption Zur Konzeptionsphase gehört es, jeweils einen stimmigen, aber fiktiven Musterbericht (Prototyp) für jedes Fach und jede Ebene zu erstellen, auf dessen Basis im Rahmen von Rückmelde-Arbeitsgruppen gemeinsam mit Vertreterinnen und Vertretern aus unterschiedlichen Fachteams des BIFIE und der Departmentleitung Umsetzungsmöglichkeiten diskutiert werden. Die Funktionen und Inhalte der Bildungsstandards und Standardüberprüfungen im österreichischen Schulwesen sind gesetzlich festgelegt (BGBl. I 117/2008, BGBl. II Nr. 185/2012). Diese gesetzlichen Vorgaben bilden auch die Rahmenbedingungen für die Konzeption der Rückmeldung. 8 Die Hauptaufgaben in den Rückmelde-Arbeitsgruppen liegen in der Festlegung der Struktur unter Einhaltung der groben Vorgaben sowie in der Entscheidung, in welcher grafischen und textlichen Aufbereitung die entsprechenden Informationen umgesetzt werden sollen. Dabei wird sowohl auf die Relevanz der Inhalte für Schüler/innen, Lehrer/innen und Schulleiter/innen und auf Verständlichkeit für diese Zielgruppen sowie auf die statistische Umsetzbarkeit und eventuelle Grenzen aufgrund des Testdesigns geachtet. In den Rückmelde-Arbeitsgruppen werden sowohl die statistischen Kennwerte herausgearbeitet als auch die grafischen Aufbereitungen sowie die entsprechenden Textpassagen der Berichte diskutiert und in wiederholten Reflexionsschleifen überarbeitet. 9 Aufgrund der enormen Datenmengen werden die Rückmeldungen auf Schüler-, Gruppen-/Klassen- und Schulebene so standardisiert wie möglich konzipiert. Die jeweiligen Ergebnisse werden nur innerhalb der Grafiken, die nach der Konzeption programmiert werden, rückgemeldet. Allgemeine Texte in den Rückmeldungen sowie Beschreibungen zu den Grafiken werden ergebnisunabhängig und standardisiert formuliert. Eine Ausnahme bildet die seit 2013 eingeführte Übersichtstabelle mit den wichtigsten Ergebnissen, die in leicht unterschiedlicher Form für Unterrichtsgruppen und Schulen abrufbar ist. Diese Tabelle enthält für jede Ebene variable Texte (abhängig vom Ergebnis) und wird ausschließlich auf der Ergebniswebsite zur Verfügung gestellt. 7 Im ersten Erhebungsjahr wurden die Ergebnisse zusätzlich zur PDF-Aufbereitung auch auf der Online-Plattform dargestellt, aufgrund des bevorzugten Herunterladens der PDF-Berichte und des Aufwands in der Implementierung aber in weiterer Folge darauf verzichtet. In diesem Fall war keine zwingende Navigation für das Lesen der Berichte vorgegeben. 8 Weiterhin sind die Leitlinien für die Arbeit des BIFIE gesetzlich festgelegt (BGBl. I Nr. 7/2013). Für die Konzeption der Rückmeldungen sind unter anderem die ersten beiden Absätze des Paragraphen 3 dieses Gesetzes handlungsleitend. In Absatz 1 ist das BIFIE dazu angehalten, als leitenden Grundsatz Objektivität und Unparteilichkeit sowie Transparenz zu beachten, aus Absatz 2 folgt die Anwendung von Methoden und Verfahren nach international anerkannten wissenschaftlichen Grundsätzen und Standards sowie deren Offenlegung. 9 Im Zuge der Reflexionsschleifen während der Konzeptionsphase wird auch der Auftraggeber (BMBF) eingebunden.

11 Rückmeldungen und Berichte zu den Bildungsstandardüberprüfungen Grafikaufbereitung und Entscheidungsregeln Steht nach der Reflexion in den Rückmelde-Arbeitsgruppen fest, wie die Grafiken der einzelnen Ergebnisrückmeldungen (Schüler-, Lehrer-, Schulrückmeldung, Schulaufsicht, Landes- und Bundesergebnisbericht) genau aussehen sollen, werden sie programmiert. Dies erfolgt mittels einer am BIFIE dafür programmierten Grafik-Konfigurationssoftware ( Konfigurator ). Sie dient zum Erstellen (Konfigurieren) der Grafiken, die im Anschluss mit den entsprechenden Daten zusammengeführt und automatisch generiert werden. Um einen reibungslosen Ablauf in der Programmierung zu gewährleisten, wird für alle Grafiken detailliert angegeben, in welcher Form sich welche Werte auf die Grafik auswirken (Variablenbezeichnungen, Darstellungsregeln, Entscheidungsregeln). Bei der Grafikkonzeption wird berücksichtigt, dass einzelne Schüler/innen nicht rückführbar sein dürfen. Diese Maßgabe und weitere Bedingungen fließen in die Entscheidungsregeln ein. Entscheidungsregeln gibt es nur für die Online-Rückmeldungen, die Systemebene erlaubt keine veränderten Darstellungen (und benötigt diese wegen des hohen Aggregationsgrads auch nicht). In den Entscheidungsregeln wird explizit definiert, wann Änderungen in den Darstellungen nötig sind, um (1) die Anonymität der Schüler/innen zu gewährleisten, (2) die Aussagekraft statistischer Berechnungen sicherzustellen und (3) auch bei sehr vielen oder sehr wenigen Schülerinnen und Schülern die Übersichtlichkeit der Darstellungen beizubehalten. Folgende Entscheidungsregeln wurden bisher definiert: Fall Konsequenzen Grund M8: Weniger als 5 Schüler/innen in der Schule/ Unterrichtsgruppe M4 & E8: Weniger als 2 Schüler/innen in der Schule/Unterrichtsgruppe Mittelwerte entfallen, Stärken- Schwächen-Profile entfallen statistische Aussagekraft Weniger als 5 Schüler/innen in der Schule/Unterrichtsgruppe Weniger als 8 Schüler/innen in der Schule/Unterrichtsgruppe Weniger als 8 Schüler/innen in der Schule Subgruppengrafiken entfallen, fairer Vergleich entfällt Kennzeichnung der mittleren 75 % entfällt Schüleranzahlen stehen bei Kompetenzstufenverteilung direkt im Balkendiagramm M8: 2 4 Schüler/innen in einer Subgruppe Mittelwert entfällt bei Subgruppengrafik, Streupunkte werden dargestellt statistische Aussagekraft statistische Aussagekraft Übersichtlichkeit statistische Aussagekraft Nur ein/eine Schüler/in in einer Subgruppe Subgruppengrafik entfällt Anonymität der Schüler/innen Nur eine Unterrichtsgruppe in der Schule Schulbericht Teil 2 entfällt Übersichtlichkeit (Redundanz) M8: mind. 5 Unterrichtsgruppen an der Schule Grafiken im Schulbericht Teil 2 um 90 gedreht Alle Schüler/innen der Unterrichtsgruppe gehören derselben Leistungsgruppe an Wenn unterschiedliche Leistungsgruppen (LG) in der Unterrichtsgruppe, aber Schüler/innen eindeutig identifizierbar (z. B. in einer LG nur ein/ eine Schüler/in oder mind. ein/eine Schüler/in nicht eindeutig einer LG zugeordnet) Nur eine Schülerin/ein Schüler in der Schule bzw. Unterrichtsgruppe getestet Grafiken nach LG entfallen Grafiken nach LG entfallen Sämtliche Grafiken entfallen (kein Ergebnisbericht) Übersichtlichkeit Übersichtlichkeit Anonymität der Schüler/innen Anonymität der Schüler/innen

12 10 Rückmeldungen und Berichte zu den Bildungsstandardüberprüfungen Fall Konsequenzen Grund Bei M4 & E8: Nur ein/eine Schüler/in hat den Fragebogen ausgefüllt (weil vorzeitiger Testabbruch aller anderen) Bei M4 & E8: min. ein/eine Schüler/in wurde nicht eindeutig einer Unterrichtsgruppe zugeordnet Bei Grafiken, die Streupunkte enthalten: Durch die Anordnung der Streupunkte können einzelne Schüler/innen identifiziert werden Schüler/in wäre identifizierbar durch nur einmalig vorkommende Kombination von Geschlecht und Migrationshintergrund Tabellen 2 5 entfallen Schulbericht Teil 2 entfällt Streupunkte entfallen Streupunkte entfallen in der Geschlechtergrafik, außer eine der beiden Grafiken (Geschlecht oder Migration) entfällt ohnehin, weil nicht genügend Schüler/ innen pro Subgruppe Anonymität der Schüler/innen Anonymität der Schüler/innen Anonymität der Schüler/innen Anonymität der Schüler/innen Tabelle 1: Entscheidungsregeln In verallgemeinerter Form sind diese Entscheidungsregeln in den jeweiligen Berichten nachzulesen. Abhängig von den technischen Funktionen des Konfigurators muss individuell entschieden werden, ob die Standardgrafik zu einer veränderten Darstellung in der Lage ist oder ob eine eigene Variantengrafik die Standardgrafik ersetzen muss. Sämtliche Grafiken werden nach der Programmierung kontrolliert und getestet. Die Kontrolle erfolgt einerseits in Hinblick auf das Layout (Positionierung der einzelnen Grafikelemente, Rechtschreibung usw.) und andererseits in Hinblick auf die Funktionalität der Variablen (werden die richtigen Variablen verwendet, die Grafikelemente je nach Variablenwert richtig positioniert und die Entscheidungsregeln korrekt berücksichtigt). Dabei wird auch darauf geachtet, Extremwerte und ungewöhnliche Datenkonstellationen zu testen und ggf. die Darstellung anzupassen (z. B. Abschneiden des Vertrauensintervalls an den Rändern der Skala; Auslassungspunkte mit Angabe der genauen Häufigkeit bei sehr vielen Streupunkten in einer Reihe). Beschreibungstexte zu den Grafiken auf Schüler-, Lehrer- und Schulebene werden ebenfalls in den Konfigurator eingegeben. Bei Variantengrafiken besteht die Option, den zugehörigen Text zu adaptieren, so dass dieser z. B. die Gründe für die veränderte Darstellung enthält. 4.3 Datenaufbereitung Zunächst werden auf Grundlage der konzipierten Grafiken und Berichte die Variablen und deren Form, die für die Generierung der Rückmeldungen und Berichte benötigt werden, spezifiziert. Die im Zuge der Datenaufbereitung zur Verfügung gestellten Daten umfassen beispielsweise Leistungsdaten, Daten aus der Kontextbefragung (Freunberger, Robitzsch & Pham, 2014), Schuladressen oder Indikatorvariablen (nahm teil/nahm nicht teil, Gruppe ist eine gemischte Leistungsgruppe o. Ä.). Ebenso wie sämtliche programmierten Grafiken werden auch die Datensätze vor der tatsächlichen Verwendung in einer internen Kontrollschleife so weit wie möglich auf Richtigkeit (Vollständigkeit, Form, Plausibilität, Konsistenz usw.) überprüft. Um die Daten einer möglichst umfassenden Prüfung zu unterziehen, werden vor den Checks einerseits sehr kleinschrittige Checklisten ausgearbeitet (Business-Rules), andererseits nach Bedarf auch (teil)automatisierte Testtemplates entwickelt und erstellt. Nach diesen Datenchecks und allfälligen Überarbeitungs- und Kontrollschleifen werden die Datensätze in die Rückmeldedatenbank eingespeist, damit sie für die Generierung von Grafiken und Berichten zur Verfügung stehen.

13 BIFIE-Report 6/ Berichtaufbereitung An der Aufbereitung der Berichte sind verschiedene eng miteinander kooperierende Teams am BIFIE beteiligt. Die technische Herausforderung bei den Schüler-, Lehrer- und Schulrückmeldungen besteht darin, Berichte zu erstellen, die sowohl fixe/gesetzte Textpassagen, aber auch variable Textbausteine und programmierte Grafiken mit Berücksichtigung von Entscheidungsregeln enthalten. Eine Spezifikation ist deshalb in folgenden Bereichen erforderlich: Textspezifikation (Fixtext gesetzte Textbausteine vs. variabler Text Konfiguratortexte) Anordnung der Grafiken und variablen Textfelder Festlegung spezifischer Regeln für Grafikgrößen, Umbrüche etc. Spezifische Regeln für die Ansicht auf der Rückmeldeplattform Anhand der übermittelten Informationen werden die entsprechenden Berichte programmiert und zusammengestellt und in mehreren Schleifen intern kontrolliert. Berichte auf Systemebene (Bundes- und Landesergebnisberichte sowie Schulaufsichtsberichte) enthalten ebenfalls programmierte Grafiken, die Texte dazu werden allerdings manuell gesetzt. Hierfür werden zum einen standardisierte Textpassagen verwendet, zum anderen werden im Bundesergebnisbericht individualisierte Grafikbeschreibungen auf Basis der Ergebnisse hinzugefügt bzw. in den Landesergebnisberichten landesspezifische Zusammenfassungen ergänzt. Die textliche Konzeption der Online- und Systemberichte erfolgt in enger Abstimmung mit der Departmentleitung, außerdem werden Anregungen des Auftraggebers (BMBF) berücksichtigt. Nach dem Lektorat werden die finalen Berichte in Abstimmung mit dem BMBF durch die Departmentleitung freigegeben. 4.5 Distribution der Rückmeldungen Im Anschluss an die allgemeine Ergebnispräsentation durch das zuständige Bildungsministerium 10 werden die Ergebnisse der Standardüberprüfungen den verschiedenen Rezipientengruppen und der Öffentlichkeit zugänglich gemacht. Landes- und Bundesergebnisberichte können über die BIFIE-Homepage heruntergeladen werden. Den Schülerinnen und Schülern, Lehrerinnen und Lehrern, Schulleiterinnen und Schulleitern sowie der Schulaufsicht werden ihre jeweiligen Ergebnisberichte auf einer Online-Plattform zur Verfügung gestellt. Zum Abrufen der Rückmeldungen benötigen sie einen Zugangscode Codeversand Verteilung der Zugangscodes: Die Codes zum Abrufen der Schülerrückmeldungen wurden am Testtag mit dem jeweiligen Testheft an die Schüler/innen ausgegeben. Die benötigten Codes zum Abrufen der Ergebnisse für Schulleiter/innen, Lehrpersonen und Behörden werden vorab postalisch (per Einschreiben) an die Schulleitung bzw. die Schulbehörden gesendet. Der Bundesergebnisbericht sowie die einzelnen Landesergebnisberichte sind öffentlich zugänglich über die BIFIE-Website abrufbar, somit sind keine Codes erforderlich. Die benötigten Zugangscodes für Lehrer/innen, Schulleiter/innen und Schulaufsicht werden aus Sicherheitsgründen per Einschreiben wenige Wochen vor Freischaltung der Ergebnisse versendet. Zeitlich mit dem postalischen Versand ergeht an alle Stellen ein (Supermailer), das den Versand der Codes ankündigt so wird gewährleistet, dass im Falle eines Verlusts des Codes auf dem Postweg bei entsprechender Kontaktaufnahme mit dem BIFIE rechtzeitig vor Freischaltung der Ergebnisse ein neuer Code zugesendet werden kann. 10 zuständiges Bundesministerium: bis Dezember 2013 das BMUKK, seit Jänner 2014 das BMBF

14 12 Rückmeldungen und Berichte zu den Bildungsstandardüberprüfungen Die Codes für die Schulleitung und Lehrpersonen werden direkt an die Schulleitung gesendet mit der Bitte um Aushändigung an die entsprechenden Lehrpersonen. Die Schulleitung ist für die Distribution der Lehrercodes zuständig. Jeder Code befindet sich in einem separaten und verschlossenen Kuvert, beschriftet mit dem von der Schulleitung vergebenen Namen der Unterrichtsgruppe. Ein beiliegendes Anschreiben informiert die Schulleitung über die weitere Vorgehensweise sowie die Weitergabe der Codes an die Lehrpersonen Online-Plattform Die Ergebnisse der Bildungsstandards können nach der Pressekonferenz von den unterschiedlichen Rezipientengruppen (Schüler/innen, Lehrer/innen, Schulleitungen, Schulaufsicht) über die gesicherte Rückmeldeplattform im Internet abgerufen werden. Dafür ist neben dem Zugangscode für Lehrer/innen, Schulleiter/innen und die Schulaufsicht in einem zweiten Anmeldeschritt zusätzlich die Angabe eines weiteren Identifikationsmerkmals nötig. Auf der Startseite besteht die Möglichkeit, sich mit Testzugängen jeweils Musterrückmeldungen für Schüler/innen, Lehrer/innen und Schulleiter/innen anzusehen bzw. herunterzuladen. Diese Musterrückmeldungen sind in sich stimmig und beruhen jeweils auf fiktiven Daten. Lediglich die Maßzahlen für Österreich insgesamt können müssen aber nicht den realen Messdaten entsprechen. Im ersten Überprüfungsjahr 2012 (M8) waren diese Musterzugänge nur innerhalb der Hilfe ersichtlich, seit der Rückmeldung der Standardüberprüfungen aus 2013 (E8 und M4) werden die Musterzugänge direkt auf der Startseite angegeben. Nach dem Einloggen gelangt die Nutzerin/der Nutzer auf eine Webseite, deren Inhalte an Fach und Ebene angepasst sind. Über diese Website können sämtliche Informationen der Rückmeldung abgerufen werden: 1) Testergebnisse (Übersichtstabelle + vollständiges Ergebnis-PDF) inkl. Möglichkeit zum Download des Acrobat Readers 2) Hintergrundinfos zur Überprüfung, Rückmeldemoderation usw. 3) Glossar 4) Sonstiges: Hilfe, Benutzungsbestimmungen, Impressum, Systeminformationen Die Hauptstruktur der Rückmeldeplattform ist für die Schulaufsicht, die Schulleitung und die Lehrer/ innen gleich aufgebaut. Es gibt die drei übergeordneten Menüordner (siehe Abbildung 2) Informationen zur Standardüberprüfung, Übersichtstabelle und Ergebnisse als PDF herunterladen. Abbildung 2: Beispiel Rückmeldeplattform für Schulleitung M4 2013

15 BIFIE-Report 6/ Schuleiter/innen und Lehrer/innen erhalten seit 2013 eine Übersichtstabelle mit den wichtigsten Ergebnissen. Die Tabelle mit variablen Textbausteinen (abhängig vom Ergebnis) wird ausschließlich auf der Ergebniswebsite zur Verfügung gestellt 11 (Abbildung 3). Abbildung 3: Übersichtstabelle (Muster) Schulleitung Mathematik 4 (2012) Auch die Schulaufsicht erhält online eine Übersichtstabelle, die für jede Schule ihres Aufsichtsbereichs einige der zentralen Kennwerte auflistet. Im Gegensatz zu den Übersichtstabellen für Schulleitung und Lehrpersonen wird aber kein variabler Text verwendet, sondern die Schulergebnisse werden so knapp wie möglich durch Zahlen und Symbole visualisiert. Ebenfalls online erfolgt die Rückmeldung an die Schüler/innen, die als Feedback zur persönlichen Lernentwicklung dient. Für den Zugang zu ihren Ergebnissen erhalten die Schüler/innen am Testtag einen Zugangscode, den nur die Schüler/innen selbst kennen und mit dem sie ihre persönlichen Ergebnisse im Anschluss an die Auswertung im Internet abrufen können. Die Ergebnisse werden den Schülerinnen und Schülern in Form des Testwerts und der erreichten Kompetenzstufe bzw. des GERS-Referenzniveaus (kriteriale Rückmeldung) mitgeteilt. Referenzwerte für die Schüler/innen sind der Österreich-Schnitt, der Prozentrang der Schülerin/des Schülers in Österreich sowie die österreichweite Verteilung auf die Kompetenzstufen bzw. GERS-Referenzniveaus. Die Schüler/innen erhalten wegen des ohnehin geringeren Umfangs ihrer einzelnen Berichte im Gegensatz zu allen anderen Gruppen keine zusammenfassende Übersichtstabelle. Dafür können sie alternativ zum PDF-Download ihre Rückmeldung auch vollständig online ansehen. Die Rückmeldeplattform ist aktuell für folgende Browser optimiert und getestet: Internet Explorer ab Version 8 Firefox ab Version 17 Safari ab Version 6 Opera ab Version Im ersten Überprüfungsjahr (Mathematik 8, 2012) wurden auf der Rückmeldeplattform auch für Lehrer/innen und Schulleiter/innen jeweils die vollständigen Ergebnisse zur Online-Ansicht (zusätzlich zum PDF-Download) bereitgestellt. Eine zusammenfassende Übersichttabelle gab es nicht.

16 14 Rückmeldungen und Berichte zu den Bildungsstandardüberprüfungen 5 Hotline Zur Unterstützung bei organisatorischen, technischen und inhaltlichen Fragen im Zusammenhang mit den Rückmeldungen der Standardüberprüfungen ist eine Hotline ( ) eingerichtet, an die sich alle Zielgruppen wenden können. In den Wochen vor und nach der Ergebnisfreischaltung ist sie mit zusätzlichem Personal besetzt, um der verstärkten Frequentierung gerecht zu werden. Jene Personen, die nur für einige Tage die Hotline unterstützen, sowie BIFIE-interne Mitarbeiter/innen nehmen an einer halbtägigen Einschulung teil. Alle externen Hotline-Mitarbeiter/innen, die über einen längeren Zeitraum die Rückmelde-Hotline betreuen, durchlaufen zwei halbtägige Schulungen. Folgende Schulungsinhalte werden in der zweitägigen Schulung behandelt: wichtigste gesetzliche Grundlagen wichtigste fachspezifische Unterlagen Informationen zu den Standardüberprüfungen Überblick über Schulaufsichts-, Landes- und Bundesergebnisbericht Aufbau, Struktur und wichtigste Kennwerte der Online-Rückmeldungen Codeversand Rückmeldeplattform (Adresse, Login, Navigation, mögliche technische Probleme) Umgang mit den Rückmeldungen und Unterstützungsangebote Datenbank zur Dokumentation der Anrufe Kompetenzgrenzen der Hotline-Mitarbeiter/innen Sicherheitsanweisungen für Hotline-Mitarbeiter/innen Trotz der detaillierten Einschulung wird besonderer Wert darauf gelegt, dass externe Hotline-Mitarbeiter/innen ihre eigenen Kompetenzgrenzen kennen. So sind sie zum Beispiel angewiesen, bei folgenden Fragen bzw. Problemen sofort an das Team Rückmeldung & Kontextbefragung weiterzuverbinden: Berechnung von Kennwerten Statistische Begriffe Interpretation von Ergebnissen Detaillierte inhaltliche Fragen Detaillierte Fragen zur Datenverarbeitung und zum Datenschutz Probleme mit dem Zugangscode, die sich nicht auf allgemeine technische Schwierigkeiten zurückführen lassen Des Weiteren haben externe Hotline-Mitarbeiter/innen zu keinem Zeitpunkt Zugriff auf sensible Daten wie beispielsweise Zugangscodes und Ergebnisdatensätze. Sämtliche Anrufe werden in einer Access-Datenbank dokumentiert. Analysen zur Frequentierung der Hotline, zur Funktion der Anrufer (Schulleiter/in, Lehrer/in, Schüler/in, Eltern, ) und zu den häufigsten Problemen dienen dazu, zukünftige Prozesse und Ergebnisrückmeldungen zu verbessern sowie die Inhalte der Hotline-Schulungen bestmöglich auf die Bedürfnisse der Anrufer/innen abzustimmen. Zusätzlich zur Hotline können Fragen zur Ergebnisrückmeldung auch an die -Adressen bist4- rm@bifie.at (4. Schulstufe) bzw. bist8-rm@bifie.at (8. Schulstufe) gestellt werden. Die meisten Anrufe an die Hotline erfolgten bei allen Bildungsstandardrückmeldungen (M8, E8, M4) jeweils am Tag der Ergebnisfreischaltung sowie am darauffolgenden Tag. Die Mehrzahl der Anrufer/ innen waren bei allen Rückmeldungen Schulleiter/innen, gefolgt von Eltern bzw. Schülerinnen und Schülern und Lehrerinnen bzw. Lehrern. Am häufigsten hatten Anrufer/innen organisatorische Fragen (bei der BIST-Ü 2013 gehörten ca. 34 % der Anrufe zu dieser Kategorie), viele forderten auch ihren Zugangscode (erneut) an und auch das Einloggen bereitete einigen Probleme. Inhaltliche Fragen zur Rückmeldung wurden an der Hotline vergleichsweise selten gestellt (bei der BIST-Ü 2013 stellten ca. 10 % der Anrufer inhaltliche Fragen).

17 BIFIE-Report 6/ Anhang 6.1 Allgemeiner Prozessablauf der Rückmeldung 1. Grafikentwürfe und Berichtsstruktur erstellen Diskussion mit Fachgremium ( Rückmelde-AGs mit Fachdidaktik, Methodenteam, Departmentleitung,...) Konzeption + Berücksichtigung der Entscheidungsregeln 2. Musterberichte erstellen 3. Grafik- und Variablenspezifikation Allgemeine Texte in den Onlineberichten Textbausteine zu Grafikentwürfen Systemberichte Variablenliste erstellen Variablenbeschriftung in Grafiken einfügen 4. Grafiken programmieren Grafiken im Konfigurator erstellen, Entscheidungsregeln programmieren Grafiken testen (Layout, Variablen, Funktion, Entscheidungsregeln) Grafiktexte im Konfigurator eingeben Spezifikationen für Satz und PDF-Generierung aufbereiten 5. Datensätze testen vorab: fiktive Musterdatensätze des Methodenteams testen (Stimmigkeit, Format, Entscheidungsregeln,...) Testen der Echtdatensätze (Format, Entscheidungsregeln, Berechnungsvorgaben, Konsistenz,...) 6. Grafiken generieren Grafiken mit Echtdaten generieren (nochmalige Kontrolle der Daten und Grafiken) 7. finale Rückmeldung erstellen & Kontrolle PDF-Zusammenführung testen (gesetzte Texte, Daten, Konfiguratorgrafiken) ergebnisabhängige Texte in den Systemberichten finalisieren finale Rückmeldungen für alle Ebenen generieren 8. RM-Plattform vorbereiten Webseitentexte erstellen RM-Plattform testen (Inhalte, Formate, korrekte Verknüpfung mit Daten und Grafiken) 9. Ergebnisfreischaltung Versand der Zugangscodes laufende Betreuung von Hotline- und -Anfragen

18 16 Rückmeldungen und Berichte zu den Bildungsstandardüberprüfungen 6.2 Mathematik, 8. Schulstufe, 2012 Berichtaufbereitung und Distribution Für die Rückmeldung der M8-Ergebnisse wurden rund Berichte programmiert bzw. generiert. Des Weiteren wurden im Satz aggregierte Schulaufsichtsberichte für die Landeschulinspektorinnen und -inspektoren erstellt sowie für jedes Bundesland ein Landesergebnisbericht (LEB) und für Österreich gesamt ein Bundesergebnisbericht (BEB) erstellt. Anzahl der erstellten Berichte pro Ebene: Anzahl der erstellten Berichte M8 Schüler/innen Online Lehrer/innen Schulleiter/innen Bezirksaufsichtsberichte (BSI) 125 Online-Berichte Landesaufsichtsberichte (LSI-AHS/-APS) 18 System LEB 9 BEB 1 System-Berichte 10 Tabelle 2: Anzahl erstellter Berichte M8 Zusätzlich zum online öffentlich abrufbaren PDF der Systemberichte wurden jeweils einige Exemplare gedruckt zur Verfügung gestellt. Die Druckauflage umfasste sowohl für den Bundesergebnisbericht als auch für die neun Landesergebnisberichte je 220 Exemplare. Die Distribution der Rückmeldungen erfolgte für die Ebenen Schüler/innen, Lehrer/innen, Schulleitung und Schulaufsicht über die Plattform Aufgrund von Verlust mussten insgesamt 371 Codes erneut an Schulen bzw. Behörden gesendet werden ( 5,8 % der versendeten Codes). Abrufquoten Die Freischaltung der Ergebnisse erfolgte am 11. Dezember 2012 im Anschluss an die Pressekonferenz, im Rahmen derer die österreichweiten Ergebnisse von der damaligen Bundesministerin Dr. Claudia Schmied des BMUKK präsentiert wurden. Der Zugriff auf die Online-Plattform war bis Ende Juni 2013 möglich. Im gesamten Zeitraum, während dessen die Rückmeldungen online waren, wurden folgende Abrufquoten 12 bei den M8-Rückmeldungen erreicht: 12 Nicht berücksichtigt sind dabei Schulschließungen, Pensionierungen, Karenzierungen oder Ähnliches, die im Zeitraum zwischen Testdurchführung und Ergebnisrückmeldung stattgefunden haben.

19 BIFIE-Report 6/ Abrufquoten M8 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 99,2% 88,1% 27,4% M8 Lehrer M8 Schulleiter M8 Schüler Abbildung 4: Abrufquoten M8 Alle Schulbehörden haben ihren Bericht entweder mit ihrem Zugangscode über die Rückmeldeplattform abgerufen oder ihn vom BIFIE über eine geschützte Internetverbindung zur Verfügung gestellt bekommen. Der M8-Bundesergebnisbericht (Schreiner & Breit, 2012) ist auf der BIFIE-Website unter folgendem Link öffentlich abrufbar: Die M8-Landesergebnisberichte sind auf der BIFIE-Website unter folgendem Link öffentlich abrufbar: Mathematik, 4. Schulstufe, 2013 Berichtaufbereitung und Distribution Für die Rückmeldung der M4-Ergebnisse wurden rund Berichte programmiert bzw. generiert. Des Weiteren wurden im Satz sowohl für jedes Bundesland ein Landesergebnisbericht (LEB) als auch für Österreich gesamt ein Bundesergebnisbericht (BEB) erstellt. Anzahl der erstellten Berichte pro Ebene: Anzahl der erstellten Berichte M4 Schüler/innen Online System Lehrer/innen Schulleiter/innen Schulaufsicht (BSI/LSI) 135 Online-Berichte LEB 9 BEB 1 System-Berichte 10 Tabelle 3: Anzahl erstellter Berichte M4 Zusätzlich zum online öffentlich abrufbaren PDF der Systemberichte wurden jeweils einige Exemplare gedruckt zur Verfügung gestellt. Die Druckauflage umfasste für den Bundesergebnisbericht 100 Exemplare, für den Landesergebnisbericht Oberösterreich 50 Exemplare und je 20 Exemplare für die anderen acht Landesergebnisberichte. Aufgrund von Verlust mussten insgesamt 227 Codes erneut an Schulen bzw. Behörden gesendet werden ( 2,8 % der versendeten Codes).

20 18 Rückmeldungen und Berichte zu den Bildungsstandardüberprüfungen Abrufquoten Die Freischaltung der Ergebnisse erfolgte am 31. Jänner 2014 im Zuge der Pressekonferenz, im Rahmen derer die österreichweiten Ergebnisse von der Bundesministerin Gabriele Heinisch-Hosek des BMBF präsentiert wurden. Der Zugriff auf die Online-Plattform war bis Anfang Juli 2014 möglich. Im gesamten Zeitraum, während dessen die Rückmeldungen online waren, wurden folgende Abrufquoten 13 bei den M4-Rückmeldungen erreicht: Abrufquoten M4 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 94,7% 78,6% 30,2% M4 Lehrer M4 Schulleiter M4 Schüler Abbildung 5: Abrufquoten M4 Alle Schulbehörden haben ihren Bericht entweder mit ihrem Zugangscode über die Rückmeldeplattform abgerufen oder ihn vom BIFIE über eine geschützte Internetverbindung zur Verfügung gestellt bekommen. Der M4-Bundesergebnisbericht (Schreiner & Breit, 2014b) ist auf der BIFIE-Website unter folgendem Link öffentlich abrufbar: Die M4-Landesergebnisberichte sind auf der BIFIE-Website unter folgendem Link öffentlich abrufbar: Englisch, 8. Schulstufe, 2013 Berichtaufbereitung und Distribution Für die Rückmeldung der E8-Ergebnisse wurden rund Berichte programmiert bzw. generiert. Des Weiteren wurden im Satz sowohl für jedes Bundesland ein Landesergebnisbericht (LEB) als auch für Österreich gesamt ein Bundesergebnisbericht (BEB) erstellt. Anzahl der generierten Berichte pro Ebene: Anzahl der erstellten Berichte E8 Schüler/innen Online System Lehrer/innen Schulleiter/innen Schulaufsicht 144 Online-Berichte LEB 9 BEB 1 System-Berichte 10 Tabelle 4: Anzahl erstellter Berichte E8 13 Nicht berücksichtigt sind dabei Schulschließungen, Pensionierungen, Karenzierungen oder Ähnliches, die im Zeitraum zwischen Testdurchführung und Ergebnisrückmeldung stattgefunden haben.