Rückmeldung an die Lehrer/innen

Transkript

1 BIST-Ü E8 (2013) Rückmeldung an die Lehrer/innen Standardüberprüfung E Rückmeldung der Ergebnisse Ihrer Unterrichtsgruppe Schule: Musterschule der Musterstraße 1 Adresse: Musterstraße Musterort Unterrichtsgruppe: 4A Schulkennzahl:

2 Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens Alpenstraße 121/5020 Salzburg Direktoren: MMag. Christian Wiesner & Mag. Martin Netzer, MBA Für den Inhalt verantwortlich: BIFIE Department Bildungsstandards & Internationale Assessments (Mag. Dr. Claudia Schreiner, Mag. Simone Breit) Kontakt: 0662/ ; Bei Fragen zur Rückmeldung kontaktieren Sie bitte unsere Hotline: Telefon: 0662/ ; Die Überprüfung und Rückmeldung der Bildungsstandards ist rechtlich verpflichtend verankert und zählt zu den gesetzlichen Kernaufgaben des Bundesinstituts BIFIE (BIFIE-Gesetz 2008). Bundesministerium für Unterricht, Kunst und Kultur Minoritenplatz 5/1014 Wien

3 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) 1 Inhalt 3 1. Einleitung 4 2. Informationen zur Standardüberprüfung Ergebnisse Ihrer Unterrichtsgruppe Information über die Schüler/innen Ihrer Unterrichtsgruppe Hör-, Lese- und Schreibkompetenz Ihrer Unterrichtsgruppe Hör-, Lese- und Schreibkompetenz Ihrer Unterrichtsgruppe im Detail Englischkompetenz Ihrer Unterrichtsgruppe Von den Ergebnissen zur Qualitätsentwicklung Hinweis Kursiv gedruckte Begriffe werden im Glossar erklärt.

4 2 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ )

5 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) 3 1. Einleitung Mit der Einführung der Bildungsstandards (BIST) und deren regelmäßiger Überprüfung wird ein bemerkenswerter Reformprozess in Gang gesetzt, der den Fokus auf die Kompetenzen der Schüler/innen richtet. Bildungsstandards legen jene Kompetenzen fest, die Schülerinnen und Schüler bis zum Ende der 4. Schulstufe in Deutsch/Lesen/Schreiben und Mathematik sowie bis zum Ende der 8. Schulstufe in Deutsch, Mathematik und Englisch erworben haben sollen. Dabei handelt es sich um Fähigkeiten, Fertigkeiten und Haltungen, die für die weitere schulische und berufliche Bildung von zentraler Bedeutung sind. Bildungsstandards wurden als konkret formulierte Lernergebnisse aus den Lehrplänen abgeleitet. Daher treten Bildungsstandards und Lehrplan nicht in eine konkurrierende oder widersprüchliche Position, sondern ergänzen einander positiv. Bildungsstandards sollen einen nachhaltigen Kompetenzaufbau und ergebnisorientierten Unterricht bewirken. Lehrkräften wird es ermöglicht, einen Vergleich zwischen dem von den Bildungsstandards vorgegebenen Soll und den von ihren Schülerinnen und Schülern tatsächlich erworbenen Kompetenzen anzustellen. Dies bildet die Grundlage für eine Reflexion des eigenen Unterrichts. Durch die regelmäßige Überprüfung der Bildungsstandards wird festgestellt, ob und in welchem Ausmaß Schüler/innen die gewünschten Kompetenzen erreichen und wie sich der Ist-Stand der Kompetenzen der Schüler/ innen mit dem angestrebten Soll (Bildungsstandards) deckt. Die externe Überprüfung zeigt auch, inwieweit Schulen ihre Kernaufgabe der Vermittlung von allgemein als notwendig angesehenen Kompetenzen erfüllen. Die zentral vorgegebenen Standardüberprüfungen verfolgen weiters das Ziel, die Ergebnisse für Schul- und Unterrichtsentwicklung nutzbar zu machen. Die Rückmeldung der Testleistungen dient als Impuls für Qualitätsentwicklungsprozesse am jeweiligen Schulstandort sowie landes- und bundesweit. Bildungsstandards sind daher ein bedeutendes Instrument der Qualitätssicherung und bilden eine wichtige Datengrundlage für die Initiative Schulqualität Allgemeinbildung (SQA). Dieses Instrument ist mit der Novellierung des 18 Bundes-Schulaufsichtsgesetz mit 1. September 2012 in Kraft getreten. Ziel von SQA ist es, durch pädagogische Qualitätsentwicklung und -sicherung bestmögliche Lernbedingungen für Schüler/innen zu gewährleisten (vgl. BMUKK, 2012). Der erste Überprüfungszyklus auf der 8. Schulstufe startete im Mai 2012 mit Mathematik und wurde mit Englisch im April schriftlich bzw. im Mai/Juni 2013 mündlich fortgesetzt. Der vorliegende Bericht beinhaltet nun die Ergebnisse Ihrer Unterrichtsgruppe aus der Standardüberprüfung in Englisch. In Kapitel 2 erhalten Sie detaillierte Informationen zur Durchführung der Standardüberprüfung. Die grafisch aufbereiteten Ergebnisse Ihrer Unterrichtsgruppe werden in Kapitel 3 dargestellt. Abschließend wird in Kapitel 4 ein Ausblick über nachfolgende Schritte gegeben. Die Unterrichtsgruppe ist jene Einheit, in der die Schüler/innen der 8. Schulstufe in Englisch gemeinsam unterrichtet wurden. Weiterführende Informationen zu verwendeten Begriffen finden Sie im Glossar, welches Sie als eigenständiges PDF-Dokument lokal speichern und ausdrucken können. Im vorliegenden PDF-Dokument sind erklärte Begriffe kursiv gedruckt. Die Ergebnisse können bis Ende Juni 2014 online abgerufen werden. Es empfiehlt sich, den Ergebnisbericht als PDF-Dokument lokal zu speichern und ggf. auszudrucken. Auf Wunsch kann Ihre Schulleiterin/Ihr Schulleiter über die Pädagogische Hochschule eine/n Rückmeldemoderatorin/-moderator zur Unterstützung bei der sachlichen Analyse und objektiven Interpretation der Ergebnisse anfordern. Genauere Informationen dazu finden Sie in Kapitel 4.

6 4 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) 2. Informationen zur Standardüberprüfung Welches Kompetenzmodell liegt der Standardüberprüfung in Englisch zugrunde? Den in den Bildungsstandards festgelegten Kompetenzen liegt ein aus dem jeweiligen Lehrplan abgeleitetes fachspezifisches Kompetenzmodell zugrunde. Das Kompetenzmodell strukturiert die wesentlichen Kernbereiche eines Unterrichtsgegenstands. Für die lebende Fremdsprache Englisch basiert der Lehrplan wie die Bildungsstandards auf dem Gemeinsamen Europäischen Referenzrahmen für Sprachen (GERS). Im Zentrum des GERS stehen Sprachkompetenzbeschreibungen für die in Abbildung 1 angeführten Kompetenzbereiche. An Gesprächen teilnehmen Zusammenhängend sprechen Kompetenzbereiche Englisch 8. Stufe Hören Lesen Schreiben Abbildung 1: Kompetenzmodell Englisch 8. Schulstufe Für die Standardüberprüfung und Rückmeldung werden die Fertigkeiten An Gesprächen teilnehmen und Zusammenhängend sprechen zum Kompetenzbereich Sprechen zusammengefasst. Beide, Lehrplan wie Bildungsstandards, definieren als wesentliche Kriterien des Fremdsprachenunterrichts die grundsätzliche Gleichwertigkeit der Kompetenzbereiche sowie seine Handlungsorientierung (die Entwicklung kommunikativer Kompetenz). Die Lernenden sollen demnach durch den Unterricht befähigt werden, Alltagssituationen kommunikativ erfolgreich und sozial angemessen zu bewältigen. Wie wurden die Testaufgaben entwickelt? Die Verantwortung für die Item- und Testentwicklung und die wissenschaftliche Qualität der Überprüfung trägt das Department Bildungsstandards & Internationale Assessments des Bundesinstituts BIFIE. Die fachlichen Entwicklungsarbeiten in Deutsch, Mathematik und Englisch erfolgen in Kooperation mit Arbeitsgruppen an Pädagogischen Hochschulen und Universitäten. Diese bestehen aus Fachdidaktikerinnen und Fachdidaktikern, die ihre Expertise einbringen, sowie Lehrerinnen und Lehrern mit langjähriger praktischer Erfahrung. Die Vorarbeiten zur Standardüberprüfung in Englisch 2013 durchliefen drei Phasen: Seit 2004 entwickelten Lehrer/innen mit Unterstützung von Fachdidaktikerinnen und Fachdidaktikern Items zur kompetenzorientierten Leistungsmessung in Deutsch, Mathematik und Englisch. In mehr als 300 Schulen wurden Aufgabensammlungen auf der 4. und 8. Schulstufe praktisch erprobt und die von den Schülerinnen und Schülern erzielten Ergebnisse analysiert. Diese Erfahrungen flossen in die Verordnung der Bildungsstandards 2009 ein. Im Schuljahr 2008/09 hat das Bundesinstitut BIFIE erstmals in einer repräsentativen Stichprobe auf der 8. Schulstufe (HS, AHS) mit einer Bestandsaufnahme begonnen, der Baseline-Testung in Mathematik,

7 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) 5 Deutsch und Englisch. Für Deutsch/Lesen/Schreiben und Mathematik auf der 4. Schulstufe fand diese Baseline-Testung im Schuljahr 2009/10 statt. Damit war ein verlässliches Bild vom bisher erzielten Leistungsstand möglich und eine Ausgangsmessung für spätere Vergleiche erstellt. Für jedes Fach und jede Schulstufe übernehmen Entwicklungsgruppen, bestehend aus Lehrerinnen und Lehrern, die vertraglich mit dem BIFIE zusammenarbeiten, die Entwicklung der Items (Testaufgaben). Kooperationspartner/innen von Pädagogischen Hochschulen und Universitäten begleiten und unterstützen mit ihrer fachlichen Expertise diesen Arbeitsprozess. Die entwickelten Items und Tests durchlaufen mehrere Begutachtungen und Bewertungen durch Fachexpertinnen und -experten sowie Praktiker/innen. Ein bis zwei Jahre vor der jeweiligen Standardüberprüfung werden die Items und Tests an mehreren tausend Schülerinnen und Schülern nochmals pilotiert, um die am besten geeigneten Testinstrumente für die Standardüberprüfungen auswählen zu können. Die fachdidaktische Begleitung bei der Itementwicklung für die Standardüberprüfung in Englisch auf der 8. Schulstufe übernahmen das Norwich Institute for Language Education NILE (Leitung: Dave Allan, Keith Morrow) für Hören und Lesen sowie die Expertenteams unter der Leitung von Prof. Dr. Otmar Gassner (PH Vorarlberg) für Schreiben und Prof. Dr. Claudia Mewald (PH Niederösterreich) für Sprechen. Auf diesen Vorarbeiten beruht die nun im April 2013 vom BIFIE durchgeführte erste flächendeckende Überprüfung in Englisch auf der 8. Schulstufe, deren Ergebnisse Sie in diesem Bericht erhalten. Damit wurde der erste Überprüfungszyklus der Bildungsstandards auf dieser Schulstufe fortgesetzt, der 2012 mit Mathematik begonnen hat und 2014 mit Deutsch beendet wird. Wer hat 2013 an der Standardüberprüfung in Englisch (8. Schulstufe) teilgenommen? Die schriftliche Standardüberprüfung in Englisch (Hören, Lesen, Schreiben) auf der 8. Schulstufe fand an den Testtagen 17. April bzw. 25. April 2013 (Ersatztermin) in ganz Österreich statt. Zur Zielgruppe gehörten rund Schüler/innen in Schulen (898 HS, 243 NMS, 267 AHS, 2 VS-Ost). Am Testtag (bzw. Ersatztermin) fehlten insgesamt rund 4 % der zu überprüfenden Schüler/innen, sodass rund Schüler/innen getestet wurden und eine Teilnahmequote von rund 96 % erzielt wurde. Aus organisatorischen Gründen fand die Überprüfung des Kompetenzbereichs Sprechen im Zeitraum vom 6. Mai bis 7. Juni 2013 nur an einer Teilstichprobe statt. Dafür erfolgte in einem ersten Schritt eine Stichprobenziehung von 120 Schulen. In jeder der für die Überprüfung ausgewählten Schulen wurden aus allen Schülerinnen und Schülern auf der 8. Schulstufe in der Regel 12 Testpaare (24 Schüler/innen) plus 2 Ersatzschüler/innen klassenübergreifend und zufällig gezogen. Die Teilnahme an der Standardüberprüfung war laut Gesetz verpflichtend für alle Schülerinnen und Schüler der 8. Schulstufe an allen öffentlichen und privaten Schulen mit gesetzlich geregelten Schulartbezeichnungen (Volksschuloberstufe, Hauptschule, Neue Mittelschule 1, allgemeinbildende höhere Schule) und mit Öffentlichkeitsrecht. Von der Überprüfung ausgenommen waren alle außerordentlichen Schüler/innen sowie Schüler/ innen mit sonderpädagogischem Förderbedarf (SPF), die im Testfach nach dem Lehrplan der Allgemeinen Sonderschule (ASO) oder nach dem Lehrplan einer niedrigeren Schulstufe unterrichtet wurden. Schüler/innen mit Körper- oder Sinnesbehinderung nahmen dann nicht an der Überprüfung teil, wenn sie selbst mit allenfalls im Unterricht zur Verfügung stehenden Unterrichts- oder Hilfsmitteln unter den standardisierten Testbedingungen die gestellten Aufgaben aller Voraussicht nach nicht hätten lösen können. Von der Überprüfung in Englisch waren zudem Schüler/innen ausgenommen, die nicht Englisch als erste lebende Fremdsprache hatten. Detaillierte Informationen zu den Teilnahmekriterien können der Verordnung über Bildungsstandards im Schulwesen (vgl. BGBl. II Nr. 1/2009) sowie deren Novelle (vgl. BGBl. II Nr. 282/2011) entnommen werden. 1 Für die vorliegende Rückmeldung trifft die Zuordnung zur seit 2012 gesetzlich geregelten Schulart Neue Mittelschule nur auf jene Schulen zu, die durch die Teilnahme am Modellversuch seit dem Schuljahr 2009/10 zum Zeitpunkt der Überprüfung bereits Schüler/ innen im Rahmen des Modellversuchs vier Jahre unterrichteten. Nähere Informationen zur Neuen Mittelschule finden Sie unter www. neuemittelschule.at.

8 6 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) Wie ist die Überprüfung an den Schulen praktisch abgelaufen? Standardisiertes Verfahren Bei der Standardüberprüfung sollen die Kompetenzen aller Schüler/innen unter den gleichen Rahmenbedingungen getestet werden, damit die Ergebnisse vergleichbar sind. Aus diesem Grund sind die Testabläufe durch schriftliche Testanweisungen standardisiert. Das heißt, dass der Testablauf, die Arbeitsanweisungen sowie die Testzeiten genau vorgegeben werden und die Testleiter/innen dafür sorgen müssen, dass die Durchführungsregeln in der Praxis strikt eingehalten werden. Das wurde auch durch eine spezielle Schulung der Testleiter/innen unterstützt, die von den Pädagogischen Hochschulen im Frühjahr 2013 regional durchgeführt wurde. Die korrekte Abwicklung in der Vor- und Nachbereitung der Überprüfung sowie die Zusammenarbeit mit dem BIFIE liegen im Verantwortungsbereich der Schulleiterin/des Schulleiters. Die Testleiter/innen bei der Überprüfung waren in rund 93 % der Fälle Lehrer/innen aus der eigenen Schule (= interne Testleitung). Diese wurden von der Schulleitung nominiert. Aus Objektivitätsgründen sollten die Lehrpersonen fachfremd (also keine Englischlehrer/innen) sein und wenn möglich die getesteten Schüler/innen der 8. Schulstufe auch in keinem anderen Fach unterrichten. Als nationale Qualitätssicherungsmaßnahme wurden 7 % der Klassen per Zufall ausgewählt und von einer externen Testleiterin oder einem externen Testleiter getestet. In 3 % aller Klassen wurde zusätzlich zur internen Testleitung eine beobachtende Qualitätsprüferin/ein beobachtender Qualitätsprüfer eingesetzt. Diese Vorgehensweise diente dazu, eventuelle Unterschiede in den Testbedingungen festzustellen. Externe Testleiter/innen sind genauso wie die internen geschulte Lehrpersonen, die den Test nicht an der eigenen Schule, sondern an einer anderen Schule durchführten. Qualitätsprüfer/innen sind Personen mit Testerfahrung, die für die Beobachtung und Protokollierung der Abläufe zuständig waren. Durch ihren Beitrag können etwaige Abweichungen vom standardisierten Vorgehen oder Probleme bei der Testdurchführung festgestellt sowie zukünftig Testab läufe optimiert werden. Testverfahren und Testzeit Bei der Überprüfung der Kompetenzbereiche Hören, Lesen und Schreiben wurden schriftliche Verfahren ( Papier-und-Bleistift-Tests ) eingesetzt. Die verwendeten Testaufgaben bzw. Items bezogen sich auf die in der Anlage zur Verordnung der Bildungsstandards im Schulwesen (BGBl. II Nr. 1/2009) genannten Kompetenzen und Kompetenzbereiche. Jede Schülerin/Jeder Schüler bearbeitete pro Kompetenzbereich ein Testheft. Um eine möglichst breite Abdeckung der Kompetenzbereiche in Englisch auf Schul- und Systemebene zu gewährleisten, wurden mehrere Testformen eingesetzt. Dies erhöht die Aussagekraft der Ergebnisse. Durch verschiedene Testformen in einer Klasse wurde in den Kompetenzbereichen Lesen und Schreiben zudem das Abschreiben verhindert. Die Vergleichbarkeit verschiedener Testformen wurde durch sogenannte Link-Items, also Aufgaben, die in mehreren Testformen an unterschiedlichen Positionen vorkommen, gewährleistet. Zudem haben alle Testformen etwa den gleichen Schwierigkeitsgrad. Die Zuteilung von Testformen zu Schülerinnen und Schülern erfolgte zufällig, unabhängig von der besuchten Schulart. Ein Testheft in Hören enthielt in der Regel 33 Items. Die Durchführung dieses Testteils dauerte ca. 32 Minuten. In der Standardüberprüfung bestand dieser Testteil aus mehreren Abschnitten, deren Abfolge variabel war. Jeder Abschnitt fokussierte jeweils auf eine spezifische Fertigkeit. Es wurden geschlossene Antwortformate (Multiple-Choice- und Zuordnungsitems) und halboffene Antwortformate (Vervollständigungsitems) verwendet. Für den Kompetenzbereich Lesen wurden in der Regel 16 Items pro Testheft in einem Zeitraum von 35 Minuten bearbeitet. Der Leseteil der Überprüfung war ähnlich aufgebaut wie der Hörteil. Das Leseverständnis wurde mittels kürzerer (max. 35 Wörter) und längerer (max. 220 Wörter) Input-Texte überprüft. Auch in diesem Teil war die Abfolge der Abschnitte variabel. Es wurden geschlossene Antwortformate (Multiple-Choice-, Richtig-falschund Zuordnungsitems) und halboffene Antwortformate (Lückentexte) verwendet.

9 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) 7 Beispieleitems für die Kompetenzbereiche Hören und Lesen fi nden Sie auf der BIFIE-Homepage unter www. bifie.at/node/1702 bzw. unter Im Bereich Schreiben verfassten die Schüler/innen zwei Texte unterschiedlicher Länge. Der kürzere Text sollte 40 bis 70 Wörter umfassen und war in zehn Minuten fertigzustellen. Der längere Text sollte 120 bis 180 Wörter umfassen und war in zwanzig Minuten zu erstellen. Die inhaltlichen Punkte, die zu bearbeiten waren, wurden in der Aufgabenstellung vorgegeben. Nach den 30 Minuten Arbeitszeit standen den Schülerinnen und Schülern fünf Minuten für die Überarbeitung der beiden Texte zur Verfügung. Danach zählten die Schüler/innen die Wörter. Im Anschluss an den Test der drei Kompetenzbereiche bearbeiteten die Schüler/innen einen Fragebogen, welcher verschiedene Aspekte schulischer Lern- und außerschulischer Lern- und Lebensbedingungen erfasste. Gemeinsam mit dem von der Schulleitung ausgefüllten Schulbogen (und Angaben der Statistik Austria über die Gemeinde) liefern die erhobenen Daten die benötigten Informationen über das Vorhandensein und das Ausmaß jener Faktoren, die in Zusammenhang mit dem Kompetenzerwerb stehen könnten. Ein möglichst breites Verständnis für die Notwendigkeit und den Nutzen der Kontexterhebung ist ein wesentliches Moment für die Qualität der Datenerhebung. Daher werden die Schulpartner-Vertretungen in den Diskussionsprozess über die Inhalte der Befragung eingebunden. Nähere Informationen zu den Themenfeldern der Fragebögen finden Sie unter Im Bereich Sprechen wurden die Schüler/innen paarweise getestet. Das Gespräch wurde von einem so genannten Interlocutor geleitet, ein Assessor beurteilte die Schülerleistungen anhand einer vorgegebenen Bewertungsskala (Assessment Scale). Das Gespräch begann mit einem Interview, das als Aufwärmphase gedacht war und nicht in die Beurteilung einbezogen wurde. Dabei beantworteten die Schüler/innen einfache Fragen des Interlocutors über ihre Person. Das Interview dauerte insgesamt ca. zwei Minuten. Im ersten Testteil, dem monologischen Teil, erhielt jede Schülerin/jeder Schüler drei Themen zur Wahl und sprach nach einer Vorbereitungszeit von einer Minute, in der keine Notizen gemacht werden durften, ca. zwei bis drei Minuten lang über das gewählte Thema. So genannte Content Points gaben inhaltliche und strukturelle Hilfestellung. Der zweite, dialogische Teil der Überprüfung war zweiteilig. Hier wurde ein schriftlicher und/oder bildlicher Impuls gegeben. Die beiden Schüler/innen sprachen miteinander über ein vorgegebenes Thema. Im ersten Dialog sollten die Schüler/innen ein einfaches Alltagsgespräch führen (z. B. Vereinbarungen treffen). Der zweite Dialog war ein ausführlicheres Gespräch, das auch den Austausch von Meinungen verlangte. Die Vorbereitungszeit für den zweiten Teil betrug eine Minute, die gemeinsame Sprechzeit vier bis fünf Minuten. Beispieleitems für die Kompetenzbereiche Schreiben und Sprechen finden Sie auf der BIFIE-Homepage unter bzw. unter Zudem sind seit der Ergebnisveröffentlichung Beispiele für verwendete Testitems mit Lösungshäufigkeiten unter verfügbar. Wie wurden die Tests ausgewertet? Bevor die Daten zur Berechnung der Ergebnisse für die einzelnen Rückmeldungen verwendet werden konnten, war eine umfangreiche Datenerfassung und -aufbereitung notwendig. Die in der Überprüfung gewonnenen Daten wurden auf zwei verschiedene Arten verarbeitet. Bei Items mit geschlossenem Antwortformat (Multiple-Choice-, Richtig-falsch- und Zuordnungsitems) wurde automatisch erfasst, ob die richtige Antwort ausgewählt wurde. Items mit halboffenem Antwortformat, bei denen die Schüler/innen eine kurze Antwort selbst formulieren (z. B. ein Wort oder eine Zahl), wurden von geschultem Personal kontrolliert. Die Beurteilung der Schreib- bzw. Sprechkompetenz der Schüler/innen wird als Rating bezeichnet. Die Beurteilung schriftlicher Texte erfolgte durch sogenannte Raters nach einer vorgegebenen Bewertungsskala (Writing Rating Scale). Für die Beurteilung der mündlichen Leistungen der Schüler/innen wurden sogenannte

10 8 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) Assessors eingesetzt. Sie bewerteten die Sprechleistungen der Schüler/innen ebenfalls anhand einer vorgegebenen Bewertungsskala (Assessment Scale). Multiple Ratings (mehrere Raters bzw. alle Assessors beurteilten dieselben Texte oder dieselbe Sprechleistung auf Video) dokumentieren die Reliabilität der Beurteilung. Raters und Assessors waren erfahrene Lehrer/innen, welche in einer mehrphasigen Fortbildung für ihre Tätigkeiten geschult wurden. Nach Abschluss der Bewertung der Schülerantworten und der elektronischen Datenerfassung der Ergebnisse wurden die erzielten Rohdaten statistisch in eine Punktskala überführt, um die Leistung aller Schüler/innen gemeinsam abbilden zu können. Dieser Prozess wird als Skalierung bezeichnet und macht die Schülerleis - t ungen in den einzelnen Kompetenzbereichen über alle Testformen hinweg miteinander vergleichbar. In den Bereichen Schreiben und Sprechen wurde darüber hinaus die Strenge/Milde der Person, die die Sprechleistung bzw. Texte bewertete, mitberücksichtigt. Was bedeuten die verwendeten Skalen? Die Ergebnisse werden auf drei verschiedenen Skalen rückgemeldet: a) 500er-Skala (Englischwerte und Ergebnisse in den Kompetenzbereichen) b) Skalen für die Rückmeldung von Teilkompetenzen Für die Teilkompetenzen von Schreiben und Sprechen: Skala von 0 7 Punkten Für die Teilkompetenzen von Hören und Lesen: Prozentskala mit Prozentanteil von Prozent richtig gelöster Items. a) Die 500er-Skala: Im Zuge einer Ausgangsmessung zur Überprüfung der Bildungsstandards (Baseline-Testung) im Jahr 2009 wurde für die Rückmeldung der Kompetenzen in einem Fach bzw. in den einzelnen Kompetenzbereichen eine einheitliche Skala festgelegt. Bei dieser Baseline-Testung wurden die Testergebnisse österreichweit so skaliert, dass sich ein Mittelwert (MW) von 500 Skalenpunkten mit einer Standardabweichung von 100 ergab. Um die Leistungen aller österreichischen Schüler/innen aus der Standardüberprüfung 2013 mit denen der Baseline- Testung vergleichen und somit eine Veränderung sichtbar machen zu können, wurden die Ergebnisse der Standardüberprüfung 2013 auf die Punktskala der Ausgangsmessung von 2009 übertragen. Die durchschnittliche Leistung aller in der Standardüberprüfung 2013 getesteten Schüler/innen beträgt 519 Skalenpunkte. Das bedeutet, dass ein/e Schüler/in mit einem Testergebnis von 519 Punkten im Jahr 2013 genau dem österreichischen Durchschnitt entspricht. Zwei Drittel aller getesteten Schüler/innen erreichten bei der Standardüberprüfung 2013 ein Ergebnis zwischen 417 und 621 Punkten. Die Darstellung der Skala wurde auf den Wertebereich 200 bis 800 Punkte begrenzt. b) Skalen für die Rückmeldung von Teilkompetenzen Aus methodischen Gründen werden die Ergebnisse der Teilkompetenzen in Englisch nicht auf der 500er-Skala, sondern auf einer Skala von 0 7 Punkten bzw. einer Prozentskala rückgemeldet. Die Rückmeldung der Teilkompetenzen der produktiven Kompetenzbereiche Schreiben und Sprechen erfolgt anhand der Writing Rating Scale für Schreiben (0 7 Punkte) bzw. der Assessment Scale für Sprechen (0 7 Punkte), die zur Beurteilung der Schreib- bzw. Sprechkompetenzen herangezogen wurden. Ein höherer Punktwert geht dabei mit einer höheren Kompetenz einher. Etwaige Strenge- oder Mildetendenzen der Raters werden bei der Ergebnisbewertung mitberücksichtigt. Eine Kompetenzbeschreibung der Punktwerte finden Sie unter für Schreiben bzw. unter für Sprechen. Für die Teilkompetenzen der rezeptiven Kompetenzbereiche Hören und Lesen wird der Prozentanteil der richtig gelösten Items unter Berücksichtigung der Itemschwierigkeit in jeder Teilkompetenz dargestellt.

11 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) 9 Wie wurden die Referenzniveaus (Kompetenzstufen) festgelegt? Die Überprüfung der Kompetenzen in Englisch basiert auf dem Gemeinsamen Europäischen Referenzrahmen für Sprachen (GERS), der eine gemeinsame Basis für die Entwicklung von zielsprachlichen Lehrplänen, curricularen Richtlinien, Prüfungen, Lehrwerken usw. in ganz Europa darstellt. Der GERS beschreibt umfassend, was zu lernen ist, um eine Sprache für kommunikative Zwecke benutzen zu können, und welche Kenntnisse und Fertigkeiten dementsprechend entwickelt werden müssen. Er bietet Sprachkompetenzbeschreibungen für sechs verschiedene Niveaus an (A1, A2, B1, B2, C1, C2). Dabei wird definiert, was auf den einzelnen Niveaus von Sprachlernenden erwartet werden kann. Die drei großen Niveaus A, B und C entsprechen einer elementaren, einer selbstständigen und einer kompetenten Sprachverwendung (vgl. Tabelle 1). Kompetente Sprachverwendung (hohes Sprachniveau bis hin zu fast muttersprachlicher Kompetenz) Selbstständige Sprachverwendung (mittleres allgemeines und berufsbezogenes Niveau) Elementare Sprachverwendung (grundlegendes oder fortgeschrittenes Anfängerniveau) C B A C2 C1 B2 B1 A2 A1 Tabelle 1: GERS-Niveaus In Österreich ist der GERS sowohl Grundlage des Lehrplans für die lebenden Fremdsprachen als auch der Verordnung der Bildungsstandards. Nach dem 4. Lernjahr (für Englisch in der Regel auf der 8. Schulstufe) ist im Lehrplan für die lebenden Fremdsprachen als Grundanforderung definiert, dass Schüler/innen in allen Kompetenzbereichen das Niveau A2 erreichen sollen, unter förderlichen Begleitumständen jedoch auch die Erreichung von ausgewiesenen Fertigkeiten auf B1 möglich ist. Die Bildungsstandards wiederum beschreiben fachliche Grundkompetenzen auf den Niveaus A2 und B1, die die Schüler/innen in der Regel erreichen sollten (vgl. Abbildung 2). Um den Grad der Kompetenzerreichung darzustellen, werden im Fach Englisch, basierend auf dem GERS, folgende Referenzniveaus rückgemeldet: B1 oder darüber A2 A1 oder darunter Folgende Grafik verdeutlicht die Zusammenhänge: A elementare Sprachverwendung B selbstständige Sprachverwendung A1 A2 Bildungsstandards B1 B2 Abbildung 2: GERS-Levels und Bildungsstandards

12 10 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) Die in der Verordnung zu den Bildungsstandards angeführten Deskriptoren (Beschreibungen) stellen die Fähigkeiten und Fertigkeiten dar, die im jeweiligen Kompetenzbereich in der Regel erreicht werden sollten. Wie aus Tabelle 2 ersichtlich, sind die Deskriptoren der Bildungsstandards für die erste lebende Fremdsprache Englisch überwiegend den Niveaus A2 und B1 zuzuordnen. Bei der Betrachtung der verschiedenen Kompetenzbereiche fällt auf, dass in den einzelnen Kompetenzbereichen die Anzahl und Anteile der Deskriptoren auf unterschiedlichem Niveau variieren. Kompetenzbereiche A1 A2 B1 Anzahl der BIST-Deskriptoren Anzahl % Anzahl % Anzahl % Hören 1 16,7 1 16,7 4 66,7 6 Lesen ,0 3 50,0 6 Schreiben ,0 4 50,0 8 Sprechen ,0 6 40,0 15 Tabelle 2: Anzahl der Deskriptoren Für die GERS-Referenzniveaus wurden in einem ersten Schritt inhaltliche Beschreibungen für die Niveaus A2 und B1 oder darüber entwickelt. Um die Schüler/innen auf Basis ihrer erbrachten Testleistung den GERS-Referenzniveaus zuordnen zu können, wurde in weiterer Folge eine repräsentative Auswahl an verwendeten Testitems (bei Hören und Lesen) und Schülerperformanzen (produzierte Texte bei Schreiben bzw. Videos bei Sprechen) durch Expertinnen und Experten aus Schulpraxis (Sekundarstufe I und II), Fachdidaktik, Pädagogik und Psychologie den verschiedenen Referenzniveaus zugeordnet. Die Schwierigkeiten der Items und Schülerperformanzen wurden dabei auf derselben Punktskala gemessen wie die Leistungen. Daher ließen sich Schwellenwerte auf der Punktskala bestimmen, die die Referenzniveaus voneinander abgrenzen. Wer erhält in welcher Form Rückmeldung über die Testergebnisse? a) Rückmeldung an die Schulleitung Die Rückmeldung an Schulleiterinnen und Schulleiter erfolgt online und besteht aus dem Schulbericht Rückmeldung an die Schulleitung und Schulpartner sowie aus dem Schulbericht Ergänzung für die Schulleitung, Ergebnisse der Unterrichtsgruppen. Beide Schulberichte können als jeweils eigenständiges PDF-Dokument abgespeichert und ausgedruckt werden. Schulbericht Rückmeldung an die Schulleitung und Schulpartner Dieser Schulbericht ist von der Schulleitung innerhalb einer angemessenen Frist den Mitgliedern des Schulgemeinschaftsausschusses bzw. Schulforums zu übergeben und in den Gremien zu besprechen. Die Ergebnisse der Schule untergliedern sich in Informationen über die getesteten Schüler/innen an der Schule, Testergebnisse in Englisch und Testergebnisse aus den einzelnen Kompetenzbereichen. Die Ergebnisse in Englisch (Hören, Lesen, Schreiben) erhalten Schulleiter/innen in Form von Punktwerten. Zusätzlich werden Informationen über die Streuung der Leistung in der Schule sowie Vergleiche getrennt nach Geschlecht, Migrationshintergrund und Erstsprache Deutsch rückgemeldet. Die Darstellung der Testergebnisse in den einzelnen Kompetenzbereichen erfolgt in Form von erreichten GERS-Referenzniveaus (kriteriale Rückmeldung), Punktwerten und Streuungsinformationen. Die Gesamtleistung der Schule wird sowohl dem Österreich-Schnitt als auch einem Erwartungsbereich für die Schule gegenübergestellt, der unter anderem die besonderen demografischen und sozioökonomischen Merkmale der Schülerpopulation

13 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) 11 berücksichtigt (fairer Vergleich). Wurde an der Schule auch der Kompetenzbereich Sprechen getestet, werden die Ergebnisse in einem eigenen PDF-Dokument zur Verfügung gestellt. Schulbericht Ergänzung für die Schulleitung, Ergebnisse der Unterrichtsgruppen Die Ergebnisse der einzelnen Unterrichtsgruppen enthalten Testergebnisse in Englisch, Testergebnisse aus den einzelnen Kompetenzbereichen und Testergebnisse aus den einzelnen Teilkompetenzen. Die Ergebnisse der einzelnen Unterrichtsgruppen werden in Form von Punktwerten rückgemeldet. Die Darstellung der Testergebnisse in den einzelnen Kompetenzbereichen erfolgt analog zu den Schulergebnissen in Form von GERS-Referenzniveaus (kriteriale Rückmeldung) und Punktwerten. Zusätzlich werden die Ergebnisse aus den einzelnen Teilkompetenzen rückgemeldet. Die Leistungen der Unterrichtsgruppen werden sowohl dem Österreich-Schnitt und dem Schulmittelwert als auch einem Erwartungsbereich für die Unterrichtsgruppe (fairer Vergleich) gegenübergestellt. Die Ergebnisse der Unterrichtsgruppen können als eigenständiges PDF-Dokument abgespeichert und ausgedruckt werden. b) Rückmeldung an die Lehrer/innen Die Rückmeldung an die Lehrer/innen erfolgt online. Sie erhalten die Ergebnisse im Wesentlichen analog zum Schulbericht Rückmeldung an die Schulleitung und Schulpartner, jedoch ausschließlich für ihre Unterrichtsgruppe. Zusätzlich erhalten die Lehrer/innen Streuungsinformationen in den einzelnen produktiven Teilkompetenzen. Die Rückmeldung über die Unterrichtsgruppe enthält im Vergleich zum Schulbericht zusätzliche Streuungsinformationen, im Falle leistungsgruppengemischter Gruppen auch über die einzelnen Leistungsgruppen. Als Referenzwerte dienen sowohl der Österreich-Schnitt, der Schulmittelwert als auch der Erwartungsbereich für die Unterrichtsgruppe (fairer Vergleich). Wurde an der Schule auch der Kompetenzbereich Sprechen getestet, erhalten auch die Lehrer/innen die Ergebnisse der Schülerstichprobe Sprechen für die gesamte Schule (jedoch nicht für ihre Unterrichtsgruppe) als eigenes PDF-Dokument. c) Rückmeldung an die Schüler/innen Ebenfalls online erfolgt die Rückmeldung an die Schüler/innen. Für den Zugang zu den individuellen Ergebnissen in Englisch sowie den Kompetenzbereichen haben die Schüler/innen am Testtag einen Zugangscode erhalten, den nur die Schüler/innen selbst kennen und mit dem sie ihre persönlichen Ergebnisse im Internet abrufen können. Die Ergebnisse werden den Schülerinnen und Schülern in Form des Punktwerts und des erreichten Referenzniveaus (kriteriale Rückmeldung) mitgeteilt. Referenzwerte für die Schüler/innen sind der Österreich-Schnitt sowie der Prozentrang des Schülers/der Schülerin in Österreich. d) Rückmeldung an die Schulaufsicht Die Landes- und Bezirksschulinspektorinnen und -inspektoren erhalten auf der Rückmelde-Plattform einen Schulaufsichtsbericht mit einer tabellarischen Übersicht ausgewählter Ergebnisse der Schulen des Zuständigkeitsbereichs sowie zur Information jeweils den Landesergebnisbericht des Bundeslands. Darüber hinaus können alle Schulberichte Rückmeldung an die Schulleitung und Schulpartner (siehe Punkt a) der getesteten Schulen des Zuständigkeitsbereichs als PDF-Dokument abgerufen werden. e) Landesergebnisberichte/Bundesergebnisbericht Die für das regionale Schulwesen verantwortlichen Amtsführenden Präsidentinnen und Präsidenten der Landesschulräte/des Stadtschulrats in den neun Bundesländern erhalten jeweils einen zusammenfassenden Ergebnisbericht der Schülerpopulation des jeweiligen Bundeslands. Darin werden die Ergebnisse verschie-

14 12 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) dener Schülergruppen zusammengefasst und Zusammenhänge zwischen Leistung und Rahmenbedingungen im Bundesland aufgezeigt. Der Bundesergebnisbericht enthält die bundesbezogenen, statistisch zusammengefassten Ergebnisse der Schüler/innen. Er wird vom BIFIE erstellt und dem zuständigen Bundesministerium übermittelt. Sowohl die Landesergebnisberichte als auch der Bundesergebnisbericht werden veröffentlicht. Musterrückmeldungen für alle Ebenen mit fiktiven Daten bzw. Ergebnissen finden Sie unter Aufbau der Rückmeldung an die Lehrer/innen In der vorliegenden Rückmeldung werden zunächst die Ergebnisse der einzelnen Kompetenzbereiche getrennt beschrieben und anschließend das Ergebnis in Englisch (Hören, Lesen und Schreiben). Wurde an Ihrer Schule der Kompetenzbereich Sprechen getestet, werden die Ergebnisse für die gesamte Stichprobe der Schule in einem separaten PDF-Dokument rückgemeldet. Zur schnelleren Übersicht finden Sie nachstehend eine grafische Darstellung des vollständigen Aufbaus der Ergebnisrückmeldung an die Lehrer/innen: Anzahl der Schüler/innen Informationen über die Schüler/innen demografische/sozioökonomische Merkmale Wohlbefinden motivationale Merkmale Hören GERS-Niveaus Lesen Rückmeldung an die Lehrer/innen Kompetenzbereiche österr. Vergleich (mit Streuung) fairer Vergleich Schreiben von Hören Teilkompetenzen von Lesen von Schreiben zusätzliches PDF-Dokument, wenn Sprechen an der Schule getestet wurde Englisch (H, L, S) österr. & fairer Vergleich Streuung Subgruppen Geschlecht Migrationshintergrund Repräsentativität Zusatz: Sprechen GERS-Niveaus österr. Vergleich (m. Streuung) Schul-Ergebnisse der Stichprobe Sprechen, nicht für die einzelne Unterrichtsgruppe Teilkompetenzen Abbildung 3: Aufbau der Rückmeldung an die Lehrer/innen

15 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) 13 Diese Rückmeldung enthält Informationen in Form von anonymisierten Einzelergebnissen sowie Gruppen- und Schulwerten, deren Darstellung von der Anzahl und Zusammensetzung der getesteten Schüler/innen einer Gruppe abhängt. Änderungen in der Darstellung werden fallweise vorgenommen, um jederzeit folgende Faktoren zu gewährleisten: Anonymität aller Schüler/innen: Grafiken mit Einzelwerten entfallen, wenn einzelne Schüler/innen eindeutig identifizierbar wären. Aussagekraft statistischer Berechnungen: Mittelwerte, Erwartungsbereiche usw. entfallen bei Unterschreitung einer Mindestschüleranzahl. Bei weniger als zwei Schülerinnen und Schülern entfallen alle Kennwerte und die Grafiken werden nicht dargestellt. Der faire Vergleich und Grafiken zu Geschlecht und Migrationshintergrund entfallen bei weniger als fünf Schülerinnen und Schülern. Die Mindestschüleranzahl für die Kennzeichnung der mittleren 75 % beträgt acht. Übersichtlichkeit der Darstellung: Veränderte Anordnung der Grafikelemente bei sehr wenigen oder sehr vielen Schülerinnen und Schülern. Um Ihnen den Einstieg in die Arbeit mit dieser Form der Rückmeldung zu erleichtern, wurden für jede Abbildung beispielhaft Fragen formuliert. Sie dienen als Anregung für die erste Interpretation und Reflexion und sind in Leitfragen und weiterführende Fragen gegliedert: Leitfragen dienen zum Lokalisieren der Ergebnisse und Vergleichen mit Referenzwerten. Die Antworten auf diese Fragen können aus den einzelnen Abbildungen abgelesen werden. Weiterführende Fragen sollen dazu anregen, auf Besonderheiten der Ergebnisse zu achten und einen Abgleich mit den eigenen Erwartungen anzustellen. Zusätzlich sollte über mögliche Erklärungsansätze für die erhaltenen Ergebnisse reflektiert werden. Zur Beantwortung dieser Fragen in Form einer zuverlässigen Ergebnisinterpretation ist schulinternes Wissen über Wirkfaktoren notwendig (vgl. auch Kapitel 4). Schülerkompetenzen entstehen in einem komplexen Zusammenspiel aus individuellen Voraussetzungen, der Lernumgebung und weiteren inner- und außerschulischen Faktoren. Diese Komplexität spiegelt sich auch in den Schülerleistungen wider, die in der Standardüberprüfung gezeigt wurden.

16 14 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) 3. Ergebnisse Ihrer Unterrichtsgruppe Im nachstehenden Kapitel finden Sie die Ergebnisrückmeldung für Ihre Unterrichtsgruppe. Dieser Teil untergliedert sich in (3.1) deskriptive Informationen über die Schüler/innen in Ihrer Unterrichtsgruppe ( Ihre Gruppe ), (3.2) Hör-, Lese- und Schreibkompetenz sowie (3.3) Testergebnisse der einzelnen Teilkompetenzen und (3.4) Englischkompetenz in Ihrer Unterrichtsgruppe. Beim Lesen der Tabellen und Abbildungen sind folgende Aspekte zu beachten: Gerundete Werte: Alle in Tabellen/Abbildungen enthaltenen Werte wurden unter Berücksichtigung entsprechender Nachkommastellen berechnet und dann auf ganze Zahlen gerundet. Daher kann es vorkommen, dass die Summe der gerundeten Prozentangaben nicht exakt 100 ergibt oder Summen von Werten inkonsistent erscheinen. Vorzeitiger Testabbruch: Auch für Schüler/innen, die die Testung vorzeitig abgebrochen haben, wird der Englischwert berechnet. Die Rückmeldung eines Kompetenzbereichs erfolgt nur dann, wenn ein Testheft des jeweiligen Kompetenzbereichs bearbeitet wurde. Keine Schülerangaben: Unter keine Angabe werden auch jene Schüler/innen angeführt, die die Testung vorzeitig abgebrochen haben und deshalb am Ende der schriftlichen Überprüfung keinen Fragebogen bearbeiteten. 3.1 Information über die Schüler/innen Ihrer Unterrichtsgruppe * n steht für die Anzahl der Schüler/innen Ihrer Unterrichtsgruppe. ** aufgrund von z. B. Körper- oder Sinnesbehinderung, Status als außerordentliche Schülerin/außerordentlicher Schüler, ASO-Lehrplan Englisch. *** keine Auswertung vorliegend (z. B. aufgrund von Abwesenheit, vorzeitigem Testabbruch); Anzahl kann je nach Bereich unterschiedlich sein.

17 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) 15 Die Angaben in den nachfolgenden Tabellen beziehen sich ausschließlich auf jene Schüler/innen, die an allen Testteilen (Hören, Lesen, Schreiben) teilgenommen haben. Daten aus dem Kontextfragebogen, die nicht oder nicht eindeutig beantwortet wurden, sind in der Spalte keine Angabe zusammengefasst. Die Prozentangaben in der Zeile Ihre Gruppe beziehen sich immer nur auf die gültigen Angaben. * Mit Ausnahme des Geschlechts (wird von der Schulleitung vorab übermittelt) stammen die Angaben aus dem Schülerfragebogen. ** Für die Standardüberprüfung gilt eine Jugendliche/ein Jugendlicher dann als Schüler/in mit Migrationshintergrund, wenn beide Elternteile im Ausland (Ausnahme: Deutschland) geboren wurden. Für nähere Erläuterungen lesen Sie bitte die genaue Definition im Glossar. *** Simultan bilingual aufgewachsene Schüler/innen mit Deutsch als einer der Erstsprachen werden zur Gruppe der Schüler/innen mit Erstsprache Deutsch gezählt. * Folgende Merkmale aus dem Schülerfragebogen fließen in die Berechnung des Sozialstatus-Index ein: Beruf der Eltern, höchste abgeschlossene Ausbildung der Eltern und Anzahl der Bücher im Haushalt. Die Bevölkerung wurde nach der Verteilung aller getesteten Schüler/innen in Österreich in drei Gruppen geteilt: untere 25 %, mittlere 50 % und obere 25 %.

18 16 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) * Die zugehörige Frage im Fragebogen lautete: Wie gern gehst du in die Schule? ** Die zugehörige Frage im Fragebogen lautete: Wie zufrieden bist du mit deiner Klasse (deinen Mitschülerinnen und Mitschülern) insgesamt? * Das Selbstkonzept in und die Freude an Englisch wurden im Schülerfragebogen (Frage 37) mit jeweils vier konkreten Aussagen über das Lernen in Englisch erhoben. ** Die zugehörige Frage im Fragebogen lautete: Wie sehr hast du dich im Vergleich zu einer Schularbeit bei diesem Test bemüht?

19 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) Hör-, Lese- und Schreibkompetenz Ihrer Unterrichtsgruppe Verteilung der Schüler/innen Ihrer Unterrichtsgruppe auf die GERS-Referenzniveaus Die nachstehenden Grafiken stellen jeweils die Verteilung der Schüler/innen Ihrer Unterrichtsgruppe auf die verschiedenen GERS-Referenzniveaus in den Kompetenzbereichen Hören, Lesen und Schreiben dar (kriteriale Rückmeldung). Sie geben an, wie viele Schüler/innen Ihrer Unterrichtsgruppe jeweils das GERS-Referenzniveau A1 oder darunter, A2 bzw. B1 oder darüber aufweisen. Als Vergleich dienen die Verteilungen der Schüler/innen an Ihrer Schule sowie aller in der Standardüberprüfung getesteten Schüler/innen in Österreich auf die einzelnen Referenzniveaus. Eine inhaltliche Beschreibung der einzelnen Referenzniveaus A2 und B1 oder darüber in den Kompetenzbereichen finden Sie jeweils nach der Grafik. Auf eine inhaltliche Beschreibung des Referenzniveaus A1 wurde verzichtet, da man im Rahmen der Standardüberprüfung keine Aussagen darüber tätigen kann, inwieweit Schüler/innen das Referenzniveau A1 tatsächlich erreichen. In der Regel können Schüler/innen auf diesem Niveau in den Kompetenzbereichen Lesen und Hören vertraute, alltägliche Ausdrücke und ganz einfache Sätze verstehen, die auf die Befriedigung konkreter Bedürfnisse zielen. Es geht dabei v. a. um persönliche Themen (Bekanntmachung, Wohnort, Bekanntschaften, Besitz). In den Kompetenzbereichen Schreiben und Sprechen können Schüler/innen in der Regel sehr kurze und sehr einfach strukturierte Sätze oder Aussagen produzieren. Dabei werden sehr einfache grammatikalische Strukturen und ein extrem eingeschränktes Vokabular verwendet. Die linke Säule (Ihre Gruppe) zeigt die Verteilung der Schüler/innen Ihrer Unterrichtsgruppe auf die einzelnen Referenzniveaus in Prozentwerten. Die unterschiedlichen Farbabstufungen beziehen sich auf die einzelnen Referenzniveaus, die links der Grafik angeführt sind. Die Säule in der Mitte (Ihre Schule) zeigt die Verteilung aller getesteten Schüler/innen Ihrer Schule auf die einzelnen Referenzniveaus. Die rechte Säule (mit der rot-weiß-roten Flagge) zeigt die Verteilung aller getesteten Schüler/innen in Österreich auf die unterschiedlichen Referenzniveaus. Die Anzahl der getesteten Schüler/innen (n) Ihrer Unterrichtsgruppe sowie die Verteilung der Schüler/innen auf die einzelnen Referenzniveaus in absoluten Zahlen können Sie unterhalb der Grafik in der Tabelle ablesen. Leitfrage: Wie verteilen sich die Schüler/innen Ihrer Unterrichtsgruppe in den jeweiligen Kompetenzbereichen auf die einzelnen Referenzniveaus im Vergleich zu allen getesteten Schülerinnen und Schülern in Österreich? Weiterführende Fragen: Welches Ergebnis hatten Sie erwartet? Welche Besonderheiten gibt es im Ergebnis? Welche Erklärungsansätze für dieses Ergebnis könnte es geben?

20 18 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ )

21 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) 19

22 20 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ )

23 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) 21 Streuung in Ihrer Unterrichtsgruppe in den Kompetenzbereichen Die Grafik zeigt das durchschnittliche Ergebnis der Schüler/innen Ihrer Unterrichtsgruppe in den Kompetenzbereichen Hören, Lesen, und Schreiben, die Werte der einzelnen Schüler/innen in den Kompetenzbereichen und die Verteilung dieser Schüler/innen auf die einzelnen Referenzniveaus. Als Referenzwerte dienen der jeweilige Mittelwert aller in der Standardüberprüfung getesteten Schüler/innen in Österreich sowie der jeweilige Mittelwert aller getesteten Schüler/innen Ihrer Schule. Dies ermöglicht eine Lagebestimmung im österreichweiten Vergleich. Zudem kann die Streuung Ihrer Unterrichtsgruppe in den verschiedenen Kompetenzbereichen verglichen werden.

24 22 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) Dieses Symbol zeigt jeweils das durchschnittliche Ergebnis Ihrer Unterrichtsgruppe. Der jeweilige Kreis ist von einer vertikalen Linie mit einer horizontalen Unter- und Oberbegrenzung durchlaufen, die das Vertrauensintervall markiert, also jenen Wertebereich, in dem die wahre Leistung mit 90 % Sicherheit liegt. Der entsprechende Punktwert des Vertrauensintervalls ist in der Legende in Klammer neben dem jeweiligen Mittelwert der Unterrichtsgruppe angeführt. Die schwarze Linie (mit der rot-weiß-roten Flagge) zeigt jeweils den Durchschnitt aller getesteten Schüler/ innen in Österreich. Die strichlierte orangefarbene Linie entspricht jeweils dem Mittelwert aller getesteten Schüler/innen an Ihrer Schule. Das jeweilige Vertrauensintervall, also jener Wertebereich, in dem die wahre Leistung mit 90 % Sicherheit liegt, ist in der Legende angegeben, nicht aber in der Grafi k eingezeichnet. Die grauen Punkte repräsentieren jeweils die Ergebnisse der einzelnen Schüler/innen Ihrer Unterrichtsgruppe. Anhand der Streuung dieser Werte können Sie sowohl ablesen, wie unterschiedlich die Schüler/innen Ihrer Unterrichtsgruppe in den einzelnen Kompetenzbereichen abgeschnitten haben, als auch die Leistungen der besten und schwächsten Schüler/innen entnehmen. Die farblich unterlegten Felder beziehen sich jeweils auf die einzelnen Referenzniveaus, die links der Farbfelder angeführt sind. Die entsprechenden Punktwerte fi nden Sie unterhalb der Grafi k in der Legende. Außerdem können Sie die Anzahl der getesteten Schüler/innen (n) Ihrer Unterrichtsgruppe ablesen. Leitfragen: Wie liegt das Ergebnis Ihrer Unterrichtsgruppe in Hören, Lesen und Schreiben unter Berücksichtigung des jeweiligen Vertrauensintervalls im Vergleich zum Durchschnitt aller getesteten Schüler/innen in Österreich? Beim Vergleich der einzelnen Kompetenzbereiche müssen auch die österreichweiten Ergebnisse berücksichtigt werden. Stärken bzw. Schwächen treten stärker auf, je deutlicher sich die Ergebnisse in einem Kompetenzbereich vom jeweiligen österreichweiten Ergebnis unterscheiden. Wie unterscheiden sich in Ihrem Fall die Ergebnisse in den einzelnen Kompetenzbereichen, auch unter Berücksichtigung des Abstands zum jeweiligen österreichweiten Ergebnis? Wie liegt das Ergebnis Ihrer Unterrichtsgruppe in Hören, Lesen und Schreiben unter Berücksichtigung des jeweiligen Vertrauensintervalls im Vergleich zum Durchschnitt aller getesteten Schüler/innen an Ihrer Schule? Wie groß ist die Streuung der Leistung (Verteilung der Punkte) in Ihrer Unterrichtsgruppe in den einzelnen Kompetenzbereichen? Wie verteilen sich die Schüler/innen Ihrer Unterrichtsgruppe in den Kompetenzbereichen innerhalb der einzelnen Referenzniveaus? Weiterführende Fragen: Welche Ergebnisse hatten Sie erwartet? Welche Besonderheiten gibt es in den Ergebnissen? Welche Erklärungsansätze für diese Ergebnisse könnte es geben?

25 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) 23 Streuung in Ihrer Unterrichtsgruppe in den Kompetenzbereichen Die Grafik zeigt die Werte der einzelnen Schüler/innen in Ihrer Unterrichtsgruppe in den Kompetenzbereichen Hören, Lesen, und Schreiben unter Berücksichtigung der Leistungsgruppen-Zuteilung und die Verteilung dieser Schüler/innen auf die einzelnen Referenzniveaus. Als Referenzwerte dienen der jeweilige Mittelwert aller in der Standardüberprüfung getesteten Schüler/innen in Österreich sowie der jeweilige Mittelwert aller getesteten Schüler/innen Ihrer Unterrichtsgruppe. Dies ermöglicht eine Lagebestimmung im österreichweiten Vergleich. Zudem kann die Streuung Ihrer Unterrichtsgruppe in den verschiedenen Kompetenzbereichen verglichen werden.

26 24 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) Die schwarze Linie (mit der rot-weiß-roten Flagge) zeigt jeweils den Durchschnitt aller getesteten Schüler/ innen in Österreich. Die strichlierte grünfarbene Linie entspricht jeweils dem Mittelwert aller getesteten Schüler/innen in Ihrer Unterrichtsgruppe. Das jeweilige Vertrauensintervall, also jener Wertebereich, in dem die wahre Leistung mit 90 % Sicherheit liegt, ist in der Legende angegeben, nicht aber in der Grafi k eingezeichnet. Die schwarz umrandeten weißen Punkte repräsentieren die Ergebnisse der einzelnen Schüler/innen Ihrer gemischten Unterrichtsgruppe in der 1. Leistungsgruppe. Die schwarz umrandeten Punkte mit Kreuz repräsentieren die Ergebnisse der einzelnen Schüler/innen Ihrer gemischten Unterrichtsgruppe in der 2. Leistungsgruppe. Die schwarzen Punkte repräsentieren die Ergebnisse der einzelnen Schüler/innen Ihrer gemischten Unterrichtsgruppe in der 3. Leistungsgruppe. Anhand der Streuung dieser Werte können Sie sowohl ablesen, wie unterschiedlich die Schüler/innen Ihrer Unterrichtsgruppe in den einzelnen Kompetenzbereichen abgeschnitten haben, als auch die Leistungen der besten und schwächsten Schüler/innen betrachten. Die farblich unterlegten Felder beziehen sich jeweils auf die einzelnen Referenzniveaus, die links der Farbfelder angeführt sind. Die entsprechenden Punktwerte fi nden Sie unterhalb der Grafi k in der Legende. Außerdem können Sie die Anzahl der getesteten Schüler/innen (n) Ihrer Unterrichtsgruppe ablesen. Leitfrage: Wie interpretieren Sie die Streuung der Schüler/innen unterschiedlicher Leistungsgruppen in Ihrer Unterrichtsgruppe? Weiterführende Fragen: Welche Ergebnisse hatten Sie erwartet? Welche Besonderheiten gibt es in den Ergebnissen? Welche Erklärungsansätze für diese Ergebnisse könnte es geben?

27 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) 25 Kompetenzbereiche in Ihrer Unterrichtsgruppe im fairen Vergleich Die Grafik zeigt das durchschnittliche Ergebnis der Schüler/innen Ihrer Unterrichtsgruppe in den Kompetenzbereichen Hören, Lesen, und Schreiben im fairen Vergleich. Als Referenz wird für Ihre Unterrichtsgruppe für jeden Kompetenzbereich ein entsprechender Erwartungsbereich ausgewiesen. Der Erwartungsbereich ist jener Bereich um einen berechneten Wert, den Unterrichtsgruppen mit ähnlichen strukturellen Rahmenbedingungen (Standort der Schule und Zusammensetzung der Schülerpopulation in der Gruppe) durchschnittlich erreichen. Liegt der Wert der einzelnen Kompetenzbereiche Ihrer Unterrichtsgruppe ober- oder unterhalb des jeweiligen Erwartungsbereichs, sind die Ergebnisse Ihrer Unterrichtsgruppe besser bzw. schwächer, als aufgrund der Standortbedingungen der Schule sowie der demografischen und sozioökonomischen Merkmale der Schüler/ innen Ihrer Unterrichtsgruppe (statistisch) zu erwarten gewesen wäre. Zudem wird der Mittelwert aller in der Standardüberprüfung getesteten Schüler/innen in Österreich angegeben. Dies ermöglicht eine Lagebestimmung im österreichweiten Vergleich.

28 26 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) Dieses Symbol zeigt jeweils das durchschnittliche Ergebnis Ihrer Unterrichtsgruppe. Der jeweilige Kreis ist von einer vertikalen Linie mit einer horizontalen Unter- und Oberbegrenzung durchlaufen, die das Vertrauensintervall markiert, also jenen Wertebereich, in dem die wahre Leistung mit 90 % Sicherheit liegt. Der entsprechende Punktwert des Vertrauensintervalls ist in der Legende in Klammer neben dem jeweiligen Mittelwert der Unterrichtsgruppe angeführt. Der graue Balken repräsentiert den jeweiligen Erwartungsbereich für Ihre Unterrichtsgruppe. Er zeigt jeweils den Bereich um einen berechneten Wert an, der aufgrund der gegebenen strukturellen Rahmenbedingungen (statistisch) zu erwarten wäre, d. h. jenen Wert, den Unterrichtsgruppen mit ähnlichen strukturellen Rahmenbedingungen durchschnittlich erreichen. Die schwarze Linie (mit der rot-weiß-roten Flagge) zeigt jeweils den Durchschnitt aller getesteten Schüler/ innen in Österreich. Die entsprechenden Punktwerte fi nden Sie unterhalb der Grafi k in der Legende. Ebenso können Sie die Anzahl der getesteten Schüler/innen (n) Ihrer Unterrichtsgruppe ablesen. Zudem ist in der Legende angeführt, ob der jeweils durchschnittlich erreichte Punktwert der Unterrichtsgruppe über [ ], unter [ ] oder im [ ] Erwartungsbereich liegt. Die Berechnung dieser Information erfolgt auf Basis exakter Daten mit Nachkommastellen, weshalb unter Umständen Abweichungen zu den angeführten gerundeten Werten in der Grafi k und der Legende auftreten können. Leitfrage: Wie liegt das Ergebnis Ihrer Unterrichtsgruppe in den einzelnen Kompetenzbereichen ohne Berücksichtigung der Vertrauensintervalle im Vergleich zum jeweiligen Erwartungsbereich? Weiterführende Fragen: Welche Ergebnisse hatten Sie erwartet? Welche Besonderheiten gibt es in den Ergebnissen? Welche Erklärungsansätze für diese Ergebnisse könnte es geben?

29 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) Hör-, Lese- und Schreibkompetenz Ihrer Unterrichtsgruppe im Detail Jeder Kompetenzbereich untergliedert sich in mehrere Teilkompetenzen. Nachfolgend erhalten Sie die Ergebnisse Ihrer Unterrichtsgruppe in den Teilkompetenzen der Kompetenzbereiche Hören, Lesen und Schreiben. Ergebnisse Ihrer Unterrichtsgruppe in den Teilkompetenzen (Sektionen) des Kompetenzbereichs Hören Die Grafik zeigt jeweils den durchschnittlichen Prozentanteil der richtig gelösten Aufgaben (% korrekt) der Schüler/innen Ihrer Unterrichtsgruppe in den einzelnen Teilkompetenzen (Sektionen) des Kompetenzbereichs Hören. Eine Beschreibung der einzelnen Teilkompetenzen finden Sie nach der Grafik. Als Referenzwerte dienen der jeweilige Mittelwert aller in der Standardüberprüfung getesteten Schüler/innen in Österreich sowie das jeweils durchschnittliche Ergebnis Ihrer Schule.

30 28 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ )

31 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) 29 Dieses Symbol zeigt jeweils den durchschnittlichen Prozentanteil der richtig gelösten Aufgaben Ihrer Unterrichtsgruppe. Der jeweilige Kreis ist von einer vertikalen Linie mit einer horizontalen Unter- und Oberbegrenzung durchlaufen, die das Vertrauensintervall markiert, also jenen Wertebereich, in dem die wahre Leistung mit 90 % Sicherheit liegt. Der entsprechende Punktwert des Vertrauensintervalls ist in der Legende in Klammer neben dem jeweiligen Mittelwert der Unterrichtsgruppe angeführt. Die schwarze Linie (mit der rot-weiß-roten Flagge) zeigt jeweils den Durchschnitt aller getesteten Schüler/ innen in Österreich. Die strichlierte orangefarbene Linie entspricht jeweils dem Mittelwert aller getesteten Schüler/innen an Ihrer Schule. Das jeweilige Vertrauensintervall, also jener Wertebereich, in dem die wahre Leistung mit 90 % Sicherheit liegt, ist in der Legende angegeben, nicht aber in der Grafi k eingezeichnet. Die entsprechenden Punktwerte fi nden Sie unterhalb der Grafi k in der Legende. Ebenso können Sie die Anzahl der getesteten Schüler/innen (n) Ihrer Unterrichtsgruppe ablesen. Leitfragen: Wie liegt das Ergebnis Ihrer Unterrichtsgruppe in den einzelnen Teilkompetenzen des Kompetenzbereichs Hören unter Berücksichtigung des Vertrauensintervalls im Vergleich zum Durchschnitt aller getesteten Schüler/innen in Österreich? Unterscheiden sich die Ergebnisse in den einzelnen Teilkompetenzen hinsichtlich des Abstands zum jeweiligen österreichweiten Ergebnis? Weiterführende Fragen: Welche Ergebnisse hatten Sie erwartet? Welche Besonderheiten gibt es in den Ergebnissen? Welche Erklärungsansätze für diese Ergebnisse könnte es geben?

32 30 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) Ergebnisse Ihrer Unterrichtsgruppe in den Teilkompetenzen des Kompetenzbereichs Lesen Die Grafik zeigt jeweils den durchschnittlichen Prozentanteil der richtig gelösten Aufgaben (% korrekt) der Schüler/innen Ihrer Unterrichtsgruppe in den einzelnen Teilkompetenzen (Sektionen) des Kompetenzbereichs Lesen. Eine Beschreibung der einzelnen Teilkompetenzen finden Sie nach der Grafik. Als Referenzwerte dienen das jeweilige Ergebnis aller in der Standardüberprüfung getesteten Schüler/innen in Österreich sowie das jeweils durchschnittliche Ergebnis Ihrer Schule.

33 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) 31 Dieses Symbol zeigt jeweils den durchschnittlichen Prozentanteil der richtig gelösten Aufgaben Ihrer Unterrichtsgruppe. Der jeweilige Kreis ist von einer vertikalen Linie mit einer horizontalen Unter- und Oberbegrenzung durchlaufen, die das Vertrauensintervall markiert, also jenen Wertebereich, in dem die wahre Leistung mit 90 % Sicherheit liegt. Der entsprechende Punktwert des Vertrauensintervalls ist in der Legende in Klammer neben dem jeweiligen Mittelwert der Unterrichtsgruppe angeführt. Die schwarze Linie (mit der rot-weiß-roten Flagge) zeigt jeweils den Durchschnitt aller getesteten Schüler/ innen in Österreich. Die strichlierte orangefarbene Linie entspricht jeweils dem Mittelwert aller getesteten Schüler/innen an Ihrer Schule. Das jeweilige Vertrauensintervall, also jener Wertebereich, in dem die wahre Leistung mit 90 % Sicherheit liegt, ist in der Legende angegeben, nicht aber in der Grafi k eingezeichnet. Die entsprechenden Punktwerte fi nden Sie unterhalb der Grafi k in der Legende. Ebenso können Sie die Anzahl der getesteten Schüler/innen (n) Ihrer Unterrichtsgruppe ablesen. Leitfragen: Wie liegt das Ergebnis Ihrer Unterrichtsgruppe in den einzelnen Teilkompetenzen des Kompetenzbereichs Lesen unter Berücksichtigung des Vertrauensintervalls im Vergleich zum Durchschnitt aller getesteten Schüler/innen in Österreich? Unterscheiden sich die Ergebnisse in den einzelnen Teilkompetenzen hinsichtlich des Abstands zum jeweiligen österreichweiten Ergebnis? Weiterführende Fragen: Welche Ergebnisse hatten Sie erwartet? Welche Besonderheiten gibt es in den Ergebnissen? Welche Erklärungsansätze für diese Ergebnisse könnte es geben?

34 32 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) Ergebnisse Ihrer Unterrichtsgruppe in den Teilkompetenzen des Kompetenzbereichs Schreiben Die Grafik zeigt jeweils die einzelnen Werte sowie das durchschnittliche Ergebnis der Schüler/innen Ihrer Unterrichtsgruppe in den Teilkompetenzen des Kompetenzbereichs Schreiben. Die Ergebnisse werden auf einer Skala von 0 bis 7 Punkten dargestellt, die der 7-stufigen Bewertungsskala (Writing Rating Scale) entspricht, auf der die Schreibleistungen der Schüler/innen bewertet wurden. Ein höherer Punktwert geht dabei mit einer höheren Kompetenz einher. Etwaige Strenge- oder Mildetendenzen der Raters werden bei der Ergebnisbewertung mitberücksichtigt. Eine inhaltliche Beschreibung der einzelnen Teilkompetenzen finden Sie nach der Grafik. Als Referenzwerte dienen der jeweilige Mittelwert aller in der Standardüberprüfung getesteten Schüler/innen in Österreich sowie das jeweils durchschnittliche Ergebnis Ihrer Schule.

35 BIST-Ü E8 (2013)/Ergebnisse der Unterrichtsgruppe 4A (SKZ ) 33 Dieses Symbol zeigt jeweils das durchschnittliche Ergebnis Ihrer Unterrichtsgruppe. Der jeweilige Kreis ist von einer vertikalen Linie mit einer horizontalen Unter- und Oberbegrenzung durchlaufen, die das Vertrauensintervall markiert, also jenen Wertebereich, in dem die wahre Leistung mit 90 % Sicherheit liegt. Der entsprechende Punktwert des Vertrauensintervalls ist in der Legende in Klammer neben dem jeweiligen Mittelwert der Unterrichtsgruppe angeführt. Die schwarze Linie (mit der rot-weiß-roten Flagge) zeigt jeweils den Durchschnitt aller getesteten Schüler/ innen in Österreich. Die strichlierte orangefarbene Linie entspricht jeweils dem Mittelwert aller getesteten Schüler/innen an Ihrer Schule. Das jeweilige Vertrauensintervall, also jener Wertebereich, in dem die wahre Leistung mit 90 % Sicherheit liegt, ist in der Legende angegeben, nicht aber in der Grafi k eingezeichnet. Die grauen Punkte repräsentieren jeweils die Ergebnisse der einzelnen Schüler/innen Ihrer Unterrichtsgruppe. Anhand der Streuung dieser Werte können Sie sowohl ablesen, wie unterschiedlich die Schüler/innen Ihrer Unterrichtsgruppe in den einzelnen Teilkompetenzen abgeschnitten haben, als auch die Leistungen der besten und schwächsten Schüler/innen entnehmen. Die entsprechenden Punktwerte fi nden Sie unterhalb der Grafi k in der Legende. Ebenso können Sie die Anzahl der getesteten Schüler/innen (n) Ihrer Unterrichtsgruppe ablesen. Leitfragen: Wie liegt das Ergebnis Ihrer Unterrichtsgruppe in den einzelnen Teilkompetenzen des Kompetenzbereichs Schreiben unter Berücksichtigung des Vertrauensintervalls im Vergleich zum Durchschnitt aller getesteten Schüler/innen in Österreich? Wie interpretieren Sie die Streuung der Leistung (Verteilung der Punkte) in den Teilkompetenzen des Kompetenzbereichs Schreiben in Ihrer Unterrichtsgruppe? Unterscheiden sich die Ergebnisse in den einzelnen Teilkompetenzen hinsichtlich des Abstands zum jeweiligen österreichweiten Ergebnis? Weiterführende Fragen: Welche Ergebnisse hatten Sie erwartet? Welche Besonderheiten gibt es in den Ergebnissen? Welche Erklärungsansätze für diese Ergebnisse könnte es geben?