Technischer Bericht. Herausgegeben von Christina Wallner-Paschon & Ursula Itzlinger-Bruneforth PIRLS 20.16

Transkript

1 Technischer Bericht Herausgegeben von Christina Wallner-Paschon & Ursula Itzlinger-Bruneforth PIRLS 20.16

2

3 Wallner-Paschon, C. & Itzlinger-Bruneforth, U. (Hrsg.) PIRLS 2016 Technischer Bericht

4 Bundesministerium für Bildung Minoritenplatz 5, 1010 Wien Das Bundesministerium hat die Durchführung der IEA-Studie PIRLS in Österreich beauftragt. Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens Alpenstraße 121, 5020 Salzburg PIRLS Technischer Bericht Wallner-Paschon, C. & Itzlinger-Bruneforth, U. (Hrsg.) Salzburg, 2017 Coverfoto: Sergey Nivens/Shutterstock.com Einbandgestaltung: Die Fliegenden Fische, Salzburg & Hannes Kaschnig-Löbel, Bundesinstitut BIFIE Layout & Satz: Hannes Kaschnig-Löbel

5 Inhalt 3 1 Grundkonzeption, Ziele und Organisation von PIRLS PIRLS eine Kurzbeschreibung der Studie Internationale Organisation von PIRLS Die Organisation von PIRLS in Österreich 9 2 Entwicklung und Aufbau der Testinstrumente und Kontextfragebögen Das Framework zur Lesekompetenz bei PIRLS Die Entwicklung der Testinstrumente Aufbau der Testhefte und Bearbeitungszeit Die Fragebögen Übersetzung und Verifikation der Tests und Fragebögen Technische Aspekte bei der Erstellung der Testhefte und Fragebögen 23 3 Stichproben-Design und Stichprobenziehung Die internationale Zielpopulation von PIRLS Die nationale Zielpopulation Das allgemeine Stichprobendesign Vorgaben zu den zu erzielenden Teilnahmequoten Der Stichprobenplan für Feld- und Haupttest in Österreich Qualitätssicherung 29 4 Testorganisation und -durchführung Chronologischer Überblick über den Ablauf der Testorganisation Kooperation mit Schulen und Schulbehörden Aufgaben der Schulkoordinatorinnen und -koordinatoren (SK) Druck, Logistik und Rücklaufkontrolle der Erhebungsinstrumente Tätigkeiten der Testleiter/innen (TL) Qualitätssicherung bei der Testorganisation und -durchführung 45 5 Stichprobe und Teilnahmequoten Realisierte Stichprobe und Teilnahmequoten beim Feldtest zu PIRLS Realisierte Stichprobe und Teilnahmequoten beim Haupttest von PIRLS Qualitätssicherung

6 53 6 Bewertung der Schülerantworten Die Transformation von Schülerantworten in Scores Die Scoring-Dokumente Rekrutierung der Scorer Schulung der Scorer Erstellung der elektronischen Bewertungsdateien Scoring-Prozeduren Maßnahmen zur Sicherung der Qualität im Scoring-Prozess 63 7 Dateneingabe und Datenverarbeitung Der Ablauf der Dateneingabe und -verarbeitung Datenerfassung File Cleaning Qualitätssicherung bei der Datenerfassung Übermittlung der Daten an das internationale Zentrum

7 PIRLS Technischer Bericht 3 1 Grundkonzeption, Ziele und Organisation von PIRLS Christina Wallner-Paschon, Silvia Salchegger Dieses Kapitel gibt einen Überblick über Inhalte, Methoden, Ziele und die praktische Bedeutung von PIRLS. Darüber hinaus wird beschrieben, welche nationalen und internationalen Institutionen an der Durchführung dieser Studien beteiligt sind. 1.1 PIRLS eine Kurzbeschreibung der Studie PIRLS (Progress in International Reading Literacy Study) ist eine internationale Schülerleistungsstudie der unabhängigen Forschergemeinschaft IEA (International Association for the Evaluation of Educational Achievement). Ein wesentliches Ziel dieser Studie ist die Gewinnung internationaler Indikatoren, die den politischen Entscheidungsträgerinnen und -trägern eines Landes helfen, Stärken und Schwächen ihres Bildungssystems im internationalen Vergleich zu erkennen. PIRLS erhebt seit 2001 im Fünf-Jahres-Rhythmus die Lesekompetenz von Schülerinnen und Schülern der vierten Schulstufe. Österreich beteiligte sich 2016 nach den Erhebungen im Jahr 2006 und 2011 zum dritten Mal an PIRLS. Eine internationale Besonderheit bei PIRLS 2016 ist das Zusatzprojekt epirls, welches die Lesekompetenz in Bezug auf Online-Medien bei Kindern im Grundschulalter erfasst. 1 Darüber hinaus gibt es die Option PIRLS Literacy 2. Diese Studie zielt auf eine genauere Erfassung der Leseleistung im unteren Kompetenzbereich ab und wurde vor allem für Länder mit vielen leistungsschwachen Schüler/innen konzipiert. Der Aufbau ist ähnlich wie bei PIRLS, es werden jedoch kürzere Texte mit leichterem Vokabular und Satzbau verwendet. PIRLS und PIRLS Literacy sind auf einer gemeinsamen Skala verankert und können somit direkt miteinander verglichen werden. An PIRLS 2016 beteiligten sich insgesamt 50 Länder und elf Benchmarking Participants 3. Drei Teilnehmerländer (Ägypten, Kuwait und Südafrika) sowie ein Benchmarking Participant (Dänemark, 3. Schulstufe) beteiligten sich dabei ausschließlich an PIRLS Literacy. Abbildung 1.1 zeigt alle Teilnehmerländer von PIRLS 2016 (inkl. PIRLS Literacy). Nach internationalen Vorgaben müssen in jedem Teilnehmerland auswertbare Daten von mindestens 4000 Kindern aus zumindest 150 Schulen vorliegen. Damit wurde bei PIRLS 2016 insgesamt die Leistung von über Schülerinnen und Schülern aus über Schulen erhoben und es wurden Lehrer/innen zu den Rahmenbedingungen des Lehrens befragt. Die österreichischen Daten zu PIRLS 2016 stammen von 4360 Schülerinnen und Schülern aus 257 Klassen und 150 Schulen Die Kompetenzbereiche Im Rahmen von PIRLS werden regelmäßig die Lesekompetenzen von Schülerinnen und Schülern erfasst. Die Grundlage für die Entwicklung der Tests und Fragebögen bilden die sogenannten Frameworks. Diese konkretisieren die Kompetenzbereiche, die getestet werden, und legen fest, welche Merkmale des Lehr- und Lernumfelds anhand der Hintergrundfragebögen erhoben werden sollen. Die Aktualisierung der Frameworks von einem Erhebungsdurchgang zum nächsten ist ein zentraler Schritt in der Planung der gesamten Studie. Für diesen Prozess wurden die Informationen der Teilnehmerländer aus der Enzyklopädie von PIRLS 2011 genutzt (Mullis, Martin, Minnich, Drucker & Ragan, 2012). Darüber hinaus wurde dieser Prozess von einer internationalen Leseexpertengruppe (der Reading Development Group) gesteuert. In weiterer Folge basiert dieser Prozess auf einem wechselseitigen Austausch zwischen den Wissenschafterinnen und Wissenschaftern des internationalen Zentrums, den internationalen Expertengruppen und den nationalen Projektleiterinnen und Projektleitern der Teilnehmerländer. Eine detaillierte inhaltliche Beschreibung der Frameworks folgt in Kapitel 2. 1 An dieser Zusatzuntersuchung haben sich 14 Länder beteiligt. Österreich hat an diesem Zusatzprojekt jedoch nicht teilgenommen, weswegen in weiterer Folge nicht darauf eingegangen wird. Detailliertere Informationen finden sich unter 2 Die Option PIRLS Literacy haben insgesamt nur wenige Teilnehmerländer in Anspruch genommen. Da auch Österreich nicht daran teilgenommen hat, wird in weiterer Folge nicht genauer darauf eingegangen. 3 Benchmarking Participants sind teilnehmende Vergleichseinheiten (Länderregionen oder bestimmte Alters- oder Sprachgruppen der Teilnehmerländer). Sie beteiligen sich unabhängig von einer landesweiten Testung an PIRLS, um eigene Vergleichsdaten zu erhalten. Sie müssen ebenso wie die regulären Teilnehmer länder die strengen Qualitätsstandards der IEA erfüllen, so dass ihre Daten zur Gänze mit den Daten der Teilnehmerländer vergleichbar sind.

8 4 1 Grundkonzeption, Ziele und Organisation von PIRLS Teilnehmende Länder PIRLS 2016 Ägypten** EGY Georgien GEO Malta MLT Schweden SWE Aserbaidschan AZE Hongkong HKG Marokko* MAR Singapur SGP Australien AUS Iran* IRN Neuseeland NZL Slowakische Republik SVK Bahrain BHR Irland IRL Niederlande NLD Slowenien SVN Belgien flämisch BEL (fl) Israel ISR Nordirland GBR (N) Spanien ESP Belgien französisch BEL (fr) Italien ITA Norwegen NOR Südafrika** ZAF Bulgarien BGR Kanada CAN Oman OMN Taiwan TWN Chile CHL Kasachstan KAZ Österreich AUT Trinidad und Tobago TTO Dänemark DNK Katar QAT Polen POL Tschechien CZE Deutschland DEU Kuwait** KWT Portugal PRT Ungarn HUN England GBR (E) Lettland LVA Russische Föderation RUS Vereinigte Arabische Emirate ARE Finnland FIN Litauen LTU Saudi-Arabien SAU Vereinigte Staaten von Amerika USA Frankreich FRA Macau MAC Benchmarking Participants Abu Dhabi ARE (AD) Dubai ARE (DU) Moskau RUS (MC) Ontario CAN (ON) Andalusien ESP (AN) Südafrika RSA (Eng/Afr/Zulu) Norwegen NOR (4) Quebec CAN (QC) Buenos Aires ARG (BA) Madrid ESP (MA) Dänemark DNK** (3. Schulstufe) EU-Länder fett hervorgehoben * PIRLS & PIRLS Literacy ** nur PIRLS Literacy Abbildung 1.1: Teilnehmerländer von PIRLS 2016

9 PIRLS Technischer Bericht Methoden Die Leistungsmessung erfolgte mittels Papier-und-Bleistift- Tests. Die Testzeit betrug 80 Minuten (2 Testteile à 40 Minuten). Jeder Testteil der Lesestudie PIRLS bestand aus einem Text (Sachtext oder literarischer Text) und daran anschließenden Fragen mit unterschiedlichem Schwierigkeitsgrad. Diese Fragen hatten entweder ein offenes Format (Schüler/innen mussten selbstständig eine Antwort formulieren) oder ein Multiple-Choice-Format (Schüler/innen mussten die richtige Antwort aus vier möglichen Antwortalternativen auswählen). Neben den Leistungsdaten von Schülerinnen und Schülern wurden auf den folgenden fünf Ebenen Hintergrundinformationen mithilfe von Fragebögen erhoben: Schüler/innen, Eltern, Lehrkräfte, Schulleitung sowie auf Ebene des Bildungssystems (Lehrplan). Hierdurch sollen schulische und systemimmanente Faktoren mit der Lesekompetenz der Schüler/innen in Verbindung gebracht werden. Eine Beschreibung der Inhalte der Fragebögen findet sich in Kapitel Ziele und Forschungsfragen Lesen ist eine der wichtigsten Kulturtechniken, die die Schüler/innen am Beginn ihrer Schullaufbahn erlernen müssen. Die Kernkompetenz Lesen ist die Basis für (selbstständiges) Lernen, ermöglicht eine persönliche Weiterentwicklung und liefert ein unerlässliches Werkzeug für das tägliche Leben. PIRLS testet die Lesekompetenz an einem wichtigen Punkt in der Entwicklung: Am Ende der 4. Schulstufe sollte das Erlernen des Lesens bereits abgeschlossen sein und in ein Lesen-um-zu-Lernen übergegangen sein (Mullis & Martin, 2015, S. 3). Zudem testet PIRLS die Lesekompetenz unmittelbar vor einem wichtigen Schnittpunkt im österreichischen Schulsystem dem Übertritt von der Volksschule in die Sekundarstufe I (Neue Mittelschule bzw. Gymnasium). PIRLS ist neben der Mathematik- und Naturwissenschaftsstudie TIMSS die größte regelmäßig durchgeführte internationale Schülerleistungsstudie, die die Leistungen von Kindern in Österreich am Ende der Volksschule testet. Die aus PIRLS gewonnenen Daten ermöglichen, die Leseleis tungen der Viertklässler/innen international zu vergleichen. Außerdem werden bei PIRLS detaillierte Informationen über den Leseunterricht in den Schulen aller teilnehmenden Länder erfasst. Dies ermöglicht einen systematischen Vergleich über die Rahmenbedingungen des Lesenlernens. Für jene Länder, die bereits an einer früheren Erhebung (2001, 2006 bzw. 2011) teilgenommen haben, liefert PIRLS zudem Informationen über Veränderungen der Schülerleistungen über die Zeit. Das übergeordnete Ziel von PIRLS ist, die Güte von nationalen Bildungssystemen zu erfassen und Informationen über qualitätsrelevante Merkmale bereitzustellen. Dies geschieht mittels regelmäßiger und international standardisierter Mes- sung von Schülerleistungen sowie durch die Erhebung von Merkmalen, von denen angenommen wird, dass sie die Leseleistung beeinflussen. Durch diese Messungen werden Basis-, Kontext- und Trendindikatoren gewonnen und es kann eine systematische Datenbasis für Analysen aufgebaut werden. Basisindikatoren: Die aus dem PIRLS-Test gewonnenen Leistungsdaten liefern Informationen über die Lesekompetenz der Schüler/innen am Ende der vierten Schulstufe und dienen als Basisindikatoren. Der direkte Vergleich dieser Ergebnisse mit den Leistungsdaten der anderen Teilnehmerländer ermöglicht die Identifizierung von Stärken und Schwächen im eigenen Bildungssystem und unterstützt damit die Qualitätsentwicklung auf Systemebene. Kontextindikatoren: Kinder erlernen das Lesen in unterschiedlichen Umgebungen und Umwelten. Daher werden mittels Fragebögen auf fünf verschiedenen Ebenen (Schüler/innen, Eltern, Lehrkräfte, Schulleitung und Lehrplan) Kontextindikatoren erhoben. Zusätzlich gibt es die so genannte Enzyklopädie eine online publizierte Beschreibung der wesentlichen Merkmale der Schulsysteme aller Teilnehmerländer. Von den Merkmalen, die dabei erhoben werden, wird angenommen, dass sie mit der Leseleistung der Schüler/innen zusammenhängen und somit einen Erklärungsbeitrag für unterschiedliche Schülerleistungen liefern. Durch die gemeinsame Analyse der Leistungsdaten und Kontextindikatoren ist es beispielsweise möglich, die Beziehung zwischen Schülerleistungen und bestimmten Schulmerkmalen (z. B. Schul - größe; zur Verfügung stehende Ressourcen) zu untersuchen und darüber hinaus länderspezifische Unterschiede hinsichtlich dieser Beziehung zu betrachten. Trendindikatoren: PIRLS ist eine Studie, die in regelmäßigen Abständen durchgeführt wird. Langfristig wird damit ein Bestand an Informationen aufgebaut, der es ermöglicht, Entwicklungstrends in der Leseleistung von Schülerinnen und Schülern aus verschiedenen Ländern und demografischen Untergruppen festzustellen und diese genauer zu analysieren. Durch den Vergleich der Ergebnisse über die Zeit kann die Dynamik der Entwicklung erfasst und gleichzeitig sichtbar gemacht werden, welche Konsequenzen zwischenzeitliche Änderungen im System auf die Leistungen der Schüler/innen haben. Wichtig ist hierbei nicht bloß die isolierte Betrachtung von Änderungen in den Basis- bzw. Kontextindikatoren, sondern auch die Untersuchung von Veränderungen in den Zusammenhängen zwischen Leis - tungs- und Hintergrundvariablen. Datenbasis: Durch die regelmäßige Erfassung der Schülerleistungen kann systematisch eine Datenbasis aufgebaut werden, die alle erhobenen Informationen im Zusam-

10 6 1 Grundkonzeption, Ziele und Organisation von PIRLS menhang berücksichtigt und so eine weitgehende und fundierte bildungspolitische Analyse erlaubt. Bildungspolitiker/innen und -forscher/innen können diese Datenbasis für unterschiedliche Zwecke nutzen: beispielsweise, um den erreichten Bildungsstand zu prüfen und international zu vergleichen, um den Fortschritt der Schüler/innen zu beobachten oder um relative Stärken und Schwächen zu identifizieren. Darüber hinaus fördert eine internationale Datenbasis den Austausch von Informationen und Ideen. Die Datenbasis von PIRLS 2016 ist frei zugänglich unter bc.edu/pirls2016/international-database.html. Auch die Datenbasen aller vorhergehenden Zyklen sind frei verfügbar, was allen Interessierten den Weg für Sekundäranalysen öffnet Die Bedeutung von PIRLS für Österreich PIRLS liefert den Verantwortlichen in der Bildungspolitik Informationen über die Lesekompetenz österreichischer Schüler/innen im internationalen Vergleich und zeigt auf, welche Faktoren mit diesen Kompetenzen zusammenhängen. Die Ergebnisse von PIRLS sind daher ein zentraler Ansatzpunkt für Maßnahmen zur Qualitätsverbesserung auf Systemebene. Ein wesentliches Ziel von PIRLS in Österreich ist es, die Ergebnisse der Leistungsanalysen so aufzubereiten, dass sie möglichst vielen Personen zugänglich sind. Alle nationalen Publikationen sowie Beispielaufgaben sind auf erhältlich. Auch die internationalen Berichte erscheinen nicht nur in Buchform, sondern können ebenfalls kostenlos aus dem Internet heruntergeladen werden ( 1.2 Internationale Organisation von PIRLS Für die internationale Projektorganisation und die Sicherstellung der Qualität der Studie sind mehrere Einrichtungen zuständig. Die übergeordnete Projektverantwortung trägt die IEA, die zugleich Initiatorin von PIRLS ist. Die Ursprünge der IEA gehen auf das Jahr 1958 zurück, die offizielle Gründung erfolgte Ziel dieser Organisation ist es, in verschiedensten Ländern der Welt vergleichende Studien durchzuführen, welche auf die Bildungspolitik und -praktiken fokussieren. Die IEA ist eine gemeinnützige, unabhängige internationale Kooperation von Forschungsinstitutionen und Regierungsbehörden, die heute nach mehr als 50 Jahren aus über 60 institutionellen Mitgliedern (von Universitäten bis hin zu Bildungsministerien) besteht. Seit 1958 wurden von der IEA mehr als 20 Bildungsstudien initiiert. Detailliertere Informationen zu den Studien finden sich unter Die IEA verfolgt mit ihren internationalen Studien folgende Ziele: Bereitstellung internationaler Vergleichswerte, die den politischen Entscheidungsträgerinnen und -trägern helfen können, Stärken und Schwächen ihres Bildungssystems im internationalen Vergleich zu erkennen; Erhebung von qualitativ hochwertigen Leistungs- und Hintergrunddaten, um Faktoren, die im schulischen und außerschulischen Bereich das Lehren und Lernen beeinflussen, besser zu verstehen; Bereitstellung von Hinweisen für notwendige Bildungsreformen bzw. Evaluation dieser Bildungsreformen; Weiterentwicklung und Verbesserung der Effektivität und Effizienz von Bildungssystemen; Aufbau einer weltweiten Forschungsgemeinschaft im Bereich der Bildungsevaluation. Das International Study Center (ISC; internationales Zentrum) am Boston College (Lynch School of Education) unter der Leitung von Dr. in Ina V. S. Mullis und Dr. Michael O. Martin wurde von der IEA mit der internationalen Koordination und Durchführung von PIRLS beauftragt. Bei der Implementierung arbeitet das ISC mit folgenden Institutionen bzw. Personen eng zusammen: IEA-Sekretariat (Amsterdam): Unterstützt die Studie in allen Aspekten und ist für die Verifikation der Übersetzungen sowie für die international eingesetzten Qualitätsbeobachter/innen zuständig. IEA Data Processing and Research Center/DPC (Hamburg/Deutschland): Verantwortlich für die Verarbeitung und Verifikation der Daten aller Teilnehmerländer. Statistics Canada (Ottawa/Kanada): Verantwortlich für alle Aufgaben im Bereich der Stichprobenziehung. Dies inkludiert die Zusammenarbeit mit den Teilnehmerländern, um sicherzustellen, dass die internationalen Vorschriften bei der Stichprobenziehung eingehalten werden; die Anpassung des internationalen Stichprobendesigns an nationale Gegebenheiten; die Dokumentation der nationalen Stichproben sowie die Berechnung der Samplinggewichte. Educational Testing Service/ETS (Princeton/USA): Unterstützt das internationale Zentrum bei messtheoretischen Belangen. Fachkoordination sowie Expertenreview für jeden Kompetenzbereich: National Foundation for Educational Research (NFER) in England und Australian Coucil for Educationa Research (ACER) bieten Unterstützung bei der Itementwicklung (Fachkoordination) und arbeiten mit dem internationalen Zentrum bei der Erstellung der Testinstrumente zusammen. Zusätzliche Unterstützung bei dieser Aufgabe kommt durch die regelmäßigen Reviews der internationalen Expertengruppen. Internationale Expertengruppen gibt es für jeden Kompetenzbereich sowie für die Fragebögen; sie bestehen aus je-

11 PIRLS Technischer Bericht 7 weils sieben bis neun internationalen Expertinnen und Experten aus den Teilnehmerländern. National Research Coordinator (NRC): In jedem Teilnehmerland gibt es ein nationales Projektzentrum und eine/n National Research Coordinator (NRC). Der/ die NRC ist für die nationale Umsetzung der Studien nach internationalen Vorgaben verantwortlich. 1.3 Die Organisation von PIRLS in Österreich In Österreich gehört die Durchführung internationaler Assessments zu den gesetzlichen Kernaufgaben des BIFIE (Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens). Daher ist das BIFIE seit seiner Gründung 2008 auch für alle IEA-Studien verantwortlich (unter organisation/ finden sich weiterführende Informationen). Aufgabe des BIFIE ist die wissenschaftliche Planung und praktische Umsetzung von PIRLS. PIRLS 2016 wurde am Department für Bildungsstandards & Internationale Assessments unter der Leitung von Mag. a Simone Breit durchgeführt. PIRLS-2016-NRC für Österreich ist Mag. a Christina Wallner-Paschon. In Zusammenarbeit mit dem ISC wurde am BIFIE das Untersuchungsdesign an die nationalen Gegebenheiten angepasst, die Aufgaben und Fragebögen wurden mitentwickelt, übersetzt und an österreichische Gegebenheiten angepasst. Darüber hinaus organisierte das nationale Zentrum die Erhebungen an den Schulen, führte die Dateneingabe durch und analysierte die Daten für den Erstergebnisbericht (Wallner-Paschon, Itzlinger-Bruneforth & Schreiner, 2017). Bibliografie Mullis, I. V. S., Martin, M. O., Kennedy, A. M., Trong, K. L. & Sainsbury, M. (2009). PIRLS 2011 Assessment Framework. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College. Mullis, I. V. S. & Martin, M.O. (Eds.). (2015). PIRLS 2016 Assessment Framework (2nd ed.). Chestnut Hill, MA: Boston College. Mullis, I. V. S., Martin, M. O., Minnich, C. A., Drucker, K. T. & Ragan, M. A. (Eds.). (2012). PIRLS 2011 encyclopedia: Education policy and curriculum in reading (Volume 1 & 2). Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College. Wallner-Paschon, C., Itzlinger-Bruneforth, U. & Schreiner, C. (Hrsg.). (2017). PIRLS Die Lesekompetenz am Ende der Volksschule. Erste Ergebnisse. Graz: Leykam.

12 8 1 Grundkonzeption, Ziele und Organisation von PIRLS

13 PIRLS Technischer Bericht 9 2 Entwicklung und Aufbau der Testinstrumente und Kontextfragebögen Katrin Widauer, Christina Wallner-Paschon PIRLS misst das Lesen als Kernkompetenz von Schülerinnen und Schülern am Ende ihrer Grundschulzeit. Die Entwicklung der PIRLS-Testaufgaben basiert auf der Definition der Lesekompetenz und der Festlegung der zu erfassenden Fähigkeiten. Bei PIRLS kommen zwei Erhebungsmethoden zum Einsatz: Zur Messung der Lesekompetenz werden standardisierte Leistungstests eingesetzt. Leistungsrelevante Hintergrundinformationen werden mithilfe von Fragebögen auf System-, Schul-, Lehrer-, Eltern- und Schülerebene erhoben. Dieses Kapitel beschreibt das der Lesekompetenz zugrundeliegende Rahmenkonzept (Framework) sowie die Entwicklung, den Aufbau und die Bearbeitungszeit der verwendeten Testinstrumente und Fragebögen. Zudem werden die Übersetzung der Materialien sowie technische Aspekte der Erhebungsinstrumente dargestellt. Zu Beginn jedes Erhebungsdurchgangs von PIRLS findet für die Lesekompetenz eine internationale Aktualisierung des Rahmenkonzepts des so genannten Frameworks statt. Es definiert und beschreibt, welches Wissen und welche Fähigkeiten für die Lesekompetenz relevant sind und durch PIRLS erfasst werden sollen (Framework PIRLS 2016: Mullis & Martin, 2015). Neben dem Framework zur Lesekompetenz gibt es auch eine Rahmenkonzeption für die Hintergrundfragebögen. Darin werden leistungsrelevante Kontexte theoretisch begründet und es wird festgelegt, welche Bereiche aus dem Lehr- und Lernumfeld bei PIRLS erfasst werden sollen. Darüber hinaus werden im Framework das Testdesign und damit die äußeren Rahmenbedingungen der Datenerhebung bereits im Vorfeld festgelegt. Konkret zählen dazu beispielsweise die Abfolge der Aufgaben in den Testheften (siehe Abschnitt 2.3) oder die Festlegung, welche Schüler/innen getestet werden (zur Beschreibung der Population und Stichprobenziehung siehe Kapitel 3). Das Framework übernimmt damit eine ähnliche Aufgabe wie der Lehrplan oder die Deskriptoren der Bildungsstandards und beschreibt, was getestet und erhoben werden soll. Die im Framework enthaltenen theoretischen Ansätze und die Festlegung der Testinhalte ermöglichen eine präzise Messung der Lesekompetenz. Das aktuelle Framework baut jeweils auf jenem des vorhergehenden Erhebungsdurchgangs auf. So beruht das Framework von PIRLS 2016 auf der Rahmenkonzeption von PIRLS Dies gewährleistet eine Kontinuität der zu erfassenden Lesekompetenz und ermöglicht es, die Leistungen der Schüler/innen über die Zeit hinweg zu vergleichen und Trends zu beobachten. Das Framework wird vom internationalen Zentrum (International Study Center, ISC; siehe Abschnitt 1.2) in Zusammenarbeit mit den internationalen Expertengruppen sowie den nationalen Projektleiterinnen und Projektleitern (National Research Coordinators, NRCs) der Teilnehmerländer entwickelt und begutachtet. 2.1 Das Framework zur Lesekompetenz bei PIRLS Das der PIRLS-Studie zugrunde liegende Kontextmodell zur Entwicklung der Lesekompetenz 1 ist in Abbildung 2.1 ersichtlich. Es zeigt die Leseleistung der Schüler/innen sowie deren Einstellungen und Verhaltensweisen als Produkt von Unterricht und den in unterschiedlichen Umwelten gewonnenen Erfahrungen. Es misst vor allem den Kontexten Familie, Klasse und Schule wesentliche Bedeutung beim Lesenlernen bei. Sie beeinflussen jedoch nicht nur unabhängig voneinander die Entwicklung der Lesekompetenz, sondern stehen auch untereinander in Beziehung und verstärken sich gegenseitig. Weiter sind sie in nationale und regionale Begebenheiten eingebettet und werden dadurch indirekt beeinflusst. Darüber hinaus wird bei der Beschreibung des Modells auf die bekannten wechselseitigen Einflüsse zwischen der Leseleistung auf der einen Seite und den Einstellungen sowie Verhaltensweisen der Schüler/innen auf der anderen Seite hingewiesen. Die Lesekompetenz ist eine der wichtigsten Kulturtechniken, die Schüler/innen im Laufe ihrer ersten Schuljahre erlernen. Sie stellt die Basis für jegliches Lernen, für die persönliche Weiterentwicklung und die Teilnahme am gesellschaftlichen Leben dar. Im Rahmen der PIRLS-Studie wird diese Kernkompetenz als konstruktiver, interaktiver Prozess gesehen, dem folgende Definition zugrunde liegt: 1 Das Kontextmodell zur Entwicklung der Lesekompetenz ist dem PIRLS-Framework 2011 entlehnt, da es in jenem von 2016 nicht mehr grafisch dargestellt wird.

14 10 2 Entwicklung und Aufbau der Testinstrumente und Kontextfragebögen Lesekompetenz (reading literacy) ist die Fähigkeit, jene geschriebenen Sprachformen zu verstehen und zu nutzen, die von der Gesellschaft verlangt werden und/oder für die jeweilige Person nützlich und wertvoll sind. Leser/innen können die Bedeutung von Texten verschiedenster Gattungen erfassen. Sie lesen, um zu lernen, um an der Gemeinschaft der Lesenden in der Schule sowie im täglichen Leben teilzunehmen und zum Vergnügen. (Mullis & Martin 2015; deutsche Übersetzung v. BIFIE) Aus dieser Definition heraus werden drei Aspekte der Lesefähigkeit beschrieben, die bei PIRLS untersucht werden: das Leseverhalten und die Einstellungen zum Lesen; die Leseabsichten; die Verstehensprozesse. Der erste Aspekt, das Leseverhalten, sowie die Leseeinstellung (1) spielen eine wichtige Rolle in der Entwicklung der Lesefähigkeit, denn eine positive Einstellung zum Lesen ist eine der wichtigsten Grundvoraussetzungen, um ein/e gute/r Leser/in zu werden. Schüler/innen, die über eine positive Leseeinstellung verfügen, lesen öfter auch nur zum Vergnügen als Schüler/innen, die mit dem Lesen Schwierigkeiten haben. Diese Einstellung verhilft durch das Lesen verschiedener Textsorten zum Sammeln von (Lese-)Erfahrungen und demnach auch zu besseren Leseleistungen. Um Informationen zu Leseeinstellungen und Leseverhalten von Schülerinnen und Schülern zu erhalten, wird bei PIRLS ein Schülerfragebogen eingesetzt, dessen Rahmenkonzept und Inhalt ebenfalls in diesem Kapitel beschrieben werden. Die nächsten beiden Aspekte Leseabsichten (2) und Verstehensprozesse (3) bilden die Basis für die Messung der Leseleistung. Die Leseabsichten, die bei Kindern der vierten Schulstufe primär durch Lesen, um zu lernen und Lesen zum Vergnügen charakterisiert sind, werden durch die Verwendung der zwei Texttypen Informationstexte und literarische Texte operationalisiert. Innerhalb dieser beiden Texttypen sollen die Schüler/innen jeweils vier unterschiedliche Verstehensprozesse zeigen, die durch die Art der Fragestellungen bzw. die Art der verlangten Antworten gemessen Familie Leseleistung der Schüler/innen Nationaler und regionaler Kontext Schule Unterricht und Erfahrungen Klasse Einstellungen & Verhaltensweisen der Schüler/innen zum Lesen Abbildung 2.1: Kontextmodell zur Entwicklung der Lesekompetenz (PIRLS 2016) werden. Tabelle 2.1 gibt einen Überblick über die im Vorfeld festgelegte Aufteilung der Testaufgaben nach den beiden Leseabsichten und den vier Verstehensprozessen. Die Definition sowie die obigen Erläuterungen machen deutlich, dass die bei PIRLS gemessene Lesekompetenz über reines Decodieren und Wortverständnis hinausgeht. Lesekompetenz beinhaltet das Verstehen, Verwenden und Reflektieren geschriebener Information für verschiedene Zwecke. Die Definition macht aber auch deutlich, dass die Lesekompetenz als ein konstruktiver interaktiver Prozess aufgefasst wird. Leser/innen werden dabei als aktive Konstrukteure von Bedeutung gesehen. Die Bedeutung entsteht durch die Interaktion von Lesender/Lesendem und Text. Leser/innen bringen ein Repertoire an Fertigkeiten sowie Hintergrundwissen mit. Der Text andererseits beinhaltet spezifische Sprach- und Strukturelemente und bezieht sich Verstehensprozesse Informationsgewinnung Leseabsicht Literarische Erfahrung Tabelle 2.1: Itemverteilung nach Leseabsichten und Verstehensprozessen in Prozent (PIRLS 2016) PIRLS Gesamt Erkennen und Wiedergeben expliziter Information 10 % 10 % 20 % Einfaches Schlussfolgern 15 % 15 % 30 % Interpretieren und Verknüpfen 15 % 15 % 30 % Bewerten und Kritisieren 10 % 10 % 20 % Gesamt 50 % 50 % 100 %

15 PIRLS Technischer Bericht 11 auf ein bestimmtes Thema. Der Kontext der Lesesituation fördert das Engagement und die Motivation zu lesen und stellt oft spezifische Anforderungen an das Lese verständnis (Mullis & Martin, 2015) Leseabsicht Jene Leseabsichten, die bei Kindern der vierten Schulstufe am häufigsten vorkommen, sind das Lesen zum Vergnügen und das Lesen, um zu lernen. Bei PIRLS wird deshalb auch zwischen den beiden Leseabsichten Lesen, um Informationen zu gewinnen und Lesen, um literarische Erfahrung zu machen unterschieden. Zur Erfassung der Leseabsicht Informationsgewinnung werden bei PIRLS Sachtexte eingesetzt, in denen sich die Schüler/innen mit Aspekten der realen Welt und nicht mit einer imaginären auseinandersetzen müssen. Sachtexte dienen dem Verständnis, wie die Welt ist und war, und wie Dinge funktionieren. Im Gegensatz dazu wird man beim Lesen, um literarische Erfahrungen zu machen in ein imaginäres Ereignis mit all seinen Handlungen, Konsequenzen sowie einer bestimmten Atmosphäre etc. eingebunden. Um die Literatur zu verstehen und daran Gefallen zu finden, muss man sie mit den eigenen Erfahrungen, Gefühlen, Sprachwahrnehmungen und Wissen um literarische Formen verbinden. Bei PIRLS werden in erster Linie Erzählungen als Hauptform literarischer Texte verwendet Verstehensprozesse Beim Aspekt der Verstehensprozesse werden vier Bereiche unterschieden, anhand derer die Fragen zu den Texten entwickelt wurden. Jede Testaufgabe erfasst somit einen der folgenden vier Prozesse: 1. Erkennen und Wiedergeben explizit angegebener Informationen: Um Informationen wiedergeben zu können, benötigt man ein unmittelbares Verständnis des Textes; dazu ist kein Schlussfolgern oder Interpretieren notwendig, da keine Lücken in der Bedeutung gefüllt werden müssen. Die Leserin/der Leser muss allerdings die Relevanz der Information in Bezug zur gesuchten Information erkennen. In dieser Verarbeitungsart bleibt der Textfokus auf der Ebene von Sätzen bzw. Phrasen. Beispiele für das Anforderungsprofil solcher Aufgaben sind: nach konkreten Gedanken im Text suchen; zeitliche oder örtliche Angaben erkennen; nach Wortdefinitionen suchen. 2. Ziehen einfacher Schlussfolgerungen: Das Schlussfolgern erlaubt der Leserin/dem Leser zwischen den Zeilen zu lesen und Bedeutungslücken selbst zu füllen (inferenzielles Lesen). Bei einfachen Schluss- folgerungen müssen meist zwei oder mehrere explizite Ideen bzw. Informationsstücke miteinander verbunden werden. Dies ist ein Prozess, der bei geübten Leserinnen und Lesern automatisch stattfindet. Bei diesem Verstehensprozess liegt der Fokus auf einer punktuellen Bedeutung eines Textteils bzw. auf der umfassenden Bedeutung, die den ganzen Text repräsentiert. Beispiele für das Anforderungsprofil solcher Aufgaben sind: Beschreibung der Beziehung zwischen zwei Charakteren; Schlussfolgern, dass ein Ereignis ein anderes verursacht hat; Generalisierungen im Text erkennen. 3. Interpretieren sowie Verknüpfen von Gedanken und Informationen: Dieser Verstehensprozess verlangt ein Zurückgreifen auf das eigene Verständnis der Welt. Dabei werden Folgerungen gezogen, die nicht nur implizit sind, sondern auch für Interpretationen aus der eigenen Perspektive offen sind. Die Leserin/der Leser konstruiert ein spezifisches oder ein vollständigeres Verständnis des Textes, indem persönliches Wissen und Erfahrung mit der Bedeutung des Textes in Verbindung gebracht werden z. B. wenn man die Stimmung in einer Geschichte beschreiben soll (weiterführende Inferenzen). Beispiele für das Anforderungsprofil solcher Aufgaben sind: Herauslesen der übergeordneten Botschaft eines Textes; Vergleichen und Gegenüberstellen von Textinformationen; Erwägung alternativer Verhaltensweisen von Charakteren. 4. Bewerten und Kritisieren von Inhalt und Textelementen: Mit diesem höchsten Verstehensprozess wechselt der Fokus von der Konstruktion einer Bedeutung zu einer kritischen Betrachtung des Textes. Die Leserin/der Leser macht in Bezug auf den Text Interpretationen und vergleicht das Textverständnis mit seinem Weltbild. Bei der Textreflexion wird untersucht, wie die Bedeutung präsentiert wird, indem auf das eigene Wissen über das Textgenre, die Textstruktur und Sprachkonventionen zurückgegriffen wird. Beispiele für das Anforderungsprofil solcher Aufgaben sind: Beurteilung der Vollständigkeit und Klarheit der Informationen im Text; die Wahrscheinlichkeit beurteilen, dass ein in der Geschichte beschriebenes Ereignis wirklich stattfinden könnte; eine Sichtweise der Autorin/des Autors auf das zentrale Thema ermitteln.

16 12 2 Entwicklung und Aufbau der Testinstrumente und Kontextfragebögen 2.2 Die Entwicklung der Testinstrumente Die Richtlinien des theoretischen Rahmenmodells (Framework) bilden die Grundlage für die Entwicklung der PIRLS- Testaufgaben. Die Testentwicklung erfolgt deshalb streng nach den Vorgaben des Frameworks. Die Vorlaufzeit bis zur Auswahl jener Texte und Aufgaben, die im Haupttest eingesetzt werden, beträgt etwa zwei Jahre und umfasst in groben Zügen die Sammlung und Auswahl von Texten, die Entwicklung der Fragen bzw. Testaufgaben (Items) zu den Lesetexten, die Erprobung der Texte und Items im Feldtest sowie die Auswahl der besten Aufgaben für den Haupttest. Die beiden zuletzt genannten Schritte implizieren, dass im Rahmen der Testentwicklung zunächst wesentlich mehr Aufgaben erstellt und in einem Feldtest erprobt werden müssen, als für den Haupttest notwendig sind. Dadurch können letztendlich jene Aufgaben ausgewählt werden, die in allen Teilnehmerländern funktionieren und entsprechend gute Itemstatistiken aufweisen. Die einzelnen Schritte der Testentwicklung werden in den folgenden Abschnitten genauer beschrieben Sammlung und Auswahl von Texten Um den Leseprozess während des Tests so authentisch wie möglich ablaufen zu lassen, müssen zunächst solche Textsorten gewählt werden, die typisch für den Alltag der Zielgruppe (Schüler/innen der vierten Schulstufe) sind. Daher wird bei PIRLS hauptsächlich auf Texte zurückgegriffen, die von erfolgreichen Autorinnen und Autoren verfasst wurden, da sie es verstehen, den Inhalt für Kinder und Jugendliche attraktiv und interessant zu gestalten. Solche Texte sind wahrscheinlich besser dazu geeignet, den Prozess des Leseverständnisses zu überprüfen als Texte, die speziell für diesen Zweck konstruiert werden. Die Auswahl von Texten wird aber durch den Umstand eingeschränkt, dass sie in zahlreiche Sprachen übersetzt werden. Deshalb muss darauf geachtet werden, sich für solche Texte bzw. Textteile zu entscheiden, die übersetzt werden können, ohne ihre Bedeutung zu verlieren oder ihren Schwierigkeitsgrad zu verändern. Bei der Textauswahl ist weiter zu berücksichtigen, dass sie eventuell kulturelle Verzerrungen hervorbringen können. Deswegen soll die Zusammenstellung der Texte möglichst länder- und kulturübergreifend erfolgen, wobei keine Kultur und kein Land überrepräsentiert sein sollen (Mullis & Martin, 2015). Um eine ausreichende Anzahl geeigneter Texte für den Haupttest zur Verfügung zu haben, werden zu Beginn jedes neuen Erhebungsdurchgangs aus möglichst vielen Ländern Stimulustexte gesammelt. Die Teilnehmerländer werden bereits zu Beginn der Studie dazu aufgerufen, Textvorschläge, die für die getestete Zielgruppe in ihrem Land typisch sind, an das ISC zu schicken. Diese Texte sollten darüber hinaus folgende Kriterien erfüllen: Länge von Wörtern; kulturübergreifende Angemessenheit; klar, kohärent und verhältnismäßig leicht verständlich; fesselnde Sprache mit ausdrucksvollem oder fachbezogenem Vokabular; nur geringe inhaltsbezogene Kenntnisse erforderlich; der Inhalt ist für eine Vielzahl von Schülerinnen und Schülern interessant und fesselnd (dies wird im Anschluss an den Test über Smileys erfragt und bei der Auswahl der Texte für den Haupttest berücksichtigt); greift nicht auf eine Sprache zurück, die offensichtlich schwierig zu übersetzen wäre; enthält eine Reihe von Fragen aus jedem der PIRLS- Verstehensprozesse (siehe Abschnitt 2.1.2); beinhaltet eine Botschaft oder ein zentrales Thema, welches Schüler/innen erkennen und das über den Text hinweg verallgemeinerbar ist (trifft nur auf literarische Texte zu). Die so gesammelten Texte werden bereits am Anfang der Studie einer ersten informellen Begutachtung durch die NRCs aller Teilnehmerländer unterzogen. Darüber hinaus wurde auch ein Onlineforum eingerichtet, in welchem die NRCs Textvorschläge diskutieren konnten. Es oblag einer internationalen Leseexpertengruppe (Reading Development Group, RDG), aus allen vorhandenen Texten eine engere Auswahl von sechs Informations- und sechs literarischen Texten (davon jeweils zwei Texte für PIRLS Literacy, siehe Abschnitt 2.3) für den Feldtest zu treffen, wobei auch die Anmerkungen und Vorschläge der NRCs berücksichtigt wurden. Die Auswahl geeigneter Stimulustexte ist bei PIRLS ein erster wichtiger Schritt, da die daraus folgenden Fragen eine entscheidende Bedeutung für die Erhebung der Leseleistung haben Entwicklung der Testaufgaben Die Konstruktion neuer Aufgaben (Items) findet in Kooperation mit den Teilnehmerländern im Rahmen eines genau vorgeschriebenen Entwicklungsprozesses statt. In einem ersten Schritt entwickeln nationale Expertinnen und Experten sowie die NRCs nach festgelegten Kriterien Items zu den bereits im Vorfeld ausgewählten Texten. Die Phase der Aufgabenkonstruktion wird unter Anleitung einer internationalen Leseexpertengruppe in einem Item-Writing-Workshop durchgeführt, an dem nationale Expertinnen und Experten sowie die NRCs aller Teilnehmerländer mitwirken können. Die Aufgaben werden anschließend vom ISC und der internationalen Expertengruppe begutachtet und überarbeitet. Bevor die Aufgaben zur Erprobung einem Feldtest unterzogen werden, sind sie allen Teilnehmerländern zur Durchsicht vorzulegen.

17 PIRLS Technischer Bericht Erprobung der Texte und Items und Auswahl der Aufgaben für den Haupttest Ein Jahr vor der Haupterhebung wurden insgesamt zwölf neue Texte einem Feldtest unterzogen (acht Texte für PIRLS und vier Texte für PIRLS Literacy). In umfangreichen statistischen Analysen (Itemanalysen) werden die aus dem Feldtest gewonnenen Daten in Kooperation zwischen ISC und Datenverarbeitungszentrum (IEA Hamburg) ausgewertet. Anhand dieser Analysen erfolgt die Auswahl der zum Haupttest zugelassenen Aufgaben, die nötigenfalls vorher noch einmal minimal überarbeitet werden. Diese Vorgehensweise gewährleistet, dass ausschließlich Aufgaben verwendet werden, die in allen Teilnehmerländern einwandfrei funktionieren. Nach den Feldtestanalysen wurden für den PIRLS-Haupttest 2016 die sechs am besten geeigneten Texte (drei literarische Texte und drei Sachtexte) ausgewählt. Im Haupttest kommen jedoch nicht nur neue, sondern immer auch Texte aus vorangegangenen Testungen zum Einsatz, um Trendanalysen zu ermöglichen. Zwei der sechs wieder verwendeten Texte waren bereits 2001, 2006 und 2011 im Einsatz, zwei weitere in den Jahren 2006 und 2011 und die restlichen beiden lediglich Mithilfe dieser sogenannten Trendaufgaben kann der Schwierigkeitsgrad der Leistungsskala über die Zeit hinweg verankert werden. Der Einsatz von Trendaufgaben bringt darüber hinaus den Vorteil, dass nicht vor jedem Durchgang alle Aufgaben neu entwickelt werden müssen. Da Trendaufgaben in unveränderter Form übernommen werden, ist es nicht notwendig, sie einem Feldtest zu unterziehen. Nach jedem Zyklus wird ein Teil der Texte freigegeben, um der Öffentlichkeit Einblick in die Inhalte und Ziele der Studie zu gewähren. Entsprechend wurden auch nach PIRLS 2016 zwei neu entworfene Texte (PI5 und PL5 im Leseheft) sowie zwei weitere Texte aus früheren Zyklen den NRCs zur beschränkten Verwendung überlassen. Diese Texte müssen im nächsten PIRLS-Zyklus 2021 durch neue Texte ersetzt werden. 2.3 Aufbau der Testhefte und Bearbeitungszeit Im Haupttest 2016 kamen bei PIRLS zwölf verschiedene Texte mit anschließenden Fragen zum Einsatz. Um die beiden hauptsächlichen Leseabsichten junger Schüler/innen, Lesen, um Informationen zu gewinnen und Lesen, um literarische Erfahrung zu machen, abzudecken, gab es fünf literarische Texte (Texte PL1-PL5) sowie fünf Sachtexte (Texte PI1-PI5). Eine Besonderheit bei PIRLS 2016 ist der Einsatz eines literarischen Texts (LL3) und eines Informationstexts (LI3) aus der Studie PIRLS Literacy PIRLS Literacy ersetzt prepirls und ist ähnlich konzipiert. Insgesamt ist diese Studie einfacher als PIRLS, da kürzere Texte mit leichterem Vokabular und Satzbau verwendet werden und das Layout die Fragen jeweils auf der gegenüberliegenden Seite des betreffenden Textabschnitts vorsieht. Dadurch dient PIRLS Literacy der detaillierten Messung der Leseleistung am unteren Ende der Kompetenzskala. Die gemeinsame Verwendung von Texten ermöglicht es, die beiden Studien zu verknüpfen und die Ergebnisse von PIRLS Literacy und PIRLS miteinander zu vergleichen. Die Bearbeitungszeit für alle zwölf Texte beträgt insgesamt acht Stunden. Dieser zeitliche Umfang wurde im Vorfeld durch das internationale Expertengremium im Bereich Leseforschung festgelegt. So soll sichergestellt werden, dass die beiden Leseabsichten in ausreichendem Maß erfasst werden, um valide Aussagen über diese Subskalen machen zu können. Dies gilt ebenso für die vier im Framework definierten Verstehensprozesse, die zur Beantwortung der Aufgaben notwendig sind: Erkennen und Wiedergeben explizit angegebener Informationen, Ziehen einfacher Schlussfolgerungen, Interpretieren sowie Verknüpfen von Gedanken und Informationen und Untersuchen und Bewerten von Inhalt, Sprache und einzelnen Textelementen. Tabelle 2.2 zeigt die Verteilung der Items nach der Leseabsicht und den Verstehensprozessen. Leseabsicht Verstehensprozesse Informationsgewinnung Literarische Erfahrung Gesamt Erkennen und Wiedergeben expliziter Information Einfaches Schlussfolgern Interpretieren und Verknüpfen Untersuchen und Bewerten Gesamt : Verteilung der Leseitems nach Leseabsicht und Verstehensprozessen (PIRLS 2016)

18 14 2 Entwicklung und Aufbau der Testinstrumente und Kontextfragebögen Das Testdesign ermöglicht zum einen eine detaillierte Berichterstattung über die Lesekompetenz. Zum anderen sieht es eine begrenzte Testzeit pro Schüler/in vor, weshalb es einer Aufteilung des Materials bedurfte. Hierfür wurden die Texte und anschließenden Fragen in Blöcke gruppiert, die jeweils aus einem Stimulustext gefolgt von Fragen besteht. Die Aufgabenblöcke wurden mithilfe eines Rotationsschemas auf 16 verschiedene Testhefte verteilt (Matrix Sampling Design siehe Tabelle 2.3). Jeder Text war in drei verschiedenen Testheften enthalten. Diese unterschiedliche Kombination von Blöcken war notwendig, um eine Verbindung über die Testhefte hinweg zu gewährleisten sowie den Positionseffekt (Platzierung der Blöcke im ersten versus zweiten Teil des Testhefts) zu kontrollieren. Jede/r Schüler/ in bearbeitete nur eines dieser Testhefte und damit nur einen Teil der Aufgaben, da ein Testheft immer nur aus zwei Texten besteht. Pro Text hatten die Schüler/innen 40 Minuten Zeit, diesen zu lesen und die zugehörigen Fragen zu beantworten. Die gesamte Bearbeitungszeit pro Schüler/in und Testheft betrug somit 80 Minuten. Testheft Teil 1 Teil 2 1 PI2 PL1 2 PL3 PI2 3 LI3 PL3 4 PL4 PI1 5 LI3 PL4 6 PL2 PI1 7 PI3 PL2 8 LL3 PI3 9 PI4 PL1 10 LL3 PI4 11 PL3 PI1 12 LI3 PL2 13 PI3 PL1 14 LL3 PI2 15 PI4 PL4 Leseheft PL5 PI5 PI = PIRLS Informationstext PL = PIRLS literarischer Text LI = PIRLS Literacy Informationstext LL = PIRLS Literacy literarischer Text Tabelle 2.3: Rotationsschema der Testheftformen (PIRLS 2016) Das 16. PIRLS-Testheft (Leseheft) weist ein spezielles Layout auf, da die beiden Texte PL5 und PI5 ohne die zu beantwortenden Fragen gedruckt wurden. Die Fragen erhielten die Schüler/innen in einem separaten Heft (Fragen zum Leseheft). Die Texte des Lesehefts kommen im Rotations- schema nur einmal vor. Damit die beiden im Leseheft enthaltenen Texte PI5 und PL5 von gleich vielen Schülerinnen und Schülern der Stichprobe bearbeitet wurden wie die restlichen, wurde dieses Testheft dreimal häufiger als die anderen Testheftformen verteilt. Weiter ist Tabelle 2.3 zu entnehmen, dass alle Testheftformen jeweils einen literarischen und einen Informationstext enthielten. Bei der Erhebung der Lesekompetenz und des Textverständnisses kamen zwei Fragenformate zum Einsatz, die es ermöglichten, die unterschiedliche Ausprägung der Schülerkompetenzen zu erfassen: Multiple-Choice-Aufgaben: Bei den Multiple-Choice- Aufgaben war maximal ein Punkt zu erreichen, wenn Schüler/innen aus den vier vorgegebenen Antwortalternativen die richtige auswählten. Diese Aufgabenform ist gut dazu geeignet, die Verstehensprozesse zu untersuchen. Es ist jedoch weniger gut möglich, Interpretationen und Bewertungen der Schüler/innen zu erheben, da keine zusätzlichen Erklärungen abgegeben werden können. Aufgaben mit offenem Antwortformat: Die Schüler/innen konnten (je nach erforderlichem Textverständnis und Ausmaß der Textunterstützung) einen bis drei Punkt/e für die Beantwortung einer solchen Frage erhalten. Dazu war selbst eine schriftliche Antwort zu formulieren, die anschließend mithilfe von Bewertungsrichtlinien ausgewertet werden musste (siehe Kapitel 6). Mit offenen Aufgaben ist es einfacher, Interpretationen, Argumente, Begründungen und Bewertungen der Kinder zu erheben. Bei der Zusammenstellung der Aufgabenblöcke für PIRLS wurde darauf geachtet, dass in jedem Block mindestens 15 Punkte aus ungefähr sieben Multiple-Choice-Aufgaben (á 1 Punkt), zwei bis drei kurzen Antworten (à 1 2 Punkt/ en) sowie einer umfangreicheren Antwort (à 3 Punkten; nicht bei Texten aus PIRLS Literacy) erreicht werden konnten. Weiter sollten die Fragen in jedem Block der gesamten Bandbreite der Verstehensprozesse Rechnung tragen. Tabelle 2.4 gibt einen Einblick in die Anzahl von offenen und Multiple-Choice-Aufgaben bei PIRLS Leseabsichten bei PIRLS Multiple- Choice- Aufgaben Antwortformat Aufgaben mit offenem Antwortformat Gesamt Informationstexte Literarische Texte Gesamt Tabelle 2.4: Verteilung der Aufgaben nach Antwortformat (PIRLS 2016)

19 PIRLS Technischer Bericht Die Fragebögen Zusätzlich zum Kompetenzbereich Lesen werden mit Fragebögen Kontextinformationen auf mehreren Ebenen (Sys tem, Schule, Lehrkraft, Eltern und Schüler/in) erhoben. Die Kontextdaten ermöglichen es, Bildungsindikatoren (Motivation und Einstellung der Schüler/innen, Schulklima etc.) zu entwickeln. Sie werden in regelmäßigen Abständen erfasst und im Nationalen Bildungsbericht Österreich (siehe der Öffentlichkeit zur Verfügung gestellt. Darüber hinaus repräsentieren sie einen zentralen Aspekt der Ergebnisanalyse von PIRLS, da sie mit der Testleistung in Beziehung gesetzt werden können und somit Aufschluss über Zusammenhänge verschiedener Kontextmerkmale mit der Leseleistung geben können. Die Entwicklung der Fragebögen basiert, wie auch die Testaufgaben der Kompetenzbereiche, auf einem theoriegeleiteten Rahmenkonzept (Framework). Fragen, die sich bereits bei PIRLS 2011 bewährt haben und einen wesentlichen Erkenntnisbeitrag liefern, wurden auch 2016 wieder eingesetzt. Es wird darauf geachtet, sie in möglichst unveränderter Form zu übernehmen, um Vergleiche über die Zeit hinweg zu gewährleisten. Der Konstruktion sowie der Auswahl der Fragebogenitems bei PIRLS 2016 liegt ein iterativer Begutachtungsprozess zu Grunde, an dem vor allem das ISC, eine internationale Expertengruppe zur Fragebogen erstellung (Questionnaire Development Group, QDG) und die nationalen Zentren beteiligt waren. Abbildung 2.2 gibt eine Übersicht der verschiedenen Bereiche in den Kontextfragebögen bei PIRLS 2016, die in den folgenden Abschnitten genauer beschrieben werden Der Schülerfragebogen Dieser Fragebogen wurde im Anschluss an die Testung von den Schülerinnen und Schülern ausgefüllt und erfasst Aspekte ihres individuellen, häuslichen und schulischen Lebens. Der Schülerfragebogen beinhaltet insgesamt 28 Fragen mit ausschließlich geschlossenem Fragenformat und beansprucht maximal 30 Minuten Bearbeitungszeit. Zu folgenden Themen werden im Schülerfragebogen Informationen erfasst: demografische Merkmale der Schüler/innen: Geschlecht; Alter (Geburtsmonat und -jahr); familiärer Kontext (Struktur- und Prozessmerkmale): Häufigkeit, mit der zu Hause die jeweilige Landessprache gesprochen wird; Anzahl der Bücher zu Hause; Besitz tümer zu Hause (Computer, Schreibtisch, eigenes Zimmer etc.); Häufigkeit des Frühstücks an Schultagen; Verwendung von Computer/Tablet in der Freizeit (Dauer und Zweck); Geburtsort der Schüler/innen und der Eltern im In- oder Ausland; schulischer Kontext: Häufigkeit von Fehlzeiten; Wohlbefinden in der Schule (Müdigkeit, Hunger); Einstellung zur Schule (z. B. ich bin gern in der Schule ); proble- Schülerfragebogen demografische Merkmale der Schüler/innen familiärer Kontext schulischer Kontext Verwendung von Computer und Tablet leistungsrelevante Aktivitäten außerhalb der Schule Geschwister Gleichaltrige/Peers individuelle Lesemotivation Leseselbstkonzept Lesen in und außerhalb der Schule Noten und Wechsel in die Sekundarstufe (nationaler Zusatz) Elternfragebogen familiärer Kontext vorschulische Erfahrungen des Kindes Schulstart Hausübungen schulischer Kontext elterliche Leseaktivitäten und Einstellungen zum Lesen leistungsrelevante Aktivitäten außerhalb der Schule Noten und Wechsel in die Sekundarstufe (nationaler Zusatz) Lehrerfragebogen Informationen zur Lehrperson schulischer Kontext Zusammenarbeit mit anderen Lehrkräften Charakteristika der Klasse Unterricht generell Deutsch- und Leseunterricht sowie Leseaktivitäten Ressourcen der Schule (Bibliothek, Computer/Tablets etc.) Lesehausübungen Unterstützungspersonal Schulfragebogen Charakteristika der Schule Unterrichtszeit Schulklima Unterricht generell Leseunterricht Rahmenbedingungen des Kompetenzerwerbs Informationen zur Schulleitung Unterstützungspersonal Evaluation Ressourcen der Schule (Bibliothek, Computer/Tablets etc.) Merkmale der Schülerschaft Abbildung 2.2: Die Kontextfragebögen bei PIRLS 2016 matisches (schikanierendes) Verhalten von Schülerinnen und Schülern in der Schule; Klassenklima; Häufigkeit der Computer- und Tabletnutzung; leistungsrelevante Aktivitäten außerhalb der Schule: Lesedauer pro Tag außerhalb der Schule; Lesehäufigkeit aus Freude und zur Information; Häufigkeit des Lesens bestimmter Genres (Romane, Zeitschriften, Comics etc.);

20 16 2 Entwicklung und Aufbau der Testinstrumente und Kontextfragebögen Häufigkeit der Büchereinutzung; Aktivitäten mit Geschwistern; Gleichaltrige/Peers: Leseeinstellung der Freunde; individuelle Lesemotivation: Einstellung zum Lesen; Leseselbstkonzept (Einschätzung der eigenen Leseleis tung); Lesen in der Schule: Interesse und Mitarbeit am Leseunterricht, Häufigkeit bestimmter Leseaktivitäten im Unterricht; Noten und Wechsel in die Sekundarstufe: voraussichtlich besuchter Schultyp beim Wechsel in die Sekundarstufe; Noten im letzten Semesterzeugnis Elternfragebogen Der Elternfragebogen bietet die Gelegenheit, die Eltern nach Hintergrundinformationen zu fragen, die Zusammenhänge mit der Leseleistung ihrer Kinder aufweisen können. Am Testtag bekamen die Schüler/innen einen Fragebogen für ihre Eltern mit nach Hause, der in einem handlichen, längsseitig gefalteten A4-Format gelayoutet ist und in etwa 20 Minuten ausgefüllt werden kann. Der Fragebogen besteht aus insgesamt 31 Fragen und behandelt folgende Themenbereiche: familiärer Kontext: Anzahl der Bücher zu Hause; Anzahl der Kinderbücher zu Hause; Verfügbarkeit eines Geräts zum Lesen von E-Books; Anzahl vorhandener Geräte für digitale Information; Häufigkeit der Verwendung der deutschen Sprache zu Hause; Spielen eines Musikinstruments (Kind); höchster Bildungsabschluss der Eltern; Geburtsland (und ggf. Zuzugsalter) der Schüler/ innen und der Eltern; Geburtsort der Großeltern im Inoder Ausland; zu Hause mit dem Kind am häufigsten gesprochene Sprache der Eltern; Bildungsaspiration (für das Kind angestrebter Bildungsabschluss); Erwerbstätigkeitsstatus der Eltern (Vollzeit, Teilzeit etc.); ausgeübter Beruf der Eltern; Anzahl und Konstellation der Geschwisterkinder; Frage nach der Person, die den Fragebogen ausgefüllt hat (Vater, Mutter, andere Person); familiäre Aktivitäten (Kultur, Urlaub); vorschulische Erfahrungen des Kindes: Erziehungs- und Unterstützungsverhalten der Eltern (Häufigkeit sprachund mathematikbezogener Aktivitäten); zu Hause gesprochene Sprache vor Schuleintritt; Besuch einer Betreuungseinrichtung vor dem Kindergartenalter; Kin - dergartenbesuch; Vorschulbesuch; Schuleintrittsalter; sprachliche Fähigkeiten bei Schuleintritt; Hausübungen: Häufigkeit von Hausübungen; Unterstützung bei Hausübungen; schulischer Kontext: Elternmeinung zur Kooperation mit der Schule (hinsichtlich schulischer Unterstützung des Kindes und Miteinbeziehung der Eltern); Erwartungen und Einschätzungen der Eltern die Schule betreffend; Besuch des Kindes einer Ganztagsschule und Art der Nachmittagsbetreuung; elterliche Leseaktivitäten und Einstellungen zum Lesen: wöchentliche Lesezeit der Eltern; Häufigkeit, mit der Eltern zum Vergnügen lesen; Einstellungen der Eltern zum Lesen; Noten und Wechsel in die Sekundarstufe: voraussichtlich besuchter Schultyp beim Wechsel in die Sekundarstufe; Noten im letzten Semesterzeugnis; Frage nach Klassenwiederholung Der Lehrerfragebogen Der Lehrerfragebogen richtete sich an alle Lehrkräfte, die die getesteten Schüler/innen in Deutsch/Lesen/Schreiben unterrichteten. Im Rahmen von PIRLS 2016 wurde er ausschließlich als Onlineversion angeboten. Insgesamt umfasst der Fragebogen 39 Fragen mit geschlossenem Antwortformat und beansprucht eine Bearbeitungszeit von etwa 45 Minuten. Der Fragebogen fokussiert vor allem Merkmale des Klassenkontextes (Charakteristika der Klasse und des Unterrichts). Im Detail werden die Lehrkräfte zu folgenden Themenbereichen befragt: Informationen zur Lehrperson: Dienstjahre; Anzahl an Schulen als Arbeitsort; Dienstjahre an der Testschule; Ausmaß der Lehrverpflichtung; Alter; Geschlecht; höchster Bildungsabschluss; Ausbildung zur Lehrkraft/Lehramt, leserelevante Schwerpunkte bei Aus- und Weiterbildung; Fortbildungsstunden zu leserelevanten Themen; Ausmaß der Abdeckung verschiedener Themen im Rahmen der Aus- und Fortbildung; Häufigkeit, mit der zum Vergnügen gelesen wird; Empfindungen bezüglich des Lehrberufs; schulischer Kontext: Kooperation der Lehrer/innen; Sicherheit an der Schule; Verhalten der Schüler/innen; Probleme mit Räumlichkeiten und Arbeitsplätzen etc.; Schulklima (in Bezug auf Leistungsentwicklung der Schüler/innen, Lehrerzufriedenheit; Engagement der Eltern etc.); Computernutzung (für die Vorbereitung des Unterrichts und im Unterricht selbst; Form der Nachmittagsbetreuung und Anzahl der Schüler/innen, die das Angebot nutzen; Charakteristika der Klasse: Klassengröße; Schüleranzahl auf vierter Schulstufe; Frage nach jahrgangsübergreifender Klasse und ggf. zusätzlich unterrichtete Schulstufen; Anzahl der Schüler/innen, die beim Übertritt für eine AHS geeignet wären; Anzahl der Schüler/innen mit Schwierigkeiten, gesprochenes Deutsch zu verstehen; benötigter und tatsächlich erhaltener Förderunterricht; Anzahl fortgeschrittener Leser/innen; Lehrerangaben zu Geschlechterunterschieden beim Lesen in der Klasse; Charakteristika der Eltern; Einflussfaktoren auf den kindlichen Lernerfolg; Unterricht generell: Ausmaß von Beeinträchtigungen des Unterrichts beispielsweise durch Schüler/innen, die den Unterricht stören oder desinteressiert sind; Häufigkeit von Leistungsfeststellungen; Förderung des Schülerenga-

21 PIRLS Technischer Bericht 17 gements im Unterricht; Elterninformation zum Lernfortschritt der Kinder (Form und Häufigkeit); Deutsch- und Leseunterricht: gesamte wöchentliche Unterrichtszeit für Lesen, Schreiben, Sprechen, Umgang mit Literatur und mit anderen Sprachfertigkeiten; wöchentliche Zeit für Lesen insgesamt; Organisation der Schüler/ innen im Leseunterricht; Häufigkeit lesebezogener Aktivitäten pro Woche; Gestaltung des Deutsch- und Leseunterrichts (Einsatz verschiedener Textsorten, Häufigkeit verschiedener Leseaktivitäten; verwendete Materialien, Nachbereitung von Texten im Unterricht etc.); Häufigkeit des Computereinsatzes für bestimmte sprachbezogene Tätigkeiten (Informationen suchen, Texte schreiben etc.); Häufigkeit von Bibliotheksbesuchen; Hilfspersonen bei und Umgang mit Leistungsschwächen in Lesen; Quellen der Leistungsbewertung in Lesen; Computer- und Büchereiressourcen: Verfügbarkeit von Computern und Tablets beim Lesen und Computerzugang; Klassenzimmer-Bibliothek; Anzahl der Bücher und Zeitschriften in der Klasse; Zeit zur Nutzung der Klassenbibliothek sowie Ausleihmöglichkeit; Besuch anderer Bibliotheken; Hausübungen im Deutschunterricht: Häufigkeit, Dauer sowie individuelle Abstimmung der Hausübungen; Rückmeldemodalitäten bei Hausübungen Der Schulfragebogen Auf Schulebene wurde die Schulleitung gebeten, Fragen zu schulischen Kontexten zu beantworten. Der Schulfragebogen wurde 2016 ausschließlich als Onlineversion angeboten und umfasst 25 Fragen mit geschlossenem Antwortformat. Die Bearbeitung nimmt etwa 30 Minuten in Anspruch und enthält Fragen zu folgenden Themenbereichen: Charakteristika der Schule: Anzahl der Schüler/innen an der Schule (gesamt, vierte Schulstufe); Schulstandort (Anzahl der Einwohner/innen etc.); tägliche Unterrichtszeit; Schulleitung: Berufserfahrung und Ausbildung; Geschlecht der Schulleitung; Schulklima: Einschätzung unterschiedlicher Aussagen zum Schulklima (Lehrerzufriedenheit; elterliche Unterstützung der Schülerleistung; Wunsch der Schüler/innen, gute Leistungen zu erbringen etc.); Einschätzung problematischer Verhaltensweisen der Schüler/innen (z. B. Respektlosigkeit, Vandalismus, Diebstahl etc.) bzw. der Lehrkräfte (z. B. Abwesenheit, mangelnde Vorbereitung etc.); Leseunterricht: Gewichtung verschiedener Lesefertigkeiten nach Schulstufen; Angebotsausmaß eines muttersprachlichen Leseunterrichts; Evaluation: Evaluation der Unterrichtspraxis von Lehrkräften (z. B. Hospitationen, Messung von Schülerleistungen); Ressourcen der Schule: Vorhandensein von Räumlichkeiten für schulischen Aufgaben und Hilfe dabei; Ausmaß von Unterrichtsbeeinträchtigung durch Ressourcenmängel (allgemein und für den Leseunterricht wie Schulgebäude, Unterrichtsräume, Computer, Unterrichtsmittel wie beispielsweise Lehrbücher, Lesesoftware etc.); Vorhandensein und Ausstattung der Schulbibliothek; Zugang zu E-Books; Anzahl von Computern inklusive Tablets; Unterstützungspersonal für die Lehrkräfte; Schülerschaft: Schulreife (Schüleranteile mit bestimmten sprachlichen Fähigkeiten bei Schuleintritt); sozioökonomischer Hintergrund der Schüler/innen; Anteil von Deutsch als Muttersprache Die Enzyklopädie Die Enzyklopädie wird begleitend zu PIRLS 2016 publiziert und vereinigt vergleichbare Informationen zu den Schulsystemen und nationalen Kontexten der Teilnehmerländer. Hierfür werden für jedes Teilnehmerland Informationen zur Leseausbildung in Essayform dargestellt. Die Enzyklopädie bietet damit eine ausführliche und für alle Teilnehmerländer einheitliche Dokumentation der Ausbildungssituation und beschreibt die unterschiedlichen nationalen Kontexte, in denen der Leseunterricht stattfindet. Diese Informationen sind vor allem im Rahmen der Datenanalyse sowie bei der Ergebnisinterpretation hilfreich. Die Inhalte zur Enzyklopädie liefern die jeweiligen Länder selbst, wobei bestimmte Vorgaben die internationale Vergleichbarkeit gewährleisten sollen. Die Vorgaben beziehen sich sowohl auf die Inhalte, die durch eine Art Leitfaden vereinheitlicht werden, als auch auf den ungefähren Umfang der Ausführungen zu den einzelnen Themenbereichen. Der dazugehörige Leitfaden bezieht sich bei PIRLS 2016 auf folgende nationale Kontexte: Sprache und Lesekompetenz: offizielle Sprachen; Unterrichtssprache; andere häufig gesprochene Sprachen etc. Übersicht über das Bildungssystem: Ausmaß der Zentralisierung; Verantwortlichkeiten; Bildungsstufe und Schultypen; Lese-Lehrplan in der 4. Klasse Grundschule: Zusammenfassung des nationalen Lehrplans der Grundschule mit Fokus auf das Lesen; Aus- und Fortbildung der Lehrkräfte: Ausbildung der Lehrkräfte in der Grundschule (Dauer und Art der Ausbildung in Bezug auf das Lesen, Ausbildungs- und Zertifizierungserfordernisse); Fortbildung der Lehrkräfte im Bereich Leseunterricht; Leseunterricht in der Grundschule: Unterrichtsmaterialien; Verwendung von Technologien; Rolle von Leseexpertinnen und -experten; Zweitsprachunterricht; Leseschwächen: diagnostische Tests; Unterricht für Kinder mit Leseschwäche;

22 18 2 Entwicklung und Aufbau der Testinstrumente und Kontextfragebögen Beobachtung der Leseentwicklung: Leistungsbeurteilung (Verwendung von Noten, Zeugnis etc.); nationale Überprüfung; Überprüfung auf Klassenebene; spezielle Leseinitiativen: nationale Leseinitiativen, Initiativen für leistungsstarke sowie für leistungsschwache Leser/innen; Nutzen und Auswirkung von PIRLS: Teilnahme an früheren (IEA-/OECD-)Studien; Auswirkungen der Ergebnisse auf die Bildungspolitik sowie Reformmaßnahmen. In der Enzyklopädie stellt das ISC darüber hinaus in tabellarischer Form folgende Informationen zu den Teilnehmerländern zusammen: Einwohnerzahl, Größe des Landes, Bevölkerungsdichte, Stadtbevölkerung, Lebenserwartung, Kindersterblichkeitsrate, Bruttonationaleinkommen (BNE), öffentliche Bildungsausgaben, Schulbesuchsquote und Lehrer- Schüler-Anteil. In Österreich wurde die Enzyklopädie von Projektverantwortlichen des BIFIE verfasst und zur Expertise Fachexpertinnen und Verantwortlichen des Bundesministeriums für Bildung (BMB) vorgelegt. Darüber hinaus wird die Enzyklopädie durch Antworten aus dem Lehrplanfragebogen der Teilnehmerländer erweitert, welcher im folgenden Abschnitt erläutert wird Der Lehrplanfragebogen bei PIRLS 2016 Der Fragebogen zum Lehrplan fokussiert das nationale Bildungssystem sowie den Lehrplan und Unterricht in Bezug auf das Lesen. Dabei handelt es sich um einen Onlinefragebogen, der sowohl Fragen mit geschlossenem (Multiple- Choice) als auch mit halb geschlossenem Antwortformat enthält. Er gliedert sich in zwei Teile: 1. allgemeiner Teil: In diesem Teil werden allgemeine Informationen zur Struktur und Organisation des Bildungssystems im jeweiligen Land gesammelt. Dazu zählen beispielsweise Fragen zur Lehreraus- und Fortbildung, zur Vorschulerziehung (Krabbelstuben, Kindergärten) und zu wesentlichen Bildungsreformen im letzten Jahrzehnt. 2. Leseteil: Dieser Teil beinhaltet Fragen zum Inhalt und zur Umsetzung des Leselehrplans sowie nationale Richtlinien zum Leseunterricht in der Grundschule. Um eine hohe Datenqualität zu erzielen, wurden in Österreich beim Ausfüllen des Fragebogens Fachexpertinnen aus dem Bereich Leseförderung, Vorschulerziehung und Lehrerfortbildung miteinbezogen. 2.5 Übersetzung und Verifikation der Tests und Fragebögen Da die Schüler/innen bei PIRLS 2016 in ihrer jeweiligen Unterrichtssprache getestet und befragt wurden, mussten in jedem Teilnehmerland entsprechende Versionen der englischen Original-Testinstrumente und -Fragebögen in der oder den Unterrichtssprachen der nationalen Stichprobe erstellt werden. Zur Sicherung der internationalen Vergleichbarkeit der Erhebungsinstrumente war die Qualität der Übersetzung ein wesentliches Kriterium. Durch die Übersetzung durfte das Verständnis der Texte und Fragen keinesfalls schwieriger oder einfacher werden als im jeweiligen Original. Bezüglich der Übersetzungsqualität hat das ISC daher folgende Richtlinien vorgeschrieben: Die Übersetzungen müssen für die getestete Altersgruppe geeignet sein. Im übersetzten Text darf keine Information hinzugefügt oder weggelassen werden. Der übersetzte Text muss dieselbe Bedeutung haben und dieselbe Ausdrucksweise verwenden wie die internationale Version. Der übersetzte Text muss die gleiche Sprachebene und die gleiche Schwierigkeit wie die internationale Version aufweisen. Idiomatische Ausdrücke müssen angemessen übersetzt sein. Der übersetzte Text muss eine korrekte Rechtschreibung und Zeichensetzung aufweisen. Das ISC hat allen Teilnehmerländern die Quellversionen der Testmaterialien in englischer oder arabischer Sprache zur Verfügung gestellt. Begleitend dazu gibt es zur Dokumentation aller nationalen Änderungen in den Testinstrumenten und Fragebögen Listen im Excel-Format (National Adaptations Forms, NAF). Die überwiegende Übersetzungsarbeit fand vor dem Feldtest statt, da hier alle neuen Texte und Aufgaben anzupassen waren. Bezüglich der Texte ging Österreich eine Übersetzungskooperation mit Deutschland ein. Dabei übernahm Deutschland die Koordination der Übersetzung durch eine professionelle und bereits erfahrene Übersetzerin sowie die erste sprachlichen Überarbeitung dieser Übersetzung. Österreich hat sich an den Übersetzungskosten beteiligt. Die Fragebögen bestanden zum größten Teil aus Fragen vorhergehender Zyklen, deren Übersetzungen übernommen wurden, um die Vergleichbarkeit der Antworten zu gewährleisten. Bei PIRLS 2016 erstmals verwendete Fragen wurden hingegen durch Mitarbeiterinnen des BIFIE übersetzt. Wichtig bei der Übersetzung der Fragebögen ist, dass die Fragen von der jeweiligen Zielgruppe (beispielsweise Schüler/innen der vierten Klasse Volksschule oder deren Eltern) einwandfrei verstanden werden müssen. Da zudem auf Besonderheiten des nationalen Schulsystems Rücksicht

23 PIRLS Technischer Bericht 19 zu nehmen ist, erfordern die Fragebögen im ersten Schritt oft umfassendere nationale Adaptionen als die Testaufgaben. Für den Haupttest müssen dann üblicherweise keine neuen Übersetzungen mehr vorgenommen werden. Bezüglich aller Testinstrumente und Fragebögen fand neben der Übersetzungskooperation auch ein inhaltlicher Austausch Österreichs mit Deutschland statt, um unterschiedliche Formulierungen evtl. noch anzupassen und so die Übersetzungsqualität zu verbessern. In Österreich erfolgte nach Abschluss der Übersetzungen schließlich eine Expertenbegutachtung aller Erhebungsmaterialien durch Pädagoginnen und Pädagogen, bevor sie zusammen mit den Änderungsdokumentationsfiles zum nächsten Schritt des Qualitätssicherungsprogramms beim ISC eingereicht wurden. Diese Kontrolle der nationalen Übersetzung aller Teilnehmerländer (Translation Verification) erfolgte durch das IEA-Sekretariat in Amsterdam. Folgende PIRLS-Testmaterialien mussten zur Übersetzungsverifikation übermittelt werden: Neu übersetzte Texte und Fragen im Format PDF oder RTF, Trendtexte aus früheren Testzyklen im Format PDF; Hintergrundfragebögen für Schüler/innen, Eltern, Lehrkräfte und Schulleitungen im Format PDF oder RTF; Deckblätter und Anweisungen für jeden Fragebogen und die PIRLS-Testhefte inklusive der Umfrage zum Lesevergnügen im Format PDF oder RTF; Deckblätter und Anweisungen für die Online-Fragebögen (Lehrkräfte und Schulleitung) vervollständigte National Adaptations Forms im Excel- Format (Version 1) für die Testhefte und Hintergrundfragebögen. Die Rückmeldung auf die Übersetzungsverifikation erfolgte in den National Adaptation Forms mittels sogenannter Severity Codes. Sie geben den Schweregrad von Abweichungen an. Dabei bezeichnet Code 1 eine erhebliche Änderung, Code 2 eine geringfügige Änderung, Code 3 einen Vorschlag zu einer alternativen Übersetzung sowie Code 4 eine zulässige Änderung. Je nach Schweregrad der Änderung wurden vom IEA Sekretariat Änderungsvorschläge formuliert, die von den einzelnen Teilnehmerländern einzuarbeiten waren. Bevor die Testhefte und Fragebögen in Druck gehen bzw. online gestellt werden, wird von Seiten des ISC noch eine sogenannte Layout Verification vorgenommen. Ziel dieser Überprüfung war die Sicherstellung, dass sich die Gestaltung der Testhefte (Schriftart und -größe, Platzierung der Abbildungen etc.) und (Online-)Fragebögen aller Teilnehmerländer mit der Originalversion deckt. In Österreich gab es hierbei leichte Verschiebungen der Abbildungen nach unten, da die deutsche Übersetzung der englischen Items mehr Platz benötigt. Auch die Trenditems aus PIRLS 2011 wurden auf inhaltliche und optische Kongruenz zu den vorhergehenden Zyklen überprüft. 2.6 Technische Aspekte bei der Erstellung der Testhefte und Fragebögen Sämtliche PIRLS-Texte und zugehörige Fragen sowie die Inhalte des Schüler- und Elternfragebogens wurden mithilfe derselben Arbeitsschritte zu druckbaren Testheften bzw. Fragebögen zusammengestellt. Die Qualität der Materialien wurde international durch detaillierte Anweisungen zu den einzelnen Arbeitsschritten (Survey Operations Procedures) gesichert, die zudem durch Demonstrationsvideos spezifiziert wurden. In einem ersten Schritt übermittelte das ISC die zu übersetzenden Materialien als Rich-Text-Format-Dokumente (RTF) in englischer Originalversion. Darin waren die Übersetzungen aller Texte, Aufgaben, Fragen, Deckblätter und Anweisungen vorzunehmen. Die auf die anschließende Übersetzungsverifikation hin erhaltenen Änderungsvorschläge mussten geprüft und eingearbeitet werden. Im Anschluss konnten die Materialien vom RTF-Format mithilfe eines Einlesemoduls (Copy Flow Gold) in eine professionelle Layout- und Satzsoftware (Adobe InDesign CS6) importiert werden. Der variablen Anordnung der Elemente in verschiedenen Testheften wurde durch die Software Rechnung getragen: Beim Zusammenstellen der Testhefte in Adobe InDesign CS6 gelangten die Blöcke (Text und zugehörige Aufgaben) durch bereits vordefinierte Zuordnungen schließlich an die richtige Position (siehe Tabelle 2.3). Auch die beiden im Printformat eingesetzten Fragebögen (Elternund Schülerfragebogen) wurden auf diese Weise erstellt. Im Anschluss daran waren optische Anpassungen aufgrund der unterschiedlichen Textlängen des Englischen und des Deutschen vorzunehmen. Darüber hinaus musste in diesem Arbeitsschritt darauf geachtet werden, dass die Positionen aller grafischen Elemente so weit wie möglich mit denjenigen im jeweiligen Originaldokument übereinstimmen. Die fertig zusammengestellten Testinstrumente gingen als PDF- Dateien zur Layoutverifikation an das ISC. Nach letzten Korrekturen wurden die Fragebögen und Testhefte schließlich über eine gesicherte Verbindung zur Vervielfältigung an die Druckerei übermittelt. Die Anweisungen sowie aus dem Jahr 2006 stammende Trendtexte wurden wie bei ihrer ersten Verwendung schwarz-weiß gedruckt, die Deckblätter, Texte aus 2011 und 2016 sowie die Umfrage zum Lesevergnügen in Farbe. Für die technische Umsetzung der beiden Online-Fragebögen für die Lehrkräfte und Schulleitungen wurde wie auch schon 2011 das IEA Online SurveySystem (OSS) verwendet. In diesem Programm stand den Teilnehmerländern die englische Originalversion der Online-Fragebögen elektronisch zur Verfügung. Die Fragebögen wurden analog zur bereits verifizierten Druckversion in OSS adaptiert. Die Fragen waren nach Ebenen gegliedert und in Modulen gebündelt. Die bereits verifizierte Übersetzung musste

24 20 2 Entwicklung und Aufbau der Testinstrumente und Kontextfragebögen 2012 Juli Dezember 2013 Jänner Februar September September Oktober Jänner 2014 November 2014 April Mai Juli September November Anfang Dezember 2015 Ende Jänner Anfang Februar Februar Beginn der Aktualisierung des Assessment Frameworks durch das TIMSS & PIRLS International Study Center (ISC) und die Leseexpertengruppe Die National Research Coordinators (NRC) erhalten als Vorbereitung auf das erste Meeting die Aktualisierungen des Frameworks. Sammlung von Texten aus den Teilnehmerländern, Review und Verfeinerung der Texte, Review der Handbücher zur Erstellung der Aufgaben und der Bewertungsrichtlinien, Weiterentwicklung des Frameworks Item-Writing-Workshop zur Erstellung der Aufgaben zu den Texten, Endfassung des Frameworks Weiterentwicklung aller Feldtestinstrumente: Aufgaben, Bewertungsrichtlinien, Hintergrundfragebögen Veröffentlichung der ersten Auflage des Frameworks, Auswahl der Feldtestaufgaben Internationale und im Anschluss nationale Überarbeitung der Texte, Aufgaben und Bewertungsrichtlinien für den Feldtest Das TIMSS & PIRLS International Study Center (ISC) verteilt die PIRLS-Testhefte für den Feldtest an die National Research Coordinators (NRCs). Beginn der Übersetzung und Anpassung durch die Teilnehmerländer (Kooperation Österreichs mit Deutschland) Das TIMSS & PIRLS International Study Center (ISC) verteilt die PIRLS-Literacy-Testhefte für den Feldtest an die National Research Coordinators (NRCs). Überprüfung der Übersetzungsqualität der österreichischen PIRLS-Feldtestmaterialien (Tests und Fragebögen) durch das IEA-Sekretariat. Das IEA Data Processing and Research Center in Hamburg (IEA DPC) stellt die Setups für den Online Survey System Designer (OSS) der internationalen Schul- und Lehrerfragebögen zum Download bereit. Überprüfung des Layouts der österreichischen Feldtestmaterialien durch das IEA-Sekretariat Überprüfung des Layouts der österreichischen Feldtest-Onlinefragebögen durch das IEA-Sekretariat Druck der Testmaterialien für den Feldtest Veröffentlichung der 2. Auflage des Assessment Frameworks (um PIRLS Literacy erweitert) NRC-Meeting zum Training der Bewertung offener Aufgaben für den Feldtest (Aussendung der entsprechenden Materialien im Vorfeld) März Durchführung des Feldtests in Österreich Mitte Mai Übermittlung der Feldtestdaten an das DPC August NRC-Meeting zur Prüfung und Fertigstellung der Testmaterialien für den Haupttest 31. August Veröffentlichung der Haupttestmaterialien sowie der Anleitung (Survey Operations Procedures 4) zur Erstellung der Testhefte und Hintergrundfragebögen für den Haupttest; Beginn von deren Übersetzung und Anpassung Mitte Oktober Anfang November Mitte November Ende November Überprüfung der Übersetzungsqualität der Testmaterialien für den Haupttest durch das IEA-Sekretariat Überprüfung des Layouts der Testmaterialien für den Haupttest durch das IEA-Sekretariat Das TIMSS & PIRLS International Study Center (ISC) verteilt die finalisierten Bewertungsrichtlinien und Trainingsmaterialien für die offenen Antworten an die NRCs Mitte Februar Druckbeginn der Testhefte und Fragebögen für den Haupttest Ende Februar NRC-Meeting zum Training der Bewertung offenener Aufgaben für den Haupttest 4. April 13. Mai Durchführung des Haupttests in Österreich (Testfenster der nördlichen Hemisphäre von März bis Juni) September Spätester Termin zur Haupttest-Datenübermittlung an das ISC für die Teilnehmerländer der nördlichen Hemisphäre Abbildung 2.3: Zeitplan für die Erstellung der Testmaterialien

25 PIRLS Technischer Bericht 21 für jeden Teil einer Frage gesondert übertragen und in der richtigen Reihenfolge zugeordnet werden, um die Fragebogenstruktur an das Layout der Papierversion anzupassen. International vorgesehene Fragen, die im österreichischen Fragebogen nicht verwendet wurden, konnten deaktiviert werden, damit sie auch bei der Online-Befragung nicht aufschienen. Strukturell adaptierte und zusätzliche Fragen mussten neu angelegt und positioniert werden. Schließlich wurde ein nationaler PDF-Export der Online-Fragebögen via Sicherheitsserver an das DPC übermittelt und dort kontrolliert. Dabei wurde primär die Funktionalität der national adaptierten Online-Anwendung getestet, um z. B. fehlerhafte Verlinkungen und Filter, Probleme beim Login etc. identifizieren zu können. Nach der Einarbeitung kleinerer Änderungen wurden die Online-Fragebögen vom DPC online gestellt und durch das BIFIE zur Bearbeitung für Schulleitungen und Lehrpersonen freigeschaltet. Zur Bearbeitung der Onlinefragebögen wurde den Schulleitungen und Lehrkräften ein Kuvert mit Informationen und Zugangsdaten ausgehändigt (siehe Abschnitt 4.3). Sie wurden gebeten, unter dem angeführten Link zum Online- Fragebogen ihre Funktion (Schulleiter/in oder Lehrer/in) auszuwählen sowie ihre Benutzer-ID und das Passwort einzugeben. Die Schulleitung und die Lehrpersonen wurden gebeten, den Fragebogen bis zum Testtag zu beantworten. Die Online-Bearbeitung konnte nach Wunsch auch in mehreren Etappen erfolgen, da Antworten beim Wechsel von einer Frage zur nächsten (oder vorherigen) immer gespeichert wurden. Schulleiter/innen und Lehrkräfte hatten daher mindestens einen Monat Zeit zur Beantwortung der Fragen. Anstelle der Namen der Lehrkräfte wurde dem BIFIE ein an der Schule eindeutig zuordenbares Kürzel (z. B.: KL-4a) der jeweiligen Lehrperson genannt (siehe Abschnitt 4.3.1). Dadurch konnten für jede Lehrperson persönliche Zugangsdaten erstellt werden und unter Wahrung der Anonymität eine Befragung erfolgen. Die Rücklaufquote war sowohl bei den Schulleitungen als auch bei den Lehrkräften ausgesprochen hoch (siehe Abschnitt und Abschnitt ). Abbildung 2.3 zeigt den detaillierten Zeitplan zur Übersetzung, Verifikation und technischen Umsetzung der Testmaterialien. Bibliografie Mullis I. V. S. & Martin M. O. (Hrsg.). (2015). PIRLS 2016 Assessment Framework, 2 nd Edition. Chestnut Hill, MA: Boston College. Verfgübar am unter Framework_2ndEd.pdf

26 22 2 Entwicklung und Aufbau der Testinstrumente und Kontextfragebögen

27 PIRLS Technischer Bericht 23 3 Stichproben-Design und Stichprobenziehung 1 Josef Hafner Dieses Kapitel gibt einen Überblick über die internationalen Richtlinien und Vorgaben zur Definition der Zielpopulation und Stichprobenziehung für PIRLS Zum einen werden die verschiedenen Ausschlusskriterien beschrieben, die die Teilnehmerländer bei der Anpassung der internationalen Vorgaben anwenden können, um zur nationalen Zielpopulation zu gelangen. Zum anderen werden das zweistufige Design zur Ziehung der Stichprobe sowie die international geforderte Teilnahmequote auf Schul-, Klassen- und Schülerebene dargestellt. Wie diese Vorgaben in Österreich umgesetzt wurden und wie sich die daraus resultierende nationale Stichprobe zusammensetzt, wird in Kapitel 5 erläutert. 3.1 Die internationale Zielpopulation von PIRLS Bei der Durchführung einer Studie ist die Definition der Zielpopulation (Grundgesamtheit) eine der wichtigsten Festlegungen, die zu Beginn getroffen werden muss. Da PIRLS in einem regelmäßigen Abstand von fünf Jahren durchgeführt wird und somit auch die Messung von Veränderungen in der Lesekompetenz zum Ziel hat, muss eine einmal festgelegte Definition der Grundgesamtheit für alle weiteren Erhebungszeitpunkte beibehalten werden. Andernfalls ist ein Vergleich der Ergebnisse über die Zyklen hinweg nicht mehr zulässig. Bei PIRLS erfolgt die internationale Zielgruppen-Definition der IEA über die Schulstufe. Teil der Zielpopulation sind alle Schüler/innen jener Schulstufe, die dem vierten Schuljahr gezählt ab dem ersten Jahr von ISCED-Level 1 (siehe unten) entspricht. Das Durchschnittsalter zum Testzeitpunkt muss bei mindestens 9,5 Jahren liegen. ISCED (International Standard Classification of Education) ist eine internationale Standardklassifikation für den Bildungsbereich, die von der UNESCO entwickelt wurde. Darin wird der Einstieg in den ISCED Level 1 als jener Zeitpunkt beschrieben, zu dem das systematische Lernen von Lesen, Schreiben und Mathematik sowie der Erwerb eines Basiswissens in anderen Bereichen beginnt (UNESCO 2012, S. 30). Übertragen auf Österreich entspricht dieser erste Level dem Beginn der Volksschule. Laut Vorgaben der IEA sollen die Schüler/innen vier Jahre nach diesem Zeitpunkt bei PIRLS getestet werden also in der vierten Schulstufe (vierte Klasse Volksschule). Aufgrund dieser internationalen Definition zählen alle Schüler/innen der vierten Schulstufe zur Zielpopulation. Alle Schulen, die Schüler/innen in dieser Schulstufe unterrichten, sind ebenfalls Teil der internationalen Zielpopulation dazu gehören auch Schulen, die nicht der Autorität des Bildungsministeriums unterliegen. 3.2 Die nationale Zielpopulation Bei der Festlegung der nationalen Zielpopulation müssen die internationalen Vorgaben an die Gegebenheiten des jeweiligen Landes angepasst werden, wobei diese möglichst in allen Aspekten der internationalen Definition entsprechen sollte. Bestimmte landesspezifische Umstände können jedoch dazu führen, dass gewisse Schulen oder Schüler/ innen von der Population ausgenommen werden müssen. International wird dabei zwischen einer Reduced Coverage (keine 100 %-ige Übereinstimmung zwischen international definierter Zielpopulation und der nationalen Umsetzung) und Ausschlüssen (Umstände, die die Teilnahme einzelner Schulen und Schüler/innen dieser Zielpopulation verhindern) unterschieden. In seltenen Fällen können unter anderem politische oder organisationstechnische Bedingungen dazu führen, dass z. B. bestimmte geografische Regionen oder Sprachgruppen auf nationaler Ebene von der Zielpopulation ausgeklammert werden. D. h., dass Schulen bzw. Schüler/innen, die nach internationaler Definition Teil der Grundgesamtheit wären, in einem Land dennoch nicht zur national gewünschten Zielpopulation zählen. Die nationale Zielpopulation entspricht in solchen Fällen nicht mehr zu 100 % der international definierten Grundgesamtheit, weshalb man dabei von einer reduzierten Abdeckung (Reduced Coverage) spricht. Da über diese von vornherein außer Acht gelassenen Teile der Population bei der Interpretation der Ergebnisse keine Aussagen gemacht werden können, werden die Teilnehmerländer dazu angehalten, bei der Festlegung der nationalen Zielpopulation für die größtmögliche Inkludierung aller in Frage kommenden Schulen bzw. Schüler/ innen zu sorgen. Ausgehend von dieser national gewünschten Zielpopulation muss für die endgültige Stichprobenziehung die national definierte Zielpopulation festgelegt werden. Verschiedene Umstände auf Schulebene (z. B. Schulen mit sehr wenigen Schülerinnen und Schülern auf der vierten Schulstufe) und 1 Ein Großteil dieses Textes basiert auf Kapitel 4 im Technischen Bericht zu PIRLS & TIMSS Der Autor dankt Anna Glaeser für die Bereitstellung des Textes.

28 24 3 Stichproben-Design und Stichprobenziehung Das internationale Design zur Stichprobenziehung für PIRLS ist ein zweistufiges Verfahren, bei dem die Schulen stratifiziert (geschichtet) werden ( stratified two-stage cluster sample design ). Im ersten Sampling-Schritt werden aus allen potenziellen PIRLS-Schulen (Schulen mit Schülerinnen und Schülern in der vierten Schulstufe) die Testschulen zuauf Schülerebene (z. B. Schüler/innen mit einer körperlichen Beeinträchtigung, die eine Bearbeitung des Testhefts unmöglich macht) können dazu führen, dass nicht die gesamte national gewünschte Zielpopulation in der endgültigen Stichprobe vertreten ist. Die Anzahl der daraus resultierenden Ausschlüsse von Schulen sowie Schülerinnen und Schülern soll möglichst gering sein und ist international reglementiert. Ein international vorgegebenes Sampling-Handbuch listet folgende Kriterien auf, die es erfordern können, dass einzelne Schulen von der national gewünschten Zielpopulation ausgeschlossen werden: geografisch nicht zugängige Schulen; Schulen von extrem kleiner Größe (vier oder weniger Schüler/innen in der vierten Schulstufe) 2 ; Schulen, die in Bezug auf den Lehrplan oder die Schulstruktur grundlegend vom nationalen Schulsystem abweichen; Schulen, die ausschließlich Schüler/innen unterrichten, die auf Schülerebene (siehe unten) auszuschließen sind. In den oben aufgelisteten Fällen dürfen Schulen ausgeschlossen werden, da ihre Teilnahme zu erhöhten Erhebungs kosten, zu einer hohen Komplexität des Stichproben-Designs und/ oder zu schwierigen Testbedingungen führen könnte. Auf Schülerebene wurden international folgende drei Kriterien für den Ausschluss einzelner Schüler/innen festgelegt: Schüler/innen mit körperlichen Beeinträchtigungen: Dabei handelt es sich um Schüler/innen, die eine so schwere körperliche Beeinträchtigung aufweisen, dass sie den Test nicht bearbeiten können. Schüler/innen mit einer körperlichen Beeinträchtigung, die in der Lage sind, den Test zu bearbeiten, sollten teilnehmen. Schüler/innen mit geistigen Beeinträchtigungen: Dabei handelt es sich um Schüler/innen, die nach fachlicher Ansicht der Schulleitung oder einer anderen qualifizierten Lehrperson eine geistige Beeinträchtigung haben oder bei denen eine solche ärztlich attestiert wurde. Dies inkludiert Schüler/innen, die geistig oder emotional nicht in der Lage sind, den allgemeinen Anweisungen im Rahmen der Testung zu folgen. Schüler/innen sollten keinesfalls wegen schlechter schulischer Leistungen oder üblicher Disziplinprobleme ausgeschlossen werden. Auch Schüler/innen mit Legasthenie oder ähnlichen Lernbeeinträchtigungen sollten möglichst getestet werden. Schüler/innen anderer Muttersprache: Dabei handelt es sich um Schüler/innen, die die Testsprache weder lesen noch schreiben können und daher die Sprachbarriere in der Testsituation nicht überwinden können. Typischerweise sollten Schüler/innen, die weniger als ein Jahr in der Testsprache unterrichtet wurden, ausgeschlossen werden, wobei diesbezügliche nationale Adaptionen möglich sind. Diese internationalen Ausschlusskriterien auf Schülerebene müssen von jedem Land übersetzt und an die landesspezifischen Gegebenheiten angepasst werden. Für Österreich findet sich diese nationale Anpassung der Kriterien in Abschnitt 4.3. Für Klassen, die ausschließlich aus Schülerinnen und Schülern bestehen, die aufgrund der oben genannten Kriterien vom PIRLS-Test ausgeschlossen werden müssen, erfolgt der Ausschluss bereits vor Ziehung der Stichprobe auf Klassenebene. In einigen Fällen ist die Unterscheidung zwischen einer Reduced Coverage und Ausschlüssen auf Schul- und Schülerebene schwierig. In Kooperation mit dem internationalen Zentrum entscheidet Statistics Canada, um welche Ausschlussform es sich jeweils handelt. Unabhängig davon, aufgrund welcher international zulässigen Kriterien Schulen bzw. Schüler/innen ausgeschlossen werden, gilt es zwei internationale Regeln zu beachten: 1. Es müssen sämtliche Ausschlüsse dokumentiert und international bewilligt werden. 2. Bei der Festlegung der national definierten Zielpopulation dürfen maximal 5 % der Schüler/innen der national gewünschten Zielpopulation ausgeschlossen werden. 3.3 Das allgemeine Stichprobendesign Ausgehend von der internationalen Definition der Zielpopulation muss jedes Land die von der IEA vorgegebenen Richtlinien zur Stichprobenziehung an das eigene Schulsystem anpassen und einen länderspezifischen Stichprobenplan entwickeln. Die nationalen Projektzentren erhalten dabei Unterstützung durch das internationale Sampling- Handbuch sowie durch Expertinnen und Experten von Statistics Canada, die vom internationalen Zentrum mit den Agenden der Stichprobenziehung beauftragt wurden Stichprobenziehung in zwei Schritten 2 Der Anteil an Schülerinnen und Schülern, der durch dieses Kriterium (sehr kleine Schule) ausgeschlossen wird, darf nicht mehr als 2 % betragen.

29 PIRLS Technischer Bericht 25 fällig ausgewählt. Der zweite Schritt umfasst die (ebenfalls zufällige) Auswahl einer oder mehrerer Klassen in diesen Schulen. Getestet werden grundsätzlich alle Schüler/innen der ausgewählten Klasse(n). Ein wichtiger Punkt bei der Stichprobenziehung ist, dass der Feldtest andere Ziele verfolgt als der Haupttest. Während es beim Feldtest darum geht, alle Aufgaben und Items auf ihre Tauglichkeit hin zu überprüfen, werden im Haupttest die eigentlichen Leistungsdaten erhoben. Dementsprechend unterscheiden sich auch die internationalen Vorgaben bezüglich der Stichprobengröße. Nach diesen Vorgaben müssen nach der Datenerhebung im Rahmen des Haupttests von mindestens 4000 Schülerinnen und Schülern aus mindestens 150 Schulen auswertbare Daten vorliegen. Für den Feldtest gilt die Regelung, dass pro Testheftform 200 Schülerantworten vorhanden sein müssen. Mit sechs unterschiedlichen Testheftformen im Feldtest bedeutet das für PIRLS eine Mindestanzahl von 1200 Schülerinnen und Schülern. An diesen Vorgaben orientiert sich schließlich die Größe der zu ziehenden Schulstichprobe Die Auswahl der Schulen Vom internationalen Zentrum aus ist es vorgesehen, diesen ersten Schritt der Stichprobenziehung (Schulebene) von Statistics Canada durchführen zu lassen. Dazu ist es notwendig, einen so genannten Sampling Frame an Statis tics Canada zu übermitteln. Der Sampling Frame ist ein Daten file mit allen potenziellen PIRLS-Schulen (Schulen, an denen Schüler/innen in der vierten Schulstufe unterrichtet werden) sowie den im Vorfeld ausgeschlossenen Schulen. Die Schulen werden systematisch mit Wahrscheinlichkeiten, die proportional zu ihrer Größe sind (probability proportional to size PPS), ausgewählt. Die Größe einer Schule ist durch die Anzahl der Schüler/innen in der vierten Schulstufe definiert. Die PPS- Methode bei der Stichprobenziehung hat zur Folge, dass große Schulen (mit mehr Schülerinnen und Schülern) eine größere Wahrscheinlichkeit haben ausgewählt zu werden als kleinere. Um zu vermeiden, dass Schulen sowohl für den Feldtest als auch für den Haupttest ausgewählt werden, werden beide Stichproben gemeinsam gezogen. Die Methode der Stratifizierung kommt (sofern von den einzelnen Ländern als sinnvoll erachtet) ebenfalls in diesem ersten Schritt zur Anwendung. Hierfür werden alle potenziellen PIRLS-Schulen im Sampling Frame vor der Stichprobenziehung anhand von gemeinsamen Eigenschaften in Gruppen geteilt. Mögliche Stratifizierungsvariablen sind u. a. geografische Lage (z. B. Bundesländer oder Bezirke), Schultyp (z. B. privat oder öffentlich) oder Urbanisierungsgrad. Die Stratifizierung ermöglicht eine Steigerung der Effizienz der Stichprobe und eine Präzisierung der Ergebnisse. Im Stichprobendesign von PIRLS können die Stratifizierungsvariablen explizit, implizit oder kombiniert verwendet werden: Bei der impliziten Stratifizierung werden die Schulen vor der systematischen Auswahl anhand einer oder mehrerer Stratifizierungsvariablen sortiert. Dadurch kann bei der Stichprobenziehung eine nahezu proportionale Verteilung der Stichprobe über die Gruppen der impliziten Stratifizierungsvariablen sichergestellt werden. Die implizite Stratifizierung gewährleistet somit, dass sich die tatsächliche Verteilung der Schulen in einem Land (z. B. Stadt- vs. Landschulen) innerhalb dieser Strata auch in der Stichprobe widerspiegelt und dadurch spezifische Gruppen der Population adäquat repräsentiert werden. Weiters ist es möglich, in das Sampling-Design auch eine explizite Stratifizierung nach einem oder mehreren Merkmalen durchzuführen. Hierbei wird für jedes Stratum eine getrennte Schulliste angefertigt, aus der dann die Zufallsauswahl getroffen wird. Der Vorteil der expliziten Stratifizierung besteht darin, dass die Stichprobe sowohl proportional als auch disproportional zur Populationsverteilung gezogen werden kann. Durch nachfolgende Gewichtung wird sichergestellt, dass dennoch unverzerrte Schätzer für stratumübergreifende Populations - parameter berechnet werden können. Eine disproportionale Ziehung ist dann sinnvoll, wenn auch (relativ) kleine Untergruppen der Population von besonderem Forschungsinteresse sind. In Österreich wurde eine (nahezu proportionale) explizite Stratifizierung nach Bundesländern durchgeführt. Eine dritte Möglichkeit ist, beide Stratifizierungsarten zu kombinieren, indem zuerst eine explizite Variable festgelegt wird. Anhand dieser werden mehrere Schullisten erstellt und anschließend auf Basis der impliziten Stratifizierungsvariable(n) zusätzlich sortiert. Statistics Canada erzeugt für jedes Land bzw. für jedes explizite Stratum (sofern anwendbar) einen eigenen Sampling Frame, der folgende Informationen enthält: Identifikationsnummer der Schule; Zuordnung der Schule zur impliziten Stratifizierungsvariable (falls vorhanden); Measure of Size (MOS; Anzahl der Schüler/innen einer Schule, die sich in der vierten Schulstufe befinden). Die einzelnen Sampling Frames werden dann anhand der impliziten Stratifizierungsvariable (sofern vorhanden) und innerhalb dieser Strata nach ihrer Größe sortiert und bilden so die Basis für die Auswahl der Feld- und Haupttestschulen. Bei der Stichprobenziehung werden für jede zufällig ausgewählte Haupttestschule gleichzeitig zwei so genannte Replacement-Schulen (Ersatzschulen) präventiv festgelegt. Die erste Ersatzschule ist jene, die sich im sortierten Sampling Frame unmittelbar nach der ursprünglich ausgewählten Schule befindet und die zweite ist jene, die unmittelbar vor der zufällig ausgewählten Schule steht. Sollte die

30 26 3 Stichproben-Design und Stichprobenziehung eigentlich ausgewählte Schule nicht teilnehmen können, ist zunächst die erste und im Falle einer erneuten Nicht-Teilnahme die zweite Replacement-Schule für den Test vorgesehen. Die Verwendung einer impliziten Stratifizierungsvariable gewährleistet, dass die Ersatzschulen im Hinblick auf die Charakteristika (z. B. Schulgröße und Region, in der sich die Schule befindet) der eigentlich ausgewählten Schule ähnlich sind. Für den Feldtest wird für jede ausgewählte Schule nur eine Ersatzschule festgelegt Die Auswahl der Klassen Die Auswahl der Klassen (der zweite Sampling-Schritt) kann erst im Verlauf des Screening-Prozesses (Kontakt mit den Schulen, um die Organisation von PIRLS vorzubereiten) erfolgen und findet an den jeweiligen nationalen Projektzentren statt. Basis dafür ist eine Liste mit allen Klassen der vierten Schulstufe, welche von den gesampelten Testschulen nach der ersten Kontaktaufnahme an das nationale Projektzentrum übermittelt wird. Falls es an einer Schule nur eine vierte Klasse gibt, ist diese automatisch für den PIRLS-Test vorgesehen. Gibt es an einer Schule mehrere Klassen mit Schülerinnen und Schülern der vierten Schulstufe, wird mit der vom internationalen Zentrum speziell entwickelten Software WinW3S (s. Kapitel 7) mindestens eine Klasse zufällig ausgewählt. Mit der Ziehung der Klassen sind automatisch die teilnehmenden Schüler/innen bestimmt, da alle Schüler/innen einer gezogenen Klasse mit den PIRLS-Instrumenten getestet werden. Die Teilnehmerländer können allerdings vor der Stichprobenziehung selbst entscheiden, ob sie mehr als eine Klasse pro Schule auswählen und testen möchten. 3.4 Vorgaben zu den zu erzielenden Teilnahmequoten Zur Minimierung möglicher Verzerrungen der Stichprobe legen die Qualitätsstandards der IEA Vorgaben für die zu erreichenden Teilnahmequoten auf Schul-, Klassen- und Schülerebene fest. Diese existieren unabhängig voneinander, d. h., das Erreichen einer höheren Teilnahmequote auf Schulebene lockert beispielsweise nicht die Anforderungen auf Schülerebene. Die Qualität der Stichprobe eines Landes und das Erreichen der Vorgaben spielt für die Berücksichtigung der Daten im internationalen Ergebnisbericht eine wesentliche Rolle. Länder, die die unten dargestellten Kriterien nur mithilfe von Replacement-Schulen erreichen bzw. selbst mithilfe dieser nicht erreichen, werden im internationalen Bericht entsprechend gekennzeichnet Mindestteilnahmequote auf Schulebene Die internationale Vorgabe bezüglich der ausgewählten Schulen besagt, dass von diesen mindestens 85 % teilnehmen müssen. Nicht teilnehmende Schulen können durch die Heranziehung von Replacement-Schulen ersetzt werden, sodass die Anforderungen der Stichprobengröße erfüllt werden können. Es müssen sich jedoch mindestens 50 % der ursprünglich gezogenen Schulen an der Testung beteiligen. Das Zurückgreifen auf Replacement-Schulen garantiert nicht, dass eine möglicherweise entstehende Verzerrung (Bias) durch die Nichtteilnahme einer Schule reduziert wird Mindestteilnahmequote auf Klassenebene Auf Klassenebene schreibt das internationale Zentrum eine Teilnahmerate von mindestens 95 % aller ausgewählten Klassen vor. Dieses relativ strenge Kriterium ist notwendig, da Schulen, in denen nur eine von zwei ausgewählten Klassen teilnimmt, signifikante Verzerrungen in den Ergebnissen verursachen können. Es ist nicht erlaubt, eine nicht teilnehmende Klasse durch eine andere zu ersetzen Mindestteilnahmequote auf Schülerebene Wie auf Schulebene muss auch auf Schülerebene eine Teilnahmequote von mindestens 85 % erreicht werden (über alle teilnehmenden Sample- und Replacement-Schulen hinweg berechnet). Damit am Testtag fehlende Schüler/innen (z. B. wegen Krankheit) nicht gänzlich für die Stichprobe verloren gehen, muss ein Nachtest abgehalten werden, sobald am Testtag in einer Klasse weniger als 90 % der Schüler/innen anwesend waren (vgl. Abschnitt 4.4). Wenn innerhalb einer Klasse auch nach dem Nachtest insgesamt weniger als 50 % der Schüler/innen an PIRLS teilgenommen haben, so wirkt sich dies auf die Teilnahmequote auf Klassen- oder Schulebene aus, da derartige Klassen als nicht teilgenommen eingestuft und damit beim Klassenbzw. Schulrücklauf (wenn pro Schule nur eine Klasse getestet wird) nicht mit einbezogen werden. Die Teilnehmerländer müssen für eine uneingeschränkte Berichterstattung im internationalen Bericht entweder auf allen drei Ebenen (Schule, Klasse und Schüler/innen) die Teilnahmequoten erfüllen oder eine kombinierte Quote aus Schul-, Klassen- und Schülerteilnahme von mindestens 75 % erreichen.

31 PIRLS Technischer Bericht Der Stichprobenplan für Feld- und Haupttest in Österreich Die Datenbasis für die Auswahl der Stichprobe wurde in Österreich vom BMBF zur Verfügung gestellt. Bei der Festlegung der national gewünschten Zielpopulation gab es keine Einschränkungen im Vergleich zur international definierten Population (100 % Coverage; internationale und national gewünschte Zielpopulation waren ident). Als Schätzer für die Grundgesamtheit wurden für die Stichprobenziehung jene Schüler/innen herangezogen, die sich im Schuljahr 2013/14 auf der dritten Schulstufe befunden haben. Dadurch ergab sich eine Anzahl von Schülerinnen und Schülern. In Absprache mit dem internationalen Zentrum wurden in Österreich auf Schulebene alle Schulen mit ausschließlich auszuschließenden Schülerinnen und Schülern (dies betraf größtenteils Sonderschulen) sowie Schulen mit weniger als drei Schülerinnen und Schülern auf der für die Stichprobenziehung relevanten Schulstufe ausgeschlossen. Dadurch wurden insgesamt 1,2 % der Population ausgeschlossen. Die Datenbasis für den Sampling Frame umfasste damit potenzielle PIRLS-Schüler/innen in 3020 Schulen (= nationale Zielpopulation). Ausschlüsse innerhalb der Stichprobe auf Schülerebene können zum Zeitpunkt der Stichprobenziehung nur geschätzt werden. So wurde bei PIRLS 2016 erwartet, dass insgesamt etwa zwischen 3 und 4 % der Schüler/innen ausgeschlossen werden müssen, weil sie sich in SPF-Klassen (= Klassen, in denen es ausschließlich Schüler/innen mit sonderpädagogischem Förderbedarf gibt) an Volksschulen befinden bzw. weil einer der drei international definierten Ausschlussgründe (Schüler/in hat eine geistige oder körperliche Beeinträchtigung bzw. ist nicht deutscher Muttersprache) vorliegt. Für den ersten Schritt der Stichprobenziehung (Auswahl der Schulen) wurde der nationale Sampling Frame an Statistics Canada weitergeleitet. Stratifiziert wurden die Daten dabei explizit nach den Bundesländern. Die Auswahl der Klassen (zweiter Schritt der Stichprobenziehung) wurde am nationalen Projektzentrum mittels der dafür vorgeschriebenen Software WinW3S durchgeführt. Sowohl im Feld- als auch im Haupttest wurden sofern möglich immer zwei Klassen pro Schule ausgewählt. Tabelle 3.1 gibt einen Überblick über die erwarteten Stichprobenzahlen auf Schul-, Klassenund Schülerebene nach der Stichprobenziehung von Statistics Canada. Details zur realisierten (tatsächlichen) Stichprobe in Österreich finden sich in Kapitel Qualitätssicherung Die Qualität der Stichprobe einer Untersuchung ergibt sich im Wesentlichen durch die Art und Weise, wie die Stichprobe ermittelt wird. Ein nachträglich erbrachter Nachweis über die Güte der Zusammensetzung oder die Größe der realisierten Stichprobe kann angemessene Prozeduren und eine korrekte Vorgangsweise bei der Selektion nicht ersetzen. Bei PIRLS 2016 entspricht das Stichproben-Design einer geklumpten Zufallsstichprobe. Die Stichprobe wird auf Schulebene in Form von Zufallsstichproben (probability samples) ermittelt, in einem zweiten Schritt werden die zu testenden Klassen zufällig ausgewählt. Dieses Vorgehen führt zu einer Feldtest Haupttest Stratum Anzahl Schulen Anzahl Klassen (erwartet) Anzahl Schüler/innen (erwartet) Anzahl Schulen Anzahl Klassen (erwartet) Tabelle 3.1: Erwartete Stichprobengröße für Feld- und Haupttest (PIRLS 2016) Anzahl Schüler/innen (erwartet) Burgenland Kärnten Niederösterreich Oberösterreich Salzburg Steiermark Tirol Vorarlberg Wien Gesamt

32 28 3 Stichproben-Design und Stichprobenziehung weniger effizienten Stichprobe als eine einfache Zufallsstichprobe, allerdings würde letztere dazu führen, dass in jeder Schule nur ein/e oder sehr wenige Schüler/innen getestet würden, was den organisatorischen Aufwand für die Studie wesentlich steigern würde. Die Präzision der Stichprobe (und gleichzeitig auch deren Effizienz) kann durch die Verwendung sinnvoller Stratifizierungsvariablen deutlich verbessert werden. Da PIRLS eine international vergleichende Studie ist, muss bei der Qualitätssicherung im Rahmen der Stichprobenziehung besonders auf die Gewährleistung der Vergleichbarkeit zwischen den Ländern geachtet werden. Diese wird durch mehrere Maßnahmen sichergestellt: Der Stichprobenziehung liegen eindeutige, für alle Länder verpflichtende Vorgaben der IEA zugrunde (Definition der Zielpopulation, Stichprobengröße, Art der Stichprobenziehung, Mindestteilnahmequoten). Wie diese Vorgaben umgesetzt werden können, ist in dem vom internationalen Projektzentrum erstellten Sampling-Handbuch genau vorgegeben. Dieses Manual operationalisiert die Qualitätsstandards der IEA und beschreibt im Detail, wie bei der Definition der nationalen Zielpopulation sowie bei der Ziehung der Stichprobe vorgegangen werden muss. In Form mehrerer standardisierter Formulare werden der Stichprobenplan sowie die Stichprobenziehung in allen Ländern im Detail und in vergleichbarer, nachvollziehbarer Weise dokumentiert. Die Ziehung der Schulen erfolgt für alle Länder durch Statistics Canada, dem für das Sampling verantwortlichen Partner des internationalen Projektzentrums. Die Überprüfung der Korrektheit der Stichprobenziehung erfordert eine enge Kooperation zwischen Statistics Canada und den nationalen Projektzentren. Länder, die vorgeschriebene Teilnahmequoten nicht erfüllen, werden im Ländervergleich der internationalen Berichterstattung entsprechend gekennzeichnet. Bibliografie UNESCO Institute for Statistics (2012). International Stan dard Classification of Education Verfügbar am unter documents/international-standard-classification-of-education-isced-2011-en.pdf

33 PIRLS Technischer Bericht 29 4 Testorganisation und -durchführung Silvia Salchegger, Iris Höller, Juliane Schmich, Martin Pointinger In diesem Kapitel werden Organisation und Durchführung der PIRLS-Erhebung an den einzelnen Schulen dargestellt. Zur Durchführung der Studien ist die Kooperation mit zahlreichen Personen außerhalb des Bundesinstituts BIFIE nötig. Kooperationspartner/innen sind vor allem die Schulaufsicht, die Schulleitung, die Schulkoordinatorinnen und -koordinatoren sowie die Testleiter/innen. Um eine reibungslose Kommunikation zwischen allen Beteiligten zu gewährleisten, ist es nötig, die erforderlichen Schritte und Abläufe gut zu planen und aufeinander abzustimmen. Zudem ist es die Aufgabe des BIFIE, alle Kooperationspartner/innen rechtzeitig über die bevorstehenden Schritte zu informieren, sie in Hinblick auf ihre Aufgaben zu instruieren und die Testmaterialien für die Testungen vorzubereiten. Insbesondere geht dieses Kapitel auf die Information der Schulaufsicht und der Schulleitung, die Aufgaben der Schulkoordinatorinnen und -koordinatoren, die Logistik der Testmaterialien, die Tätigkeiten der Testleiter/innen sowie auf die Qualitätssicherung ein Chronologischer Überblick über den Ablauf der Testorganisation Tabelle 4.1 gibt einen Überblick über die zeitliche Abfolge der wichtigsten Tätigkeiten im Bereich der Testorganisation und -durchführung. In weiterer Folge wird im Detail auf die einzelnen Schritte eingegangen. 4.2 Kooperation mit Schulen und Schulbehörden Für den Erfolg und die Qualität der PIRLS-Studie sind die Zusammenarbeit mit den Schulen und die Unterstützung vonseiten der Schulen sowie der Schulbehörden von entscheidender Bedeutung. Auf einen guten Informationsfluss mit allen Beteiligten wird deshalb vom BIFIE besonderer Wert gelegt Information der Schulbehörden Vor dem Erstkontakt mit den bereits im Herbst 2014 gemeinsam für den Feld- und Haupttest zufällig ausgewählten Schulen und nach der Überprüfung der Schulstichprobe durch das BIFIE erfolgte die Kontaktaufnahme mit den zuständigen Schulbehörden. Die amtsführenden Präsidentinnen und Präsidenten der Landesschulräte, die amtsführende Präsidentin des Stadtschulrats für Wien sowie die Landesschulinspektorinnen und -inspektoren wurden vom BIFIE in einer zeitlich versetzten Aussendung im Detail über die Durchführung und den Ablauf der Studien informiert und gebeten, diese in ihrem jeweiligen Wirkungsbereich zu unterstützen. Die Aussendung des BIFIE enthielt eine Liste der für PIRLS ausgewählten Schulen im jeweiligen Zuständigkeitsbereich und Informationen zur Studie Information und Aufgaben der Schulleitung Die Schulleiter/innen der ausgewählten Schulen wurden Anfang Oktober 2015 vom BIFIE über die Auswahl ihrer Schule für den PIRLS-Haupttest benachrichtigt. Sie erhielten ein Anschreiben mit näheren Informationen zum Inhalt und zur Durchführung der Studie sowie zu den verantwortlichen Institutionen. Die Schulleitung hatte die Aufgabe, in der Schule eine/n Schulkoordinator/in (im Folgenden kurz SK genannt) als Kontaktperson zu ernennen. Diese/r fungierte als Ansprechpartner/in für das BIFIE und war für die weiteren organisatorischen Tätigkeiten im Rahmen der Erhebung an der Schule verantwortlich. Die Rolle der/ des SK konnte von Lehrpersonen oder von der Schulleitung selbst übernommen werden. Die Schulleitung wurde außerdem bereits im Vorfeld gebeten, bis zum Testtermin den Schulfragebogen (Kontextfragebogen auf Schulebene) zu beantworten und jene Lehrpersonen, die in den getesteten Klassen Deutsch unterrichten, zu ersuchen, den Lehrerfragebogen (Kontextfragebogen auf Lehrerebene) bis zum Testtermin zu beantworten. Schul- und Lehrerfragebogen konnten online bearbeitet werden (s. Kapitel 2); die Übermittlung der dazu notwendigen Zugangsdaten wurde für Februar 2016 angekündigt. 4.3 Aufgaben der Schulkoordinatorinnen und -koordinatoren (SK) Die/der von der Schulleitung bestimmte SK war für die weiteren Tätigkeiten im Zusammenhang mit PIRLS an der Schule und für den Kontakt mit dem BIFIE zuständig. Die einzelnen Aufgaben der SK werden im Folgenden beschrieben. 1 Dieser Text orientiert sich an Kapitel V des Technischen Berichts von PIRLS & TIMSS 2011 (Wintersteller, 2012). Die Autorinnen und der Autor dieses Kapitels danken Anna Glaeser (vorm. Wintersteller) für die Bereitstellung des Textes.

34 30 4 Testorganisation und -durchführung Monat November 2014 Tätigkeiten Internationales Zentrum informiert das BIFIE über die zufällig ausgewählten Schulen (für Feldtest & Haupttest) September 2015 Information des BIFIE an die Präsidentinnen und Präsidenten der Landesschulräte und die Präsidentin des Stadtschulrats für Wien sowie die Landesschulinspektorinnen und -inspektoren Oktober 2015 Kontaktaufnahme mit bestehenden Testleiterinnen/Testleitern (Abklärung der Zeitressourcen) Information der ausgewählten Schulen über die Teilnahme an PIRLS Ernennung einer Kontaktperson an der Schule (Schulkoordinator/in) durch die Schulleitung Übermittlung einer Liste aller Klassen mit Schülerinnen und Schülern auf der vierten Schulstufe an das BIFIE November 2015 Suche und Rekrutierung von neuen Testleiterinnen/Testleitern Stichprobenziehung auf Klassenebene (sofern mehr als zwei Klassen vorhanden) Information an die teilnehmenden Schulen über die ausgewählten Klassen Dezember 2015 Übermittlung einer anonymisierten Liste aller Schüler/innen für jede ausgewählte Klasse an das BIFIE Zusendung der Verträge an die Testleiter/innen Jänner 2016 Zusendung der Schulzuteilung an die Testleiter/innen Vereinbarung der Testtermine zwischen Schulkoordinator/in und Testleiter/in Februar 2016 Druck der Erhebungsmaterialien Kontrolle, Etikettierung und Verpackung der Erhebungsmaterialien Übermittlung der Online-Zugangsdaten für Schul- und Lehrerfragebogen an die Schulen Schriftliche Information der Klassenlehrer/innen sowie der ausgewählten Schüler/innen und deren Eltern Übermittlung des Testleiterhandbuchs und der Schulungsinformationen an die Testleiter/innen März 2016 Regionale Schulung der Testleiter/innen und Übergabe der Erhebungsmaterialien April 2016 Durchführung der Testsitzungen an den Schulen ( bis ) Mai 2016 Rücklaufkontrolle der Erhebungsmaterialien Tabelle 4.1: Chronologie der Testorganisation beim Haupttest (PIRLS 2016) Erstellung und Übermittlung der Klassenliste an das BIFIE Das erste Informationsschreiben, das Anfang Oktober 2015 an die Schulleiter/innen gesendet wurde, enthielt ein Kuvert mit Informationsmaterial zur Weitergabe an die/den SK. Die SK wurden ersucht, eine vollständige Liste aller Klassen mit Schülerinnen und Schülern auf der vierten Schulstufe an das BIFIE zu senden. Dafür wurden die SK gebeten, eine Online-Umfrage auszufüllen. Diese erhob zum einen allgemeine Angaben zur Schule und Kontaktperson. Zum anderen sollten in die Liste für jede Klasse die folgenden Informationen eingetragen werden: Klassenbezeichnung (an der Schule übliche Bezeichnung); Anzahl der Schüler/innen (in der jeweiligen Klasse); Ausschluss auf Klassenebene (nur in Ausnahmefällen nötig); Anonymisierte Kurzbezeichnung der Lehrperson/en, die Deutsch unterrichten. Ein Ausschluss auf Klassenebene war nur nötig, wenn ausnahmslos alle Schüler/innen einer Klasse nach dem Lehr- plan der Sonderschule unterrichtet wurden oder aufgrund mangelnder Deutschkenntnisse als außerordentliche Schüler/innen geführt wurden. Für jede Lehrperson, die in einer vierten Klasse Deutsch unterrichtete, sollte ein frei wählbares eindeutiges Kürzel in der entsprechenden Spalte eingetragen werden. Dieses Kürzel ermöglichte die spätere Zuordnung des jeweiligen Lehrerfragebogens und die Verknüpfung der Daten auf allen Ebenen (Schule, Klasse, Schüler/innen) bei gleichzeitiger Wahrung der Anonymität. Die SK erhielten per einen Internet-Link zugesendet, der sie direkt zum Online-Formular führte. Die eingetragenen Daten wurden in der Online-Umfrage-Applikation LimeSurvey automatisch gespeichert und an das BIFIE übermittelt. Die übermittelten Klassenlisten wurden von Mitarbeiterinnen und Mitarbeitern des BIFIE hinsichtlich ihrer Vollständigkeit kontrolliert. Fehlten auf den Listen notwendige Informationen, wurden die Schulen kontaktiert und gebeten, diese zu ergänzen. Auch bei Schulen, die im vorgegebenen

35 PIRLS Technischer Bericht 31 Zeitraum keine Klassenliste übermittelten, wurde nachgefragt, um letztendlich die Daten aller ausgewählten Schulen mit Schüler/innen auf der vierten Schulstufe zu erhalten. Die Daten der formatierten Listen wurden anschließend in das Programm WinW3S importiert. Dieses speziell für IEA-Studien entwickelte Programm wird bei PIRLS für die Verwaltung der Schul-, Lehrer-, Klassen- und Schülerdaten, für die Stichprobenziehung auf Klassenebene, für die Zuordnung der Testheftformen und für die Erstellung von entsprechenden Listen und Etiketten verwendet. Die Software WinW3S wird in Kapitel 7 detailliert beschrieben. Entsprechend dem nationalen Stichprobendesign wurden in jeder Schule maximal zwei Klassen getestet. In Schulen mit mehr als zwei Klassen mit Schülerinnen und Schülern auf der vierten Schulstufe wurde daher mittels WinW3S eine Zufallsstichprobe auf Klassenebene gezogen. In Schulen mit maximal zwei Klassen mit Schülerinnen und Schülern auf der vierten Schulstufe waren automatisch beide für die Teilnahme vorgesehen Erstellung der Schülerliste und Übermittlung an das BIFIE Ende November 2015 erhielten die SK per die Information, welche Klassen an ihrer Schule für die Erhebung ausgewählt worden waren. Die SK wurden gebeten, für jede ausgewählte Klasse eine vollständige Schülerliste anzufertigen und diese in anonymisierter Form an das BIFIE zu übermitteln. Die SK sollten zuerst eine vollständige Liste inklusive Schülernamen erstellen und an der Schule aufbewahren und dann, um den Datenschutzrichtlinien zu entsprechen, eine identische Liste ohne Schülernamen an das BIFIE übermitteln. Am Testtag wurde die an der Schule verbliebene Namensliste benötigt, um den Schülerinnen und Schülern die Testinstrumente richtig zuordnen zu können. Den SK wurde eine Anleitung zur Erstellung der Schülerliste sowie das Muster in Abbildung 4.1 zur Verfügung gestellt. Im Anhang des s befand sich zudem für jede Testklasse eine spezifische elektronische Vorlage dieser Liste (Excel) mit einigen bereits voreingetragenen Daten (Klassenbezeichnung, Schulname, Lehrerkürzel, laufende Nummer). In dieser Liste sollten die SK drei mögliche Testtermine für die jeweilige Klasse im Zeitraum zwischen 4. April und 6. Mai 2016 angeben. Darüber hinaus sollte für jede/n Schüler/in die folgenden Informationen eingetragen werden: Name der Schülerin/des Schülers (nur zur schulinternen Weiterverwendung); Geburtsmonat und -jahr; Geschlecht; Ausschlussstatus (wenn nötig); Es gab drei Gründe, die es notwendig machten, Schüler/ innen von der Testung auszuschließen, da ihre Daten nicht in den internationalen Leistungsvergleich einfließen sollten (s. Abschnitt 3.2). Wie in Tabelle 4.2 ersichtlich, konnte für jeden dieser Gründe ein Ausschlusscode vergeben werden. Die SK wurden gebeten, vor Ausschluss eines Kindes mit der zuständigen Lehrkraft zu klären, ob die Beeinträchtigung tatsächlich so gravierend ist, dass eine Teilnahme an PIRLS unzumutbar ist. Die elektronisch übermittelten Listen der Schüler/innen wurden am BIFIE abermals hinsichtlich ihrer Vollständigkeit kontrolliert. Anschließend wurden die Listen in das Programm WinW3S (s. Kapitel 7) importiert. Letztlich wurde für jede Testklasse eine Teilnahmeliste exportiert, die den Testleiterinnen und Testleitern im späteren Verlauf zur Administration und Dokumentation der jeweiligen Testsitzung diente. Im Detail wird die Verwendung der PIRLS- Teilnahmeliste in Abschnitt beschrieben. Code Beschreibung Schüler/innen, die aufgrund einer andauernden körperlichen Beeinträchtigung nicht in der Lage sind, den Test ohne fremde Hilfe zu bearbeiten (ABER: Schüler/innen mit einer körperlichen Beeinträchtigung, die in der Lage sind, den Test selbstständig zu bearbeiten, dürfen nicht ausgeschlossen werden). Schüler/innen mit einer geistigen Beeinträchtigung dürfen nur dann vom Test ausgeschlossen werden, wenn sie a) nach dem Lehrplan der Allgemeinen Sonderschule unterrichtet werden oder b) sonderpädagogischen Förderbedarf in Deutsch, Lesen, Schreiben haben UND ihre Defizite eine Teilnahme am Test unmöglich machen (z. B. so gravierend sind, dass sie selbst sehr einfachen schriftlichen Anweisungen nicht folgen können). Schüler/innen dürfen keinesfalls allein aufgrund einer Leistungsschwäche oder Verhaltensauffälligkeit ausgeschlossen werden. Auch Legasthenie und Dyskalkulie sind keine Ausschlussgründe. Schüler/innen, die zum Zeitpunkt des PIRLS-Tests aufgrund mangelnder Kenntnis der Unterrichtssprache einen Status als außerordentliche Schülerin/außerordentlicher Schüler haben (gemäß 4 Abs. 2 lit. a SchUG). Tabelle 4.2: Mögliche Ausschlusscodes auf Schülerebene (PIRLS 2016)

36 32 4 Testorganisation und -durchführung MUSTER vervollständigte PIRLS-Schülerliste Anmerkungen zur Vervollständigung der PIRLS-Schülerliste der 4a (Musterbeispiel): Jonas Dorfer (PIRLS-Nummer 4) ist blind. Da es für PIRLS keine Testhefte in Blindenschrift gibt, kann er nicht ohne fremde Hilfe am Test teilnehmen und erhält Code 1 in Spalte 4. Maximilian Wallner (PIRLS-Nummer 9) hat aufgrund einer geistigen Beeinträchtigung sonderpädagogischen Förderbedarf in Deutsch, Lesen, Schreiben. Laut seiner Lehrkraft kann er jedoch einfachen schriftlichen Anweisungen folgen, weshalb er am Test teilnimmt. Er erhält keinen Code in Spalte 4. Lisa Reitinger (PIRLS-Nummer 11) ist in den Weihnachtsferien umgezogen und ist daher nicht mehr an der Schule gemeldet. Sie erhält Code 4 in Spalte 4. Mustafa Al-Himrani (PIRLS-Nummer 17) ist erst seit drei Monaten in Österreich und hat aufgrund seiner mangelnden Deutschkenntnisse den Status eines außerordentlichen Schülers. Er erhält Code 3 in Spalte 4. Sara Kohler (PIRLS-Nummer 18) sitzt im Rollstuhl. Dennoch kann sie den Test selbstständig bearbeiten und erhält daher keinen Eintrag in Spalte 4. Abbildung 4.1: Muster einer bearbeiteten Schülerliste (PIRLS 2016)