Lesen, Mathematik und Natur wissenschaft in der Grundschule

Transkript

1 PIRLS & TIMSS 2011 Progress in International Reading Literacy Study Trends in International Mathematics and Science Study Lesen, Mathematik und Naturwissenschaft in der Grundschule

2 Hintergründe und Ziele von PIRLS & TIMSS Österreich beteiligt sich im Rahmen eines nationalen Grundschul-Monitorings an den international vergleichenden Studien PIRLS (Progress in International Reading Literacy Study) & TIMSS (Trends in International Mathematics and Science Study). PIRLS & TIMSS bilden auf der 4. Schulstufe das Pendant zur OECD-Studie PISA (Programme for International Student Assessment), bei der die Lese-, Mathematik- und Naturwissenschaftskompetenz von Schülerinnen und Schülern im Alter von 15/16 Jahren erfasst werden. In Österreich werden PIRLS & TIMSS vom Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens (BIFIE) durchgeführt. Ziel internationaler Leistungsstudien ist es, die Qualität von Schulsystemen und deren Eignung, Kinder auf die Herausforderungen der Zukunft vorzubereiten, zu beleuchten. Die Verantwortlichen für das Schulsystem, Schüler/innen, Eltern und die Öffentlichkeit haben Anspruch darauf zu erfahren, inwieweit die Kinder im Lauf der Volksschulzeit die angestrebten grundlegenden Kenntnisse, Fähigkeiten und Fertigkeiten tatsächlich erwerben und Einsichten sowie Einstellungen entwickeln. Der internationale Vergleich der Ergebnisse von insgesamt mehr als 60 Teilnehmerländern erlaubt die Beurteilung von Stärken und Schwächen der einzelnen Bildungssysteme.

3 Mit Hilfe von PIRLS & TIMSS werden folgende Indikatoren gewonnen: Basisindikatoren (Kompetenzmessung und Vergleich) Welche Leistungen erbringen Schüler/innen der gleichen Schulstufe verschiedener Schulsysteme bzw. Länder in den grundlegenden Kompetenzbereichen Lesen, Mathematik und Naturwissenschaft? Trendindikatoren (Leistungsveränderung) Wie verändern sich diese Leistungen im Verlauf der Zeit in den verschiedenen Ländern? Kontextindikatoren (Hintergrundinformationen) Mit welchen Merkmalen (z. B. familiärer Hintergrund, schulische Faktoren etc.) stehen diese Leistungen und Veränderungen in Zusammenhang?

4 Wichtige Merkmale von PIRLS & TIMSS Die Studien PIRLS & TIMSS wurden von der internationalen Bildungsforschungsgemeinschaft IEA (International Association for the Evaluation of Educational Achievement) initiiert. PIRLS testet die Lesekompetenz von Schülerinnen und Schülern der 4. Schulstufe; TIMSS erfasst die Mathematikund Naturwissenschaftskompetenz von Schülerinnen und Schülern der 4. und 8. Schulstufe (Österreich beteiligt sich ausschließlich an der Erhebung in der 4. Schulstufe). PIRLS & TIMSS finden zyklisch im 5- bzw. 4-Jahresrhythmus statt; im Jahr 2011 werden erstmals beide Studien zeitgleich durchgeführt. Grundlage für die Tests bilden die von der IEA entwickelten Rahmenkonzeptionen für PIRLS & TIMSS (die so genannten PIRLS bzw. TIMSS 2011 Assessment Frameworks ). An PIRLS 2011 nehmen insgesamt 49 Länder (darunter 22 Mitglieder der Europäischen Union) sowie fünf politische Regionen aus insgesamt fünf Kontinenten teil; an TIMSS 2011 beteiligen sich 54 Länder (darunter 19 Mitglieder der Europäischen Union) sowie fünf politische Regionen aus insgesamt fünf Kontinenten (Stand: Juli 2010).

5 Die Teilnehmerländer 23 teilnehmende Mitglieder der Europäischen Union fett hervorgehoben Länder, die 2011 an PIRLS & TIMSS in der 4. Schulstufe teilnehmen: Aserbaidschan, Australien, Dänemark, Deutschland, England, Finnland, Georgien, Honduras, Hongkong, Iran, Irland, Italien, Katar, Kroatien, Kuwait, Litauen, Malta, Marokko, Mongolei, Neuseeland, Niederlande, Nordirland, Norwegen, Oman, Österreich, Polen, Russland, Saudi-Arabien, Schottland, Schweden, Singapur, Slowakische Republik, Slowenien, Spanien, Taiwan, Tschechische Republik, Ungarn, Vereinigte Arabische Emirate, Vereinigte Staaten von Amerika. Weitere teilnehmende politische Regionen: Abu Dhabi, Dubai, Kanada (Alberta), Kanada (Ontario), Kanada (Quebec) Länder, die 2011 an nur einer der beiden Studien in der 4. Schulstufe teilnehmen: PIRLS: Belgien (Fr.), Bulgarien, Frankreich, Indonesien, Israel, Kanada, Kolumbien, Luxemburg, Südafrika, Trinidad und Tobago TIMSS: Armenien, Bahrain, Belgien (Fl.), Botswana, Chile, Japan, Jemen, Kasachstan, Korea, Libyen, Serbien, Thailand, Tunesien, Türkei, Ukraine

6 Wer wird getestet? Zielgruppe von PIRLS & TIMSS 2011 sind Schüler/innen der 4. Schulstufe. Im Haupt test werden in Österreich etwa Schüler/innen aus 160 Schulen und etwa 260 Klassen getestet. Die Ziehung der Stichprobe erfolgt in zwei Schritten und nach international festgelegten Kriterien. Aus der Grundgesamtheit aller österreichischen Schulen mit Schülerinnen und Schülern in der 4. Schulstufe werden die Testschulen von Statistics Canada zufällig ausgewählt. In einem zweiten Schritt werden in jeder Testschule bis zu zwei 4. Klassen ebenfalls zufällig ausgewählt. Getestet werden alle Schüler/innen einer ausgewählten Klasse.

7 Die getesteten Kompetenzen Lesekompetenz Lesekompetenz ist die Fähigkeit, jene geschriebenen Sprachformen zu verstehen und zu nutzen, die von der Gesellschaft verlangt werden und/oder für die jeweilige Person nützlich und wertvoll sind. Junge Leser/innen können die Bedeutung von verschiedensten Texten erfassen. Sie lesen, um zu lernen, um an der Gemeinschaft der Lesenden in der Schule sowie im täglichen Leben teilzunehmen und zum Vergnügen. (PIRLS 2011 Assessment Framework; Übersetzung: BIFIE) Die Erfassung der Lesekompetenz in der 4. Schulstufe ist besonders relevant, da zu dieser Zeit ein Übergang vom Lesen-lernen zum Lesen-um-zu-lernen stattfindet. Die bei PIRLS gemessene Lesekompetenz geht über reines Erkennen, Wiedergeben und wörtliches Textverständnis hinaus. Insbesondere wird das Verstehen, Verwenden und Reflektieren geschriebener Information für unterschiedliche Zwecke fokussiert. Mathematikkompetenz Mathematik wird als grundlegende Kulturtechnik betrachtet, deren Beherrschung die Teilhabe an der Gesellschaft ermöglicht. Zudem ist eine hohe Mathematikkompetenz Voraussetzung zur Ausübung vieler Berufe. Die Erfassung der Mathematikkompetenz bei TIMSS beschränkt sich nicht nur auf die einfache Wiedergabe von vermitteltem Wissen, sondern umfasst auch die Fähigkeit zur Bearbeitung und Lösung komplexer Aufgaben, z. B. durch logisches Denken und Problemlösen. Neben dem Beherrschen der Grundrechnungsarten spielen bei TIMSS auch ein gut entwickeltes Zahlengefühl, Kenntnisse zu geometrischen Figuren, räumliche Vorstellungskraft und das Darstellen von Daten eine wesentliche Rolle.

8 Die getesteten Kompetenzen Naturwissenschaftskompetenz Ein Naturwissenschaftsverständnis ist in der heutigen Zeit unumgänglich, wenn man als Mitglied der Gesellschaft begründete Entscheidungen für sich selbst und über die Welt, in der man lebt, treffen möchte. Zahlreiche Herausforderungen, vor denen wir heute stehen (beispielsweise die verantwortungsvolle Nutzung der Erdressourcen), finden im naturwissenschaftlichen Kontext statt und begleiten die Kinder bis ins Erwachsenenalter. Naturwissenschaftskompetenz bei TIMSS in der 4. Schulstufe beinhaltet unter anderem Wissen über Lebewesen und deren Eigenschaften, Vertrautheit mit Lebensprozessen, ein Verständnis für Beziehungen zwischen Organismen und ihrer Umwelt, ein chemisches Grundverständnis sowie Wissen in Bezug auf die Erde (z. B. ihre Verortung im Sonnensystem).

9 Der Testablauf Alle Aufgaben in PIRLS & TIMSS werden auf Basis der Frameworks von internationalen und nationalen Expertengruppen entwickelt und durch die nationalen PIRLS- & TIMSS-Zentren sowie durch nationale Expertengruppen begutachtet. Im Jahr vor der Haupterhebung findet jeweils ein Feldtest statt, in dem alle Aufgaben und Abläufe umfassend erprobt werden. Alle Aufgaben aus dem Bereich Lesen werden nach einem international festgelegten Rotationsschema auf insgesamt 13 verschiedene PIRLS-Testhefte aufgeteilt; aus den naturwissenschaftlichen und mathematischen Aufgaben entstehen in gleicher Weise insgesamt 14 unterschiedliche TIMSS-Testhefte. In jeder ausgewählten Klasse werden alle Schüler/innen an zwei Testtagen (einem für PIRLS sowie einem für TIMSS) getestet. Die Schüler/innen haben für die Bearbeitung der Testhefte bei PIRLS 80 Minuten und bei TIMSS 72 Minuten zur Verfügung. Nach jeweils der Hälfte der Testzeit findet eine etwa 10-minütige Pause statt. Welcher Test an welchem der beiden Testtage stattfindet, wird im Rahmen der Stichprobenziehung zufällig festgelegt. Nach der Bearbeitung des jeweiligen Testhefts füllen die Schüler/innen einen Fragebogen aus.

10 Die Testinhalte Bei PIRLS erhalten die Schüler/innen Texte, zu denen sie anschließend Fragen beantworten sollen. Die Beantwortung der Fragen erfordert jeweils einen der folgenden Prozesse im Hinblick auf das Leseverständnis: Erkennen und Wiedergeben von Informationen aus dem Text Ziehen einfacher Schlussfolgerungen aus dem Gelesenen Interpretieren und Verknüpfen von Gedanken und Informationen Bewerten von Inhalt, Sprache und einzelnen Textelementen des Gelesenen Im Rahmen von TIMSS bearbeiten die Schüler/innen verschiedene Aufgaben aus den Bereichen Mathematik und Naturwissenschaft. Bei den Mathematikaufgaben werden drei Inhaltsbereiche unterschieden: Zahlen Geometrische Formen und Maße Darstellen von Daten In Naturwissenschaft werden die Leistungen in folgenden Inhaltsbereichen erhoben: Biologie Physik Erdkunde In beiden Kompetenzbereichen von TIMSS (Mathematik und Naturwissenschaft) wird neben den Inhaltsbereichen auch noch zwischen drei verschiedenen kognitiven Prozessen unterschieden, die zur Lösung einer Aufgabe notwendig sind: Wissen Anwenden Begründen

11 Die Fragebögen Zusätzlich zur Leistungserfassung werden mittels Fragebögen auf Schulleiter-, Lehrer-, Eltern- und Schülerebene wichtige Kontextinformationen erhoben, die im Zusammenhang mit den Schülerleistungen stehen (z. B. demografische Daten, Einstellungen zu Mathematik, Sachunterricht und Lesen, Gestaltung des Unterrichts, Basisdaten zur Schule, Ressourcen etc.). Die Schüler/innen beantworten den Fragebogen gleich im Anschluss an die Bearbeitung der Testhefte (Bearbeitungszeit am ersten Testtag etwa 30 Minuten und am zweiten etwa 15 Minuten). Der Fragebogen für die Eltern (Bearbeitungszeit etwa 30 Minuten) erhebt unter anderem das Lernumfeld der Kinder zu Hause. Die Lehrkräfte werden im Rahmen von PIRLS & TIMSS in erster Linie zum Unterricht in den jeweiligen Gegenständen befragt (Bearbeitungszeit etwa 60 Minuten). Der Fragebogen zu wesentlichen Merkmalen der Schule sowie zur Schul- und Unterrichtsorganisation richtet sich an die Schulleiter/innen (Bearbeitungszeit etwa 30 Minuten).

12 Vorbereitung an den Schulen und Ablauf der Tests Schritt 1: Schritt 2: Schritt 3: Die österreichische Stichprobe von 160 Schulen wurde von Statistics Canada per Zufallsprinzip gezogen. Das BMUKK (Bundesministerium für Unterricht, Kunst und Kultur), die zuständigen Schulbehörden und die Schulleiter/innen der ausgewählten Schulen werden im Herbst des Schuljahres 2010/11 über diese Auswahl informiert. Verständigung der Schule Auswahl Schulkoordinator/in: Jede ausgewählte Schule erhält im Dezember 2010 vom Bundesinstitut BIFIE ein Informationsschreiben und benennt eine/n PIRLS/TIMSS-Schulkoordinator/in. Klassenliste (4. Schulstufe) an das BIFIE Salzburg senden: Der/die Schulkoordinator/in erstellt eine Liste aller Klassen der 4. Schulstufe und schickt diese an das Bundesinstitut BIFIE. Auswahl der Klassen (wenn möglich 2 Klassen pro Schule): Gibt es an einer Schule mehr als zwei 4. Klassen, wird vom Bundesinstitut BIFIE entsprechend den internationalen Vorgaben eine Stichprobe von zwei Klassen gezogen. Im zweiten Anschreiben vom Bundesinstitut BIFIE wird den Schulen mitgeteilt, welche Klassen an den Tests teilnehmen.

13 Schritt 4: Schritt 5: Schritt 6: Anonyme Auflistung der Schüler/innen: Der/die Schulkoordinator/in erstellt für jede ausgewählte Klasse eine anonymisierte Liste (ohne Namen) aller Schüler/ innen und sendet diese an das Bundesinstitut BIFIE. Auf dieser Liste sind die einzelnen Schüler/innen zur späteren Zuordnung der Testinstrumente beliebig durchnummeriert. Eine idente, allerdings nicht anonymisierte Liste der Schüler/ innen wird an der Schule gespeichert und muss dort am Testtag verfügbar sein. Terminfestlegung: Bereits bei Übermittlung der Klassenliste haben die Schulen die Möglichkeit, Terminwünsche für die Testsitzungen zu äußern. Etwa einen Monat vor dem Test fixieren der/die Schulkoordinator/in und ein/e externe/r Testleiter/in gemeinsam die beiden Testtermine. Verteilen der Informationen für Lehrkräfte, Schüler/innen und Eltern: Im dritten Anschreiben werden vom Bundesinstitut BIFIE Informationen zur Weitergabe an Klassenlehrer/innen, Kinder und ihre Eltern übermittelt. Zeitgleich erhalten die Schulleiter/ innen und Lehrpersonen die jeweiligen Fragebögen mit der Bitte um Bearbeitung bis zum Testtag.

14 Schritt 7: Schritt 8: Testtage: Der/die Testleiter/in kommt an den beiden vereinbarten Test - tagen an die Schule, um Test und Befragung durchzuführen. Er/sie bringt alle Testmaterialien mit, arrangiert wenn nötig die Testräume, administriert den Test und notiert die Anwesenheit der Schüler/innen. Der/die Testleiter/in protokolliert die relevanten Testvorgänge und Ereignisse und nimmt alle Materialien wieder mit, um diese gesammelt an das Bundesinstitut BIFIE zu retournieren. Gegebenenfalls Durchführung von Nachtests: Wenn 10 % oder mehr der ausgewählten Schüler/innen an einem Testtag fehlen, müssen diese den Test einige Tage später nachholen. Der Ablauf der PIRLS- & TIMSS-Tests wurde mit dem Ziel konzipiert, den Aufwand für Schulen möglichst gering zu halten. Schulkoordinatorinnen und -koordinatoren erhalten eine Aufwandsentschädigung vom Bundesinstitut BIFIE, externe Testleiter/innen werden für ihre Arbeit vom BIFIE entlohnt. Ablauf der PIRLS- & TIMSS-Testtage Testtag 1 Testtag 2 Begrüßung und Einleitung durch Testleiter/in TIMSS-Testheft 2x36 Minuten (mit 10 Minuten Pause) PIRLS-Testheft 2x40 Minuten (mit 10 Minuten Pause) 10 min. Pause Schülerfragebogen ca. 30 Minuten Schülerfragebogen ca. 15 Minuten

15 Zeitplan Der Zeitplan für PIRLS & TIMSS 2011 gestaltet sich wie folgt: März/April 2010: Feldtest zur Erprobung der Instrumente und Prozeduren Ende März bis Mitte Mai 2011: Haupttest zur Datenerhebung Dezember 2012: Erste Publikationen zu PIRLS & TIMSS 2011 Anfang 2013: Freigabe aller Daten auf der Homepage des internationalen Zentrums

16 Qualitätssicherung In groß angelegten und weltweit durchgeführten Studien wie PIRLS & TIMSS ist eine fundierte Qualitätssicherung auf allen Ebenen erforderlich. Das Augenmerk gilt dabei der internationalen Konstruktion der Test- und Befragungsinstrumente, den Übersetzungsprozeduren, der korrekten Stichprobenziehung, dem kontrollierten Ablauf der Testsitzungen an den Schulen, der Einhaltung der Teilnahmequoten und der sorgfältigen Verkodung, Gewichtung und Auswertung der erhobenen Daten. Daher wird vom internationalen Zentrum ein umfassendes Qualitätsmonitoring durchgeführt, wie z. B. die Verifikation der übersetzten Testhefte und Fragebögen, die stichprobenartige Überprüfung der Testsitzungen durch internationale Beobachter/innen sowie einheitliche Kontrollprozesse bei der Eingabe der Daten. Darüber hinaus werden von den BIFIE-Mitarbeiterinnen und -Mi t- arbeitern auf Grund ihrer langjährigen Erfahrung bei der Durchführung internationaler Studien zusätzliche Maßnahmen implementiert, die die Qualität der erhobenen Daten steigern (z. B. Einsatz externer, gut ausgebildeter Testleiter/innen, nationale Überprüfung der Einhaltung der Testprozeduren etc.).

17 Datenschutz Bei PIRLS & TIMSS werden von allen Beteiligten ausschließlich indirekt personenbezogene Daten erhoben. Das Bundesinstitut BIFIE erhält zu keinem Zeitpunkt die Namen der Schüler/ innen und Lehrpersonen. Die Daten sind damit nicht auf eine bestimmte Person rückführbar. Das Bundesinstitut BIFIE hält sich sowohl an die Vorgaben des Datenschutzgesetzes 2000 (DSG 2000, BGBl. I Nr. 165/1999) als auch an jene der IEA und ist nicht an individuellen Leistungsdaten einzelner Personen interessiert. Das Interesse gilt ausschließlich den aggregierten Ergebnissen und Indikatoren, da diese den Bildungsverantwortlichen als Entscheidungsgrundlage für eine faktenbasierte Qualitätsentwicklung dienen. Die Daten einzelner Schüler/innen oder bestimmter Schulen werden nicht ausgewertet oder gar veröffentlicht (es gibt kein Schulranking ). Darüber hinaus sind alle Mitarbeiter/innen des Bundesinstituts BIFIE per BIFIE-Gesetz (BGBl. I Nr. 25/2008, 3 Abs. 2) zur Verschwiegenheit verpflichtet. Das Bundesinstitut BIFIE pflegt einen sorgfältigen, sensiblen Umgang mit Daten und garantiert allen Beteiligten absolute Vertraulichkeit.

18 Organisation Die übergeordnete Projektverantwortung für PIRLS & TIMSS trägt die IEA (International Association for the Evaluation of Educational Achievement) mit Sitz in Amsterdam. Mit der internationalen Koordination und Durchführung der beiden Studien wurde das TIMSS & PIRLS International Study Center (ISC) am Boston College beauftragt. Bei der Ausführung des Projekts arbeitet das internationale Projektzentrum eng mit dem IEA-Sekretariat in Amsterdam zusammen, das für die Überprüfung aller Übersetzungen der Testinstrumente der teilnehmenden Länder sowie für die international eingesetzten Qualitätsbeobachter/innen verantwortlich ist. Des Weiteren kooperiert das ISC bei der internationalen Organisation der Studie mit folgenden Institutionen: Das IEA-Datenverarbeitungszentrum (DPC) in Hamburg ist für die Verarbeitung und Prüfung der bei PIRLS & TIMSS erhobenen Daten zuständig. Für alle Aufgaben im Bereich der Stichprobenziehung ist Statistics Canada in Ottawa verantwortlich. Das Educational Testing Service (ETS) in Princeton, New Jersey unterstützt das ISC in messtheoretischen Belangen. Für die Umsetzung der Studie in den Teilnehmerländern gibt es in jedem Land ein nationales Projektzentrum. Der National Research Coordinator (NRC) ist für die nationale Durchführung der Studie unter Einhaltung sämtlicher internationaler Richtlinien verantwortlich.

19 PIRLS & TIMSS in Österreich PIRLS & TIMSS 2011 wurden in Österreich von Bundesministerin Dr. in Claudia Schmied in Auftrag gegeben und werden vom BMUKK (Bundesministerium für Unterricht, Kunst und Kultur) finanziert. Für die wissenschaftliche Konzeption und Realisierung in Österreich ist das Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens (BIFIE) Salzburg Zentrum für Bildungsmonitoring & Bildungs standards unter der Leitung von Dr. in Claudia Schreiner verantwortlich. Nationale Projektmanagerin für PIRLS & TIMSS ist Dr. in Birgit Suchan. Unterstützt werden die Wissenschafter/innen am Bundesinstitut BIFIE durch nationale Expertengruppen. Am BMUKK ist Dr. Mark Német (Abteilung IT/1; Referat IT/1a) für die internationalen Schülerleistungsstudien zuständig und vertritt Österreich bei der jährlich stattfindenden Versammlung aller Mitglieder der IEA (General Assembly).

20 Kontakt PIRLS & TIMSS in Österreich Salzburg I Zentrum für Bildungsmonitoring & Bildungsstandards Zentrumsleitung: Dr. in Claudia Schreiner Projektleitung: Dr. in Birgit Suchan Alpenstraße 121 / 5020 Salzburg Tel.: Fax: pirls@bifie.at, timss@bifie.at Bundesministerium für Unterricht, Kunst und Kultur Dr. Mark Német Abt. IT/1; IT/1a Minoritenplatz 5 / 1014 Wien Tel.: Fax: mark.nemet@bmukk.gv.at PIRLS & TIMSS International IEA International Association for the Evaluation of Educational Achievement Dr. Hans Wagemaker (Executive Director) Herengracht BT Amsterdam The Netherlands Tel.: Fax: department@iea.nl TIMSS & PIRLS International Study Center Dr. Ina V.S. Mullis & Dr. Michael O. Martin (TIMSS & PIRLS Executive Directors) 140 Commonwealth Ave. Chestnut Hill, MA USA Tel.: Fax: pirls@bc.edu, timss@bc.edu