PISA Schulqualität sichtbar machen. Programme for International Student Assessment Schülerleistungen in Lesen, Mathematik und Naturwissenschaft

Transkript

1 PISA 2009 Schulqualität sichtbar machen Programme for International Student Assessment Schülerleistungen in Lesen, Mathematik und Naturwissenschaft

2 Ziele der PISA-Studie PISA beleuchtet die Qualität von Schulsystemen und deren Eignung, Schüler/innen auf die Herausforderungen der Zukunft vorzubereiten. Die Verantwortlichen für das Schulsystem, Schüler/innen, Eltern und die Öffentlichkeit haben Anspruch darauf zu erfahren, inwieweit die Schüler/innen das notwendige Wissen und die angestrebten Fertigkeiten im Lauf der Pflichtschulzeit tatsächlich erwerben. Der internationale Vergleich der Ergebnisse aller OECD-Länder erlaubt eine Beurteilung wichtiger Stärken und Schwächen der einzelnen Bildungssysteme. PISA fokussiert auf: Kompetenzmessung & Vergleich (Basisindikatoren) Welche Leistungen erbringen gleichaltrige Schüler/innen verschiedener Systeme und Länder in den grundlegenden Kompetenzbereichen Lesen, Mathematik und Naturwissenschaft? Entwicklung (Trendindikatoren) Wie verändern sich diese Leistungen im Verlauf der Zeit in den verschiedenen Ländern? Hintergrund (Kontextindikatoren) Stehen diese Leistungen bzw. Veränderungen mit wichtigen Schülermerkmalen, mit dem familiären Hintergrund oder mit schulischen Faktoren in erkennbarem Zusammenhang?

3 Wichtige Merkmale von PISA PISA (Programme for International Student Assessment) ist eine OECD-Studie, an der 2009 insgesamt 67 Länder teilnehmen (30 OECD- und 37 Partnerländer). PISA testet die Grundkompetenzen 15-/16-jähriger Schüler/innen in Lesen, Mathematik und Naturwissenschaft. PISA findet zyklisch alle drei Jahre mit wechselnden Schwerpunkten statt (2000 Lesen, 2003 Mathematik, 2006 Naturwissenschaft). Mit PISA 2009 beginnt der zweite Erhebungszyklus, erneut mit dem Schwerpunkt auf der Lese-Kompetenz: 2009 Lesen, 2012 Mathematik, 2015 Naturwissenschaft. In jedem Jahr vor der Haupterhebung findet ein Feldtest zur Erprobung und Überprüfung der neuen Aufgaben und aller Prozeduren rund um die Testung statt. Grundlage für die Testung bildet die PISA-Rahmenkonzeption (die PISA-Frameworks) auf Basis des Modells des lebenslangen Lernens NATURWISSENSCHAFT Lesen Mathematik LESEN Mathematik Naturwissenschaft MATHEMATIK Naturwissenschaft Lesen

4 Die Teilnehmerländer An PISA 2009 nehmen 67 Länder teil: OECD-Länder (30): Australien, Belgien, Dänemark, Deutschland, Finnland, Frankreich, Griechenland, Großbritannien, Irland, Island, Israel, Italien, Neuseeland, Niederlande, Norwegen, Österreich, Polen, Portugal, Kanada, Republik Korea, Luxemburg, Mexiko, Schweden, Schweiz, Slowakische Republik, Spanien, Tschechische Republik, Türkei, Ungarn, USA Partnerländer (37): Albanien, Argentinien, Aserbaidschan, Brasilien, Bulgarien, Chile, Dominikanische Republik, Dubai, Estland, Hongkong, Indonesien, Japan, Jordanien, Kasachstan, Katar, Kirgisistan, Kolumbien, Kroatien, Lettland, Liechtenstein, Litauen, Macau, Moldawien, Montenegro, Panama, Peru, Rumänien, Russland, Serbien, Shanghai, Singapur, Slowenien, Taiwan, Thailand, Trinidad und Tobago, Tunesien, Uruguay

5 Wer wird getestet? Zielgruppe für PISA 2009 sind Schüler/innen des Geburtsjahrgangs 1993 (ab der 7. Schulstufe). In Österreich wird eine Zufallsstichprobe von rund Schülerinnen und Schülern aus ca. 150 Schulen aller Schulsparten gezogen. An jeder PISA-Schule werden maximal 35 Schüler/innen des Jahrgangs 1993 für den Test zufällig ausgewählt. Sind weniger als 35 Zielschüler/innen an einer Schule, werden alle Schüler/innen getestet. Folgende Schulsparten werden von PISA-Schülerinnen und Schülern besucht: Allgemeinbildende Pflichtschulen APS (Hauptschulen, Polytechnische Schulen, Sonderschulen*) Allgemeinbildende Höhere Schulen AHS (Gymnasium, RG, ORG, Schulen mit eigenem Statut) Berufsbildende Mittlere Schulen BMS (Fachschulen, Handelsschulen etc.) Berufsbildende Höhere Schulen BHS (HTL, HAK, HBLA etc.) Berufsbildende Pflichtschulen (Berufsschulen) Anstalten der Lehrer- und Erzieherbildung (BA für Kindergarten- und Sozialpädagogik) *Für Schüler/innen in Sonderschulen gibt es eine verkürzte und einfachere Testheft- und Fragebogenversion.

6 Die getesteten Kompetenzen Lese-Kompetenz Lese-Kompetenz zu besitzen heißt, geschriebene Texte zu verstehen, sie zu nutzen, über sie zu reflektieren und sich damit zu beschäftigen, um damit eigene Ziele zu erreichen, sein Wissen und seine Möglichkeiten weiterzuentwickeln und am gesellschaftlichen Leben erfolgreich teilzunehmen. Der Begriff Lese-Kompetenz bezieht sich dabei nicht auf die rein technische Fähigkeit, lesen zu können. Vielmehr geht es darum, einem Text Informationen zu entnehmen, Inhalte zu verstehen und Bedeutungen zu interpretieren bzw. auch über Form und Inhalt eines Textes zu reflektieren. Die PISA-Leseaufgaben entspringen unterschiedlichen Situationen (z. B. persönliche, berufliche oder öffentliche) und bestehen aus unterschiedlichen Texttypen (z. B. Erzählung, Beschreibung, Argumentation) und Textformaten (z. B. fortlaufende Texte, Listen, Formulare, Pläne). Mathematik-Kompetenz Mathematik-Kompetenz ist die Fähigkeit einer Person zu erkennen und zu verstehen, welche Rolle Mathematik in der Welt spielt, fundiert mathematisch argumentieren zu können und sich auf eine Weise mit der Mathematik zu befassen, die den Anforderungen des gegenwärtigen und künftigen Lebens einer Person als konstruktivem, engagiertem und reflektierendem Bürger entspricht. Der Alltag bietet eine Fülle an Situationen, die eine konkrete Anwendung mathematischen Wissens, adäquater Methoden und mathematischer Operationen erfordern. Bei den PISA- Mathematikaufgaben spielen drei Aspekte eine wesentliche

7 Rolle: Aufgabeninhalte (Größen, Raum und Form, Veränderung und Zusammenhänge sowie Unsicherheit), Prozesse (z. B. mathematisches Denken, mathematisches Organisieren, Repräsentation) sowie verschiedene Situationen und Kontexte (persönliches Leben, Schulleben, Arbeit und Beruf, Öffentlichkeit und Wissenschaft). Naturwissenschafts-Kompetenz Naturwissenschafts-Kompetenz zu besitzen heißt, naturwissenschaftliche Kenntnisse zu nutzen, Fragen zu identifizieren und auf Beweise gestützte Schlüsse zu ziehen, um die Natur und die durch Menschen gemachten Änderungen zu verstehen und um Entscheidungshilfen zu erhalten. Die PISA-Naturwissenschaftsaufgaben sind in lebensnahe Kontexte eingebettet (persönliche, soziale und globale) und erfordern als zentrale Fähigkeiten das Erkennen naturwissenschaftlicher Fragestellungen, das Erklären naturwissenschaftlicher Phänomene und das Heranziehen naturwissenschaftlicher Beweise (z. B. für Schlussfolgerungen). Erfasst werden Kenntnisse in den Hauptgebieten Physik, Chemie, Biologie, Erd- und Weltraumwissenschaften sowie Wissen über die Naturwissenschaften (naturwissenschaftliches Forschen und naturwissenschaftliche Erklärungen).

8 Die Tests Alle PISA-Aufgaben werden auf Basis der Frameworks von internationalen und nationalen Expertengruppen entwickelt und durch die nationalen PISA-Zentren sowie nationale Expertengruppen begutachtet. Bei PISA 2009 liegt der Schwerpunkt auf der Lese-Kompetenz, was bedeutet, dass etwas mehr als die Hälfte aller Testaufgaben aus diesem Bereich stammen. Die neuen Leseaufgaben wurden 2008 im Feldtest umfassend erprobt. Aus allen PISA-Aufgaben (Lesen, Mathematik, Naturwissenschaft) werden 13 verschiedene Testheftformen gebildet, für deren Bearbeitung die Schüler/innen zwei Stunden zur Verfügung haben. Electronic Reading Assessment Neu an PISA 2009 ist die internationale Option Electronic Reading Assessment (ERA), die von der OECD entwickelt wurde, um die Kompetenz der Jugendlichen in Bezug auf das Lesen elektronischer Texte zu erfassen. Elektronische Medien, vor allem das Internet, nehmen einen immer größeren Stellenwert in der Kommunikation und Information insbesondere auch von Jugendlichen ein. ERA misst, inwieweit 15-/16-jährige Schüler/innen in der Lage sind, Informationen aus elektronischen Texten/Webseiten zu entnehmen sowie diese kritisch zu hinterfragen und beleuchtet die Navigations- Fähigkeiten der Schüler/innen. Inhaltlich und technisch stellt ERA eine Innovation dar. Die Aufgaben werden den Jugendlichen in einer simulierten Web-Umgebung präsentiert, die Testung dauert ca. 40 Minuten. Die ERA-Testaufgaben sowie die technische Umsetzung wurden ebenso 2008 im Feldtest geprüft.

9 Die Fragebögen Mit den Fragebögen auf Schul- und Schülerebene werden wichtige Kontextinformationen erhoben, die im Zusammenhang mit den Schülerleistungen stehen (z. B. demografische Daten, Einstellungen zum Lesen, Unterricht, Basisdaten zur Schule, Ressourcen etc.). Die schriftliche Befragung der Schüler/innen wird im Anschluss an die Bearbeitung des PISA-Tests durchgeführt und dauert rund 45 Minuten. Der Fragebogen zu wesentlichen Merkmalen der Schule, Schul- und Unterrichtsorganisation richtet sich an die Schulleiter/innen und nimmt rund 30 Minuten in Anspruch.

10 Ablauf der Tests Schritt 1: Schritt 2: Schritt 3: Schritt 4: Die österreichische Schulstichprobe von ca. 150 Schulen wird vom internationalen PISA-Konsortium per Zufallsprinzip gezogen. Jede ausgewählte Schule, die zuständigen Schulbehörden und das BMUKK werden im 1. Halbjahr des Schuljahres 2008/09 über diese Auswahl informiert. Verständigung der Schule Auswahl Schulkoordinator/in: Jede ausgewählte Schule erhält Anfang Jänner 2009 vom BIFIE Salzburg ein Informationsschreiben und benennt eine/n PISA-Schulkoordinator/in. Die Schule erhält zudem ein Hardware-Diagnostik-Tool zur Überprüfung der Konfiguration der Schulcomputer für die Durchführung von ERA. Schülerliste (Jg. 93) an das BIFIE Salzburg senden: Der/Die Schulkoordinator/in erstellt eine Liste aller Schüler/innen des Geburtsjahrgangs 1993 und schickt diese an das BIFIE Salzburg. Die Schule informiert das BIFIE Salzburg über die Ergebnisse der Hardware-Diagnostik. Ziehung der Schülerstichprobe Informationsphase: Das BIFIE Salzburg sendet nach Ziehung der Schülerstichprobe die Liste der max. 35 ausgewählten Schüler/innen, von denen jeweils max. 15 auch an ERA teilnehmen, sowie Informationen für PISA-Schüler/innen und deren Eltern an die Schule. Terminfestlegung: Etwa einen Monat vor dem Test legen der/die Schulkoordinator/in und der/die externe Testleiter/in gemeinsam einen Testtermin fest.

11 Schritt 5: Schritt 6: Testtag: Der/Die externe Testleiter/in kommt am vereinbarten Testtag an die Schule, bringt alle Testmaterialien mit, arrangiert die Testräume und notiert die Anwesenheit der Schüler/innen. Der PISA-Test dauert 2 Stunden, die Bearbeitung der Fragebögen 45 Minuten (plus Pausen). Nach einer längeren Pause (30 bis 45 Minuten) bearbeiten die max. 15 ausgewählten Schüler/innen noch den ERA-Test (40 Minuten Testzeit plus ca. 15 Minuten Instruktions- und Übungsphase). Der/Die Testleiter/in protokolliert die relevanten Testvorgänge und Ereignisse und nimmt alle Materialien wieder mit. Am Testtag fehlende Schüler/innen werden nachgetestet: Wenn mehr als 15 % der ausgewählten Testschüler/innen am Testtag fehlen, können sie den Test einige Tage später nachholen. Der Ablauf des PISA-Tests wurde auf eine möglichst geringe Belastung für die Schulen hin konzipiert. Schulkoordinatorinnen und -koordinatoren und externe Testleiter/innen werden für ihre Arbeit vom BIFIE entlohnt. Ablauf einer PISA-Testsitzung Begrüßung und Einleitung durch Testleiter/in PISA-Testheft 2 x 60 min (mit 10 min Pause) 10 min Pause PISA-Schülerfragebogen ca. 45 min min Pause Electronic Reading Assessment (ERA) 40 min Test + 15 min Instruktion und Übung PISA-Test PISA-Fragebogen ERA

12 Qualitätssicherung In einer großen und weltweit durchgeführten Studie wie PISA muss ein großes Augenmerk auf alle Aspekte der Qualität gelegt werden. Dies betrifft sowohl die internationale Konstruktion der Test- und Befragungsinstrumente als auch die Übersetzungsprozeduren, die korrekte Stichprobenziehung, den kontrollierten Ablauf der Testsitzungen an den Schulen, die Einhaltung der Rücklaufquoten und die sorgfältige Kodierung, Gewichtung und Auswertung der erhobenen Daten. Dazu wird vom internationalen Konsortium ein umfassendes Qualitätsmonitoring durchgeführt, z. B. internationale Kontrolle der Testung, Überprüfung der nationalen Zentren vor Ort sowie rigorose Kontrollprozesse bei der Eingabe der Daten und bei der Erstellung der nationalen Datenbasis. Darüber hinaus werden auch am BIFIE Salzburg umfassende Qualitätssicherungsmaßnahmen durchgeführt, welche durch die professionelle Erfahrung der Mitarbeiter/innen am BIFIE unterstützt werden (z. B. langjährige Mitarbeit bei internationalen Studien, Einsatz externer, gut ausgebildeter Testleiter/innen, nationale Überprüfung der Einhaltung der Testprozeduren etc.).

13 Datenschutz PISA ist an aggregierten (zusammengefassten) Daten interessiert, d. h. die Daten einzelner Schüler/innen oder bestimmter Schulen werden nicht ausgewertet, analysiert oder gar veröffentlicht (es gibt kein Schulranking ). Alle kodierten Daten werden für die Analysen anonymisiert, indem Schülernamen nicht gespeichert werden und Schulbezeichnungen durch eine Nummer ersetzt werden, deren Zuordnung (für die Stichprobenverwaltung) nur dem nationalen Datenmanagement bekannt und für Außenstehende (z. B. OECD, BMUKK, Schulaufsicht, andere Schulen etc.) völlig unzugänglich ist. Alle publizierten Ergebnisse beruhen auf kumulierten Vergleichsdaten (z. B. Mittelwert aller österreichischen Schüler/innen, Prozentsatz richtiger Lösungen in allen Berufsschulen oder AHS etc.).

14 Organisation PISA ist ein dezentralisiertes Projekt der OECD (Organisation for Economic Co-operation and Development). Das OECD-Sekretariat in Paris hat die übergreifende Managementverantwortung für das gesamte Projekt, die wichtigsten Entscheidungen fallen im PGB (PISA Governing Board), in dem jeder PISA-Staat eine Stimme hat Österreich entsendet in das PGB einen Vertreter des BMUKK. Zur Abwicklung von PISA 2009 wurden zwei internationale Vertragspartner beauftragt, die für die Realisierung des OECD-Konzepts verantwortlich sind. Konsortium A unter der Leitung von A.C.E.R. (Australian Council for Educational Research) ist für die Testinstrumente und alle Testabläufe verantwortlich. Weitere Mitglieder dieses Konsortiums sind WESTAT (USA), capstan (Linguistic Quality Control, Belgien), HallStat SPRL (Translation Quality Control, Belgien), DIPF (Deutsches Institut für Pädagogische Forschung), ASPE (L unité Analyse des systèmes et des pratiques d enseignement, Universität Liège), Ministère de l Education nationale et de la Formation professionnelle SCRIPT (Luxemburg) sowie NIER (National Institute for Educational Policy Research of Japan). Konsortium B unter der Leitung von CITO (Institute for Educational Measurement, Niederlande) wurde mit den Kontextfragebögen beauftragt. Weitere Mitgliedsorganisationen dieses Konsortiums sind: Institute for Educational Research (Universität Jyväskylä, Finnland), Department of Research Methodology, Measurement, and Data Analysis (Universität Twente, Niederlande) sowie DEPP (Departement des Sciences de l education an der Universität Grenoble, Frankreich).

15 PISA Österreich PISA 2009 wurde in Österreich von BM Dr. in Claudia Schmied in Auftrag gegeben und wird vom BMUKK finanziert. Österreichischer Vertragspartner und national für die wissenschaftliche Konzeption und Realisierung verantwortlich ist das BIFIE Salzburg I Zentrum für Bildungsmonitoring & Bildungsstandards, unter der Leitung von Dr. in Claudia Schreiner. Nationale Projektmanagerin für PISA 2009 ist Mag. a Ursula Schwantner. Für alle Abläufe bezüglich Datenerhebung im Feld zeichnet das Zentrum für Datenmanagement & Statistik (ZDS) des BIFIE in Salzburg unter der Leitung von Martin Pointinger verantwortlich. Unterstützt werden die Wissenschafter/innen am BIFIE durch nationale Expertengruppen. Am BMUKK ist Dr. Mark Német (Sektion V) für PISA zuständig und vertritt Österreich im PISA Governing Board der OECD. v. l. n. r.: Claudia Schreiner, Martin Pointinger, Ursula Schwantner

16 Kontakt Salzburg I Zentrum für Bildungsmonitoring & Bildungsstandards Dr. in Claudia Schreiner Zentrumsleiterin Mag. a Ursula Schwantner Projektleiterin PISA Alpenstraße 121 / 5020 Salzburg Tel.: Fax: pisa@bifie.at / Zentrum für Datenmanagement & Statistik (ZDS) Martin Pointinger Leiter ZDS Alpenstraße 121 / 5020 Salzburg Tel.: Fax: pisa@bifie.at / Bundesministerium für Unterricht, Kunst und Kultur Dr. Mark Német Abt. V/1 Ref. a Minoritenplatz 5 / 1014 Wien Tel.: Fax: mark.nemet@bmukk.gv.at OECD-Sekretariat Dr. Andreas Schleicher Head of the Indicators and Analysis Division Directorate for Education 2, rue André-Pascal Paris Cedex 16 France edu.pisa@oecd.org