PISA Schulqualität sichtbar machen. Programme for International Student Assessment Schülerleistungen in Mathematik, Lesen und Naturwissenschaft

Transkript

1 PISA 2012 Schulqualität sichtbar machen Programme for International Student Assessment Schülerleistungen in Mathematik, Lesen und Naturwissenschaft

2 Ziele der PISA-Studie PISA beleuchtet die Qualität von Schulsystemen und deren Eignung, Schüler/innen auf die Herausforderungen der Zukunft vorzubereiten. Die Verantwortlichen für das Schulsystem, Schüler/innen, Eltern und die Öffentlichkeit haben Anspruch darauf zu erfahren, inwieweit die Schüler/innen das notwendige Wissen und die angestrebten Fertigkeiten im Lauf der Pflichtschulzeit tatsächlich erwerben. Der internationale Vergleich der Ergebnisse aller OECD-Länder erlaubt eine Beurteilung wichtiger Stärken und Schwächen der einzelnen Bildungssysteme. PISA fokussiert auf: Kompetenzmessung & Vergleich (Basisindikatoren) Welche Leistungen erbringen gleichaltrige Schüler/innen verschiedener Systeme und Länder in den grundlegenden Kompetenzbereichen Lesen, Mathematik und Naturwissenschaft? Entwicklung (Trendindikatoren) Wie verändern sich diese Leistungen im Lauf der Zeit in den verschiedenen Ländern? Hintergrund (Kontextindikatoren) Stehen diese Leistungen bzw. Veränderungen mit wichtigen Schülermerkmalen, mit dem familiären Hintergrund oder mit schulischen Faktoren in erkennbarem Zusammenhang?

3 Wichtige Merkmale von PISA PISA (Programme for International Student Assessment) ist eine internationale Studie der OECD (Organisation for Economic Co-operation and Development). PISA testet die Grundkompetenzen 15-/16-jähriger Schüler/innen in Lesen, Mathematik und Naturwissenschaft und stellt fest, ob Jugendliche für das lebenslange Lernen und die Berufswelt gut vorbereitet sind. PISA findet zyklisch alle drei Jahre mit wechselnden Schwerpunkten statt (2000/2009 Lesen, 2003/2012 Mathematik, 2006/2015 Naturwissenschaft). Grundlage für die Testung bildet die PISA-Rahmenkonzeption (die PISA-Frameworks) auf Basis des Modells des lebenslangen Lernens. In jedem Jahr vor der Haupterhebung findet ein Feldtest zur Erprobung und Überprüfung der neuen Aufgaben und aller Prozeduren rund um die Testung statt. NATURWISSENSCHAFT Lesen Mathematik LESEN Mathematik Naturwissenschaft MATHEMATIK Naturwissenschaft Lesen

4 PISA 2012: Zielgruppe und Teilnehmerländer An PISA 2012 nehmen insgesamt 66 Länder teil (alle 34 OECD- und 32 Partnerländer). Zielgruppe für PISA 2012 sind Schüler/innen des Geburtsjahrgangs 1996 (ab der 7. Schulstufe). In Österreich wird eine Zufallsstichprobe von rund 5000 Schülerinnen und Schülern aus ca. 200 Schulen aller Schulsparten gezogen. Pro Schule werden max. 35 Schüler/innen ausgewählt. Sind weniger als 35 Zielschüler/innen an einer Schule, werden alle Schüler/ innen des Zieljahrgangs getestet. Folgende Schulsparten werden von PISA-Schülerinnen und -Schülern besucht: Allgemeinbildende Pflichtschulen APS (Hauptschulen, Polytechnische Schulen, Sonderschulen*) Allgemeinbildende Höhere Schulen AHS (Gymnasium, RG, ORG, Schulen mit eigenem Statut) Berufsbildende Mittlere Schulen BMS (Fachschulen, Handelsschulen etc.) Berufsbildende Höhere Schulen BHS (HTL, HAK, HBLA etc.) Berufsbildende Pflichtschulen (Berufsschulen) Anstalten der Lehrer- und Erzieherbildung (BA für Kindergarten- und Sozialpädagogik) *Für Schüler/innen in Sonderschulen gibt es eine verkürzte und einfachere Testheft- und Fragebogenversion.

5 Die getesteten Kompetenzen Lesen, Mathematik und Naturwissenschaft sind die drei Kernkompetenzen, die bei jeder PISA-Erhebung getestet werden. In jedem Erhebungsjahr wird dabei ein Bereich schwerpunktmäßig erfasst, was bedeutet, dass etwas mehr als die Hälfte aller Testaufgaben aus diesem Bereich stammen. Bei PISA 2012 ist es Mathmatik. Darüber hinaus wird bei PISA 2012 wie bereits bei PISA 2003 die fächerübergreifende Problemlösekompetenz der Jugendlichen erfasst. Neu ist, dass die Problemlöseauf gaben ausschließlich am Computer bearbeitet werden. Dieser Computertest beinhaltet Aufgaben aus den Bereichen Problemlösen, Mathematik und Lesen. Mathematikkompetenz Mathematikkompetenz ist die Fähigkeit einer Person, zu erkennen und zu verstehen, welche Rolle Mathematik in der Welt spielt, fundiert mathematisch argumentieren zu können und sich auf eine Weise mit der Mathematik zu befassen, die den Anforderungen des gegenwärtigen und künftigen Lebens einer Person als konstruktivem, engagiertem und reflektierendem Bürger entspricht. Der Alltag bietet eine Fülle an Situationen, die eine konkrete Anwendung mathematischen Wissens, adäquater Methoden und mathematischer Operationen erfordern. Bei den PISA- Mathematikaufgaben spielen drei Aspekte eine wesentliche Rolle: Aufgabeninhalte (Größen, Raum und Form, Veränderung und Zusammenhänge sowie Unsicherheit), Prozesse (z. B. mathematisches Denken, mathematisches Organisieren, Repräsentation) sowie verschiedene Situationen und Kontexte (persönliches Leben, Schulleben, Arbeit und Beruf, Öffentlichkeit und Wissenschaft).

6 Lesekompetenz Lesekompetenz zu besitzen heißt, geschriebene Texte zu verstehen, sie zu nutzen, über sie zu reflektieren und sich damit zu beschäftigen, um damit eigene Ziele zu erreichen, sein Wissen und seine Möglichkeiten weiterzuentwickeln und am gesellschaftlichen Leben erfolgreich teilzunehmen. Der Begriff Lesekompetenz bezieht sich dabei nicht auf die rein technische Fähigkeit, lesen zu können. Vielmehr geht es darum, einem Text Informationen zu entnehmen, Inhalte zu verstehen und Bedeutungen zu interpretieren bzw. auch über Form und Inhalt eines Textes zu reflektieren. Die PISA-Leseaufgaben entspringen unterschiedlichen Situationen (z. B. persönliche, berufliche oder öffentliche) und bestehen aus unterschiedlichen Texttypen (z. B. Erzählung, Beschreibung, Argumentation) und Textformaten (z. B. fortlaufende Texte, Listen, Formulare, Pläne). Naturwissenschaftskompetenz Naturwissenschaftskompetenz zu besitzen heißt, naturwissenschaftliche Kenntnisse zu nutzen, Fragen zu identifizieren und auf Beweise gestützte Schlüsse zu ziehen, um die Natur und die durch Menschen gemachten Änderungen zu verstehen und um Entscheidungshilfen zu erhalten. Die PISA-Naturwissenschaftsaufgaben sind in lebensnahe Kontexte eingebettet (persönliche, soziale und globale) und erfordern als zentrale Fähigkeiten das Erkennen naturwissenschaftlicher Fragestellungen, das Erklären naturwissenschaft-

7 licher Phänomene und das Heranziehen naturwissenschaftlicher Beweise (z. B. für Schlussfolgerungen). Erfasst werden Kenntnisse in den Hauptgebieten Physik, Chemie, Biologie, Erd- und Weltraumwissenschaften sowie Wissen über die Naturwissenschaften (naturwissenschaftliches Forschen und naturwissenschaftliche Erklärungen). Problemlösekompetenz Problemlösekompetenz ist die Fähigkeit einer Person, kognitive Prozesse zu verwenden, um an Situationen, in denen keine offensichtliche Lösung vorhanden ist, heranzugehen und diese zu lösen. Problemlösekompetenz beinhaltet die Bereitschaft, sich mit solchen Situationen auseinanderzusetzen, um die eigenen Möglichkeiten auszuschöpfen und an der Gesellschaft auf verantwortungsvolle Weise teilzunehmen. Problemlöseaufgaben konfrontieren die Schüler/innen mit neuartigen, nicht-routinemäßigen Problemen. Diese erfordern Denkprozesse auf unterschiedlichen Ebenen das Problem muss verstanden, strukturiert und teilweise formalisiert werden; Beziehungen müssen aufgelöst und neu miteinander in Verbindung gebracht werden. Dabei fokussiert PISA 2012 auf Problemen, deren Lösung die Interaktion von Problemlöser/in und Problem erfordert, was mithilfe des Computertests umgesetzt wird.

8 Die Tests Alle PISA-Aufgaben werden auf Basis der Frameworks, in denen die Testinhalte festgelegt wurden, von internationalen und nationalen Expertengruppen entwickelt und durch die nationalen PISA-Zentren sowie nationale Expertinnen und Experten begutachtet. Aus allen PISA-Aufgaben (Lesen, Mathematik, Naturwissenschaft) werden 13 verschiedene Testheftformen gebildet, für deren Bearbeitung die Schüler/ innen zwei Stunden Zeit zur Verfügung haben. Computertest Im Anschluss an den herkömmlichen schriftlichen PISA-Test und die Beantwortung des Schülerfragebogens findet bei PISA 2012 ein Computertest mit Aufgaben aus den Bereichen Problemlösen, Mathematik und Lesen statt. An diesem Test nehmen maximal 18 Schüler/innen aus der ursprünglichen PISA-Stichprobe einer Schule teil. Der Test dauert etwa 40 Minuten. Beispielaufgaben für Lesen können unter bearbeitet werden (Username: public; Password: access).

9 Die Fragebögen Mit den Fragebögen auf Schul- und Schülerebene werden wichtige Kontextinformationen erhoben, die im Zusammenhang mit den Schülerleistungen stehen (z. B. demografische Daten, Einstellungen zum Lesen, Unterricht, Basisdaten zur Schule, Ressourcen etc.). Die schriftliche Befragung der Schüler/innen wird im Anschluss an die Bearbeitung des PISA-Tests durchgeführt und dauert 60 Minuten. Der Fragebogen zu wesentlichen Merkmalen der Schule, Schul- und Unterrichtsorganisation richtet sich an die Schulleiter/ innen und nimmt rund 50 Minuten in Anspruch.

10 Ablauf der Tests Die österreichische Schulstichprobe von ca. 200 Schulen wird vom internationalen PISA-Konsortium per Zufallsprinzip gezogen. Die zuständigen Schulbehörden und die ausgewählten Schulen werden im 1. Halbjahr des Schuljahres 2011/12 entsprechend informiert. Schritt 1: Schritt 2: Schritt 3: Schritt 4: Verständigung der Schule Auswahl Schulkoordinator/in: Jede ausgewählte Schule erhält Anfang Jänner 2012 vom BIFIE Salzburg ein Informationsschreiben und benennt eine/n PISA-Schulkoordinator/in. Die Schule erhält zudem ein System-Diagnose-Tool zur Überprüfung der Eignung der Schulcomputer für die Durchführung des Computertests. Schülerliste (Jg. 96) an das BIFIE Salzburg senden: Der/Die Schulkoordinator/in erstellt eine anonymisierte Liste aller Schüler/innen des Geburtsjahrgangs 1996 und schickt diese an das BIFIE Salzburg. Die Schule informiert das BIFIE Salzburg über die Ergebnisse der System-Diagnose. Terminfestlegung Im Februar 2012 legen der/die Schulkoordinator/in und der/ die externe Testleiter/in gemeinsam einen Testtermin fest. Ziehung der Schülerstichprobe Informationsphase: Das BIFIE Salzburg sendet nach Ziehung der Schülerstichprobe die Liste der max. 35 ausgewählten Schüler/innen, von denen jeweils max. 18 zusätzlich auch am Computertest teilnehmen sowie Informationen für PISA-Schüler/innen und deren Eltern an die Schule.

11 Schritt 5: Schritt 6: Testtag: Der/die externe Testleiter/in kommt am vereinbarten Testtag an die Schule, bringt alle Testmaterialien mit, arrangiert die Testräume und notiert die Anwesenheit der Schüler/innen. Der PISA-Test dauert 2 Stunden, die Bearbeitung des Frage - bogens ca. 60 Minuten (plus Pausen). Nach einer längeren Pause (ca. 1 Stunde) bearbeiten die max. 18 ausgewählten Schüler/innen noch den Computertest (40 Minuten Testzeit plus ca. 15 Minuten Instruktions- und Übungsphase). Der/Die Testleiter/in protokolliert die relevanten Testvorgänge und Ereignisse und nimmt alle Materialien wieder mit. Am Testtag fehlende Schüler/innen werden nachgetestet: Wenn mehr als 15 % der ausgewählten Testschüler/innen am Testtag fehlen, können sie den Test einige Tage später nachholen. Der Ablauf des PISA-Tests wurde auf eine möglichst geringe Belastung für die Schulen hin konzipiert. Ablauf einer PISA-Testsitzung Begrüßung und Einleitung durch Testleiter/in PISA-Testheft 2 x 60 min (mit 5 min Pause) 15 min Pause PISA-Schülerfragebogen ca. 60 min 60 min Pause Computertest: ca.15 min Instruktion und Übung, 40 min Test PISA-Test PISA-Fragebogen Computertest

12 Qualitätssicherung In einer großen und weltweit durchgeführten Studie wie PISA muss großes Augenmerk auf alle Aspekte der Qualität gelegt werden. Dies betrifft sowohl die internationale Konstruktion der Test- und Befragungsinstrumente als auch die Übersetzungsprozeduren, die korrekte Stichprobenziehung, den kontrollierten Ablauf der Testsitzungen an den Schulen, die Einhaltung der Rücklaufquoten und die sorgfältige Kodierung, Gewichtung und Auswertung der erhobenen Daten. Dazu wird von der OECD (dem internationalen Konsortium) ein umfassendes Qualitätsmonitoring durchgeführt, z. B. internationale Kontrolle der Testung und der nationalen Zentren vor Ort durch PISA Quality Monitors, rigorose Kontrollprozesse bei der Erfassung der Daten und bei der Erstellung der nationalen Datenbasis. Darüber hinaus werden auch am BIFIE Salzburg umfassende Qualitätssicherungsmaßnahmen durchgeführt, welche durch die professionelle Erfahrung der Mitarbeiter/innen am BIFIE unterstützt werden (z. B. langjährige Mitarbeit bei internationalen Studien, Einsatz externer, gut ausgebildeter Testleiter/ innen, nationale Überprüfung der Einhaltung der Testprozeduren etc.).

13 Datenschutz PISA ist an aggregierten (zusammengefassten) Daten interessiert, d. h. die Daten einzelner Schüler/innen oder bestimmter Schulen werden nicht ausgewertet, analysiert oder gar veröffentlicht (es gibt kein Schulranking ). Alle publizierten Ergebnisse beruhen auf kumulierten Vergleichsdaten (z. B. Mittelwert aller österreichischen Schüler/innen, Prozentsatz richtiger Lösungen etc.). Die Erhebung der Daten bei PISA erfolgt indirekt personenbezogen, d. h. das BIFIE erhält keine Namen der teilnehmenden Schüler/innen. Das BIFIE hält sich damit sowohl an die Vorgaben des Datenschutzgesetzes 2000 sowie an jene der OECD und ist ausschließlich an aggregierten Daten und nicht an Einzeldaten von Personen interessiert. Alle Mitarbeiter/ innen des Bundesinstituts BIFIE sind per BIFIE-Gesetz (BGBl. I Nr. 25/2008, 3 Abs. 2) zur Verschwiegenheit verpflichtet. Die Daten werden ausschließlich zu wissenschaftlichen Zwecken verwendet.

14 Organisation PISA ist ein dezentralisiertes Projekt der OECD (Organisation for Economic Co-operation and Development). Das OECD- Sekretariat in Paris hat die übergreifende Managementverantwortung für das gesamte Projekt, die wichtigsten Entscheidungen fallen im PGB (PISA Governing Board), in dem jeder PISA-Staat eine Stimme hat Österreich entsendet in das PGB einen Vertreter des BMUKK. Mit der Abwicklung von PISA 2012 wurde ein internationales Konsortium unter der Leitung von A.C.E.R. (Australian Council for Educational Research) von der OECD beauftragt. Die 10 Mitglieder dieses Konsortiums sind neben A.C.E.R. folgende: aspe (Analyse des systèmes et des pratiques d enseignement, Universität Liège), capstan (Linguistic Quality Control, Belgien), DIPF (Deutsches Institut für Pädagogische Forschung), ETS (Educational Testing Service, USA), ILS (Department of Teacher Education and School Research, Universität of Oslo), IPN (Leibnitz Institut für die Pädagogik der Naturwissenschaften und Mathematik, Kiel), NIER (National Institute for Educational Policy Research of Japan), CRP Henri Tudor und Universität Luxemburg, EMACS sowie WESTAT (USA).

15 PISA Österreich PISA 2012 wurde in Österreich von BM Dr. in Claudia Schmied in Auftrag gegeben und wird vom BMUKK finanziert. Österreichischer Vertragspartner und national für die wissenschaftliche Konzeption und Realisierung verantwortlich ist das BIFIE Salzburg I Zentrum für Bildungsmonitoring & Bildungsstandards, unter der Leitung von Dr. in Claudia Schreiner. Nationale Projektmanagerin für PISA 2012 ist Mag. a Ursula Schwantner. Unterstützt werden die Wissenschafter/innen am BIFIE durch nationale Expertinnen und Experten. Am BMUKK ist Dr. Mark Német (Bereich IT/GM) für PISA zuständig und vertritt Österreich im PISA Governing Board der OECD.

16 Kontakt Salzburg I Zentrum für Bildungsmonitoring & Bildungsstandards Mag. a Ursula Schwantner Projektleiterin PISA Alpenstraße 121 / 5020 Salzburg Tel.: pisa@bifie.at Ansprechperson im BMUKK Dr. Mark Német Bundesministerium für Unterricht, Kunst und Kultur, Ref. IT/1a Minoritenplatz Wien Tel.: mark.nemet@bmukk.gv.at