2003 Programme for International Student Assessment Schülerleistungen in Mathematik, Lesen, Naturwissenschaft und Problemlösen am Beginn des neuen Jahrtausends PISA Projektzentrum Österreich Universität Salzburg Im Auftrag des Bundesministeriums für Bildung, Wissenschaft und Kultur
International vergleichbare Indikatoren für Schülerleistungen ZIELE Wie gut bereiten unsere Schulen ihre Schüler/innen auf die Herausforderungen der Zukunft vor? Eltern, Schüler/innen, die Öffentlichkeit und die Verantwortlichen für das Schulsystem haben Anspruch darauf zu erfahren, in welchem Umfang die Schülerinnen und Schüler das notwendige Wissen und die angestrebten Fertigkeiten tatsächlich erwerben. Mit international genormten Testinstrumenten werden alle drei Jahre die Leistungen der 15-/16-jährigen Schüler/innen in Lesen, Mathematik und Naturwissenschaft gemessen. Im zweiten Zyklus (2003) kommt noch der Bereich Problemlösen hinzu. Der direkte Vergleich dieser Ergebnisse mit den Leistungsstandards der rund 30 wichtigsten Industriestaaten erlaubt eine Beurteilung wichtiger Stärken und Schwächen der einzelnen Bildungssysteme. Die Einbeziehung umfangreicher, ebenfalls von der OECD erhobener Systemindikatoren zu Ressourcen und Prozessen ermöglicht detaillierte Analysen von Zusammenhängen und Ursachen. Die OECD-Staaten vergleichen die Effektivität ihrer Bildungssysteme System-Monitoring für gezielte und kontinuierliche Qualitätsentwicklung und -sicherung Die standardisierten PISA- Leistungsindikatoren sind eine wichtige Orientierungsinformation für die Verantwortlichen unseres Schulwesens. Aus diesen kontinuierlich stattfindenden Qualitätsprüfungen lassen sich wertvolle Längsschnittvergleiche über die Leistungsentwicklung gewinnen. PISA-Aufgaben und Referenztabellen können zum standortspezifischen Benchmarking herangezogen werden. PISA unterstützt damit gezielt die Qualitätsentwicklung auf System- und Schulebene. 2
PISA ist ein dezentralisiertes Projekt der OECD (Organisation for Economic Cooperation and Development). Seit mehr als 10 Jahren erhebt die OECD im Rahmen des INES-Projekts (Indicators of Educational Systems) Bildungssystemdaten ihrer derzeit fast 30 Mitgliedsstaaten und publiziert sie vergleichend als Education at a Glance (deutsch: Bildung auf einen Blick ). Ein wesentlicher Teil dieser Indikatoren umfasst die Beschreibung der Schülerleistungen in wichtigen Fachbereichen (u.a. Lesen, Mathematik). Während man in früheren Jahren dabei vor allem Ergebnisse der internationalen IEA-Studien heranzog (z.b. TIMSS), sollen in PISA die OECD-Staaten nun selbstständig und in intensiver Kooperation die Leistungsdaten erheben. Jeder teilnehmende Staat finanziert seine nationale Datenerhebung selbst und leistet einen Beitrag zu den internationalen Kosten. INTERNATIONALE ORGANISATION Das OECD-Sekretariat in Paris hat die übergreifende Managementverantwortung für das gesamte Projekt, die wichtigsten Entscheidungen fallen im BPC (Board of Participating Countries), in dem jeder PISA-Staat eine Stimme hat - Österreich entsendet in das BPC einen Vertreter des BM:BWK. Zur technisch-praktischen Abwicklung wurde ein internationaler Vertragspartner beauftragt, der für die Realisierung des OECD-Konzeptes verantwortlich ist. Für den zweiten Zyklus (Test im Jahr 2003) ist dieser Partner ein internationales Konsortium, bestehend aus ACER (Australian Council for Educational Research), CITO (Nationales Assessment-Institut der Niederlande), ETS (Educational Testing Service in den USA), NIER (National Institute of Educational Testing in Japan) und WESTAT (USA). ORGANISATION IN ÖSTERREICH INTERNATIONALES KONSORTIUM Die Umsetzung von PISA in Österreich wurde von Frau BM Elisabeth Gehrer veranlasst und wird durch das Bundesministerium für Bildung, Wissenschaft und Kunst finanziert. Österreichischer Vertragspartner und als PISA Projektzentrum für die wissenschaftliche Konzeption und die nationale Realisierung verantwortlich ist der Fachbereich System- Monitoring des Instituts für Erziehungswissenschaft der Universität Salzburg. Leiter dieser Forschungsgruppe und National Project Manager ist AssProf. DDr. Günter Haider. Unterstützt werden die Wissenschafter durch eine begleitende Arbeitsgruppe am BM:BWK (MinR Mag. Plank) und das Nationale PISA-Komitee (Vorsitz SCh Dr. Dobart), dem Vertreter der Schüler und Eltern sowie der regionalen Schulbehörden und der Schulaufsicht angehören. 3
OECD-Teilnehmer Australien Belgien Dänemark Deutschland Finnland Frankreich Griechenland Großbritannien Irland Island Italien Japan Kanada Korea Luxemburg Mexiko Neuseeland Niederlande Norwegen Österreich Polen Portugal Schweden Schweiz Spanien Slowakische Republik Tschechische Republik Ungarn Vereinigte Staaten von Amerika PISA-Teilnehmer aus Nicht-OECD-Staaten 4 Stand Sommer 2001 AN PISA TEILNEHMENDE STAATEN Die Teilnahme aller derzeitigen OECD-Staaten und von einigen Nicht-OECD-Staaten bedeutet, dass in PISA zwischen 2002 und 2003! mehr als 150.000 Schülerinnen und Schüler im Alter von 15 bis 16 Jahren getestet und befragt und! mehr als 5.000 Schulen aus 36 Staaten involviert sein werden. Argentinien, Brasilien, China, Lettland, Peru, Russland, Thailand
PISA wird sich vorerst über drei jeweils mehr-jährige Projektzyklen erstrecken: 1998-2001 1. Zyklus (Test 2000) Schwerpunkt LESEN + Mathematik, Naturwissenschaft 2000-2004 2. Zyklus (Test 2003) Schwerpunkt MATHEMATIK + Lesen, Naturwissenschaft, Problemlösen 2003-2007 3. Zyklus (Test 2006) Schwerpunkt NATURWISSENSCHAFT + Lesen, Mathematik bereits erfolgreich abgeschlossen Tests im Abstand von je 3 Jahren PISA 2003 ZEITPLAN 2. Zyklus (2000-2004) 2000/01 Planung/Design von PISA 2003 Diskussion in Expertengruppen Konstruktion der Pilotversion der Tests und Fragebögen, Übersetzung April/Mai 02 PISA FELDTEST - Datenerhebung Erprobung der Instrumente und Prozeduren, Auswertung, Überarbeitung und Verbesserung der Aufgaben 2002 Erstellung aller Tests und Fragebögen für den Haupttest, Übersetzung April/Mai 03 PISA HAUPTTEST - Datenerhebung 2003 Bewerten und Kodieren der Testhefte Dateneingabe und Datenauswertung 2004 Erstellung der Indikatoren/Berichte Publikation der Ergebnisse 5
Zielgruppe im Haupttest 2003: Jahrgang 87 15- bis 16-jährige Schüler/innen aller Schultypen Zielgruppe des PISA-Assessments im 2. Zyklus (Haupttest im Mai 2003) sind Schülerinnen und Schüler des Geburtsjahrganges 1987. Diese dann 15- bis 16-Jährigen sind entweder im letzten Jahr der 9-jährigen Schulpflicht oder haben ihre Schulpflicht bereits erfüllt. Im Haupttest wird in Österreich eine Zufallsstichprobe von rund 6.000 Personen aus ca. 230 Schulen (Schultypen siehe unten) getestet. An jeder zufällig ausgewählten PISA-Schule werden maximal 35 Schülerinnen und Schüler des Jahrgangs 1987 getestet. Sind mehr als 35 dieser Personen an einer Schule, so wird ein Auswahlverfahren ebenfalls nach Zufall angewendet. Zielgruppe im FELDTEST 2002: Jahrgang 86 Im Feldtest, der der Testung der Instrumente dient, werden Schüler/innen des Geburtsjahrgangs 1986 getestet. Dazu wird eine Stichprobe von ca. 1000 Schüler/innen aus ungefähr 35 Schulen zufällig gezogen. Es werden ebenfalls maximal 35 Schüler/innen an jeder ausgewählten PISA-Schule getestet. WELCHE SCHÜLER GETESTET WERDEN SCHULTYPEN in Österreich, in denen getestet wird: Allgemeinbildende Pflichtschulen (Hauptschulen, Polytechnische Schulen, Sonderschulen) Allgemeinbildende Höhere Schulen (Gymnasien, RG, ORG, Schulen mit eigenem Statut) Berufsbildende Mittlere Schulen (BMS) (Fachschulen, Handelsschulen,...) Berufsbildende Höhere Schulen (BHS) (HTL, HAK, HBLA,...) Berufsbildende Pflichtschulen (Berufsschulen) Mittlere und Höhere Anstalten der Lehrer- und Erzieherbildung (Kindergartenpädagogik) 6
DIE TESTS 2 Std Testzeit (vier 30-minütige Aufgabenblöcke) 13 verschiedene Testhefte Im zweiten PISA-Zyklus (Test im Jahr 2003) liegt der Schwerpunkt des Assessments im Bereich MATHEMATIK. Etwas mehr als die Hälfte (55%) aller PISA-Testaufgaben messen daher Mathematikfähigkeiten. Jeweils 15% der Testaufgaben stammen aus LESEN, aus Bereichen der NATURWISSENSCHAFT (Physik, Chemie, Biologie, Erdwissenschaft) und dem allgemeinen PROBLEMLÖSEN. Die Testaufgaben sind insgesamt in mehreren Blöcken zu je 30 Minuten Arbeitszeit organisiert. Es gibt 7 Mathematik-Blöcke, 2 Lese-Blöcke, 2 Naturwissenschafts- Blöcke und 2 Problemlöse-Blöcke. Aus diesen Aufgabenblöcken werden 13 verschiedene Testhefte gebildet. Ein Testheft umfasst jeweils vier 30-Minuten- Blöcke aus mindestens zwei der drei Fächer. Daraus ergibt sich eine Bearbeitungszeit von 2 Stunden pro Testheft. Die Blöcke sind in den Testheften in verschiedenen Kombinationen und in unterschiedlicher Reihenfolge ( Spiraldesign ) angeordnet. Die Aufgabenblöcke wurden von internationalen Arbeitsgruppen der OECD und ACER (Functional Expert Groups) in Zusammenarbeit mit den 36 nationalen PISA-Zentren (Subject Area Groups) erstellt, begutachtet und werden im Feldtest 2001 umfassend erprobt. Multiple Choice Aufgaben In einem Drittel bis zur Hälfte der Bearbeitungszeit von 120 min (je nach Fach und Block etwas unterschiedlich) werden Aufgaben eingesetzt, bei denen die Schüler/innen aus mehreren vorgegebenen Antworten auswählen können. Kurze offene Aufgaben Etwa 20-25% der Testzeit wird für Aufgaben verwendet, bei denen die Schüler/innen kurze verbale oder numerische Antworten selbst finden und niederschreiben sollen (z.b. Kurzantwortaufgaben, Lückentextaufgaben) 7 Komplexe offene Aufgaben Etwa 25-35% der Testzeit wird für Aufgaben verwendet, bei denen die Schüler/innen komplexe und längere verbale Antworten selbst konstruieren, niederschreiben und begründen sollen (z.b. schrittweise Lösungen, Produktionsitems)
MATHE- MATIK LESEKOMPETENZ zu besitzen heißt, geschriebene Texte zu verstehen, sie zu nutzen und über sie zu reflektieren, um damit eigene Ziele zu erreichen, sein Wissen und seine Möglichkeiten weiter zu entwickeln und am gesellschaftlichen Leben erfolgreich teilzunehmen. NATUR- WISS. MATHEMATIKKOMPETENZ ist die Fähigkeit einer Person zu erkennen und zu verstehen, welche Rolle Mathematik in der Welt spielt, fundiert mathematisch argumentieren zu können und sich auf eine Weise mit der Mathematik zu befassen, die den Anforderungen des gegenwärtigen und künftigen Lebens dieser Person als konstruktivem, engagiertem und reflektierendem Bürger entspricht. Zur Organisation der Aufgaben in diesem Bereich spielen 3 Aspekte eine wesentliche Rolle: Die Aufgabeninhalte ( Big Ideas : Quantität, Raum und Form, Veränderung und Beziehungen sowie Statistik und Wahrscheinlichkeit), die Prozesse (Kompetenzen) zum Lösen der Aufgaben (z.b. mathematisches Denken, mathematisches Organisieren, Repräsentation,...) sowie verschiedene Situationen und Kontexte (persönliches Leben, Schulleben, Arbeit und Freizeit, Gemeinschaft und Gesellschaft und wissenschaftlich). NATURWISSENSCHAFTSKOMPETENZ zu besitzen heißt, naturwissenschaftliche Kenntnisse dafür zu nutzen, Fragen zu identifizieren und auf Beweise gestützte Schlüsse zu ziehen, um die Natur und die durch Menschen gemachten Änderungen zu verstehen und um Entscheidungshilfen zu erhalten. PROBLEMLÖSEN ist die Fähigkeit einer Person, kognitive Prozesse zu verwenden, um Probleme zu lösen, die sich aus verschiedenen Bereichen zusammensetzen und bei denen der Lösungsweg und der Fähigkeitsbereich oder der Bereich des Lehrplans, dem sie zugeordnet werden können, nicht unmittelbar offensichtlich ist. LESEN Bei der Erstellung der Testaufgaben werden sowohl Kontextvariablen (z.b. Texte zu persönlichen, beruflichen oder öffentlichen Anlässen) als auch unterschiedliche Texttypen (z.b. erzählende, beschreibende, argumentative) und Textformate (z.b. durchgehende Erzählungen, Listen, Formulare, Pläne) berücksichtigt. Auch bei der Konstruktion der NW-Aufgaben werden mehrere Ebenen von Fähigkeiten und Fertigkeiten unterschieden (z.b. Reproduktion, Konzepte, Problemlösen), wesentliche Themen der NW-Gebiete exemplarisch herausgegriffen (z.b. PHYSIK: Materie und ihre Veränderung, Energie, Bewegung; BIOLOGIE: Charakteristik von Organismen, Lebenszyklen, Ökosysteme, Evolution; ERDWISSENSCHAFT: Wetter und Klima, geochemische Zyklen, erneuerbare Ressourcen) und reale Kontext-Situationen berücksichtigt. 8 PROBLEM- LÖSEN Bei der Organisation dieses Bereiches werden verschiedene Prozesse und Strategien des Problemlösens berücksichtigt (z.b. Erkennen und Verstehen eines Problems, Formulieren eines Problems), verschiedene Problemtypen (z.b. Entscheidungsaufgaben) und verschiedene komplexe Situationen aus dem realen Leben (z.b. persönlicher Kontext, schulischer Kontext) berücksichtigt.
Schülerfragebögen Im PISA Projekt werden Schülerleistungen gemessen und anhand von Leistungsstandards beschrieben und verglichen. Selbstverständlich besteht auch großes Interesse an der ERKLÄRUNG der Ergebnisse, z.b.: Warum haben die Schüler/innen des einen Landes besser abgeschnitten? Besteht ein Zusammenhang zwischen dem sozioökonomischen Hintergrund und der Schulleistung? Welche Rolle spielt das Geschlecht bei den verschiedenen Leistungen? Um solche wichtigen Hintergrunddaten zu erhalten, wird im Anschluss an den Test eine rund 45-minütige schriftliche Befragung der Schüler/innen durchgeführt. Einige wichtige Themen der Schülerbefragung: - demographische Daten (z.b. Alter, Geschlecht, Muttersprache, Anzahl der Schuljahre) - sozioökonomischer Hintergrund (z.b. Beruf und Schulbildung der Eltern) - die schulische Karriere der Person - die Vertrautheit der Schüler/innen mit der Mathematik - vorhandene und nutzbare Lernressourcen in Schule und Elternhaus - einige Instruktionspraktiken aus der Sicht der Schüler/innen - Metakognitionen Die Leistungen von Schüler/innen werden auch durch Merkmale der Schule, der Schulorganisation oder der Unterrichtsorganisation beeinflusst. Daher wird in einem etwa 30- minütigen Schulfragebogen nach solchen wesentlichen Merkmalen gefragt. Der Schulfragebogen sollte am besten vom Schulleiter/von der Schulleiterin beantwortet werden. 9 FRAGE BÖGEN Schulfragebögen Einige wichtige Themen: - Basisdaten zur Schule (Schultyp, Schulgröße, Klassenzahl, Lehrerzahl, durchschnittliche Klassengrößen, etc.) - Schulressourcen und Lernumgebung - Kontext von Unterricht und Erziehung - Beteiligung von Eltern und Schüler/innen - Maßnahmen der Qualitätsentwicklung
Das nationale PISA Zentrum wählt aus den rund 2.500 Schulen aller Typen (mit Schüler/innen des Jahrgangs 87) eine zufällige Stichprobe von rund 10% aus. Jede ausgewählte Schule, die zuständigen Schulbehörden und das BM:BWK werden im 1. Halbjahr des Schuljahres 02/03 über diese Auswahl informiert. WIE DER TEST AN EINER SCHULE ABLÄUFT 1. SCHRITT 2. SCHRITT 3. SCHRITT 4. SCHRITT 5. SCHRITT 6. SCHRITT 7. SCHRITT 8. SCHRITT Informierung der Schule - Auswahl Schulkoordinator Jede ausgewählte Schule erhält vom Projektzentrum Informationsmaterial und jede Schule bestimmt einen (dafür bezahlten) PISA-Schulkoordinator. Schülerliste (Jg. 87) an das Projektzentrum senden Der Schulkoordinator druckt eine Liste aller Schüler/innen des Geburtsjahrgangs 1987 und faxt/mailt/sendet diese an das PISA Projektzentrum Salzburg. Projektzentrum wählt Schüler - Informationsphase Das Projektzentrum sendet die Liste der max. 35 ausgewählten Schüler/innen und ausreichend Informationsblätter für PISA-Testschüler und ihre Eltern. Terminfestlegung: Schulkoordinator-Testadministrator Etwa einen Monat vor dem Test legen der Schulkoordinator und der externe Testadministrator (vom PI) gemeinsam den besten Testtermin fest. Testadministrator bereitet Test an der Schule vor Der externe Testadministrator kommt am Testtag rechtzeitig an die Schule, bringt alle Testmaterialien mit, kontrolliert Testraum und Anwesenheit. Die ausgewählten Schüler werden getestet Zur festgelegten Testzeit werden die ausgewählten Schüler/innen getestet. Dauer des PISA Assessments: ca. 2 Stunden Test und 45 Minuten Fragebogen. Am Testtag fehlende Schüler werden nachgetestet Wenn mehr als 5 ausgewählte Testschüler am Testtag fehlen, so holen sie ihren Test einige Tage später nach. Protokollierung und Abschluss Der Testadministrator protokolliert die relevanten Testvorgänge und Ereignisse (gem. mit Schulkoordinator) und nimmt alle Materialien wieder mit. Der Ablauf des PISA-Tests wurde auf die geringste mögliche Belastung für die Schulen hin konzipiert und umfassend erprobt. Schulkoordinatoren und externe Testadministratoren werden für ihre Arbeit vom Projektzentrum entlohnt. 10 6
QUALITÄTS SICHERUNG In einer großen und weltweit durchgeführten Studie wie PISA muss ein großes Augenmerk auf alle Aspekte der Qualität gelegt werden. Dies betrifft die internationale Konstruktion der Test- und Befragungsinstrumente genauso wie die Übersetzungsprozeduren, die korrekte Auswahl der Schulen und Schüler, den kontrollierten Ablauf des Tests an den Schulen und die sorgfältige Kodierung, Gewichtung und Auswertung der erhobenen Daten. Dazu wird von der OECD (dem internationalen Konsortium) ein umfassendes Qualitätsmonitoring durchgeführt, das aus drei Teilen besteht: Jedes der mehr als 30 nationalen Projektzentren wird von Experten der OECD/ACER (National Centre Quality Managers, NCQM) besucht und alle wesentlichen nationalen Maßnahmen (wie z.b. Sampling, Übersetzung, Handbücher) werden besprochen und geprüft. Qualität der nationalen Projektzentren Qualität der Datenerhebung In jedem PISA Teilnehmerland besuchen Experten der OECD/ACER rund 20 bis 30 Schulen während der Durchführung des Tests und kontrollieren die Testadministration (School Quality Monitors, SQM). Sie beobachten die Testprozeduren und erstellen einen Bericht, der Aufschluss darüber gibt, wie genau die international vorgeschriebenen Testprozeduren eingehalten wurden. Die nationalen Projektzentren werden rigorosen Kontrollprozessen bei der Eingabe der Daten und bei der Erstellung der nationalen Datenbasis unterworfen. Sämtliche Datensätze müssen mit der vollständigen technischen Dokumentation an das internationale Datenzentrum der PISA Studie übermittelt werden. Qualität der kodierten Datensätze PISA ist letztlich nur an aggregierten (zusammengefassten) Daten interessiert, d.h. die Daten einzelner Schüler/innen oder bestimmter Schulen sind für das PISA Projekt ohne jede Bedeutung. Alle kodierten Daten werden daher für die Analysen dadurch anonymisiert, dass Schülernamen nicht gespeichert werden und Schulen eine Nummer bekommen - die Zuordnung der Nummern zu den Schulen ist (für die Stichprobenverwaltung) nur dem Nationalen Projektmanager bekannt und für Außenstehende (z.b. OECD, BM:BWK, Schulaufsicht, andere Schulen, etc.) völlig unzugänglich. Es werden daher auch keine Einzeldaten von Schüler/innen oder Schulen ( Schulranking ) ermittelt oder veröffentlicht - alle publizierten Ergebnisse beruhen auf kumulierten Vergleichsdaten (z.b. Mittelwert aller österr. Schüler, Prozentsatz richtiger Lösungen in allen Berufsschulen). 11 6 DATEN SCHUTZ DVR 0079481.302
Internationale Kontakte - Adressen OECD Sekretariat Dr. Andreas SCHLEICHER OECD - DEELSA Statistics and Indicators Division 2, rue André Pascal 75775 PARIS - FRANCE Tel. +33 (1) 4524 9366 Fax +33 (1) 4524 9098 andreas.schleicher@oecd.org OECD/PISA WWW-Site http://www.pisa.oecd.org Österreichische Kontakte - Adressen Mitglied im BPC MinR Mag. Friedrich PLANK BM für Bildung, Wissenschaft und Kultur, Statistik für das Schulwesen Freyung 1 A-1010 WIEN Tel. +43 [0]1 53120 2810 Fax +43 [0]1 53120 99 2810 friedrich.plank@bmbwk.gv.at Österr. PISA WWW-Site http://www.pisa-austria.at Internat. Konsortium Dr. Ray ADAMS PISA International Project Director (ACER) 19 Prospect Hill Road Camberwell Victoria Australia 3124 Tel. +61 (3) 9277 5604 Fax +61 (3) 9277 5500 adams@acer.edu.au PISA Projektzentrum DDr. Günter HAIDER NPM PISA Österreich Universität Salzburg Institut für Erziehungswissenschaft Akademiestraße 26/2 A-5020 SALZBURG Tel. +43 [0] 662 8044 4246 Fax +43 [0] 662 8044 610 center@pisa-austria.at 2001 Herausgeber PISA Projektzentrum Österreich Autor, Layout, f.d.i.v: Günter Haider, Universität Salzburg 5020 Salzburg, Akademiestr. 26 - Druck: Roser, Hallwang Bild: G. Linnert(Graphische, Wien), Schüler der Vienna IS 12