Technisches Briefing PISA 2009 Andreas Schleicher, Leiter der Abteilung für Indikatoren und Analysen im Direktorat für Bildung der OECD, Paris 02/11/2010 Überblick Was misst PISA? Erarbeitung der Testfragen Stichprobe Testverlauf Auswertung Pisa 2009: Schwerpunkt Lesekompetenz Definition Beispielaufgaben Hauptergebnisse Pisa 2009 2 1
Eigenschaften von PISA Politikorientierung: Wodurch zeichnen sich Schulen und Bildungssysteme mit hohen Leistungsstandards aus? Innovatives Konzept von Grundbildung (literacy) Relevanz der geprüften Fähigkeiten für lebenslanges Lernen Regelmässigkeit: PISA wird alle 3 Jahre durchgeführt Große geographische Reichweite und kooperativer Charakter: 65 Staaten und Volkswirtschaften, insgesamt ca. 470 000 Schülerinnen und Schüler 3 Was misst PISA? PISA misst Kompetenzen, nicht die bloße Wiedergabe von Lehrplanwissen Fokus sind grundlegende Kenntnisse und Fertigkeiten zur Bewältigung alltäglicher Herausforderungen Nicht im Fokus steht, ob die Jugendlichen gelernt haben, was die länderspezifischen Lehrpläne vorschreiben 4 2
Erarbeitung der Testfragen (1) 1. International besetztes Expertengremien entwickelt der theoretisches Rahmenkonzept 2. Internationale Forschungsinstitute und Teilnehmerländer reichen Aufgaben- und Fragenvorschläge ein 3. Erste Bewertung durch die Expertengremien 4. Erste Validierung anhand kognitiver Interviews mit Jugendlichen, Schulleitungen, Eltern in mehreren Ländern 5. Zweite Bewertung durch die Expertengremien und alle nationalen Projektmanager 5 Erarbeitung der Testfragen (2) 6. Zweite Validierung durch Feldtest In allen teilnehmenden Ländern mit anschliessenden umfassenden Itemanalysen Probelauf für die Qualitätssicherung und -kontrolle 7. Dritte Bewertung durch die Expertengremien und alle nationalen Projektmanager 8. Haupttest 9. Dritte Validierung: Itemanalysen Ergebnisse von Qualitätssicherung und -kontrolle 6 3
An der Aufgabenentwicklung beteiligt: International besetzte Expertengremien Theoretische Rahmenkonzeption, Beurteilung von Aufgabenmaterial vor und nach dem Feldtest, Definition und Beschreibung von Kompetenzstufen Internationale Forschungsinstitute ACER, CITO, ETS, NIER, WESTAT Entwicklung von Aufgabenmaterial; Qualitätssicherung und - kontrolle; Itemanalysen; internationale, nationale und regionale Analysen Nationale Projektmanager Aufgabenbeurteilung, Durchführung der Erhebung Schüler, Eltern und Schulleitungen Erprobung des Aufgabenmaterials durch sog. kognitive Interviews 7 Stichprobe Mehrstufiges Verfahren nach detaillierten Vorgaben der internationalen Projektleitung In einem ersten Schritt werden die teilnehmenden Schulen zufällig gezogen. Gibt es in einem Land mehrere Schultypen, werden diese entsprechend ihres Schüleraufkommens berücksichtigt. In jeder dieser Schulen wird eine bestimmte Anzahl von 15- jährigen zufällig gezogen Gesamtstichprobe pro Land zwischen knapp 4000 und über 30000 Jugendlichen Strikte Vorgaben zur Beteiligungsquote bei Nichteinhaltung werden Ergebnisse nicht berichtet 8 4
Testverlauf Gesamtumfang des Materials: 390 Minuten Jeder Jugendliche bekommt ein Testheft von 120 Minuten Dauer zugewiesen Genügend Zeit zur Beantwortung der Fragen In 20 Ländern wurde zusätzlich die Fähigkeit zum Lesen elektronischer Texte am PC getestet. Im Anschluss beantworten Testteilnehmer Hintergrundfragebogen (ca. 30 Minuten) Hintergrundfragebogen für Schulleitungen 9 Auswertung (1) Ausgewertete Testhefte Basis für die Skalierung Mittelwert über alle OECD-Staaten: 500 Standardabweichung ist 100 d.h. zwischen 400 und 600 Punkten liegen die Ergebnisse von 2/3 aller Testteilnehmer 10 5
Auswertung (2) Kompetenzverteilung Mittelwert (MW) Standardabweichung (SD) 11 Auswertung(3) In den meisten Ländern wird nicht der gesamte Altersjahrgang sondern eine Stichprobe getestet. Die Kennwerte (Ergebnisse) sind daher Schätzwerte, die mit einer gewissen Unsicherheit behaftet sind. Die Kennwerte werden deshalb mit einem sog. Konfidenzintervall angegeben, das angibt: Der Kennwert liegt mit 95% Wahrscheinlichkeit in diesem Bereich Unterschiede zwischen den Kennwerten müssen auf ihre Bedeutsamkeit getestet werden. 12 6
Skalenwerte und Kompetenzstufen Inhaltliche Beschreibung der Kompetenzen: Mit der Skalierung der Daten werden Aufgabenschwierigkeit und Personenfähigkeit auf derselben Metrik (entlang einer Kompetenzskala) angeordnet. Das heißt, es ist möglich die gemessenen Kompetenzen inhaltlich zu beschreiben. Schülerinnen und Schüler liegen auf einer bestimmten Kompetenzstufe, wenn sie die dieser Stufe zugeordneten Aufgaben mit einiger Sicherheit lösen können. Aufgaben auf darunter liegender Kompetenzstufen werden auch bewältigt - Aufgaben einer höheren Kompetenzstufe dagegen in der Regel nicht. 13 Schwerpunkt Lesekompetenz Lesen, um zu lernen Informationen suchen und extrahieren Textbezogenes Kombinieren und Interpretieren Reflektieren und Bewerten Lesekompetenz bei digitalen Texten Lokalisieren, Bewerten und Kombinieren von Informationen aus mehreren elektronischen Texten 14 7
Aufgabenbeispiel - Zähneputzen Werden unsere Zähne immer sauberer, je länger und stärker wir sie putzen? Britische Forscherinnen und Forscher sagen nein. Sie haben viele verschiedene Varianten ausprobiert und haben letztendlich die perfekte Art des Zähneputzens gefunden. Ein zweiminütiges, nicht zu starkes Bürsten bringt das beste Ergebnis. Wenn man stark bürstet, beschädigt man Zahnschmelz und Zahnfleisch, ohne dass dabei Essensreste oder Zahnbelag gelöst werden. Bente Hansen, eine Expertin für Zähneputzen, sagt, dass es gut ist, die Zahnbürste wie einen Stift zu halten. Fang in einer Ecke an und putze die ganze Reihe entlang, sagt sie, und vergiss auch deine Zunge nicht! Sie kann eine Menge Bakterien enthalten, die schlechten Atem verursachen können. Zähneputzen ist ein Artikel aus einer norwegischen Zeitschrift. Verwende Zähneputzen, um die folgenden Fragen zu beantworten. Wovon handelt dieser Artikel? a. Von der besten Art, seine Zähne zu putzen. B. Von der besten Zahnbürste, die zu benutzen ist. C. Von der Wichtigkeit guter Zähne. D. Von den unterschiedlichen Arten, wie Leute ihre Zähne putzen. Bewertung: Volle Punktzahl: A. Von der besten Art, seine Zähne zu putzen. 15 Aufgabenbeispiel - Zähneputzen Warum sollte man laut Bente Hansen seine Zunge putzen?...... Bewertung Volle Punktzahl: Bezieht sich entweder auf die Bakterien ODER auf das Loswerden von schlechtem Atem ODER auf beides. Antwort darf paraphrasiert oder direkt aus dem Text zitiert werden. Um Bakterien loszuwerden. Auf der Zunge können sich Bakterien befinden. Bakterien. Weil man schlechten Atem vermeiden kann. Schlechter Atem. Um Bakterien loszuwerden und so keinen schlechten Atem mehr zu haben. [beides] 16 8
Aufgabenbeispiel - Heissluftballon Warum zeigt das Bild zwei Heißluftballons? A. Um die Größe von Singhanias Heißluftballon zu vergleichen, bevor und nachdem er gefüllt wurde. B. Um die Größe von Singhanias Heißluftballon mit der Größe anderer Heißluftballons zu vergleichen. C. Um zu zeigen, dass Singhanias Heißluftballon vom Boden aus gesehen klein erscheint. D. Um zu zeigen, dass Singhanias Heißluftballon fast mit einem anderen Heißluftballon zusammengestoßen wäre. Bewertung Volle Punktzahl: B. Um die Größe von Singhanias Heißluftballon mit der Größe anderer Heißluftballons zu vergleichen. 17 Die wichtigsten Ergebnisse (1) Verteilung auf die Kompetenzstufen und durchschnittliches Kompetenzniveau in den Ländern Unterschiede zwischen den Schulen Zusammenhang von Kompetenz mit anderen Faktoren Sozio-ökonomischer Hintergrund Migrationsstatus Geschlecht Institutionelle Faktoren der Schule 18 9
Die wichtigsten Ergebnisse (2) Veränderungen über die Zeit Veränderungen im Kompetenzniveau über verschiedene Erhebungen hinweg ab dem Zeitpunkt, ab dem der Kompetenzbereich Schwerpunkt war Lesekompetenz 2000-2003 - 2006-2009 Mathematik 2003-2006 - 2009 Naturwissenschaften 2006-2009 19 Die wichtigsten Ergebnisse (3) Detailliertes Profil der Kenntnisse und Fähigkeiten im Bereich der Lesekompetenz von 15-Jährigen im Jahr 2009 einschließlich der Lesekompetenz bei digitalen Texten Aktualisierung für die Bereiche Mathematik und Naturwissenschaften. Kontextbezogene Indikatoren Zusammenhang zwischen Leistungsergebnissen und Schülerund Schulmerkmalen Beurteilung des Engagements der Schülerinnen und Schüler in Leseaktivitäten sowie ihrer Kenntnis und Nutzung unterschiedlicher Lernstrategien. 20 10
Lesekompetenz Die Fähigkeit, geschriebene Texte zu verstehen, zu nutzen und über sie zu reflektieren, um eigene Ziele zu erreichen, das eigene Wissen und Potenzial weiterzuentwickeln und aktiv am gesellschaftlichen Leben teilzunehmen. 21 Naturwissenschaftliche Grundbildung Das Maß, in dem eine Person: naturwissenschaftliches Wissen besitzt und es anwendet, um Fragestellungen zu identifizieren, neue Kenntnisse zu erwerben, naturwissenschaftliche Phänomene zu erklären und aus Belegen Schlussfolgerungen in Bezug auf naturwissenschaftliche Sachverhalte zu ziehen; die charakteristischen Eigenschaften der Naturwissenschaften als eine Form menschlichen Wissens und Forschens versteht; erkennt, wie Naturwissenschaften und Technologie unsere materielle, intellektuelle und kulturelle Umgebung prägen; sich mit naturwissenschaftlichen Themen und Ideen als reflektierender Bürger befasst. 22 11
Mathematische Grundbildung Fähigkeit einer Person die Rolle zu erkennen und zu verstehen, die Mathematik in der Welt spielt, fundierte mathematische Urteile abzugeben und Mathematik in einer Weise zu verwenden, die den Anforderungen des Lebens dieser Person als konstruktivem, engagiertem und reflektiertem Bürger entspricht. 23 Teilnehmerländer PISA 2009 Albanien Frankreich* Katar Norwegen* Slowakei* Argentinien Griechenland* Kirgisistan Österreich* Slowenien* Aserbaidschan Großbritannien* Kolumbien* Panama Spanien* Australien* Hong Kong (China) Kroatien Peru Südkorea* Belgien* Indonesien Lettland Polen* Taiwan Brasilien Irland* Lichtenstein Portugal* Thailand Bulgarien Island* Litauen Romänien Trinidad und Tobago Chile* Israel* Luxemburg* Russland Tschechien* Dänemark* Italien* Macao (China) Schweden* Tunesien Deutschland* Japan* Mexiko Schweiz* Türkei* Dubai (VAE) Jordanien Montenegro Serbien Ungarn Estland Kanada* Neuseeland* Shanghai (China) Uruguay Finnland* Kasachstan Niederlande* Singapur USA* (*OECD-Länder) 12
Geografische Abdeckung PISA 2009 OECD- Länder Partnerländer 2009 Ehem. Partnerländer Weitere Informationen http://pisa.oecd.org www.oecd.org/de/pisa 26 13