PISA 2012 Internationaler Vergleich von Schülerleistungen Erste Ergebnisse Mathematik, Lesen, Naturwissenschaft Herausgegeben von Ursula Schwantner, Bettina Toferer & Claudia Schreiner
Schwantner, U., Toferer, B. & Schreiner, C. (Hrsg.) PISA 2012 Internationaler Vergleich von Schülerleistungen Erste Ergebnisse Mathematik, Lesen, Naturwissenschaft Leykam
Bundesministerium für Unterricht, Kunst und Kultur Minoritenplatz 5 / 1014 Wien Das Bundesministerium hat die Durchführung der OECD-Studie PISA in Österreich beauftragt. Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens Alpenstraße 121 / 5020 Salzburg Direktoren: MMag. Christian Wiesner & Mag. Martin Netzer, MBA www.bifie.at PISA 2012. Internationaler Vergleich von Schülerleistungen. Erste Ergebnisse. Mathematik, Lesen, Naturwissenschaft. Schwantner, U., Toferer, B. & Schreiner, C. (Hrsg.). Graz: Leykam 2013. ISBN 978-3-7011-7887-2 Einbandgestaltung und Layout: Die Fliegenden Fische, Salzburg & Andreas Kamenik, BIFIE I Zentrales Management & Services Satz: Hannes Kaschnig, BIFIE I Zentrales Management & Services Druck: Steiermärkische Landesdruckerei GmbH, 8020 Graz by Leykam Buchverlagsgesellschaft m. b. H. Nfg. & Co. KG, Graz 2013 www.leykamverlag.at Kein Teil des Werks darf in irgendeiner Form (durch Fotografie, Mikrofilm oder ein anderes Verfahren) ohne schriftliche Genehmigung des Verlags reproduziert oder unter Verwendung elektronischer Systeme verarbeitet, vervielfältigt oder verbreitet werden.
Vorwort Österreich kann seine Zukunft gestalten und entwickeln, wenn alle Menschen Chancen auf ein Vorwärtskommen haben. Unser Bildungssystem muss allen Kindern und Jugendlichen, unabhängig von der Herkunft oder dem sozialem Status der Eltern, die Möglichkeiten bieten, die sie für die Entwicklung ihrer Persönlichkeit und ihrer Talente benötigen. Wir können in unserer Gesellschaft auf kein Talent verzichten. Das erfordert auch die verlässliche Vermittlung von Kompetenzen in Lesen, Mathematik und den Naturwissenschaften. Schließlich sind diese ein Fundament für lebenslanges Lernen und den Umgang mit neuen Anforderungen im Laufe des Lebens. PISA untersucht, inwieweit fünfzehn- bzw. sechzehnjährige Schülerinnen und Schüler gegen Ende ihrer Pflichtschulzeit, über diese Kompetenzen verfügen. Die Ergebnisse geben darüber hinaus Auskunft über demografische Kontextindikatoren sowie Merkmale der häuslichen und schulischen Umwelt und ermöglichen einen internationalen Vergleich. Nachdem in der vorangegangenen Erhebung besonderes Augenmerk auf die Lesekompetenz gerichtet wurde, ist in der vorliegenden Studie die Mathematikkompetenz im Mittelpunkt. Zusätzlich beinhaltet die Studie den Bereich des Problemlösens. Für unsere faktenbasierte Bildungspolitik sind empirische Befunde eine essenzielle Voraussetzung. Die letzten PISA-Ergebnisse haben uns einmal mehr deutlich gezeigt, dass es keine Alternative zu dem eingeschlagenen Weg der Weiterentwicklung des österreichischen Schulwesens gibt. Viele der Erkenntnisse, die aus den vorangegangenen Erhebungen gewonnen werden konnten, sind in die Reformprojekte der letzten Jahre eingeflossen. Die PISA-Studie hat dazu beigetragen, Bewusstsein und Akzeptanz für standardisierte Leistungsmessung und Ergebnisorientierung zu schaffen. Die Einführung der Bildungsstandards (Schuljahr 2011/12) und der standardisierten Reifeprüfung (2013/14) sind ein Paradigmenwechsel in der Prüfund Lernkultur. Der Notwendigkeit der Erhöhung der Chancengerechtigkeit wird mit der Einführung der Neuen Mittelschule und dem Ausbau der qualitätsvollen Ganztagsschule Rechnung getragen. Erste Ergebnisse des 2007 eingeschlagenen Reformkurses werden nun erstmals wirksam und sichtbar. Ich danke den Forscherinnen und Forschern des BIFIE (Bundesinstitut für Bildungsforschung, Innovation und Entwicklung des österreichischen Schulwesens), für die erfolgreiche Planung und Durchführung der Studie sowie Aufbereitung der Ergebnisse. Für das österreichische Bildungsmonitoring, das vom BMUKK finanziert und gefördert wird, ist PISA zu einem unverzichtbaren Baustein geworden. Auf dieser wissenschaftlichen Grundlage soll auch weiterhin an der Verbesserung des österreichischen Bildungssystems gearbeitet werden. Dr. in Claudia Schmied Bundesministerin für Unterricht, Kunst und Kultur
Inhalt 7 Vorwort der Herausgeberinnen 9 PISA 2012 Ziele und Methoden 12 PISA 2012 Zur Interpretation der Ergebnisse 16 1 Mathematikkompetenz im internationalen Vergleich 16 1.1 Mathematikkompetenz im Ländervergleich 18 1.2 Mathematik: Verteilung der Schüler/innen auf die Kompetenzstufen 20 1.3 Mathematik: Leistungen in den drei Prozessen 22 1.4 Mathematik: Leistungen in den vier Inhaltsbereichen 24 1.5 Mathematik: Unterschiede zwischen Mädchen und Burschen 26 1.6 Veränderung der Mathematikkompetenz seit PISA 2003 im Ländervergleich 28 1.7 Details zur Veränderung der Mathematikkompetenz seit PISA 2003 in Österreich 30 2 Lesekompetenz im internationalen Vergleich 30 2.1 Lesekompetenz im Ländervergleich 32 2.2 Lesen: Verteilung der Schüler/innen auf die Kompetenzstufen 34 2.3 Lesen: Unterschiede zwischen Mädchen und Burschen 36 3 Naturwissenschaftskompetenz im internationalen Vergleich 36 3.1 Naturwissenschaftskompetenz im Ländervergleich 38 3.2 Naturwissenschaft: Verteilung der Schüler/innen auf die Kompetenzstufen 40 3.3 Naturwissenschaft: Unterschiede zwischen Mädchen und Burschen 42 4 Motivation, Selbstwahrnehmung und Unterricht in Mathematik 42 4.1 Motivation und Selbstwahrnehmung der 15-/16-Jährigen in Mathematik 44 4.2 Unterricht in Mathematik 46 5 Familiäre sowie individuelle Kontextfaktoren und Leistung 46 5.1 Familiärer Hintergrund und Leistung 48 5.2 Schüler/innen mit Migrationshintergrund 50 5.3 Spitzen- und Risikogruppen nach Geschlecht und Überschneidungen zwischen den Gruppen 52 5.4 Spitzen- und Risikoschüler/innen: Bildung der Eltern 54 5.5 Spitzen- und Risikoschüler/innen: Migrationshintergrund 56 6 Zusammenfassung 60 Bibliografie 62 Anhang Einige Textstellen beruhen auf der Ergebnisbroschüre zu PISA 2009 (Schwantner & Schreiner, 2010b) und wurden, so Inhalte und Sachverhalte gleichgeblieben sind, übernommen.
7 Liebe Leserin, lieber Leser! PISA, das Programme for International Student Assessment, wurde 1997 von der OECD (Organisation für wirtschaftliche Zusammenarbeit und Entwicklung) und ihren Mitgliedsländern gegründet. Ihren Anfang nahmen international vergleichende Schülerleistungsstudien in den 1960er-Jahren, hauptsächlich auf Bemühungen der International Association for the Evaluation of Educational Achievement (IEA). Österreich beteiligte sich unter der Leitung von DDr. Günter Haider 1989 zum ersten Mal an einer internationalen Vergleichsstudie IEA/COMPED (Computers in Education Study), 1992 folgte der zweite Durchgang und 1995 die Mathematik- und Naturwissenschaftsstudie IEA/TIMSS (Third International Mathematics and Science Study). An PISA, das im Dreijahresabstand die Grundkompetenzen 15-/16-jähriger Schüler/innen in Lesen, Mathematik und Naturwissenschaft erhebt, beteiligt sich Österreich seit der ersten Erhebung im Jahr 2000. Gemeinsam mit den beiden IEA-Studien PIRLS (Lesen) und TIMSS (Mathematik und Naturwissenschaft) bei den 10-Jährigen in der vierten Klasse Volksschule bildet PISA einen wesentlichen Baustein des österreichischen Bildungsmonitorings, das seit 2008 eine der Kernaufgaben des BIFIE (Bundesinstitut für Bildungsforschung, Innovation und Entwicklung des österreichischen Schulwesens) ist. Somit liefern die internationalen Studien Daten über Kompetenzen der Schüler/innen an wichtigen Schnittstellen des österreichischen Schulsystems. Österreich nahm darüber hinaus im Jahr 2008 an der Lehrerbefragung OECD/TALIS (Teaching and Learning International Survey) teil sowie 2012 an OECD/PIAAC, der Erhebung der Kompetenzen von Erwachsenen. PIAAC wurde von der Statistik Austria durchgeführt. Auf nationaler Ebene entwickelt und überprüft das BIFIE die Bildungsstandards auf der 4. (Deutsch, Mathematik) und 8. Schulstufe (Deutsch, Mathematik, Englisch), mit dem Ziel der Qualitätssicherung und -entwicklung auf allen Ebenen bis hin zu einzelnen Schulstandorten. Im Gegensatz dazu liegt der Fokus der internationalen Studien auf dem Vergleich von Schulsystemen. Mithilfe der gemessenen Schülerleistungen und Zusammenhänge mit zentralen Hintergrundmerkmalen (z. B. sozialer Status der Familie, Bildung der Eltern, Migrationshintergrund, Motivation etc.) können besonders effektive Systeme, Strukturen und Prozesse identifiziert werden. Diese Erkenntnisse erweitern den nationalen Fokus der Standardüberprüfungen und liefern wichtige zusätzliche Informationen über Qualität, Effizienz und Entwicklungsfelder des Schulsystems. PISA 2012 Im Jahr 2012 fand der insgesamt fünfte Durchgang von PISA statt, wobei Mathematik mit gut der Hälfte der Aufgaben zum zweiten Mal (nach PISA 2003) im Mittelpunkt stand. Die schwerpunktmäßige Erfassung eines Bereichs ermöglicht eine genauere Betrachtung und die Erstellung von kompakten Leistungsvergleichen sowohl im Querschnitt als auch im Längsschnitt von neun Jahren. Da digitale Medien und Geräte im Alltag von Jugendlichen einen hohen Stellenwert einnehmen und sich mithilfe digitaler Medien neue, vielfältige Lernwege eröffnen, sind computerbasierte Tests seit PISA 2009 fester Bestandteil von PISA. 2012 beteiligte sich Österreich an der internationalen Zusatzerhebung zur computerbasierten Erfassung der Mathematikkompetenz, der Problemlösekompetenz und wie bereits bei PISA 2009 zum Lesen elektronischer Medien.
8 Vorwort Publikationen zu PISA 2012 Der Fokus dieser Broschüre über Erste Ergebnisse von PISA 2012 liegt auf den Ergebnissen zu den drei Kernkompetenzen Mathematik, Lesen und Naturwissenschaft, die im internationalen Vergleich und aus speziell österreichischer Perspektive präsentiert werden. Am Beginn steht der Vergleich der Schülerleistungen in Mathematik. Dabei werden im Rahmen des umfassenden Kompetenzprofils u. a. mathematische Prozesse und Inhaltsbereiche berichtet sowie ein Vergleich der Ergebnisse von PISA 2003 und 2012 angestellt. Die Kapitel zwei und drei enthalten Kompetenzprofile für die Lese- und die Naturwissenschaftskompetenz. Die Motivation der 15-/16-Jährigen, ihre Selbstwahrnehmung sowie der Unterricht in Mathematik sind Themen des vierten Kapitels. Den Abschluss bilden in Kapitel fünf die Verknüpfung der Leistungsdaten mit familiären Kontextbedingungen wie dem sozioökonomischen Status, der Bildung der Eltern und dem Migrationshintergrund der Jugendlichen sowie genauere Analysen der österreichischen Risiko- und Spitzengruppen. Etwa zweieinhalb Monate nach Fertigstellung der internationalen Datenbasis durch die OECD gibt die vorliegende Publikation einen ersten Überblick über zentrale Ergebnisse. Tiefergehende Analysen, z. B. über die computerbasierte Erfassung der Mathematikkompetenz oder über das Lesen elektronischer Medien, werden zu einem späteren Zeitpunkt folgen. Der internationale Erstbericht der OECD zu PISA 2012 erscheint zeitgleich zur vorliegenden Ergebnisbroschüre in vier Bänden (OECD 2013b, c, d, e). Die Ergebnisse zum Bereich Problemlösen werden im Frühjahr 2014 berichtet. Zum Zeitpunkt der Präsentation der ersten Ergebnisse erscheinen in Österreich zwei weitere Publikationen: Die Studie im Überblick (Schwantner & Schreiner, 2013a) beschreibt die Organisation und die Ziele von PISA, die getesteten Kompetenzbereiche, die Vorgehensweise bei der Auswahl der Schüler/innen, den Testablauf, die Datenverarbeitung, die Qualitätssicherung und Produkte der Studie. Der nationale Technische Bericht (Schwantner & Schreiner, 2013b) stellt eine detaillierte Beschreibung der Abläufe und Methoden der PISA-Studie in Österreich für die wissenschaftlich interessierte Leserschaft dar. Die Durchführung von PISA 2012 in Österreich Die PISA-Studie wird in Österreich im Auftrag des Bundesministeriums für Unterricht, Kunst und Kultur durchgeführt. Dr. Mark Német vom BMUKK vertritt Österreich im PISA Governing Board der OECD. Das BIFIE ist für die internationale Kooperation und die Abwicklung des Projekts in Österreich verantwortlich. Am Department Bildungsstandards und Internationale As sess ments des BIFIE (unter der Leitung von Mag. Dr. Claudia Schreiner) trugen zum Gelingen von PISA 2012 vor allem folgende Mitarbeiterinnen bei (in alphabetischer Reihenfolge): Dipl.-Päd. Julia Franken (Field Operations), MMag. Dr. Andrea Grafendorfer (Testinstrumente Naturwissenschaft), Monika Kaltenbrunner (Administration), Mag. Manuela Pareiss (Datenmanagement und Field Operations), Christina Reichl (Projektassistentin), Mag. Dr. Juliane Schmich (Testinstrumente Problemlösen), Mag. Dr. Ursula Schwantner (Projektleitung, Fragebogenerstellung, Testinstrumente Lesen), Dipl.-Päd. Bettina Toferer, MA (Testinstrumente Mathematik und Naturwissenschaft). Mag. Hannes Kaschnig hat die Broschüre gestaltet, Martin Schreiner hat die Texte Korrektur gelesen (Department Zentrales Management & Services des BIFIE) und MMag. DDr. Ulrike Kipman, B.Sc., hat bei allen statistischen Fragen kompetent beraten und die Berechnungen kontrolliert. Univ.-Prof. Dr. Ferdinand Eder führte den wissenschaftlichen Review dieser Publikation durch. Unser ganz besonderer Dank gilt: allen Schülerinnen und Schülern, die durch ihre Teilnahme an den Tests und Befragungen die Durchführung der Studie ermöglicht haben. den Schulleiterinnen und Schulleitern der 191 PISA- Schulen sowie jenen Lehrerinnen und Lehrern, die sich als Kontaktpersonen zur Verfügung gestellt haben. den engagierten Testleiterinnen und Testleitern sie haben durch ihre professionelle Arbeit die hohen Rücklaufquoten und die gute Qualität der Daten ermöglicht. Sie alle tragen dazu bei, die Weiterentwicklung des österreichischen Schulsystems mit entsprechenden Daten zu unterstützen. Mag. Dr. Ursula Schwantner Nationale Projektmanagerin PISA 2012 Dipl.-Päd. Bettina Toferer, MA Researcher Mag. Dr. Claudia Schreiner Leiterin Department Bildungsstandards und Internationale Assessments (BISTA) Salzburg, im Dezember 2013
PISA 2012 Ziele und Methoden Seit der ersten Durchführung im Jahr 2000 beteiligt sich Österreich durchgehend an der PISA-Studie, die alle drei Jahre stattfindet. PISA liefert Daten über die Kompetenzen von Jugendlichen am Ende der Pflichtschulzeit in Lesen, Mathematik und Naturwissenschaft sowie zu wichtigen Hintergrundmerkmalen, die mit dem Kompetenzerwerb in Zusammenhang stehen. Die Ergebnisse sind eine wichtige Grundlage für die Beobachtung und Steuerung des Bildungssystems. Die vorliegende Publikation widmet sich ersten zentralen Ergebnissen von PISA 2012, der mittlerweile fünften Erhebung. PISA steht für Programme for International Student Assessment und wurde 1997 von der OECD und ihren Mitgliedsstaaten ins Leben gerufen. Die Ziele von PISA, die teilnehmenden Länder und Schüler/innen sowie die Inhalte und Methoden der Studie werden im Folgenden kurz beschrieben. Detaillierte Hintergrundinformationen bieten ergänzend dazu die Broschüre PISA 2012. Die Studie im Überblick (Schwantner & Schreiner, 2013a) und der nationale Technische Bericht zu PISA 2012 (Schwantner & Schreiner, 2013b). Was sind die Ziele von PISA? PISA befasst sich mit der Frage, inwieweit 15-/16-jährige Schüler/innen grundlegende Kompetenzen erworben haben, die für eine aktive und konstruktive Teilhabe an der modernen Wissensgesellschaft erforderlich sind. Die Antwort darauf ist nicht nur für die Jugendlichen und deren Eltern, sondern auch für die Öffentlichkeit und insbesondere für die Verantwortlichen des Schulsystems interessant und von großer Bedeutung. Seit PISA 2000 werden in den teilnehmenden Ländern im 3-Jahres-Rhythmus die Grundkompetenzen der 15-/16-jährigen Schüler/innen in Lesen, Mathematik und Naturwissenschaft erhoben. Dabei bildet jedes Mal einer der drei Bereiche mit gut der Hälfte der Aufgaben den Schwerpunkt (s. Abb. 1) und kann dadurch näher analysiert werden. Im Alter von 15/16 Jahren nähern sich die Jugendlichen in den meisten Ländern dem Ende der Pflichtschulzeit. PISA erfasst, in welchem Ausmaß Jugendliche das Wissen, das sie im Laufe der Pflichtschulzeit erworben haben, in realitätsnahen Situationen einsetzen und anwenden können. Beim Kompetenzerwerb wirken dabei neben Merkmalen der Bildungseinrichtungen, die die Schüler/innen im Laufe ihrer Schulzeit besuchen (z. B. Betreuungsqualität im Kindergarten, Schulart, Unterrichtsqualität, Strategien der Lehrer/ innen, soziales Klima in der Klasse), auch demografische, sozioökonomische, familiäre und individuelle Faktoren (z. B. Einkommen, NATURWISSENSCHAFT 2015 2006 Lesen Mathematik Bildung und Beruf der Eltern, Migrationshintergrund, Lern- und Leistungsmotivation etc.). Daher werden bei PISA nicht nur die Leistungen der Schüler/innen erhoben, sondern auch wichtige Kontextmerkmale, die mit diesen in Zusammenhang stehen. Indem PISA regelmäßig alle drei Jahre durchgeführt wird, ist es möglich, die Entwicklung der Leistungen und der Zusammenhänge über die Zeit zu verfolgen. Zusammengefasst ergibt das drei Qualitätsindikatoren, anhand derer die Effektivität der Schulsysteme beurteilt werden kann: 1. Die erreichten Leistungen der Schüler/innen (die PISA- Testergebnisse) bilden die Basisindikatoren. 2. Die mittels Fragebögen für Schüler/innen und Schulleiter/innen erhobenen Kontextindikatoren geben Einsicht in Zusammenhänge von demografischen, sozialen, ökonomischen oder allgemeinpädagogischen Faktoren mit der Leistung. 3. Die regelmäßige standardisierte Erfassung von Schülerleistungen und Kontextmerkmalen ermöglicht einen Vergleich der Ergebnisse über die Zeit und somit die Bildung von Trendindikatoren. Durch den internationalen Vergleich der Ergebnisse können Stärken und Schwächen von Schulsystemen identifiziert werden und es kann festgestellt werden, wo Handlungsbedarf besteht. LESEN 2009 2000 Mathematik Naturwissenschaft Abb. 1: Der PISA-Zyklus MATHEMATIK 2012 2003 Naturwissenschaft Lesen
10 PISA 2012 Ziele und Methoden Wer nimmt an PISA teil? An PISA 2012 beteiligten sich weltweit 65 Länder, darunter die 34 OECD-Staaten (s. Abb. 2, S. 13). In jedem teilnehmenden Land wird eine Stichprobe von mindestens 4500 Schülerinnen und Schülern des entsprechenden Alters (15/16 Jahre; Geburtsjahrgang 1996 bei PISA 2012) an mindestens 150 Schulen per Zufallsprinzip gezogen und unter streng kontrollierten Bedingungen getestet. Weltweit nahmen an PISA 2012 über 480 000 Schüler/innen teil. In Österreich wurden bei PISA 2012 an 191 Schulen aller Schulformen, die von 15-/16-Jährigen besucht werden, je bis zu 35 Schüler/innen getestet. Die internationale Datenbank umfasst letztlich Daten von 4755 Schülerinnen und Schülern aus Österreich. LESEHINWEIS Detaillierte Informationen zur Stichprobenziehung und zum Rücklauf bei PISA 2012 in Österreich enthält der nationale Technische Bericht zu PISA 2012 (Schwantner & Schreiner, 2013b; verfügbar unter www.bifie.at/pisa). Was wird getestet? PISA 2012 erfasst Grundkompetenzen von 15-/16-jährigen Schülerinnen und Schülern in Lesen, Mathematik und Naturwissenschaft. Den Schwerpunkt bildet Mathematik. Darüber hinaus wurde bei PISA 2012 wie bereits bei PISA 2003 der fächerübergreifende Bereich Problemlösen computerbasiert erfasst. Zudem hat sich Österreich an der computerbasierten Erhebung von Mathematik und Lesen ( Lesen elektronischer Medien aus PISA 2009) beteiligt. In Abstimmung mit der OECD werden die Ergebnisse zum Bereich Problemlösen im Frühjahr 2014 berichtet. Ebenso werden die Ergebnisse zum Lesen elektronischer Medien und zur computerbasierten Erfassung der Mathematikkompetenz in Österreich zu einem späteren Zeitpunkt veröffentlicht. Der Fokus dieser ersten Ergebnispräsentation liegt auf den drei Kernkompetenzbereichen Lesen, Mathematik und Naturwissenschaft. In allen Kompetenzbereichen werden bei PISA Kenntnisse und Fähigkeiten überprüft, die als Basis für lebenslanges Lernen gelten und für die aktive Teilnahme am gesellschaftlichen Leben und an der Arbeitswelt notwendig sind. Daher ist auch die Untersuchung von fächerübergreifenden Fähigkeiten (wie z. B. Problemlösekompetenz oder Umgang mit Informations- und Kommunikationstechnologien) Bestandteil von PISA. Der Fokus der Testinhalte liegt dabei auf dem Verständnis von grundlegenden Konzepten, der Beherrschung von Prozessen sowie auf der Fähigkeit, nachhaltig vernetztes Wissen in unterschiedlichen alltagsbezogenen Situationen bzw. auf realitätsnahe Problemstellungen anwenden zu können. Konkrete Lehrplaninhalte treten dabei in den Hintergrund. Wer entwickelt die PISA-Test - auf gaben und Fragebögen? Der PISA-Test sowie die Fragebögen zur Erhebung der Kontextinformationen wurden unter der Leitung von ACER (Australian Council for Educational Research) von internationalen Expertengruppen, die sich aus erfahrenen Wissenschafterinnen und Wissenschaftern der jeweiligen Fachdidaktiken, der Psychometrie und der pädagogischen Forschung zusammensetzen, und unter Einbezug der nationalen Zentren sowie nationaler Fachexpertinnen und -experten entwickelt. Insgesamt umfasst das PISA-2012-Konsortium zehn wissenschaftliche Einrichtungen, die unter der Leitung von ACER jeweils für einen oder mehrere Bereiche der Studie verantwortlich zeichnen. Da PISA weltweit durchgeführt wird, liegt in allen Phasen der Studie besonderes Augenmerk auf der Sicherung der Vergleichbarkeit. Um die bestmögliche Datenqualität gewährleisten zu können, werden sowohl auf internationaler als auch auf nationaler Ebene umfassende Maßnahmen zur Qualitätssicherung getroffen. Im Bereich der Testaufgaben und Fragebögen betrifft dies neben der Entwicklung und Begutachtung der Aufgaben und Fragen auch die Übersetzung in die jeweilige Landessprache, die unter sehr hohen Qualitätsauflagen und -kontrollen erfolgt. Wie wird getestet? Beim PISA-Test bearbeiten die Schüler/innen eines von 13 Testheften, die unterschiedliche Kombinationen von Aufgaben aus den Bereichen Lesen, Mathematik und Naturwissenschaft enthalten. Die Testzeit (pro Schüler/in) beträgt 2 x 60 Minuten, zwischen erster und zweiter Stunde gibt es eine fünfminütige Pause. Der PISA-2012-Computertest wurde nach einer Stunde Pause im Anschluss an den schriftlichen PISA-Test durchgeführt und umfasste verschiedene Kombinationen von Auf gaben aus den Bereichen Problemlösen, Lesen elektronischer Medien und Mathematik. Die reine Testzeit betrug 40 Minuten. Computertests sind seit PISA 2009 ein fester Bestandteil der Studie. Beim nächsten Durchgang 2015 wird PISA auf Initiative der OECD voraussichtlich zur Gänze computerbasiert durchgeführt. Die Tests (sowohl die papier- als auch die computerbasierten) bestehen aus einer Mischung von Multiple-Choice- Aufgaben und Aufgaben, die frei formulierte Antworten erfordern. Die Aufgabenstellungen beginnen jeweils mit einem Stimulus, der eine realitätsnahe Situation wiedergibt, wie z. B. einen Hinweis in einem Supermarkt, eine Kurzge-
PISA 2012: Erste Ergebnisse 11 schichte, eine Grafik etc. Meist beziehen sich mehrere Fragen auf einen Stimulus. Im Anschluss an den Test beantworten die Schüler/innen einen Schülerfragebogen zu wichtigen Hintergrundmerkmalen, z. B. demografische Merkmale, Erfahrungen im Unterricht und in der Schule, familiärer Hintergrund. Zum Ausfüllen des Fragebogens stehen nochmals 60 Minuten zur Verfügung. Auch die Schulleiter/innen erhalten einen Fragebogen über wichtige Merkmale der Schule, wie Schulgröße, Lehrkörper, Ressourcen für Lehren und Lernen etc. Ergebnisse und Produkte von PISA Ein zentrales Produkt von PISA bildet die umfassende Datenbasis der OECD über die Leistungen der Schüler/innen in den Kompetenzbereichen und die Kontextmerkmale auf Schüler- und Schulebene. Bevor mit den Analysen für Berichte und Publikationen begonnen werden kann, wird die Qualität der Daten aller Teilnehmerländer umfassend geprüft und die Datenbasis für die Ergebnisanalysen aufbereitet. Wichtige Schritte sind dabei u. a. die Skalierung der Leistungsdaten und die Bildung der Kompetenzstufen (s. Schwantner & Schreiner, 2013a) sowie die psychometrische Analyse der Fragebogenskalen. Für die Öffent - lichkeit bzw. für die Nutzung durch Bildungs politiker/innen und -forscher/innen steht die internationale OECD- PISA-Datenbasis über die OECD-Web seite zum Download zur Verfügung. Zudem gibt es zwei interaktive Tools, mit deren Hilfe Daten direkt ausgewertet werden können. Links zur OECD OECD-Webseite: http://www.oecd.org/pisa/ OECD-Datenbasis: http://www.oecd.org/pisa/ pisaproducts/ Darüber hinaus ist es ein wesentliches Ziel von PISA, die Ergebnisse so aufzubereiten, dass sie möglichst vielen Personen zugänglich sind. Daher wird sowohl auf internationaler als auch auf nationaler Ebene besonderes Augenmerk auf die Publikation von verständlichen und praxisrelevanten Forschungsberichten gelegt. Die internationalen Berichte erscheinen nicht nur in Buchform, sondern können auch von der Webseite der OECD heruntergeladen werden. Band 1 über die Ergebnisse in den drei Kernkompetenzbereichen (OECD, 2013b) sowie eine Zusammenfassung der wichtigsten Ergebnisse werden dabei auch auf Deutsch erhältlich sein. Auf der Webseite des BIFIE werden darüber hinaus alle nationalen Berichte sowie Beispielaufgaben veröffentlicht. Mehr zu PISA 2012 in Österreich BIFIE-Webseite: www.bifie.at PISA-Webseite des BIFIE: www.bifie.at/pisa PISA-Downloads des BIFIE (Berichte, Aufgabenbeispiele): www.bifie.at/downloads Schwantner, U. & Schreiner, C. (Hrsg.). (2013a). PISA 2012. Internationaler Vergleich von Schülerleistungen. Die Studie im Überblick. Graz: Leykam. Schwantner, U. & Schreiner, C. (Hrsg.). (2013b). PISA 2012. Internationaler Vergleich von Schülerleistungen. Technischer Bericht. Zugriff ab 03. 12. 2013. Verfügbar unter: www.bifie.at/pisa
PISA 2012 Zur Interpretation der Ergebnisse Teilnehmerländer An PISA 2012 nahmen insgesamt 65 Länder teil die 34 OECD-Staaten sowie 31 Partnerländer. Abbildung 2 gibt einen Überblick über die Teilnehmerländer bei PISA 2012 samt den in dieser Publikation verwende ten internationalen Länderkürzeln. Die Daten von Hong kong und Macau, den beiden Sonderverwaltungszonen Chinas, sowie Schanghai, mit dem Status einer Provinz Chinas, werden entsprechend der Vorgehensweise der OECD wie die eigenständiger Länder berichtet. Die Informationen über Zypern beziehen sich auf das Gebiet, das unter Kontrolle der Regierung der Republik Zypern steht (OECD, 2013b). Ausgewählte Vergleichsländer Die vollständige Darstellung der Ergebnisse aller 65 Teilnehmerländer würde den Umfang dieser Publikation sprengen. Daher werden die Ergebnisse in einem für Österreich relevanten Kontext präsentiert, wobei Österreich vorrangig mit den anderen Mitgliedsstaaten der OECD bzw. der Europäischen Union verglichen wird. Am Beginn jedes Kompetenzbereichs werden jeweils die Mittelwerte für alle 65 Teilnehmerländer angeführt. Einige Analysen beschränken sich auf Österreich und 15 ausgewählte Vergleichsländer. Diese bestehen aus den zehn reichsten EU-Ländern (nach BIP je Einwohner, kaufkraftbereinigt aus 2012; Quelle: WKÖ 1 ), ergänzt durch die restlichen Nachbarländer Österreichs (mit Ausnahme Liechtensteins). Eine vollständige Darstellung aller Länder findet sich in den in ternationalen PISA-2012-Berichten (OECD, 2013b, c, d, e). Die PISA-Skalen und die Kompetenzstufen Die gemessenen Kompetenzen in den drei Bereichen werden jeweils auf einer kontinuierlichen Skala, der PISA-Skala dargestellt. Die Skalen in den einzelnen Domänen sind so konstruiert, dass sowohl jeder Testaufgabe (Aufgabenschwierigkeit) als auch der erreichten Punktzahl (Score) jedes Schülers/jeder Schülerin eine Position auf der Skala zugewiesen wird. Die Skala ist somit kontinuierlich mit aufsteigender Schwierigkeit. Das bedeutet, dass eine gute Leistung mit einem hohen Schülerscore und eine schlechte Leistung mit einem niedrigen Schülerscore einhergehen. Für die Testaufgaben heißt das, dass schwierige Aufgaben einen hohen Skalenwert (Aufgabenschwierigkeit) und leichte Aufgaben einen niedrigen Skalenwert aufweisen. Die Skalen für die drei Bereiche wurden jeweils zu dem Erhebungszeitpunkt konstruiert, als der Bereich zum ersten Mal schwerpunktmäßig erfasst wurde (2000: Lesen, 2003: Mathematik, 2006: Naturwissenschaft). In jedem Kompetenzbereich wurde die Skala dabei so transformiert, dass sich über alle OECD-Länder gerechnet jeweils ein Mittelwert von 500 Punkten und eine Standardabweichung von 100 Punkten ergaben. Dadurch weisen im OECD-Schnitt etwa 65 % der 15-/16-jährigen Schüler/innen einen Wert zwischen 400 und 600 Punkten auf. Die PISA-2012-Mathematikskala basiert daher auf der Mathematikskala von PISA 2003. Um die Werte der Schüler/innen besser interpretieren zu können, werden die Skalen mithilfe statistischer Prozeduren in Kompetenzstufen unterteilt. Dazu wird die jeweilige kontinuierliche PISA-Skala (500, 100) an bestimmten (statistisch sinnvollen und inhaltlich interpretierbaren) Punkten geteilt. Entsprechend dem jeweils erreichten Punktwert in einem Bereich kann nun jeder Schüler/jede Schülerin einer Kompetenzstufe zugeordnet werden. Auch die Testaufgaben können der Skala auf Basis der Aufgabenschwierigkeit zugeteilt werden, wodurch die Kompetenzstufen anschaulich beschrieben werden können. Für die Bereiche Mathematik und Naturwissenschaft gibt es jeweils sechs Kompetenzstufen (1 6), für Lesen (seit der zweiten Erhebung im Jahr 2009) sieben (1b, 1a 6). Stufe 1 (bzw. 1b in Lesen) ist durch relativ leichte Testaufgaben charakterisiert und damit die niedrigste Kompetenzstufe. Die höchste Stufe 6 beinhaltet schwere Testaufgaben. Schüler/innen, die es nicht schaffen, die einfachsten Aufgaben eines Bereichs zu lösen, befinden sich jeweils unter Kompetenzstufe 1 (bzw. 1b in Lesen). Ihre Fähigkeit ist mit dem PISA-Test nicht exakt beschreibbar; es kann lediglich ausgesagt werden, dass sie nicht in der Lage sind, die bei PISA gemessenen grundlegendsten Fähigkeiten routinemäßig zu zeigen. Schüler/ innen auf den beiden obersten Kompetenzstufen werden im Allgemeinen als PISA- Spitzenschüler/innen bezeichnet, während Schüler/innen der Stufe 1 und darunter als Risikoschüler/innen gelten sie verfügen über sehr geringe Grundkompetenzen in diesem Fach. 1 www.wko.at/statistik/eu/europa-bipjeeinwohner.pdf; Zugriff am 15. 05. 2013
PISA 2012: Erste Ergebnisse 13 OECD-Länder PISA 2012 Australien (AUS) Großbritannien (GBR) Mexiko (MEX) Slowakische Republik (SVK) Belgien (BEL) Irland (IRL) Neuseeland (NZL) Slowenien (SVN) Chile (CHL) Island (ISL) Niederlande (NLD) Spanien (ESP) Dänemark (DNK) Israel (ISR) Norwegen (NOR) Tschechische Republik (CZE) Deutschland (DEU) Italien (ITA) Österreich () Türkei (TUR) Estland (EST) Japan (JPN) Polen (POL) Ungarn (HUN) Finnland (FIN) Kanada (CAN) Portugal (PRT) Vereinigte Staaten von Amerika (USA) Frankreich (FRA) Korea (KOR) Schweden () Griechenland (GRC) Luxemburg (LUX) Schweiz (CHE) OECD-Partnerländer PISA 2012 Albanien (ALB) Kasachstan (KAZ) Malaysia (MYS) Taiwan (TWN) Argentinien (ARG) Katar (QAT) Montenegro (MNE) Thailand (THA) Brasilien (BRA) Kolumbien (COL) Peru (PER) Tunesien (TUN) Bulgarien (BGR) Costa Rica (CRI) Kroatien (HRV) Lettland (LVA) Rumänien (ROU) Russische Föderation (RUS) Uruguay (URY) Vereinigte Arabische Emirate (QAR) Hongkong* (HKG) Liechtenstein (LIE) Serbien (SRB) Vietnam (VNM) Indonesien (IDN) Litauen (LTU) Schanghai** (QCN) Zypern*** (CYP) Jordanien (JOR) Macau* (MAC) Singapur (SGP) * Sonderverwaltungszone Chinas, wird bei der Berichterstattung von der OECD wie ein eigenes Land behandelt. ** Provinz Chinas, wird bei der Berichterstattung von der OECD wie ein eigenes Land behandelt. *** Die Informationen über Zypern in diesem Bericht beziehen sich auf das Gebiet, das unter Kontrolle der Regierung der Republik Zypern steht (OECD, 2013b). Abb. 2: Die PISA-Teilnehmerländer (PISA 2012)
14 PISA 2012 Zur Interpretation der Ergebnisse Methodisch-statistische Hinweise Da bei PISA nicht alle 15-/16-jährigen Schüler/innen eines Landes, sondern Stichproben (i. d. R. 4 500 bis 10 000 Schüler/innen pro Land) getestet werden, muss bei der Interpretation Folgendes beachtet werden: Die aus den Daten resultierenden statistischen Kennzahlen (wie etwa Mittelwerte) sind Punktschätzungen des tatsächlichen Populationswerts. Sie sind aufgrund der Testung einer Stichprobe mit einem gewissen statistischen Fehler, dem Standardfehler, behaftet. Dieser kann dazu verwendet werden, mittels eines Konfidenzintervalls einen Wertebereich anzugeben, innerhalb dessen sich der tatsächliche Populationswert mit einer bestimmten Sicherheit (hier 95 %, d. h. p <.05) befindet. Dieses Intervall muss bei der exakten statistischen Interpretation der Ergebnisse berücksichtigt werden. Die aufgrund des Standardfehlers berechneten Konfidenzintervalle für die Leistungsmittelwerte der Länder wirken sich auch auf die Bestimmung von Rangplätzen aus. Möchte man die Länder in einem Kompetenzbereich nach ihren erreichten Mittelwerten reihen, muss berücksichtigt werden, dass sehr kleine Unterschiede in diesen Mittelwerten im Bereich von Zufallsschwankungen liegen. Daraus resultieren geteilte Rangplätze, z. B. liegt Österreich in Mathematik mit 95%iger Wahrscheinlichkeit auf den geteilten Rängen 11 bis 14 von 34 OECD-Ländern. Die geteilten Rangplätze werden direkt aus Mittelwert und Standardfehler und nicht über den Umweg von paarweisen Mittelwertsvergleichen ermittelt. Daher müssen die Angaben über die Rangplätze mit der Bestimmung von signifikanten Mittelwertsunterschieden zu anderen Ländern nicht unbedingt identisch sein. Der statistische Messfehler spielt auch bei Vergleichen von zwei Mittelwerten eine Rolle, etwa wenn man die Ergebnisse zweier Gruppen von Schülerinnen und Schülern (z. B. aus zwei Ländern oder von Mädchen und Burschen) miteinander vergleicht. Da nicht die gesamte Population der 15- und 16-jährigen Schüler/innen getestet wird, kann es sein, dass Punktunterschiede zwischen zwei Gruppen in der Stichprobe (z. B. von zwei Ländern oder von Mädchen und Burschen) zufällig sind. Um feststellen zu können, ob sich die zugrunde liegenden Populationen mit einer hohen Wahrscheinlichkeit (bei PISA 95 %-Niveau) tatsächlich unterscheiden, wurden Signifikanzprüfungen durchgeführt. Bei den Paarvergleichen zum Mathematikunterricht in den österreichischen Schulsparten wurde die Irrtumswahrscheinlichkeit an die Zahl der Einzelvergleiche angepasst bzw. herabgesetzt und somit korrigiert (Bonferroni-Korrektur). Bei Leistungsvergleichen von PISA 2012 mit vorhergehenden Erhebungen (Kapitel 1.6 und 1.7) ist zusätzlich zum statistischen Messfehler ein so genannter Link error zu berücksichtigen. Durch den Wechsel des inhaltlichen Schwerpunkts und die Veröffentlichung von Aufgaben sind die Testhefte einer nachfolgenden PISA-Erhebung nicht identisch mit jenen der vorangegangenen Erhebungen. Daher werden die Kompetenzbereiche mittels einer Auswahl an Aufgaben, den so genannten Link- Aufgaben, zwischen den Erhebungszeitpunkten verknüpft. Der Link error erfasst mögliche statistische Unsicherheiten, die dadurch entstehen können. In Bezug auf Trendvergleiche ist zudem anzumerken, dass sich bei PISA 2009 durch die negative bildungspolitische Stimmung im Frühjahr 2009 in Österreich eine besondere Situation ergab, die zu einem Aufruf zur Verweigerung des PISA-Tests führte, der jedoch nach der ersten Testwoche zurückgezogen wurde. In Zusammenarbeit mit dem internationalen Konsortium und unter Begutachtung durch externe, internationale Wissenschafter und den Wissenschaftlichen Beirat des BIFIE wurden identifizierbare Verweigerungsfälle aus den Daten herausgefiltert. Die österreichischen PISA-2009-Daten erfüllten alle technischen Standards und wurden von der OECD in die internationale Datenbasis aufgenommen (Schwantner & Schreiner, 2010b, S. 14). Der OECD-Durchschnitt zeigt bei PISA-Publikationen das Ergebnis eines (fiktiven) durchschnittlichen OECD- Landes an. Die Durchschnittswerte werden berechnet, indem zuerst für jedes OECD-Land der Kennwert ermittelt wird und dann das arithmetische Mittel der Kennwerte eines jeden Landes berechnet wird (z. B. wird bei der Verteilung auf die Kompetenzstufen zuerst der Anteil der Schüler/innen auf der jeweiligen Kompetenzstufe für jedes OECD-Land ermittelt und dann das arithmetische Mittel aus allen Anteilen berechnet). Die in Kapitel 4 dargestellten Skalen zu motivationalen Faktoren, Selbstwahrnehmung und Unterricht in Mathematik wurden im Zuge der Erstellung der Datenbasis durch die OECD z-standardisiert, so dass der Mittelwert über alle OECD-Länder stets 0 und die Stan dardabweichung 1 beträgt. Werte über 0 bedeuten somit eine höhere Ausprägung als im Durchschnitt der OECD-Länder und negative Werte eine geringere Ausprägung. Alle Einzelitems, aus denen die Skalen gebildet wurden, sind in Anhang A8 dargestellt. Angaben zur
PISA 2012: Erste Ergebnisse 15 Reliabilität der Skalen werden im internationalen technischen Bericht der OECD (forthcoming) publiziert. Bei allen in dieser Publikation angegebenen Kennwerten (Mittelwerte, Standardfehler, Prozentangaben etc.) handelt es sich um gerundete Werte. Alle in Tabellen und Abbildungen enthaltenen Werte werden zuerst unter Berücksichtigung entsprechender Nachkommastellen berechnet und dann gerundet. Daher kann es vorkommen, dass die Summe der gerundeten Prozentangaben nicht exakt 100 ergibt oder Summen von Werten inkonsistent erscheinen. Da bei PISA per Definition nur Schüler/innen (eines bestimmten Alters) getestet werden und nicht die gesamte Alterskohorte, repräsentiert PISA nur die beschulte Population. 15-/16-Jährige, die keine Schule mehr besuchen (Out-of-School-Population), werden nicht getestet. Dies sollte beim Vergleich von Schulsystemen mit unterschiedlich hoher Out-of-School-Population berücksichtigt werden vor allem deshalb, weil jene 15-/16-Jährigen, die keine Schule mehr besuchen, leistungsmäßig keine zufällige Gruppe sind und vermutlich eher geringe Kompetenzen aufweisen. Ihre Nichtberücksichtigung bedeutet daher meist eine Über schätzung des PISA-Mittelwerts bzw. eine Unterschätzung des Anteils an Jugendlichen mit sehr schwachen Leistungen. Österreich weist bei PISA 2012 mit rund 5 % Out-of-School-Population bei den 15-/16-Jährigen im Vergleich zu den meisten anderen OECD-Ländern einen relativ großen Anteil auf (vgl. OECD 2013b, Annex A2). LESEHINWEIS Alle Abbildungen und Tabellen in dieser Publikation beruhen auf Berechnungen, die auf Basis des internationalen PISA-2012-Datenfiles durchgeführt wurden, das den nationalen Zentren vorab zur Verfügung gestellt wurde. Für diese internationale Datenbasis zeichnet die OECD verantwortlich. Nach der Publikation der ersten Ergebnisse durch die OECD ist die Datenbasis unter www.oecd.org/pisa/ zugänglich.
1 Mathematikkompetenz im internationalen Vergleich 1.1 Mathematikkompetenz im Ländervergleich Bettina Toferer Mathematisches Grundverständnis ist in alltäglichen Situationen unverzichtbar. Sei es der tägliche Einkauf, der Umgang mit Finanzen oder das Interpretieren von Zahlen und Statistiken all diese Bereiche verlangen mathematische (Grund-)Kompetenzen, um angemessene Entscheidungen zu treffen. Wie gut es in den einzelnen Ländern gelingt, ihre Schüler/innen bis zum Ende der Pflichtschulzeit mit mathematischen Fähigkeiten auszustatten, zeigt der Vergleich der Mittelwerte. Besonders hohe Mathematikkompetenzen zeigen Schüler/innen in Korea, Japan und der Schweiz. Österreichs Schüler/innen erzielen einen Mittelwert von 506 Punkten und liegen damit signifikant über dem OECD-Schnitt von 494 Punkten. hoch 600 550 Mathematik: Mittelwerte der OECD-/EU-Länder Mittelwert OECD-Länder Partnerländer aus der EU } Konfidenzintervall (+/ 1.96 SE) Mathematikkompetenz 500 450 KOR JPN CHE NLD EST FIN CAN POL BEL DEU AUS IRL SVN DNK NZL CZE FRA GBR ISL LVA LUX NOR ITA ESP PRT SVK USA LTU HUN HRV OECD-Schnitt (494) ISR GRC TUR ROU CYP BGR 400 CHL MEX niedrig kein sign. 350 signifikant besser als Unterschied zu signifikant schlechter als 40 OECD-/EU-Länder absteigend nach dem Mittelwert der Mathematik-Gesamtskala gereiht; Länderkürzel s. S. 13 Abb. 1.1 A: Mathematik-Gesamtskala: Mittelwerte und Konfidenzintervalle für die OECD- und/oder EU-Mitglieder (PISA 2012) Mathematikkompetenz: Mittelwerte und Standardabweichungen aller Teilnehmerländer QCN 613 (101) EST Mathematikkompetenz: 521 (81) SVN 501 Mittelwerte (92) LUX und Standardabweichungen 489 (95) HUN 477 aller (94) Teilnehmerländer ARE 434 (90) ALB 394 (91) QCN SGP 613 573 (101) (105) EST FIN 521 519 (81) (85) SVN NZL 501 500 (92) (100) NOR PRT 489 487 (90) (94) HUN HRV 477 471 (94) (88) ARE KAZ 434 432 (90) (71) ALB BRA 394 391 (91) (78) SGP HKG 573 561 (105) (96) FIN CAN 519 518 (85) (89) NZL DNK 500 (100) (82) PRT ITA 487 485 (94) (93) HRV ISR 471 466 (88) (105) KAZ THA 432 427 (71) (82) BRA ARG 391 388 (78) (77) HKG TWN 561 560 (96) (116) CAN POL 518 (89) (90) DNK CZE 500 499 (82) (95) ITA ESP 485 484 (93) (88) ISR GRC 466 453 (105) (88) THA CHL 427 423 (82) (81) ARG TUN 388 (77) (78) TWN KOR 560 554 (116) (99) POL BEL 518 515 (90) (102) CZE FRA 499 495 (95) (97) ESP RUS 484 482 (88) (86) GRC SRB 453 449 (88) (91) CHL MYS 423 421 (81) TUN JOR 388 386 (78) KOR MAC 554 538 (99) (95) BEL DEU 515 514 (102) (96) FRA GBR 495 494 (97) (95) RUS SVK 482 (86) (101) SRB TUR 449 448 (91) MYS MEX 421 413 (81) (74) JOR QAT 386 376 (78) (100) MAC JPN 538 536 (95) (94) DEU VNM 514 511 (96) (86) GBR ISL 494 493 (95) (92) SVK USA 482 481 (101) (90) TUR ROU 448 445 (91) (81) MEX MNE 413 410 (74) (83) QAT COL 376 (100) (74) JPN LIE 536 535 (94) (95) VNM 511 506 (86) (92) ISL LVA 493 491 (92) (82) USA LTU 481 479 (90) (89) ROU CYP 445 440 (81) (93) MNE URY 410 409 (83) (89) COL IDN 376 375 (74) (71) LIE CHE 535 531 (95) (94) AUS 506 504 (92) (96) LVA NOR 491 490 (82) (90) LTU 479 478 (89) (92) CYP BGR 440 439 (93) (94) URY CRI 409 407 (89) (68) IDN PER 375 368 (71) (84) CHE NLD 531 523 (94) (92) AUS IRL 504 501 (96) (85) LUX 490 (95) 478 (92) BGR 439 (94) CRI 407 (68) PER 368 (84) NLD 523 (92) IRL 501 (85) 65 PISA-2012-Teilnehmerländer; eingetragen sind Mittelwert und Standardabweichung; hellblau hinterlegte Länder: kein signifikanter 65 PISA-2012-Teilnehmerländer; eingetragen Mittelwertsunterschied sind Mittelwert zu und Österreich; Standardabweichung; Länderkürzel hellblau s. S. 13hinterlegte Länder: kein signifi kanter Mittelwertsunterschied zu Österreich; Länderkürzel s. S. 13 Tab. 1.1 B: Mathematik-Gesamtskala: Mittelwerte und Standardabweichungen aller PISA-Teilnehmerländer (PISA 2012)
PISA 2012: Erste Ergebnisse 17 Mathematisches Wissen und die Anwendung mathematischer Konzepte, Verfahren und Werkzeuge sind von grundlegender Bedeutung für junge Menschen. PISA stellt die Fähigkeit, Mathematik in einer Vielzahl von unterschiedlichen Kontexten anzuwenden und für sich nutzen zu können, in den Vordergrund. Bei PISA 2012 wird die Mathematikkompetenz nach 2003 zum zweiten Mal schwerpunktmäßig erfasst, d. h. gut die Hälfte aller Aufgaben stammt aus diesem Bereich. Der vorliegende Abschnitt gibt einen Überblick über das mittlere Leistungsniveau aller Länder in Mathematik. Danach, im Abschnitt 1.2, wird die Verteilung der Schüler/innen auf die Kompetenzstufen und die Größe der Risiko- und Spitzengruppe dargestellt. Die Abschnitte 1.3 und 1.4 analysieren die Ergebnisse getrennt nach verschiedenen mathematischen Prozessen und Inhaltsbereichen. Unterschiede in der Mathematikleistung zwischen Mädchen und Burschen sind Thema von Abschnitt 1.5. Die beiden abschließenden Abschnitte widmen sich Veränderungen in der Mathematikleistung zwischen PISA 2003 und PISA 2012. Abbildung 1.1 A zeigt die Mathematikmittelwerte für die 40 OECD-/EU-Länder. Diese sind als dunkelblaue Linien abgebildet. Der blaue Balken gibt das Konfidenzintervall an, also jenen Wertebereich, in dem der Mittelwert der 15-/16-jährigen Schüler/innen mit 95%iger Wahrscheinlichkeit liegt. Die rote Linie zeigt den OECD-Schnitt. Er beträgt bei PISA 2012 494 Punkte. Die Mittelwerte und Standardabweichungen (als Maß für die Leistungsstreuung) aller 65 Teilnehmerländer werden in Tabelle 1.1 B angegeben. In beiden Darstellungen sind die Staaten absteigend nach ihrem Mathematikmittelwert gereiht. Internationaler Vergleich Österreichs Schüler/innen erreichen bei PISA 2012 auf der Mathematik-Gesamtskala 506 Punkte und liegen damit signifikant über dem OECD-Schnitt von 494 Punkten. Österreich nimmt damit unter den 34 OECD-Ländern den 11. Platz ein, was statistisch dem geteilten 11. 14. Rangplatz entspricht. Die besten Mathematikleistungen innerhalb der OECD werden von den Jugendlichen aus Korea mit einem Mittelwert von 554 Punkten erbracht, gefolgt von Japan (536). Als bestes europäisches Land zeichnet sich erstmals nicht Finnland, sondern die Schweiz (531) aus, die Platz 3 einnimmt. Finnland (519) positioniert sich hinter den Niederlanden (523) und Estland (521) an 6. Stelle. Von Korea bis einschließlich Neuseeland liegen alle Länder, darunter auch Österreich, signifikant über dem OECD- Schnitt von 494 Punkten. Mittlere Leistungen (im Bereich des OECD-Schnitts) erbringen die 15-/16-Jährigen aus der Tschechischen Republik, Frankreich, Großbritannien, Island, Lettland, Norwegen und Portugal. Luxemburg sowie alle Länder in der Rangreihe ab einschließlich Italien erzielen Mittelwerte signifikant unter dem OECD-Mittel. Innerhalb aller 65 Teilnehmerländer zeigen die Schüler/ innen aus Schanghai mit einem Mittelwert von 613 Punk - ten die absolut besten Leistungen in Mathematik (s. Tab. 1.1 B) und liegen damit fast 60 Punkte vor dem besten OECD-Land Korea. Sechs Länder unterscheiden sich nicht signifikant von Österreich, darunter die Nachbarländer Slowenien und die Tschechische Republik. Die Schweiz (531) und Deutschland (514) erzielen signifikant höhere Mittelwerte in Mathematik als Österreich. Schüler/innen aus den restlichen Nachbarländern schneiden in Mathematik schlechter ab. Die Streuung der Mathematikleistungen Mittelwerte geben Auskunft über das mittlere Leistungsniveau eines Landes. Die Streuung (in Form der Standardabweichung) gibt Aufschluss darüber, wie homogen oder heterogen die Leistungen innerhalb der einzelnen Länder sind (siehe dazu Tab. 1.1 B, jeweils die Werte in Klammern). Eine geringe Standardabweichung bedeutet, dass die Leistungen der Jugendlichen in diesem Land relativ einheitlich sind, hingegen zeigt eine hohe Standardabweichung große Leistungsschwankungen. Ein Ziel eines Bildungssystems sollte es sein, ein hohes Leistungsniveau in Verbindung mit einer homogenen Verteilung zu erreichen. Länder, denen diese Kombination am besten gelingt, sind Estland und Finnland, mit Mittelwerten von 521 und 519 Punkten und Standardabweichungen von 81 und 85 Punkten. Die führenden asiatischen Länder (siehe Tab. 1.1 B) Schanghai (613), Singapur (573) und Taiwan (560) können zwar mit außergewöhnlich hohen Mathematikleistungen punkten, allerdings gibt es in diesen Ländern auch große Leistungsdifferenzen. Die Standardabweichungen reichen von 101 bis 116 Punkten. Die homogensten Mathematikleistungen innerhalb aller 65 Teilnehmerländer gibt es in Costa Rica (68), Kasachstan (71) und Indonesien (71). Diese niedrigen Streuungsmaße gehen allerdings mit Mittelwerten weit unterhalb des OECD-Schnitts einher. Österreich hat eine Standardabweichung von 92 Punkten. Die Mathematikleistungen streuen damit in Österreich etwa gleich stark wie im OECD-Schnitt. In Kombination mit einem Mittelwert von 506 Punkten bedeutet das für Österreich, dass etwa zwei Drittel aller Schüler/innen in Mathematik Leistungen im Bereich zwischen 414 und 598 Punkten erbringen.
18 Mathematikkompetenz im internationalen Vergleich 1.2 Mathematik: Verteilung der Schüler/innen auf die Kompetenzstufen Juliane Schmich und Heidelinde Bitesnich Mathematik: Verteilung auf die Kompetenzstufen % 0 10 20 30 40 50 60 70 80 90 100 % KOR JPN CHE NLD EST FIN CAN POL BEL DEU AUS IRL SVN DNK NZL CZE FRA OECD GBR ISL LVA LUX NOR PRT ITA ESP SVK USA LTU HUN HRV ISR GRC TUR ROU CYP BGR CHL MEX 3 3 4 4 2 3 4 3 7 6 6 6 5 5 4 8 7 9 8 8 7 5 6 8 9 11 9 9 10 11 12 12 13 14 12 15 12 15 14 14 15 14 14 15 16 15 16 16 16 16 18 17 18 18 20 9 7 9 9 8 11 8 9 10 10 9 16 14 15 14 19 20 22 23 15 17 18 18 22 20 21 22 18 19 22 22 24 24 24 22 22 22 22 23 24 27 22 24 23 24 25 23 26 26 25 25 27 22 18 21 26 27 23 24 21 30 32 25 25 24 29 29 26 25 23 24 27 24 25 28 24 29 23 25 24 24 25 26 28 24 26 24 25 26 22 23 25 24 23 23 21 26 28 25 24 24 24 24 24 23 23 22 21 21 22 25 28 19 21 19 20 19 20 18 20 19 18 18 18 18 18 18 18 17 18 16 16 15 16 14 13 15 22 17 19 19 18 16 15 15 11 12 12 12 13 13 15 11 11 8 10 8 10 10 10 9 9 9 6 9 7 9 8 7 8 7 7 6 7 5 7 11 10 8 10 10 13 12 KOR 8 JPN 7 CHE 4 NLD 4 EST 4 FIN 4 CAN 5 POL 6 BEL 5 DEU 3 4 AUS 2 IRL 3 SVN DNK 5 NZL 3 CZE 3 FRA 3 OECD 3 GBR 2 ISL LVA 3 LUX 2 NOR 2 PRT 2 ITA ESP 3 SVK 2 USA LTU 2 HUN HRV 2 ISR 3 GRC 5 TUR 3 ROU 3 CYP 3 BGR 6 CHL 4 MEX % 0 10 20 30 40 50 60 70 80 90 100 % unter Level 1 Level 1 Level 2 Level 3 Level 4 Level 5 Level 6 niedrige Kompetenz hohe Kompetenz 40 OECD-/EU-Länder absteigend nach dem Mittelwert auf der Mathematik-Gesamtskala gereiht; OECD: durchschnittliche Anteile der 34 OECD-Länder; Angaben in Prozent; Werte unter 2 % nicht eingetragen; Länderkürzel s. S. 13 Abb. 1.2: Verteilung der Schüler/innen auf die Mathematik-Kompetenzstufen im internationalen Vergleich (PISA 2012)
PISA 2012: Erste Ergebnisse 19 Erfolgreiche Bildungssysteme zeichnen sich u. a. einerseits durch einen großen Anteil sehr guter Schüler/innen aus und andererseits dadurch, dass ein bestimmtes Bildungsminimum garantiert wird (Bruneforth, Weber & Bacher, 2012). Mithilfe der PISA-Kompetenzstufen können die Anteile jener Schüler/innen, die sehr hohe oder sehr geringe Kompetenzen aufweisen, festgestellt werden. In Österreich erbringt jede/r siebte Jugendliche (14 %) Mathematikleistungen auf höchstem Niveau. Dem stehen 19 % Risikoschüler/innen (fast jede/r Fünfte) gegenüber, deren mathematische Kompetenz über das Ausführen einfachster Prozeduren kaum hinausgeht. Im OECD-Schnitt gehören 13 % der Spitzengruppe und 23 % der Risikogruppe an. Die Darstellung der Mittelwerte gibt einen ersten Überblick über das mittlere Leistungsniveau in den verschiedenen Ländern. Um die Leistungsverteilung der Schüler/ innen darzustellen, sind Kompetenzstufen gut geeignet. Diese Stufen bilden die Komplexität des Tests ab, indem alle PISA-Aufgaben entsprechend ihrem Schwierigkeitsgrad einer Kompetenzstufe zugeordnet sind. Für Mathematik gibt es bei PISA sechs Kompetenzstufen, wobei Stufe 1 die niedrigsten und Stufe 6 die höchsten Kompetenzen beschreibt. Erreicht ein Schüler/eine Schülerin nur Kompetenzstufe 1, kann er/sie nur die einfachsten Aufgaben lösen, wie z. B. einfache Prozeduren nach direktem Hinweis in expliziten Situationen ausführen. Können auch diese Fragen nicht routinemäßig beantwortet werden, befindet sich die Leistung des Jugendlichen unter Kompetenzstufe 1 (für eine genaue Beschreibung der Kompetenzstufen s. Schwantner & Schreiner, 2013a). Abbildung 1.2 zeigt die Verteilung der Schüler/innen auf die Kompetenzstufen in Mathematik. Schüler/innen, die eine der beiden höchsten Kompetenzstufen 5 und 6 erreichen, werden zur Spitzengruppe zusammengefasst, die blau hervorgehoben ist. Alle Schüler/innen, deren Leistungen auf Kompetenzstufe 1 oder unter 1 einzustufen sind, werden zur Risikogruppe zusammengefasst, die in Orangetönen dargestellt ist. Die Mathematik-Spitzengruppe Spitzenschüler/innen zeichnen sich dadurch aus, dass sie mathematische Modelle für komplexe Situationen entwickeln und mit diesen arbeiten. Sie können diverse Problemlösestrategien beim Umgang mit komplexen Problemstellungen anwenden (Kompetenzstufe 5). Sie besitzen Fähigkeiten zum mathematischen Denken und Folgern auf einem fortgeschrittenen Niveau und beherrschen symbolische und formale mathematische Operationen (Kompetenzstufe 6). Außerdem weisen sie alle Kompetenzen der vorangegangenen Kompetenzstufen auf. Im OECD-Schnitt gehören 13 % (9,3 % auf Level 5 und 3,3 % auf Level 6) der Schüler/innen zur Mathematik-Spitzengruppe. Auffällig große Spitzengruppen von über 20 % (mehr als jeder 5. Jugendliche) gibt es in Korea (31 %), Japan (24 %) und in der Schweiz (22 %). Besonders kleine Spitzengruppen findet man in Chile und Mexiko (beide unter 2 %). In Österreich zählt ca. jede/r siebte Jugendliche zur Mathematik-Spitzengruppe (14 %). Von den Nachbarländern Österreichs hat neben der Schweiz (22 %) auch Deutschland (18 %) eine größere Spitzengruppe. Slowenien (13 %) und die Tschechische Republik (13 %) weichen gering vom österreichischen Ergebnis ab. Die Slowakische Republik (11 %), Italien (10 %) und Ungarn (9 %) haben kleinere Spit - zen gruppen als Österreich. Insgesamt liegen bei der Größe der Spitzengruppe 23 Länder über 10 %. Die Mathematik-Risikogruppe Als Risikoschüler/innen werden bei PISA jene Jugendlichen bezeichnet, die aufgrund ihrer Leistungen in der jeweiligen Grundkompetenz auf bzw. unter Level 1 eingestuft wer den. Schüler/innen auf Level 1 können einfache Fragen beantworten und Handlungen durchführen, die unmittelbar aus einer Fragestellung resultieren. Sie können klar gestellte Aufgaben lösen, wie etwa Werte einer Tabelle entnehmen, wenn die Beschriftung der Tabelle mit dem Wortlaut der Frage übereinstimmt. Im OECD-Schnitt weisen 23 % der Jugendlichen mathematische Kompetenzen auf oder unter Level 1 auf. Die klein s - ten Risikogruppen in Mathematik gibt es in Korea (9 %) und Japan (11 %). Die Länder am Ende der Rangreihe, nämlich Mexiko (55 %) und Chile (52 %), verzeichnen die meisten Risikoschüler/innen und sind zugleich die Länder mit den kleinsten Spitzengruppen. Bei diesen beiden Ländern sind die jeweiligen Risikogruppenanteile größer als die zusammengefassten Anteile der mittleren Kompetenzstufen (2, 3 und 4). In Österreich gibt es mit 19 % eine kleinere Risikogruppe in Mathematik als im OECD-Schnitt. Das bedeutet, dass knapp jeder fünfte Jugendliche in Österreich zur Risikogruppe zu zählen ist. Deutschland (18 %) hat eine ähnlich große Risikogruppe wie Österreich, die Schweiz (13 %) weist eine deutlich kleinere Risikogruppe auf. Die Risikogruppen in den Nachbarländern Slowenien (20 %) und der Tschechischen Republik (21 %) sind etwas größer als in Österreich, die verbleibenden drei Nachbarländer (Italien, 25 %; Slowakische Republik, 27 %; Ungarn, 28 %) sind mit größeren Risikogruppenanteilen als Österreich konfrontiert. Auffallend ist, dass bei den erstgereihten neun Ländern (Korea bis Belgien) die Risikogruppenanteile kleiner sind als die Anteile an der jeweiligen Spitzengruppe. Bei allen anderen Ländern sowie im OECD-Schnitt liegt ein umgekehrtes Verhältnis vor. Nur Korea, das Land mit dem höchsten Mittelwert im OECD-Vergleich, hat eine Risikogruppe unter 10 % bei gleichzeitig größtem Spitzengruppenanteil.