PISA Internationaler Vergleich von Schülerleistungen. Die Studie im Überblick. Herausgegeben von Ursula Schwantner & Claudia Schreiner

Transkript

1 PISA 2012 Internationaler Vergleich von Schülerleistungen Die Studie im Überblick Herausgegeben von Ursula Schwantner & Claudia Schreiner

2

3 Schwantner, U. & Schreiner, C. (Hrsg.) PISA 2012 Internationaler Vergleich von Schülerleistungen Die Studie im Überblick Leykam

4 Bundesministerium für Unterricht, Kunst und Kultur Minoritenplatz 5 / 1014 Wien Das Bundesministerium hat die Durchführung der OECD-Studie PISA in Österreich beauftragt. Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens Alpenstraße 121 / 5020 Salzburg Direktoren: MMag. Christian Wiesner & Mag. Martin Netzer, MBA PISA Internationaler Vergleich von Schülerleistungen. Die Studie im Überblick. Schwantner, U. & Schreiner, C. (Hrsg.) Graz: Leykam 2013 ISBN Einbandgestaltung und Layout: Die Fliegenden Fische, Salzburg & Andreas Kamenik, BIFIE I Zentrales Management & Services Satz: Hannes Kaschnig, BIFIE I Zentrales Management & Services Druck: Steiermärkische Landesdruckerei GmbH, 8020 Graz by Leykam Buchverlagsgesellschaft m. b. H. Nfg. & Co. KG, Graz Kein Teil des Werks darf in irgendeiner Form (durch Fotografie, Mikrofilm oder ein anderes Verfahren) ohne schriftliche Genehmigung des Verlags reproduziert oder unter Verwendung elektronischer Systeme verarbeitet, vervielfältigt oder verbreitet werden.

5 Vorwort Österreich kann seine Zukunft gestalten und entwickeln, wenn alle Menschen Chancen auf ein Vorwärtskommen haben. Unser Bildungssystem muss allen Kindern und Jugendlichen, unabhängig von der Herkunft oder dem sozialem Status der Eltern, die Möglichkeiten bieten, die sie für die Entwicklung ihrer Persönlichkeit und ihrer Talente benötigen. Wir können in unserer Gesellschaft auf kein Talent verzichten. Das erfordert auch die verlässliche Vermittlung von Kompetenzen in Lesen, Mathematik und den Naturwissenschaften. Schließlich sind diese ein Fundament für lebenslanges Lernen und den Umgang mit neuen Anforderungen im Laufe des Lebens. PISA untersucht, inwieweit fünfzehn- bzw. sechzehnjährige Schülerinnen und Schüler gegen Ende ihrer Pflichtschulzeit, über diese Kompetenzen verfügen. Die Ergebnisse geben darüber hinaus Auskunft über demografische Kontextindikatoren sowie Merkmale der häuslichen und schulischen Umwelt und ermöglichen einen internationalen Vergleich. Nachdem in der vorangegangenen Erhebung besonderes Augenmerk auf die Lesekompetenz gerichtet wurde, ist in der vorliegenden Studie die Mathematikkompetenz im Mittelpunkt. Zusätzlich beinhaltet die Studie den Bereich des Problemlösens. Für unsere faktenbasierte Bildungspolitik sind empirische Befunde eine essenzielle Voraussetzung. Die letzten PISA-Ergebnisse haben uns einmal mehr deutlich gezeigt, dass es keine Alternative zu dem eingeschlagenen Weg der Weiterentwicklung des österreichischen Schulwesens gibt. Viele der Erkenntnisse, die aus den vorangegangenen Erhebungen gewonnen werden konnten, sind in die Reformprojekte der letzten Jahre eingeflossen. Die PISA-Studie hat dazu beigetragen, Bewusstsein und Akzeptanz für standardisierte Leistungsmessung und Ergebnisorientierung zu schaffen. Die Einführung der Bildungsstandards (Schuljahr 2011/12) und der standardisierten Reifeprüfung (2013/14) sind ein Paradigmenwechsel in der Prüfund Lernkultur. Der Notwendigkeit der Erhöhung der Chancengerechtigkeit wird mit der Einführung der Neuen Mittelschule und dem Ausbau der qualitätsvollen Ganztagsschule Rechnung getragen. Erste Ergebnisse des 2007 eingeschlagenen Reformkurses werden nun erstmals wirksam und sichtbar. Ich danke den Forscherinnen und Forschern des BIFIE (Bundesinstitut für Bildungsforschung, Innovation und Entwicklung des österreichischen Schulwesens), für die erfolgreiche Planung und Durchführung der Studie sowie Aufbereitung der Ergebnisse. Für das österreichische Bildungsmonitoring, das vom BMUKK finanziert und gefördert wird, ist PISA zu einem unverzichtbaren Baustein geworden. Auf dieser wissenschaftlichen Grundlage soll auch weiterhin an der Verbesserung des österreichischen Bildungssystems gearbeitet werden. Dr. in Claudia Schmied Bundesministerin für Unterricht, Kunst und Kultur

6

7 Inhalt 7 Vorwort der Herausgeberinnen 10 1 Was ist PISA? 13 2 Wie ist PISA organisiert? 17 3 Was misst PISA? 33 4 PISA-Population und Stichprobe Die Tests und Fragebögen bei PISA Datenerhebung und -verarbeitung 47 7 Der Feldtest zu PISA Datenaufbereitung für die Ergebnisanalyse 56 9 Qualitätssicherung Ergebnisse und Produkte von PISA 61 Bibliografie Einen wesentlichen Beitrag zu dieser Publikation in Form von Tabellen, Grafiken und Aktualisierungen von Texten leisteten (in alphabetischer Reihenfolge): Heidelinde Bitesnich, Manuela Pareiss, Juliane Schmich, Claudia Schreiner, Ursula Schwantner und Bettina Toferer. Einige Textstellen wurden aus der Broschüre Die Studie im Überblick zu PISA 2009 (Schwantner & Schreiner, 2010) übernommen, so Inhalte und Sachverhalte gleich geblieben sind.

8

9 7 Liebe Leserinnen und Leser! International vergleichende Schülerleistungsstudien sind neben der Überprüfung der nationalen Bildungsstandards ein wichtiger Bestandteil des österreichischen Bildungsmonitorings der regelmäßigen, systematischen und standardisierten Beobachtung des Schulsystems. PISA erhebt seit dem Jahr 2000 im regelmäßigen Abstand von drei Jahren die Kompetenzen von 15-/16-jährigen Schülerinnen und Schülern in den drei Bereichen Lesen, Mathematik und Naturwissenschaft. Im Alter von 15/16 Jahren befinden sich die Schüler/innen in den meisten Teilnehmerländern am Ende der Pflichtschulzeit, wodurch mithilfe von PISA der kumulierte Lernertrag festgestellt werden kann. Ergänzend dazu erheben die beiden internationalen Vergleichsstudien der IEA die Fähigkeiten im Lesen (PIRLS) sowie in Mathematik und Naturwissenschaft (TIMSS) von Kindern am Ende der Volksschule. Die internationalen Studien liefern damit Informationen über den Ist-Stand zentraler Kompetenzen an wichtigen Schnittstellen des österreichischen Schulsystems im Vergleich zu anderen Ländern und Schulsystemen. Die Erkenntnisse daraus helfen Bildungsverantwortlichen, die Qualität der angebotenen Ausbildung zu beurteilen und Stärken und Schwächen des österreichischen Schulsystems aus internationaler Perspektive zu betrachten. PISA 2012 PISA 2012 stellt den insgesamt fünften Durchgang der Studie dar. Zum zweiten Mal nach PISA 2003 steht dabei die Mathematikkompetenz im Mittelpunkt. Die schwerpunktmäßige Erfassung eines Bereichs mit gut der Hälfte der Testaufgaben ermöglicht eine genauere Betrachtung und die Erstellung von kompakten Leistungsvergleichen sowohl im Querschnitt als auch im Längsschnitt von neun Jahren. Bei PISA 2012 wurden zentrale Teilbereiche der Mathematikkompetenz (mathematische Inhaltsbereiche und Prozesse), sowie wichtige Hintergrundmerkmale, die mit den Kompetenzen in Zusammenhang stehen, erfasst. Dazu gehören z. B. der Unterricht, den Jugendliche in Mathematik erleben, ihre Motivation und ihre Selbstwahrnehmung in Mathematik, der familiäre oder Migrationshintergrund der Schüler/ innen, das Geschlecht etc. Darüber hinaus wurde bei PISA 2012 die Mathematikkompetenz auch computerbasiert erfasst. Da digitale Medien und Geräte im Alltag von Jugendlichen einen hohen Stellenwert einnehmen und sich mit digitalen Medien auch neue, vielfältige Lernwege eröffnen, sind computerbasierte Tests zu einem wichtigen Bestandteil von PISA geworden. So bieten elektronisch aufbereitete (Mathematik-) Aufgaben die Möglichkeit der direkten Interaktion mit der Problemstellung, indem z. B. Simulationen ausgeführt oder Prozesse direkt durchgeführt werden können. Neben computerbasierten Mathematikaufgaben wurden bei PISA 2012 auch die internationale Option zum Lesen elektronischer Medien aus PISA 2009 weitergeführt sowie Aufgaben zum allgemeinen Problemlösen eingesetzt. Beim nächsten Durchgang 2015 wird PISA auf Initiative der OECD voraussichtlich bereits vollständig computerbasiert durchgeführt werden. Publikationen zu PISA 2012 Im Dezember 2013 veröffentlicht die OECD den internationalen Erstbericht zu PISA 2012 in vier Bänden (OECD 2013b, c, d, e). Band 1 über die Ergebnisse in den drei Kernkompetenzbereichen (OECD, 2013b) sowie eine Zusammenfassung der wichtigsten Ergebnisse werden auch auf Deutsch erhältlich sein. Die Ergebnisse zum Bereich Problemlösen (Band 5) werden im Frühjahr 2014 veröffentlicht.

10 8 PISA 2012: Die Studie im Überblick Parallel zur Präsentation der ersten Ergebnisse durch die OECD werden in Österreich drei nationale Berichte veröffentlicht: Die vorliegende Studie im Überblick widmet sich kompakt jenen Aspekten der PISA- Studie, die für die Interpretation der Ergebnisse relevant sind. Dazu gehören die Organisation und die Ziele der Studie, die getesteten Kompetenzbereiche, die Abläufe und Prozeduren in Österreich (z. B. Stichprobenziehung, Testablauf, Datenverarbeitung), Maßnahmen zur Qualitätssicherung und die Produkte der Studie. Inhaltlich beruht diese Publikation in weiten Teilen auf dem nationalen technischen Bericht. Der nationale technische Bericht zu PISA 2012 (Schwantner & Schreiner, 2013) stellt eine Langversion der Beschreibung der Studie dar, in der die Methoden, Abläufe und Prozeduren der PISA-Studie in Österreich im Detail für wissenschaftlich interessierte Leser/ innen dokumentiert werden, z. B. genaue Angaben zur Stichprobenziehung und Abdeckung der österreichischen Population, zur Organisation der Testdurchführung, zur Bewertung der Schülerantworten auf offene Fragen oder zur Datenverarbeitung. Der technische Bericht ist als Web-Dokument ab 3. Dezember 2013 unter verfügbar. Die dritte Publikation widmet sich den ersten Ergebnissen von PISA 2012, die aus österreichischer Perspektive im Überblick präsentiert werden (Schwantner, Toferer & Schreiner, 2013). DIE DREI ÖSTERREICHISCHEN ERST-PUBLIKATIONEN ZU PISA 2012 Schwantner, U., Toferer, B. & Schreiner, C. (Hrsg.). (2013). PISA Internationaler Vergleich von Schülerleistungen. Erste Ergebnisse. Mathematik, Lesen, Naturwissenschaft. Graz: Leykam. Schwantner, U. & Schreiner, C. (Hrsg.). (2013). PISA Internationaler Vergleich von Schülerleistungen. Die Studie im Überblick. Graz: Leykam. Schwantner, U. & Schreiner, C. (Hrsg.). (2013). PISA Internationaler Vergleich von Schülerleistungen. Technischer Bericht. Zugriff ab Verfügbar unter: www. bifie.at/pisa Die nationalen PISA-Publikationen sowie Beispielaufgaben zu PISA sind über die Webseite des BIFIE verfügbar: Die Durchführung von PISA 2012 in Österreich Die PISA-Studie wird in Österreich im Auftrag des Bundesministeriums für Unterricht, Kunst und Kultur durchgeführt. Dr. Mark Német vom BMUKK vertritt Österreich im PISA Governing Board der OECD. Das BIFIE ist für die internationale Kooperation und die Abwicklung des Projekts in Österreich verantwortlich. Am Department für Bildungsstandards und Internationale Assessments des BIFIE (unter der Leitung von Mag. Dr. Claudia Schreiner) trugen zum Gelingen von PISA 2012 vor allem

11 Vorwort 9 folgende Mitarbeiterinnen bei (in alphabetischer Reihenfolge): Dipl.-Päd. Julia Franken (Field Operations), MMag. Dr. Andrea Grafendorfer (Testinstrumente Naturwissenschaft), Monika Kaltenbrunner (Administration), Mag. Manuela Pareiss (Datenmanagement und Field Operations), Christina Reichl (Projektassistentin), Mag. Dr. Juliane Schmich (Testinstrumente Problemlösen), Mag. Dr. Ursula Schwantner (Projektleitung, Fragebogenerstellung, Testinstrumente Lesen), Dipl.-Päd. Bettina Toferer, MA (Testinstrumente Mathematik und Naturwissenschaft). MMag. DDr. Ulrike Kipman, B.Sc. hat bei allen statistischen Fragen kompetent beraten. Mag. Hannes Kaschnig (Department Zentrales Management & Services des BIFIE) hat die Broschüre gestaltet. Dr. Arnold Klaffenböck hat die Texte Korrektur gelesen. Unser ganz besonderer Dank gilt: allen Schülerinnen und Schülern, die durch ihre Teilnahme an den Tests und Befragungen die Durchführung der Studie ermöglicht haben. den Schulleiterinnen und Schulleitern der 191 PISA-Schulen sowie jenen Lehrerinnen und Lehrern, die sich als Kontaktpersonen zur Verfügung gestellt haben. den engagierten Testleiterinnen und Testleitern sie haben durch ihre professionelle Arbeit die hohen Rücklaufquoten und die gute Qualität der Daten ermöglicht. Sie alle tragen dazu bei, die Weiterentwicklung des österreichischen Schulsystems mit entsprechenden Daten zu unterstützen. Mag. Dr. Ursula Schwantner Nationale Projektmanagerin PISA 2012 Mag. Dr. Claudia Schreiner Leiterin Department Bildungsstandards und Internationale Assessments Salzburg, im Dezember 2013

12 1 Was ist PISA? OECD/PISA PISA, das Programme for International Student Assessment, wurde 1997 von der OECD (Organisation für wirtschaftliche Zusammenarbeit und Entwicklung) und ihren Mitgliedsstaaten ins Leben gerufen, um regelmäßig verlässliche Daten über das Wissen und die Fähigkeiten der Schüler/ innen sowie die Effektivität der Bildungssysteme in den Mitgliedsstaaten zu erhalten. Seit der ersten Erhebung im Jahr 2000 werden alle drei Jahre die Grundkompetenzen von 15-/16-jährigen Schülerinnen und Schülern in Lesen, Mathematik und Naturwissenschaft in den OECD-Mitgliedsstaaten erhoben. Österreich als ein Gründungsmitglied der OECD beteiligt sich seit Beginn an PISA. PISA 2012 stellt den nunmehr fünften Durchgang dar. Mithilfe der bei PISA gewonnenen Daten konnte die OECD im letzten Jahrzehnt eine umfassende Datenbasis aufbauen, die Vergleiche von Schülerleistungen und deren Zusammenhänge mit ökonomischen und sozialen Merkmalen ermöglicht und die Beobachtung von Entwicklungstrends erlaubt. Als internationale Wirtschaftsorganisation verfolgt die OECD als wesentliche Ziele, in ihren 34 Mitgliedsstaaten ein nachhaltiges Wirtschaftswachstum, eine höhere Beschäftigung, finanzielle Stabilität und eine Steigerung des Lebensstandards zu fördern und zur Entwicklung der Weltwirtschaft beizutragen. Darüber hinaus ist es auch ein Anliegen der OECD, die Entwicklung anderer Länder zu unterstützen ( oecd.org/berlin/dieoecd/). So ist auch die PISA-Studie nicht auf OECD-Länder beschränkt, sondern offen für die Beteiligung von Partnerländern und -volkswirtschaften. Bildung gilt als ein Schlüsselfaktor zur Erreichung dieser Ziele. In ihren Bemühungen, Regierungen in einer effektiven Bildungspolitik zu unterstützen, veröffentlicht die OECD in den jährlichen Berichten Education at a Glance (Bildung auf einen Blick, z. B. OECD, 2012) international vergleichbare, quantitative Indikatoren, die eine kontinuierliche Beobachtung sowie eine aussagekräftige Rückmeldung über die Leistungsfähigkeit der Bildungssysteme in den OECD-Mitgliedsstaaten ermöglichen. OECD/PISA ist eine der zentralen Datenquellen für diese Indikatoren. Zudem fließen Daten der internationalen Befragung zu Lehren und Lernen (OECD Teaching and Learning International Survey TALIS) sowie der Erhebung zu den Kompetenzen von Erwachsenen (OECD Programme for the International Assessment of Adult Competencies PIAAC) ein (OECD, 2012, S. 3 f.). Österreich beteiligte sich an beiden Studien (TALIS 2008, PIAAC 2012). Nationaler Nutzen von PISA Gemeinsam mit den beiden Studien der IEA (International Association for the Evaluation of Educational Achievement), PIRLS (Progress in International Reading Literacy Study) und TIMSS (Trends in International Mathematics and Science Study) ist PISA ein wesentlicher Bestandteil des österreichischen Bildungsmonitorings, das seit dem Jahr 2008 eine der Kernaufgaben des BIFIE (Bundesinstitut für Bildungsforschung, Innovation und Entwicklung des österreichischen Schulsystems) ist. PIRLS (Beteiligung Österreichs 2006 und 2011) erfasst die Lesekompetenz und TIMSS (Beteiligung Österreichs 1995, 2007 und 2011) die Mathematik- und Naturwissenschaftsfähigkeiten von 10-jährigen Schülerinnen und Schülern am Ende der Volksschule. Somit werden in regelmäßigen Abständen international vergleichbare Daten grundlegender Kompetenzen der Schüler/innen an wesentlichen Schnittstellen des Schulsystems (4. Klasse Volksschule und 9./10. Schulstufe Ende der Pflicht-

13 Was ist PISA? 11 schulzeit) erhoben und analysiert. Die internationalen Schülerleistungsvergleiche ergänzen die nationalen Standardüberprüfungen in der 4. Schulstufe (Deutsch und Mathematik) und in der 8. Schulstufe (Deutsch, Mathematik und Englisch), indem sie den Vergleich auf Systemebene mit anderen Schulsystemen ermöglichen. Gemeinsam liefern internationa le und nationale Assessments regelmäßig wichtige Daten zur Qualität, Effizienz und zu Ent wicklungsfeldern des Schulsystems, die u. a. im österreichischen Bildungsbericht (vgl. z. B. Herzog-Punzenberger, 2012; Bruneforth & Lassnigg, 2012) für Bildungsverantwortliche aufbereitet sowie der breiten Öffentlichkeit zugänglich gemacht werden. Ziele von PISA NATURWISSENSCHAFT Lesen Mathematik LESEN Mathematik Naturwissenschaft Abbildung 1.1: Der PISA-Zyklus MATHEMATIK Naturwissenschaft Lesen Hauptziel von PISA ist, die Effektivität von Schulsystemen festzustellen und mithilfe des internationalen Vergleichs Stärken und Schwächen zu identifizieren, auf deren Grundlage Schulsysteme weiterentwickelt werden können. Die Effektivität wird anhand des kumulierten Ertrags eines Schulsystems bestimmt. Dazu werden die Kompetenzen von Schülerinnen und Schülern im Alter von 15/16 Jahren (in diesem Alter befinden sich die Schüler/innen in den meisten Ländern am Ende der Pflichtschulzeit) in den drei Bereichen Lesen, Mathematik und Naturwissenschaft sowie zentrale Hintergrundmerkmale, die mit den Kompetenzen in Zusammenhang stehen, in regelmäßigen Abständen von drei Jahren erhoben, ausgewertet und international verglichen. Lesekompetenz (Reading Literacy) wird bei PISA erhoben, weil diese in allen Gesellschaften zu den Grundfertigkeiten zählt und für die Teilhabe am beruflichen, sozialen, kulturellen und politischen Leben unabdingbar ist (OECD, 2013, S. 61). Außerdem ist Lesen eine zentrale Voraussetzung für lebenslanges Lernen. Mathematikkompetenz (Mathematical Literacy) und Naturwissenschaftskompetenz (Scientific Literacy) werden bei PISA gemessen, weil diese im 21. Jahrhundert eine immer größere Rolle spielen und daher die gesamte Bevölkerung einer modernen Gesellschaft über Grundfähigkeiten aus diesen Bereichen verfügen sollte (OECD, 2013, S. 24, S. 98). Diese Kompetenzen ermöglichen es auch, die Chancen neuer Entdeckungen und Technologien einerseits zu erkennen, andererseits neu aufgeworfene Probleme realistisch einzustufen und als Bürger/in entsprechend zu reagieren. Bei jeder PISA-Erhebung wird einer der drei Kompetenzbereiche sehr umfangreich, mit gut der Hälfte der Aufgaben, erfasst ( Hauptdomäne ). In den beiden anderen Bereichen werden jeweils zusammenfassende Leistungsprofile erhoben (s. Abbildung 1.1). Der erste PISA-Zyklus fand mit Erhebungen in den Jahren 2000 (Schwerpunkt Lesen), 2003 (Schwerpunkt Mathematik) und 2006 (Schwerpunkt Naturwissenschaft) statt. Mit PISA 2009 begann der zweite Zyklus mit Erhebungen in den Jahren 2009 (erneut Schwerpunkt Lesen), 2012 (erneut Schwerpunkt Mathematik) und 2015 (erneut Schwerpunkt Naturwissenschaft). Mit dem Abschluss des zweiten PISA- Zyklus im Jahr 2015 wird jeder der drei Kompetenzbereiche zweimal schwerpunktmäßig erfasst worden sein. Zusätzlich zu den drei Kerndomänen wird jeder PISA- Durchgang durch einen innovativen Bereich ergänzt, an dem sich die Länder in der Regel als internationale Option beteiligen können. Österreich nahm bei PISA 2000 an der internationalen Zusatzbefragung zu fächerübergreifenden Fähigkeiten (Cross-Curricular-Competencies, CCC) teil, bei der die Schüler/innen u. a. zu Strategien des selbstregulierenden Lernens und der Handlungskontrolle, zu kooperativem Lernen, ihrer Motivation und Zielorientierung befragt wurden. Bei PISA 2003 und 2012 wurden die Testdomänen um die fächerübergreifende Problemlösekompetenz erweitert, wobei diese 2003 mittels Testheften und 2012 am Computer erfasst wurde beteiligte sich Österreich an der Option Lesen elektronischer Medien, die bei PISA 2012 fortgeführt wurde. Zudem wurden bei PISA 2012 Mathematikaufgaben am Computer gestellt. Gemeinsam bildet die computerbasierte Erhebung von Problemlösen, Lesen elektronischer Medien und Mathematik die internationale Option Computer-based Assessment of Literacy (CBAL). Da digitale Medien und Geräte im Alltag von Jugendlichen einen hohen Stellenwert einnehmen und sich mit digitalen Medien neue, vielfältige Lernwege eröffnen, sind computerbasierte Tests ein wesentlicher Bestandteil von PISA. Beim nächsten Durchgang 2015 wird PISA auf Initiative der OECD voraussichtlich vollständig computerbasiert durchgeführt werden.

14 12 PISA 2012: Die Studie im Überblick Eine weitere internationale Option bei PISA 2012 war die Erfassung der Financial Literacy, an der sich Österreich je doch nicht beteiligte. PISA liefert drei Arten von Indikatoren PISA erfasst, in welchem Ausmaß Jugendliche das Wissen, das sie im Laufe der Pflichtschulzeit erworben haben, in realitätsnahen Situationen einsetzen und anwenden können. Beim Kompetenzerwerb wirken dabei neben Merkmalen der Bildungseinrichtungen, die die Schüler/innen im Laufe ihrer Schulzeit besuchen (z. B. Betreuungsqualität im Kindergarten, Schulart, Unterrichtsqualität, Strategien der Lehrer/innen, soziales Klima in der Klasse), auch demografische, sozial-ökonomische, familiäre und individuelle Faktoren (z. B. Einkommen, Bildung und Beruf der Eltern, Migrationshintergrund, Lern- und Leistungsmotivation etc.). Da her werden bei PISA nicht nur die Kompetenzen der Schüler/innen erhoben, sondern auch wichtige Kontextmerkmale, die mit diesen in Zusammenhang stehen. Indem PISA regelmäßig alle drei Jahre durchgeführt wird, ist es möglich, die Entwicklungen der Kompetenzen und der Zusammenhänge über die Zeit zu verfolgen. Zusammengefasst ergibt das drei Qualitätsindikatoren, anhand derer Schulsysteme beschrieben werden: 1. Die Leistungen der Schüler/innen in den Kompetenzbereichen (die PISA-Testergebnisse) bilden die Basisindikatoren. Der direkte Vergleich der Ergebnisse mit den Leistungen anderer Teilnehmerländer (auf Grundlage von Benchmarks ) ermöglicht eine Identifizierung von Stärken und Schwächen in den nationalen Bildungssystemen. 2. Die mittels Fragebögen für Schüler/innen und für Schulleiter/innen erhobenen Kontextindikatoren geben Einsicht in Zusammenhänge von demografischen, sozialen, ökonomischen oder allgemein pädagogischen Faktoren mit der Leistung. PISA-Daten: aggregiert und kumuliert Die Informationen, die internationale Schülerleistungsvergleiche wie PISA in Form von Qualitätsindikatoren liefern, sind (mehr oder weniger) aggregiert, d. h. über Wirkungen bzw. Effekte auf allen Ebenen hinweg summiert (z. B. die erreichten Punkte der österreichischen Schüler/innen in Lesen spiegeln den Ertrag bzw. die Qualität der Prozesse auf allen drei Ebenen, Unterricht Schule Systemorganisation, wider), und kumuliert, d. h. sie sind die Summe der Wirkungen aller beteiligten Elemente (von der Durchführung des Unterrichts, den Kompetenzen der Lehrer/innen, der Selbstorganisation der Schüler/innen über die Unterstützung der Eltern, des sozialen Klimas in der Klasse bis zur Wirkung von Medien). Damit sind evaluative Studien vom PISA-Typ zum Monitoring gut geeignet, um den Zustand von Qualitätsmerkmalen (die erfassten Kompetenzen und Kontextindikatoren) und Zusammenhänge zwischen Leistungen und Hinter - grundmerkmalen relativ präzise zu beschreiben. Um die Ursachen für die vielfältig aggregierten und kumulierten Wirkungen zu erforschen, ist PISA weniger gut geeignet. So ist es möglich, den Erfolg des finnischen oder kanadischen Schulsystems mit PISA festzustellen (im Vergleich zu den anderen), oder auszusagen, dass Mädchen in allen OECD- Ländern beim Lesen besser abschneiden als Burschen; es ist jedoch ungleich schwieriger, die Ursachen dieser Ergebnisse zu bestimmen (z. B. welches Zusammenspiel von welchen Merkmalen nun genau zu diesem Ergebnis geführt hat). Die bei PISA beobachteten Zusammenhänge zwischen Leis - tungen und Kontextmerkmalen können jedoch zum Verständnis von Wirkungen beitragen (etwa die Korrelation zwischen sozioökonomischem Status und den Leistungen der Schüler/innen) oder zumindest zu neuen Hypothesen mit der Chance auf mögliche neue Einsichten führen. 3. Die regelmäßige standardisierte Erfassung der Kompetenzen und Kontextmerkmale ermöglicht einen Vergleich der Ergebnisse über die Zeit und somit die Bildung von Trendindikatoren. Diese systematische Da - ten basis dient der Beobachtung von Entwicklungstrends im Kompetenzbestand in den verschiedenen Ländern und von verschiedenen demografischen Gruppen. Durch den Vergleich der Ergebnisse über die Zeit kann die Dynamik der Entwicklung erfasst werden. Zugleich können Konsequenzen zwischenzeitlich eingeleiteter Verbesserungen im System sichtbar gemacht werden. Mit dem PISA-Untersuchungsdesign ist dafür gesorgt, dass in jedem Kompetenzbereich im 9-Jahres-Abstand eine detaillierte und profunde Leistungsanalyse sowie alle drei Jahre ein Leistungsprofil erstellt wird.

15 2 Wie ist PISA organisiert? Die Teilnehmerländer von PISA 2012 An PISA 2012 nahmen weltweit 65 Länder teil, darunter alle 34 OECD-Mitgliedsstaaten sowie weitere 31 Partnerländer. Abbildung 2.1 gibt einen Überblick über die Teilnehmerländer bei PISA Die internationale Organisation von PISA 2012 Die Managementverantwortung für das gesamte PISA-Projekt trägt das OECD- Sekretariat in Paris (Gesamtkoordinator: Dr. Andreas Schleicher). Die grundlegenden Entscheidungen werden im PISA Governing Board (PGB) getroffen, in dem alle PISA-Teilnehmerländer vertreten, aber nur OECD-Mitgliedsländer stimmberechtigt sind. Das PGB legt im Rahmen der Zielsetzungen der OECD die politischen Prioritäten für PISA fest und überwacht den gesamten Implementierungsprozess. Österreich wird im PGB von Dr. Mark Német (BMUKK) vertreten. Für das Design und die Implementierung von PISA 2012 innerhalb des vom PGB gesteckten Rahmens waren zehn internationale Vertragspartner verantwortlich, die gemeinsam unter der Leitung von ACER (Australian Council for Educational Research) das PISA-Konsortium 2012 bildeten: Australian Council for Educational Research (ACER) Analyse des systèmes et des pratiques d enseignement (aspe) in Belgien capstan Linguistic Quality Control in Belgien Deutsches Institut für Internationale Pädagogische Forschung (DIPF) Educational Testing Service (ETS) in den USA Institutt for Lærerutdanning og Skoleutvikling (ILS) in Norwegen Leibniz Institut für die Pädagogik der Naturwissenschaften und Mathematik (IPN) in Deutschland National Institute for Educational Policy Research (NIER) in Japan Henri Tudor (CRP) and Université de Luxembourg (EMACS) Westat in den USA Dieses Konsortium unter der Leitung von ACER trug die Verantwortung für die Entwicklung und das Design der Tests, die Entwicklung und Adaption der Fragebögen sowie für alle Angelegenheiten bezüglich Sampling, Durchführung der Studie, Übersetzung und deren Verifikation, Datenmanagement, Qualitätssicherung usw. Um die wissenschaftliche Expertise und das praktische Know-how aus allen PISA- Teilnehmerstaaten und den nationalen Pro jektzentren zu nutzen, wurden internationale Expertengruppen zu Lesen, Mathematik, Naturwissenschaft und Problemlösen sowie für die Fragebögen gebildet (Subject Matter Expert Groups). Aufgabe der internationalen Expertinnen und Experten war es, die bei PISA verwendeten Tests und Fragebögen zu entwickeln und zu gewährleisten, dass PISA mit der größtmöglichen international verfügbaren fachwissenschaftlichen und verfahrenstechnischen Kompetenz umgesetzt wird. Die Technical Advisory Group (TAG), der renommierte internationale Sozialwissenschafter/innen und Methodiker/innen angehören, gewährleistet höchste technische Qualität des Projekts (z. B. beim Design der Studie, bei der Umsetzung der technischen Standards oder bei Analysen).

16 14 PISA 2012: Die Studie im Überblick OECD-Länder PISA 2012 Australien (AUS) Großbritannien (GBR) Mexiko (MEX) Slowakische Republik (SVK) Belgien (BEL) Irland (IRL) Neuseeland (NZL) Slowenien (SVN) Chile (CHL) Island (ISL) Niederlande (NLD) Spanien (ESP) Dänemark (DNK) Israel (ISR) Norwegen (NOR) Tschechische Republik (CZE) Deutschland (DEU) Italien (ITA) Österreich (AUT) Türkei (TUR) Estland (EST) Japan (JPN) Polen (POL) Ungarn (HUN) Finnland (FIN) Kanada (CAN) Portugal (PRT) Vereinigte Staaten von Amerika (USA) Frankreich (FRA) Korea (KOR) Schweden (SWE) Griechenland (GRC) Luxemburg (LUX) Schweiz (CHE) OECD-Partnerländer PISA 2012 Albanien (ALB) Kasachstan (KAZ) Malaysia (MYS) Taiwan (TWN) Argentinien (ARG) Katar (QAT) Montenegro (MNE) Thailand (THA) Brasilien (BRA) Kolumbien (COL) Peru (PER) Tunesien (TUN) Bulgarien (BGR) Costa Rica (CRI) Kroatien (HRV) Lettland (LVA) Rumänien (ROU) Russische Föderation (RUS) Uruguay (URY) Vereinigte Arabische Emirate (QAR) Hongkong* (HKG) Liechtenstein (LIE) Serbien (SRB) Vietnam (VNM) Indonesien (IDN) Litauen (LTU) Schanghai** (QCN) Zypern*** (CYP) Jordanien (JOR) Macau* (MAC) Singapur (SGP) * Sonderverwaltungszone Chinas, wird bei der Berichterstattung von der OECD wie ein eigenes Land behandelt. ** Provinz Chinas, wird bei der Berichterstattung von der OECD wie ein eigenes Land behandelt. *** Die Informationen über Zypern in diesem Bericht beziehen sich auf das Gebiet, das unter Kontrolle der Regierung der Republik Zypern steht (OECD, 2013b). Abbildung 2.1: Die PISA-2012-Teilnehmerländer

17 Wie ist PISA organisiert? 15 Die nationale Organisation von PISA 2012 In Österreich wird wie in allen anderen PISA-Ländern die nationale Durchführung der Studie vom Unterrichtsministerium in Auftrag gegeben und finanziert. Frau BM Dr. Claudia Schmied be auftragte das BIFIE (Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens) mit der wissenschaftlichen Planung und der praktischen Umsetzung von PISA Das Department Bildungsstandards und Internationale Assessments (Leitung Mag. Dr. Claudia Schreiner) zeichnet für die nationale Umsetzung der PISA-Studie verantwortlich. Als nationale Projektmanagerin war Mag. Dr. Ursula Schwantner für die Planung, Umsetzung und Auswertung von PISA 2012 zuständig. In Zusammenarbeit mit dem internationalen Konsortium und anderen nationalen PISA-Projektzentren insbesondere in Kooperation mit Deutschland, der Schweiz und Luxemburg (DACHL) bei den Übersetzungen wird von den BIFIE-Mitarbeiterinnen und -Mitarbeitern die PISA-Studie in Österreich realisiert. Dazu werden das Untersuchungsdesign auf die nationalen Gegebenheiten abgestimmt, die Tests und Fragebögen mitentwickelt, übersetzt und angepasst, die Erhebungen durchgeführt, die Daten verarbeitet und analysiert. Um den PISA-Test bestmöglich an die nationalen Gegebenheiten anzupassen, kooperiert das BIFIE bei der Begutachtung der Frameworks und der Testaufgaben mit nationalen Fachexpertinnen und -experten. Für die nationale Begutachtung des Mathematik-Frameworks (s. Kapitel 3) und der neuen Mathematikaufgaben beauftragte das BIFIE das Österreichische Kompetenzzentrum für Mathematikdidaktik (AECC-Mathematik) am Institut für Didaktik und Mathematik an der Alpen-Adria-Universität Klagenfurt unter der Leitung von Univ.-Prof. Dipl.-Ing. Dr. Werner Peschek. Die Begutachtung des Frameworks zum Bereich Problemlösen übernahmen Ao. Univ.-Prof. Mag. Dr. Stefan Götz und Univ.-Prof. Mag. Dr. Hans Humenberger (beide Fakultät für Mathematik und Zentrum für LehrerInnenbildung, Universität Wien). An der Begutachtung der Problemlöseaufgaben beteiligten sich Mag. Franz Altinger (BG Zaunergasse, Salzburg), Univ. Doz. Dr. Franz Embacher (Fakultät für Mathematik, Fakultät für Physik, Universität Wien) sowie Univ.-Prof. Mag. Dr. Hans Humenberger. Zeitplan Die Durchführung der PISA-Studie von der Entwicklung der Rahmenkonzepte der Testbereiche (Frameworks) bis zum Ergebnisbericht erstreckt sich über mehrere Jahre. 2010, etwa zwei Jahre vor der Haupterhebung, haben die unmittelbaren Vorbereitungsarbeiten für PISA 2012 begonnen. In dieser Zeit wurden die theoretischen und konzeptionellen Grundlagen erarbeitet sowie die Tests und Fragebögen entwickelt. Im Jahr 2011 wurde in allen teilnehmenden Ländern ein Feldtest zur Erprobung der neuen Aufgaben und aller Abläufe durchgeführt. In Österreich waren daran 60 Schulen mit Schülerinnen und Schülern beteiligt. Auf Basis der durch den Feldtest gewonnenen Erkenntnisse wurden alle neuen Testaufgaben, Fragebogeninhalte und Prozeduren für den Haupttest 2012 optimiert. Der Haupttest fand in Österreich im April/Mai 2012 an 191 Schulen mit Schülerinnen und Schülern statt. Zur selben Zeit testeten auch die anderen PISA-Länder der nördlichen Hemisphäre. Teilnehmerländer der südlichen Hemisphäre testen ca. ein halbes Jahr später, da das Schuljahr erst etwa im Februar beginnt und so der Testzeitraum entsprechend verschoben ist. Nach der Datenerhebung im Frühjahr 2012 dauert es bis zur ersten Ergebnisveröffentlichung (Dezember 2013) etwa eineinhalb Jahre. In dieser Zeit werden die erhobenen Daten aller 65 Länder der nördlichen sowie der zeitlich verschoben testenden südlichen Hemisphäre entsprechend aufbereitet, geprüft, gewichtet und schließlich ausgewertet. Im Dezember 2013 veröffentlicht die OECD die ersten Ergebnisberichte zu PISA 2012 (OECD, 2013b, c, d, e). Zeitgleich erscheinen drei österreichische Erstpublikationen: die Broschüre zu ersten Ergebnissen von PISA 2012 aus österreichischer Perspektive, die vorliegende Studienbeschreibung sowie der nationale technische Bericht, der eine detaillierte Beschreibung und Erklärung aller österreichspezifischen PISA Aktivitäten enthält. Alle Publikationen des BIFIE sind ab dem Zeitpunkt der Veröffentlichung auf der BIFIE- Homepage erhältlich ( In Abbildung 2.2 ist der Zeitplan für PISA 2012 im Detail dargestellt. Bei Tätigkeiten im Rahmen der Datenerhebung und Datenverarbeitung, die mit einem hohen Arbeitsaufwand verbunden sind, werden die Mitarbeiter/innen des BIFIE von externen, speziell geschulten Personen unterstützt (Testleiter/innen, Coder/innen, Datenerfassungspersonal). Für die Datenanalysen und die Erstellung von Publikationen und Vorträgen ist ebenfalls das BIFIE verantwortlich und kooperiert dabei mit Fachexpertinnen und -experten.

18 16 PISA 2012: Die Studie im Überblick 1 Vorbereitung 01/2010 bis 10/2010 Feldtest (FT) 11/2010 bis 08/2011 Haupttest (HT) 09/2011 bis 10/2012 Datenaufbereitung und -analyse 11/2012 bis 12/ Entwicklung der Rahmenkonzeption (Frameworks); Festlegung des Untersuchungsdesigns Entwicklung, Begutachtung und Überarbeitung der neuen Mathematikund Problemlöse-Aufgaben Erstellung des Stichprobenplans für den Feldtest Übersetzung und nationale Anpassung der Testaufgaben und Fragebögen; Stichprobenziehung Schulen; Information der Schulbehörden Übersetzungsverifikation; Information der ausgewählten Schulen; Stichprobenziehung Schüler/innen; Druck der Testhefte und Fragebögen Verpackung der Testmaterialien; Schulung der Testleiter/innen Feldtest an den Schulen Vercodung der offenen Antworten, Datenerfassung; nationales File-Cleaning internationales File-Cleaning und Datenanalyse Itemauswahl und Erstellung des Stichprobenplans für den Haupttest Überarbeitung der Testaufgaben und Fragebögen für den Haupttest; Stichprobenziehung Schulen; Information der Schulbehörden Übersetzungsverifikation; Information der ausgewählten Schulen; Stichprobenziehung Schüler/innen; Druck der Testhefte und Fragebögen Verpackung der Testmaterialien, Schulung der Testleiter/innen Haupttest an den Schulen Vercodung der offenen Antworten, Datenerfassung; nationales File-Cleaning internationales File-Cleaning und Datenanalyse internationale Datenskalierung Erstellung des internationalen Datensatzes Datenanalysen Veröffentlichung der Ergebnisse Abbildung 2.2: Zeitplan für PISA 2012

19 3 Was misst PISA? Das Modell des lebenslangen Lernens Schüler/innen können nicht alles, was sie im Leben einmal benötigen werden, bereits auf Vorrat in der Schule lernen. Sie müssen jedoch umfassende Grundkompetenzen erwerben, die es ihnen ermöglichen, aktiv und erfolgreich am gesellschaftlichen, beruflichen, kulturellen und politischen Leben teilzunehmen. Im Zentrum von PISA steht die Frage, inwieweit 15-/16-jährige Schüler/innen, die sich in den meisten Teilnehmerländern am Ende der Pflichtschulzeit befinden, in drei zentralen Bereichen Lesen, Mathematik und Naturwissenschaft über solche Grundkompetenzen verfügen. Diese Fragestellung beruht auf dem dynamischen Modell des lebenslangen Lernens, das davon ausgeht, dass Kenntnisse und Fertigkeiten kontinuierlich über die gesamte Lebensspanne hinweg, inner- und außerhalb von Bildungseinrichtungen, erworben werden. Die Voraussetzungen für ein erfolgreiches lebenslanges Lernen werden dabei zu einem wesentlichen Teil in der Schule gelegt. Zum einen müssen die Schüler/innen spezifisches Fachwissen sowie Kenntnisse über grundlegende Konzepte erwerben, zum anderen benötigen sie Fähigkeiten, die es ihnen ermöglichen, ihr Wissen in verschiedenen Situationen anzuwenden und sich an veränderte Bedingungen anpassen zu können sowohl im schulischen Kontext als auch außerhalb. Da elektronische Medien und Geräte einen immer größeren Stellenwert einnehmen und diese zudem vielfältige neue Lernmöglichkeiten eröffnen, ist die Erfassung der Nutzung von Informations- und Kommunikationstechnologien sowie der Einsatz computerbasierter Tests mittlerweile fester Bestandteil von PISA. Die Nutzung von Informations- und Kommunikationstechnologien zählt zu den fächerübergreifenden Kompetenzen und wird bei PISA im Rahmen eines internationalen Zusatzfragebogens erfasst. Als weiterer wichtiger fächerübergreifender Kompetenzb e- reich wird die allgemeine Problemlöse kompet enz der Jugendlichen erachtet. Diese wurde im Rahmen von PISA 2003 mittels gedruckten Testheften und bei PISA 2012 mittels Computertest erfasst. Bei PISA 2012 wurden darüber hinaus computerbasierte Mathematik- und Leseaufgaben eingesetzt. Computerbasierte Testaufgaben gehen über papierbasierte Testaufgaben hinaus, indem sie die Möglichkeit bieten, Aufgabenstellungen zu animieren, mit Pro - blemstellungen zu interagieren und z. B. auch Lösungswege und verschiedene Lösungsversuche und Herangehensweisen aufzuzeichnen. Mithilfe der (sowohl papier- als auch computerbasierten) PISA-Aufgaben sollen Fertigkeiten gemessen werden, die in realen Lebenssituationen gefordert sind und die im Hinblick auf das lebenslange Lernen und die konstruktive Teilhabe an der Gesellschaft relevant sind. Das Augenmerk der Testinhalte liegt dabei auf dem Verständnis von grundlegenden Konzepten, der Beherrschung von Prozessen sowie auf der Fähigkeit, nachhaltig vernetztes Wissen in unterschiedlichen alltagsbezogenen Situationen bzw. auf realitätsnahe Problemstellungen anwenden zu können. Die PISA-Frameworks Für jeden bei PISA gemessenen Kompetenzbereich wird von internationalen Expertinnen und Experten ein Framework ent wickelt. Ein Framework ist ein Expertencurriculum, in dem beschrieben und definiert wird, welches Wissen und welche Fähigkeiten für die einzelnen Bereiche relevant sind und bei PISA getestet werden. Basis für die Entwicklung der Frameworks ist das Modell des lebenslangen Lernens.

20 18 PISA 2012: Die Studie im Überblick Die Schüler/innen sollen zeigen, dass sie bestimmte grundlegende Konzepte kennen und verstehen und ihr Wissen darüber in verschiedenen Situationen und Kontexten flexibel anwenden können. Die Kompetenzen werden als kontinuierlich angesehen und in ihrer quantitativen Ausprägung (höhere/niedrigere Kompetenz) erfasst. Bei der Erstellung der Frameworks werden nationale Lehrpläne zwar konsultiert, sie spielen jedoch bei der Festlegung der Testinhalte eine untergeordnete Rolle. Eine Konzentration auf Lehrplaninhalte würde bei einer internationalen Vergleichsstudie dazu führen, dass nur solche Aspekte gemessen werden können, die in den Lehrplänen von allen oder den meisten Ländern enthalten sind. Dies würde zahlreiche Kompromisse erfordern und die Messungen letztendlich zu sehr einschränken (OECD, 2000, S. 9 f.). Die Vorteile eines von Expertinnen und Experten entwickelten Frameworks liegen u. a. darin, dass es ein gemeinsames Verständnis dessen liefert, was als relevant erachtet und daher getestet werden soll. Somit ermöglichen die Frameworks eine präzise Messung der jeweiligen Kompetenzbereiche (OECD, 2013a, S. 15). Das Framework umfasst für jeden Kompetenzbereich: die Definition des Kompetenzbereichs mit Erläuterungen die Organisation des Kompetenzbereichs die Aufgabenmerkmale und die Erhebungsstruktur einige Beispielaufgaben Im Folgenden werden die Inhalte der Frameworks für die bei PISA 2012 gemessenen Kompetenzbereiche erläutert. Das Mathematik-Framework basiert auf PISA 2003, der ersten schwerpunktmäßigen Erhebung der Mathematikkompetenz, und wurde für PISA 2012 aktualisiert und erweitert. Ebenso wurde das Problemlöse-Framework aus PISA 2003 weiterentwickelt. Das aktuelle Framework für den Kompetenzbereich Lesen stammt aus PISA 2009 (der zweiten schwerpunktmäßigen Erfassung) und jenes für Naturwissenschaft aus PISA LESEHINWEIS Das PISA-2012-Framework (OECD, 2013a) kann von der Webseite der OECD kostenlos heruntergeladen werden ( Mathematikkompetenz (Schwerpunkt 2012) Mathematisches Grundverständnis und die Anwendung mathematischer Konzepte, Verfahren und Werkzeuge sind im Alltag unverzichtbar. Sei es der Umgang mit Finanzen, der tägliche Einkauf oder das Interpretieren von Statistiken all diese Situationen verlangen mathematisches Wissen, um angemessene Entscheidungen treffen zu können. PISA stellt bei der Definition der Mathematikkompetenz den Aspekt der Anwendung und Nutzung des mathematischen Wissens in einer Vielzahl von unterschiedlichen Kontexten in den Vordergrund und wird wie folgt definiert: Mathematikkompetenz ist die Fähigkeit einer Person, Mathematik in einer Vielzahl von Kontexten zu formulieren, anzuwenden und zu interpretieren. Dazu gehört mathematisches Schlussfolgern sowie die Anwendung mathematischer Konzepte, Verfahren, Fakten und Werkzeuge, um Phänomene zu beschreiben, zu erklären und vorherzusagen. Mathematikkompetenz hilft jedem/jeder Einzelnen, die Rolle zu erkennen, die Mathematik in der Welt spielt, sowie fundierte Urteile abzugeben und gut begründete Entscheidungen zu treffen, wie sie von konstruktiven, engagierten und reflektierenden Bürgerinnen und Bürgern benötigt werden (OECD, 2013a, S. 25; Übersetzung: BIFIE). Das Modell der Mathematikkompetenz Das Modell der Mathematikkompetenz gibt einen Überblick über die wichtigsten Dimensionen des Mathematik- Frameworks und zeigt an, wie sich diese aufeinander beziehen (s. Abbildung 3.1). Den äußeren Rahmen des Modells bilden die Kontexte sowie die mathematischen Inhaltsbereiche, in denen ein Problem angesiedelt ist. Um kontextbezogene Probleme lösen zu können, müssen Schüler/innen mathematisch denken und handeln. Sie stützen sich dazu auf mathematische Konzepte, Kenntnisse und Fertigkeiten. Mathematisches Handeln wird im Framework anhand von sieben grundlegenden mathematischen Fähigkeiten charakterisiert. Zur Auseinandersetzung mit dem Problem selbst sind drei mathematische Prozesse gefordert, die diese grundlegenden Fähigkeiten involvieren: Formulieren, Anwenden, Interpretieren/Bewerten. Die drei Prozesse bilden die Kernelemente des Kreislaufs des mathematischen Modellierens, der im Inneren des Modells in Abbildung 3.1 vereinfacht dargestellt ist. Beim Kreislauf des mathematischen Modellierens müssen die Schüler/innen in einem realen Problem ein mathematisches Problem erkennen, dieses mathematisch formulieren und damit in ein mathematisches Problem transformieren. Mithilfe des Anwendens mathematischer Konzepte, Prozeduren und Denkweisen wird eine mathematische Lösung gefunden, die anschließend in eine reale Lösung rückübersetzt wird. Abschließend wird das Ergebnis interpretiert und die Sinnhaftigkeit der realen Lösung in Bezug zum anfänglichen Problem bewertet (OECD, 2013a, S. 25 f.). Auf Basis dieses Modells können die Mathematikaufgaben bei PISA 2012 drei relevanten Dimensionen zugeordnet werden: Kontexte, mathematische Inhaltsbereiche und mathematische Prozesse (vgl. OECD, 2013a, S. 27 f.):

21 Was misst PISA? 19 Reale Situationen Kontexte: persönlich, beruflich, gesellschaftlich, wissenschaftlich Mathematische Inhaltsbereiche: Größen, Raum & Form, Veränderung & Zusammenhänge, Unsicherheit & Daten Mathematisches Denken und Handeln Mathematische Konzepte, Kenntnisse und Fertigkeiten Grundlegende mathematische Fähigkeiten: Kommunizieren und Repräsentieren; Strategien entwickeln; Mathematisieren; Begründen und Argumentieren; symbolische, formale, technische Sprache und Operationen anwenden; mathematische Werkzeuge verwenden; Mathematische Prozesse: Formulieren, Anwenden, Interpretieren/Bewerten Problem in einer realen Situation Bewerten Formulieren mathematisches Problem Anwenden ren von Ergebnissen und das Ziehen von Schlussfolgerungen. Mathematische Prozesse Die Mathematikkompetenz bei PISA 2012 wird als die Fähigkeit einer Person beschrieben, Mathematik in einer Vielzahl von Kontexten zu formulieren, anzuwenden und zu interpretieren. Für PISA sind daher vor allem Aufgaben relevant, die reale Problemstellungen mit der Mathematik verknüpfen und die den Aspekt der Anwendung und Nutzung des mathematischen Wissens beinhalten. Die Lösung solcher Aufgaben involviert drei zentrale Prozesse: Der Prozess des Formulierens erfordert von den Jugendlichen, dass sie mathematische Aspekte und Strukturen eines realen Problems erkennen, dieses mathematisch repräsentieren und in ein mathematisches Problem übersetzen, damit die Problemstellung anschließend auf mathematischem Weg analysiert und gelöst werden kann. reale Lösung Interpretieren mathematische Lösung Abbildung 3.1: Das Modell der Mathematikkompetenz bei PISA 2012 (vgl. OECD, 2013a, S. 26) Kontexte Die bei PISA 2012 zu lösenden Mathematikaufgaben sind in unterschiedlichen Kontexten angesiedelt und decken das persönliche, berufliche, gesellschaftliche oder wissenschaftliche Umfeld ab. Der Prozess des Anwendens erfordert von den Schülerinnen und Schülern, dass sie mathematische Konzepte, Fakten, Prozeduren und Denkweisen verwenden und Strategien zur Lösung mathematischer Probleme entwickeln, um ein mathematisches Ergebnis zu erhalten. Dabei führen die Schüler/innen z. B. arithmetische Berechnungen durch, lösen Mathematische Inhaltsbereiche Die vier Inhaltsbereiche werden als essenzielle Bestandteile der Mathematik gesehen. Beim Inhaltsbereich Größen geht es um Fähigkeiten, numerische Muster zu erkennen, ein Zahlenverständnis zu entwickeln und Zahlen in unterschiedlichen Kontexten anzuwenden und darzustellen sowie mathematische Operationen einzusetzen. Der Inhaltsbereich Raum & Form beinhaltet Kenntnisse über Proportionen von Objekten sowie ein Verständnis von Zusammenhängen zwischen räumlichen und geometrischen Formen. Beim Inhaltsbereich Veränderung & Zusammenhänge geht es um Veränderungsprozesse, funktionale Zusammenhänge und Abhängigkeiten zwischen Variablen. Unsicherheit & Daten umfasst Kenntnisse über das Sammeln, Analysieren und Darstellen von Daten, den Umgang mit Messunsicherheiten und Wahrscheinlichkeiten sowie das Interpretie- Gleichungen, ziehen logische Schlussfolge- rungen aus mathematischen Annahmen oder entnehmen mathematische Informationen aus Tabellen und Grafiken. Der Prozess des Interpretierens erfordert von den Jugendlichen, mathematische Ergebnisse in Bezug auf die anfängliche reale Problemstellung zu reflektieren und die Sinnhaftigkeit der mathematischen Lösung in Bezug auf den realen Kontext zu bewerten. Computerbasierte Erfassung der Mathematikkompetenz Österreich beteiligte sich bei PISA 2012 neben 31 weiteren Ländern an der internationalen Option zur computerbasierten Erhebung der Mathematikkompetenz. Ausschlaggebend für die Entscheidung der OECD, Mathematik bei PISA 2012 auch computerbasiert zu erfassen, waren vor allem zwei Aspekte: Erstens ist die Nutzung von Computern in vielen Bereichen des täglichen Lebens, am Arbeitsplatz oder in der Wissenschaft allgegenwärtig. Bezüglich Mathematik bieten Computer eine Reihe an Werkzeugen

22 20 PISA 2012: Die Studie im Überblick ( Tools ) für Berechnungen, Repräsentationen, Visualisierungen, Modifizierungen, und das Erforschen von sowie Experimentieren mit mathematischen Objekten, Phänomenen und Prozessen. Daher sollte Mathematikkompetenz im 21. Jahrhundert auch die Verwendung des Computers und den Umgang mit elektronischen Werkzeugen beinhalten. Zweitens bieten Computer neue Wege der Erfassung der Mathematikkompetenz, indem Schüler/innen direkt mit einer Problemstellung interagieren können. Die Möglichkeit, Prozesse zu animieren oder dreidimensionale Objekte rotieren zu lassen, kann dazu beitragen, dass Aufgaben besser verstanden werden. Darüber hinaus können am Computer neue Aufgaben- und Antwortformate (z. B. drag and drop ) eingesetzt und das Erscheinungsbild farblich und grafisch ansprechender gestaltet werden. Eine Herausforderung bei der Umsetzung der computerbasierten Erhebung der Mathematikkompetenz ist es, die benötigten Kenntnisse für die Nutzung des Computers und der zur Verfügung gestellten Tools von den mathematischen Anforderungen der jeweiligen Aufgabe zu unterscheiden. Für jede computerbasierte Mathematikaufgabe werden daher drei Aspekte festgelegt (OECD, 2013a, S. 43 f.): Die zu testende Mathematikkompetenz, die grundsätzlich in jeder Umgebung (nicht nur am Computer) benötigt wird. Diese wird in allen computerbasierten Testaufgaben getestet. Kompetenzen, die sowohl die Anwendung der Mathematik als auch Kenntnisse der Computernutzung erfordern, z. B. ein Diagramm auf Basis von Daten erstellen, Informationen effizient sortieren, einen Bildschirmtaschenrechner oder ein Bildschirmlineal verwenden; diese Kompetenzen werden in einigen Computertestaufgaben ge - testet. Grundlegende informations- und kommunikationstechnologische Fertigkeiten, z. B. die Verwendung von Hardware wie Tastatur und Maus oder Kenntnisse über grundlegende Konventionen wie die Verwendung von Kreis- oder Pfeilschaltflächen oder eines Scroll-Balkens. Die reinen IKT-Fertigkeiten werden bei allen computerbasierten Mathematikaufgaben so gering wie möglich gehalten. Lesekompetenz Lesekompetenz gilt als Grundvoraussetzung, um am gesellschaftlichen Leben aktiv teilhaben und sich im Sinn des lebenslangen Lernens weiterentwickeln zu können. Lesekompetenz wird bei PISA 2012 wie folgt definiert: Lesefähigkeit bedeutet, geschriebene Texte zu verstehen, zu nutzen, über sie zu reflektieren und sich mit ihnen auseinanderzusetzen, um eigene Ziele zu erreichen, das eigene Wissen und Potenzial weiterzuentwickeln und am gesellschaftlichen Leben teilzunehmen (OECD, 2013a, S. 61; Übersetzung: BIFIE). Diese Definition zeigt deutlich, dass die bei PISA gemessene Lesekompetenz über ein reines Dekodieren von Texten und ein rein wörtliches Textverständnis hinausgeht. Lesen ist ein dynamischer Prozess, bei dem jeder Leser/jede Leserin auf unterschiedliche Art und Weise versucht, den Inhalt des Textes zu verstehen, die Bedeutung zu interpretieren und zu reflektieren. Die Leseaufgaben bei PISA können nach drei Merkmalen differenziert werden (vgl. OECD, 2013a, S. 62 f.): Situationen Die Situationen beschreiben das Umfeld, aus dem die Texte stammen bzw. in denen Lesen stattfindet. Vier Arten von Situationen werden dabei unterschieden: persönlich oder öffentlich (z. B. Briefe, Webseiten), beruflich oder bildungsnah (z. B. Jobangebote oder Lehrbücher). Textklassifikationen Die bei PISA eingesetzten Texte werden anhand von vier Merkmalen klassifiziert: Medium, Textformat, Texttyp und Textumfeld. Das Medium dient der Unterscheidung von Texten in gedruckter Form (z. B. Magazine oder Bücher) und Texten in elektronischer Form (z. B. Hypertexte mit Navigationstools). Bei der Klassifikation nach Textformat werden vier Formate unterschieden: kontinuierliche, nichtkontinuierliche, gemischte und multiple Textformate. Diese sind jeweils anders organisiert und verlangen eine unterschiedliche Herangehensweise durch den Leser/die Leserin. Kontinuierliche Texte bestehen aus Sätzen und sind in Absätze gegliedert, die wiederum Teil von größeren Strukturen wie Abschnitten, Kapiteln oder Büchern sind. Dazu gehören z. B. Erzählungen oder Erläuterungen. Nichtkontinuierliche Texte basieren auf einer Kombination von Listen, wie z. B. Tabellen, Formulare oder Diagramme. Gemischte Textformate enthalten sowohl kontinuierliche als auch nichtkontinuierliche Textteile und sind häufig in Magazinen oder auf Webseiten zu finden. Multiple Textformate kommen hauptsächlich bei elektronischen Texten vor und ergeben unabhängig voneinander eine Sinneinheit. Die Klassifikation Texttyp bezieht sich auf den hauptsächlichen Charakter eines Textes und umfasst sechs Kategorien: Beschreibungen (z. B. Reiseberichte oder Tagebücher), Erzählungen (z. B. Romane oder Kurzge-