Die PISA-Studie: Konzepte und Methodik

Transkript

1 Institut für Statistik der LMU München Dozenten: Prof. Dr. Thomas Augustin, Julia Kopf, Gero Walter, Andrea Wiencierz Seminar: Statistische Herausforderungen sozialwissenschaftlicher Studien Die PISA-Studie: Konzepte und Methodik (Vorbereitungsmaterial) Referent: Johann Obermeier Betreuung: Julia Kopf Datum: 31. März 2011

2 Vorschau 1. Konzeption von PISA 2. Framework 3. Stichprobendesign 4. Durchführung und Rücklauf 5. Coding und Aufbereitung 6. Erste Ergebnisse von PISA Statistische Herausforderungen 8. Literaturverzeichnis # 2

3 1. Konzeption von PISA 2. Framework 3. Stichprobendesign 4. Durchführung und Rücklauf 5. Coding und Aufbereitung 6. Erste Ergebnisse von PISA Statistische Herausforderungen 8. Literaturverzeichnis # 3

4 1. Konzeption von PISA Informationen zu PISA - Programme for International Student Assessment - Initiator: OECD (Organisation for Economic Co-operation and Development) - 65 Teilnehmerländer bei PISA 2009: 34 OECD-Staaten und 31 OECD-Partnerländer Abbildung 1: Übersicht über PISA-Staaten (OECD 2009a, S. 2) # 4

5 1. Konzeption von PISA PISA-Studie - 3 Basiskompetenzen: Kompetenz in Lesen, Mathematik und Naturwissenschaft - Schwerpunkte: PISA 2000 und > Lesekompetenz PISA 2003 und > Mathematik PISA 2006 und > Naturwissenschaft - Population von PISA 2009: 15-jährige Schüler (Altersjahrgang: 1993) - Zeitraum: 2 Testtage (1. Tag: internationale Testung; 2. Tag: Ländervergleichstests) - Testzeitdauer: 2 Stunden (detaillierter: siehe Kapitel 4) - Zusätzliche Fragebögen zum Schüler- und Schulkontext - pencil-and-paper assessments (OECD 2009c, S. 22) # 5

6 1. Konzeption von PISA Zweck von PISA - Vergleichende Daten über Ressourcenausstattung - Vergleichende Daten über individuellen Ressourcennutzung - Vergleichende Daten über die Funktions- und Leistungsfähigkeit der Bildungssysteme Quelle: Deutsches PISA-Konsortium 2001, S. 15 # 6

7 1. Konzeption von PISA Ziele von PISA - Kompetenzmessung und Vergleiche (Basisindikatoren) - Hintergrund (Kontextindikatoren) - Entwicklung der Schülerleistungen (Trendindikatoren) Quelle: Haider / Schreiner / Schwantner 2010, Folie1 # 7

9 2. Framework Kompetenzen - PISA 2009 Assessment Framework: gibt den konzeptioneller Rahmen für PISA 2009 vor, insb. Kompetenzen. - Bsp.: mathematische Kompetenzen Thinking and reasoning Argumentation Communication Modelling Problem posing and solving Representation Using symbolic, formal and technical language and operations Use of aids and tools Quelle: OECD 2009b, S # 9

11 3. Stichprobendesign Stichprobenziehung - Zweistufige Ziehung: 1. Schulstichprobe (PPS-Samplingverfahren) 2. Schülerstichprobe (Systematische Ziehung) - Beispiel: Österreich (PISA 2009) Abbildung 2: Vorgang der PISA 2009-Stichprobenziehung in Österreich # 11

12 3. Stichprobendesign Schulstichprobe Praktische Umsetzung (1) 1. Samplingplan National definierte Zielpopulation durch das nationale Projektzentrum. 2. Sampling Frame - Erstellung einer Schulliste (Sampling-Frame) mit 15-jährigen Schülern - Zweck: Zuordnung der Schule zu einem expliziten und impliziten Stratum. 3. Bestimmung der Populationsanteile in den expliziten Strata - Bestimmung der Anzahl von Schulen in jedem Stratum - Ziel: Stichprobe von über 4000 Schülern pro Teilnehmerland # 12

13 3. Stichprobendesign Schulstichprobe Praktische Umsetzung (2) 4. Ziehung der Schulstichprobe - Sortierung der Schulen durch ein PPS (probabilities proportional to size)- Samplingverfahren - Auswahl: durch Westat Inc. - Vorteil: international einheitliches Ziehungsverfahren 5. Verifikation der Schulstichprobe durch das nationale Projektzentrum Quelle: Schreiner / Haider 2007, S. 85 # 13

14 3. Stichprobendesign Schülerstichprobe Praktische Umsetzung (3) - PISA-Schulen erheben Schülerlisten (gemäß der Populationsdefinition) - Ziehung der Schülerstichprobe durch das PISA-Zentrum: i) Vollerhebung bei Schulen mit weniger als 35 Schülern aus der Zielpopulation (keine Stichprobenziehung) ii) Zufällige Ziehung von jeweils (maximal) 35 Schülern - Verfahren: Systematische Stichprobenziehung Computergestützte Ziehung mit Programm KeyQuest Quelle: Schreiner / Haider 2007, S. 86 # 14

16 4. Durchführung und Rücklauf Testdurchführung - Grafische Darstellung für den internationalen Test (Testtag 1) Abbildung 3: Ablauf einer PISA 2009-Testsitzung (Schwantner / Schreiner 2010, S.43) # 16

17 4. Durchführung und Rücklauf Rücklaufquoten (1) Schulebene Abbildung 4: Standards für Rücklaufquoten auf Schulebene (Schreiner / Haider 2007, S.49) # 17

18 4. Durchführung und Rücklauf Rücklaufquoten (2) Schülerebene Abbildung 5: Mögliche Gründe für Ausschlüsse auf Schülerebene (Schreiner / Haider 2007, S.83) # 18

20 5. Coding und Aufbereitung - Coding: Beurteilen der Antworten auf offene Fragen (durch qualifiziertes Personal) Tabelle1: Aufgabenformate und erforderliche Bewertung der Schülerantworten (Schwantner / Schreiner 2010, S.44) - Coding Guides mit Bewertungsrichtlinien für offenen Fragen - Punkte für offene Fragen: Full Credit, Partial Credit oder No Credit # 20

21 5. Coding und Aufbereitung Skalentransformation: Mittelwert von 500 Punkten und Standardabweichung von 100 Punkten (vergl. auch Frey, A. et al. 2008, S.388) Abbildung 6: PISA-Skala (vergl. Schwantner / Schreiner 2010, S.52) # 21

22 5. Coding und Aufbereitung Teilung der Skala für die Lesekompetenz in Kompetenzstufen (zu den Kompetenzstufen: vergl. auch Frey, A. et al. 2008, S.389) Abbildung 7: Lesekompetenzstufen bei PISA 2009 (Schwantner / Schreiner 2010, S.54) # 22

24 6. Ergebnisse: Lesekompetenz (2009) Lesekompetenz: Deutschland im Mittelfeld Abbildung 8: Perzentilbänder für Lesekompetenz (Klieme et al. 2010, S. 37) # 24

25 6. Ergebnisse: Mathematische Kompetenz Ergebnisse(PISA 2009): Weniger Schüler unter I, mehr über Kompetenzstufe V Abbildung 9: Prozentuale Anteile der Schüler in Deutschland auf den Stufen mathematischer Kompetenz bei PISA 2003, PISA 2006 und PISA 2009 im Vergleich (Klieme et al. 2010, S. 171) # 25

26 6. Ergebnisse: Naturwissenschaftliche K. Kompetenz Naturwissenschaftliche Kompetenz (PISA 2009): Deutschland signifikant über dem OECD- Durchschnitt Tabelle 2: Naturwissenschaftliche Kompetenz der OECD-Staaten (Klieme et al. 2010, S. 184) # 26

28 7. Statistische Herausforderungen Herausforderungen für die Statistik 1. Ist die Schwierigkeit der Aufgabe angemessen? 2. Decken die Aufgaben das Leistungsspektrum in angemessener Weise ab? 3. Ist die Aufgabe im Sinne des Rasch-Modells skaliert? 4. Sind die relativen Schwierigkeiten der Items in den Teilnehmerstaaten vergleichbar? 5. Sind die relativen Schwierigkeiten der Items für Mädchen und Jungen sowie für Gruppen mit unterschiedlichem sozioökonomischem Hintergrund vergleichbar? Quelle: Leitzke, F. / Riedlberger, M. 2007, F. 23 # 28

30 8. Literaturverzeichnis Deutsches PISA-Konsortium (Hrsg.) (2001): PISA Basiskompetenzen von Schülerinnen und Schülern im internationalen Vergleich, Opladen. Frey, A. / Carstensen, C. H. / Walter, O. / Rönnebeck, S. / Gomolka, J. (2008): Methodische Grundlagen des Ländervergleichs. In: Prenzel, M. / Artelt, C. / Baumert, J. / Blum, W. / Hammann, M. / Klieme, E. / Pekrun, R. (Hrsg.): PISA 2006 in Deutschland: Die Kompetenzen der Jugendlichen im dritten Ländervergleich (S ). Münster: Waxmann. Haider, G. / Schreiner, C. / Schwantner, U. (2010): PISA 2009: Fakten Ergebnisse Schlussfolgerungen, online abrufbar unter: [letzter Abruf: ]. Klieme, E. et al. (Hrsg.) (2010): PISA Bilanz nach einem Jahrzehnt, Waxmann. Leitzke, F. / Riedlberger, M. (2007): PISA: Gegenstand, Grundlagen und Durchführung der Studie, online abrufbar unter: [PDF-Datei] [letzter Abruf: ]. OECD (2009a): "What is PISA?". In: OECD (2009): Highlights from Education at a Glance 2008, OECD Publishing, online abrufbar unter: [letzter Abruf: ]. OECD (2009b): PISA 2009 Assessment framework: Key competencies in reading, mathematics and science, OECD Publishing. Online abrufbar unter: [PDF-Datei] [letzter Abruf: ]. OECD (2009c): PISA 2006 Technical Report, Paris: OECD Publishing. Schreiner, C. / Haider, G. (Hrsg.) (2007): PISA Internationaler Vergleich von Schülerleistungen. Technischer Bericht, Salzburg. Schwantner, U. / Schreiner, C. (Hrsg.) (2010): PISA Internationaler Vergleich von Schülerleistungen. Die Studie im Überblick, Graz: Leykam. # 30