PISA 2015 Ist der Trend ein Trend?

Transkript

1 PISA 2015 Ist der Trend ein Trend? Prof. Dr. Olaf Köller IPN, Kiel und ZIB, München Berlin,

2 Überblick Bemerkenswerte Befunde in PISA 2015 Änderungen im Design und in der Durchführung von PISA 2015 Fact or Artefact? Effekte des Testmodus und des Skalierungsmodells auf die Trendschätzung in Deutschland: Resümee: Trend oder kein Trend in PISA 2015? 2

3 Bemerkenswerte Befunde 13 von 35 OECD-Staaten zeigen in 2015 gegenüber 2012 signifikant geringere Naturwissenschaftsleistungen Lediglich ein OECD-Land (Portugal) weist gegenüber 2012 eine signifikante Leistungssteigerung auf, nur zwei gegenüber 2006 Auch der OECD-Mittelwert ist gegenüber 2012 und 2006 signifikant gesunken In Deutschland zeigt sich in den Naturwissenschaften gegenüber 2012 ein signifikanter Verlust von 15 Punkten, in Mathematik ist der Verlust in Mathematik mit 8 Punkten nicht signifikant Die Geschlechtsdifferenzen im Lesen zugunsten der Mädchen haben sich in Deutschland gegenüber 2012 halbiert (von über 40 Punkten auf 20 Punkte) In Mathematik und den Naturwissenschaften haben die Nachteile der Mädchen zugenommen 3

4 Entwicklung der mittleren Fachleistungen in Deutschland (PISA ) Leistung Lesen Mathematik Naturwissenschaften Jahr 4

5 Fact or Artefact? Trendanalysen des Zentrums für Internationale Bildungsvergleichsstudien Referenz (Open Access) Robitzsch, A., Lüdtke, O., Köller, O., Kröhne, U., Goldhammer, F. & Heine, J. H. (2016, online first). Herausforderungen bei der Schätzung von Trends in Schulleistungsstudien. Diagnostica. 5

6 Studie 1: PISA-Feldtest in Deutschland im Jahr 2014 Experiment mit zufälliger Zuweisung von 15jährigen aus 39 Schulen auf zwei Bedingungen: PISA-Aufgaben auf Papier (PBA: N = 517) vs. PISA-Aufgaben auf dem Computer (CBA: N = 506) Jede Schülerin/jeder Schüler bearbeitete zwei der drei Testdomänen 28 Nawi-Testlets, 24 Testlets Lesen, 38 Testlets Mathematik Skalierung der Daten mit dem 1PL (wegen der relativ kleinen Stichprobe) Vergleich der mittleren Itemschwierigkeiten (logits) von PBA und CBA-Items Trennung von solchen Items, für die schon die OECD Modeeffekte festgestellt hatte und invarianten Items Berechnung der Effektstärke d (ein d = 0.1 entspricht cum grano salis 10 PISA-Punkten) 6

7 Befunde in Studie 1: Differenzen in den Aufgabenschwierigkeiten (d-werte) Effektstärke d 0,25 0,15 0,05-0,05-0,15-0,25 PBA-Items schwerer CBA-Items schwerer alle Items invariante Items * * * Lesen Mathematik Naturwissenschaften * p <.05 7

8 Studie 2: Marginale Trendschätzungen der PISA-Daten in Deutschland Originaler Trend: Veränderungen der Leistungen eines Teilnehmerstaats auf der internationalen Metrik Basis sind die internationalen Daten/Itemparameter, die üer alle Teilnehmerstaaten hinweg generiert wurden Internationale Metrik durch Itemlinking von Welle zu Welle oder konkurrente Skalierung Marginaler Trend Veränderungen der Leistungen eines Teilnehmerstaats auf der nationalen Metrik Basis sind nur die nationalen Daten/Itemparameter Nationale Metrik durch Itemlinking von Welle zu Welle oder konkurrente Skalierung (nur nationale Daten) 8

9 Studie 2: Fragestellungen Gibt es Unterschiede zwischen originalen und marginalen Trendschätzungen? Moderiert das verwendete Skalierungsmodell (1PL vs. 2PL) die Trendschätzungen in PISA? Moderiert das verwendete Testmedium (Papier-und-Bleistift vs. Computer) die Trendschätzung in PISA? 9

10 Studie 2: 1PL vs. 2PL 1 1 1PL 2PL i=1 i=2 0,5 0, Θ Θ 10

11 Datengrundlage # Linkitems Bereich Studie Modus N # Items invariant alle lt. OECD 2006 PBA PBA Naturwissen 2012 PBA schaften 2014 PBA CBA CBA Mathematik 2003 PBA PBA PBA PBA PBA CBA CBA Lesen 2000 PBA PBA PBA PBA PBA PBA CBA CBA

12 Marginale Analysen* Modell 1: Konkurrente Skalierung 1PL (invariante Items) Modell 2: Konkurrente Skalierung 2PL (invariante Items); analog zum Vorgehen in PISA 2015 Modell 3: Konkurrente Skalierung 1PL (invariante Items) unter Berücksichtig der deutschen Feldtestdaten (Kontrolle des Mode- Effektes) *Zu weiteren Modellen s. Robitzsch et al. (2016). 12

13 Befunde: Naturwissenschaften Deutscher Mittelwert Original marginal 1PL marginal 2PL marginal 1PL mit FT

14 Befunde: Mathematik Deutscher Mittelwert Original marginal 1PL marginal 2PL marginal 1PL mit FT

15 Befunde: Lesen Deutscher Mittelwert Original marginal 2PL marginal 1PL mit FT

16 Weitere Analysen Definieren die neuen (dynamischen) Items in Science ein neues Konstrukt, das den negativen Trend erklärt? Nein: Trendinformationen basieren ohne vor allem auf den alten Items Alte und neue Items korrelieren in Deutschland zu 1. 16

17 Weitere Analysen Erklären Kontexteffekte den negativen Trend? Nein: Auch wenn der Kontext konstant gehalten wird (alte Items am Testanfang), zeigen sich die abfallenden Werte. 17

18 Resümee: Trend oder kein Trend? Die Feldtestdaten aus dem Jahr 2014 machen deutlich, dass PISA- Aufgaben für deutsche 15jährige im Mittel schwerer werden, wenn sie mittels Computer administriert werden. Der negative Effekt der Computeradministration auf die Leistungen der 15jährigen zeigt sich in allen drei Domänen. Unter der Annahme, dass die Moduseffekte in PISA 2015 bei den deutschen Schülerinnen und Schülern genauso stark ausgeprägt waren wie in 2014, würde sich für die Veränderungen zwischen 2012 und 2015 ergeben, dass die Leistungen in Mathematik und den Naturwissenschaften unverändert geblieben wären und sich im Lesen leicht verbessert hätten. Unter dieser Annahme wären die von der OECD und vom ZIB für Deutschland berichteten Trends falsch! 18

19 Limitationen Feldtestdaten wurden 2014 erhoben Relativ kleine Stichprobe aus nur 5 Ländern Aber: zufällige Zuweisung von 15jährigen innerhalb von Schulen zu PBA vs. CBA sichert, dass Unterschiede in den Leistungen (Itemschwierigkeiten) kausal auf das Testmedium zurückgeführt werden können 19

20 Vielen Dank für Ihre Aufmerksamkeit! Kontakt: 20