Bildung im Vergleich. -was uns PISA & Co (nicht) sagen. 16. März 2015

Transkript

1 März 2015

2 Fakultät für Informatik 16. März 2015

3 Outline

4 Ausgangspunkt Warum sollen Gebildete und politisch Interessierte über PISA Bescheid wissen? Mit PISA wird Bildungspolitik argumentiert man sollte die Argumente bewerten können nicht alles, was man untersuchen kann, wird auch veröffentlicht Viele Daten zugänglich, also eigene Auswertungen und Interpretationen PISA hat Einfluss auf Curricula Welche Testaufgaben sind sachlich sinnvoll

5 Einige Fragen Wussten sie was ein Unterschied von 5 Punkten zwischen zwei Länn bedeutet? dass 5 Punkte Unterschied bei Naturwissenschaft etwas ans bedeuten als beim Lesen? dass je Student in je Domäne 5 verschiedene Werte zugewiesen bekommt? dass Schüler mit identischen Testergbnissen verschiedene PISA-Scores haben können? dass nicht alle Schüler in allen Domänen getestet werden? dass Akademikerkin ohne Lesetest im Lesen bessere Scores bekommen als Arbeiterkin ohne Lesetest? warum es Unfug ist wenn Politiker verlangen, dass das PISA-Testergebnis auch in die Schulnoten einfließen soll?

6 Was ist PISA Programme for International Student Assessment PISA is an international study which aims to evaluate education systems worldwide by testing the skills and knowledge of 15-year-old students OECD Web site

7 Wer nimmt teil und wie werden die Daten erhoben 65 Län (2012), 34 OECD und 31 Partnerlän Schüler pro Land (außer Liechtenstein,... ) Schüleralter 15 Jahre (9. Schulstufe) im Jahr Schüler in Jahr Mathematik-Items 44 Lese-Items 53 Naturwissenschafts-Items je Schüler arbeitet mit einem Testheft mit 4 Abschnitten 2 Stunden lang Kontextfragebogen zur sozioökonomischen Situation (Ausbildung Eltern, Einkommen, Migrantenstatus,... ) (1/2 Stunde) Zusätzliche Fragen länspezifisch (im Kontextfragebogen, in Österreich z.b. Schulnoten)

8 Mathematik-Item 1

9 Mathematik-Item 1

10 Mathematik-Item 2

11 Mathematik-Item 2

12 Wozu braucht PISA Statistik? Getestete Schüler sind Stichprobe aus einer größeren Gesamtpopulation Stichprobe ist geschichtet (in Österreich nach Schultyp) 13 Testhefte (+ 1 spezielles special education Testheft enthalten verschiedene Kombinationen von Aufgaben Nicht alle Schüler müssen alle Aufgaben lösen Manche Schüler lösen gar keine Aufgaben aus manchen Domänen, erhalten aber trotzdem Scores in allen Domänen Scores werden mit dem Rasch-Modell berechnet (statistisches Modell) Zur Interpretation Auswertungen

13 Einschub

14 Einschub

15 Mathematik-Items Lösungswahrscheinlichkeiten

16 Mathematik-Items Lösungswahrscheinlichkeiten

17 Mathematik-Items Lösungswahrscheinlichkeiten

18 Mathematik-Items Lösungswahrscheinlichkeiten

19 Mathematik-Items Lösungswahrscheinlichkeiten

20 Mehr statistische Methodik wird benötigt Wir haben nicht alle Schüler aus den einzelnen Länn Nicht alle Schüler bearbeiten alle Aufgaben

21 Mehr statistische Methodik wird benötigt Wir haben nicht alle Schüler aus den einzelnen Länn Nicht alle Schüler bearbeiten alle Aufgaben

22 Mehr statistische Methodik wird benötigt Wir haben nicht alle Schüler aus den einzelnen Länn Nicht alle Schüler bearbeiten alle Aufgaben

23 Mehr statistische Methodik wird benötigt Wir haben nicht alle Schüler aus den einzelnen Länn Nicht alle Schüler bearbeiten alle Aufgaben

24 Mehr statistische Methodik wird benötigt Wir haben nicht alle Schüler aus den einzelnen Länn Nicht alle Schüler bearbeiten alle Aufgaben

25 Statistische Methodik Geschichtete Stichproben und Gewichtung gleichen fehlende Schüler aus Rasch-Modell berücksichtigt fehlende Items (wenn ane Items aus Domäne bearbeitet) Imputation mit Kovariaten ermittelt Scores für komplett unbearbeitete Domäne

26 Wie werden die Scores Schüler berechnet? Mit den Regressionskoeffizienten Kovariaten im erweiterten Rasch-Modell wird Mittelwert Scores für artige Schüler berechnet und damit 5 Zufallszahlen aus entsprechenden Verteilung generiert

27 Mögliche Fehlerquellen Gewichtung verfälscht Österreich 2000 und 2003 falsch gewichtet Imputation fehlen Items irreguläre Items verzerren Imputation fehlen Domänen An welchen Itemgruppen wird verankert?

28 Umrechnung Wirkung von logits auf Lösungswahrscheinlichkeiten Schüler hängt von Schwierigkeit Aufgabe ab. Domäne Beispiel +PISA +p Lesen 50% 3.2 1% Mathe 50% 3.1 1% Science 50% 3.8 1% Lesen 50% % Mathe 50% % Science 50% % Lesen 66% % Mathe 66% % Science 66% % Lesen 75% % Mathe 75% % Science 75% %

29 Finnland - Österreich - AHS Jahr Gruppe Lesen Mathe Naturw 2000 Finn alle Ö AHS Ö BHS Ö alle Finn alle Ö AHS Ö BHS Ö alle Finn alle Ö AHS Ö BHS Ö alle Finn alle Ö AHS Ö BHS Ö alle Finn alle Ö AHS Ö BHS Ö alle

30 Verteilungsvergleich Lesen: Finnland - Österreich gesamt read year Austria country Finland

31 Verteilungsvergleich Mathematik: Finnland - Österreich gesamt math year Austria country Finland

32 Verteilungsvergleich Science: Finnland - Österreich gesamt scie year Austria country Finland

33 Verteilungsvergleich Lesen: Finnland - Österreich Schultypen read year AHS BHS BMS BS+Poly+HS Finland schoolcnt

34 Verteilungsvergleich Mathematik: Finnland - Österreich Schultypen math year AHS BHS BMS BS+Poly+HS Finland schoolcnt

35 Verteilungsvergleich Science: Finnland - Österreich Schultypen scie year AHS BHS BMS BS+Poly+HS Finland schoolcnt

36 Österreich Jahr Lesen Mathe Naturw

37 Österreich nach Geschlecht Jahr L w L m M w M m N w N m

38 Österreich - Geschlechterunterschiede Jahr Lesen Mathe Naturw

39 Österreich mit Korrektur 2003 Jahr Lesen Mathe Naturw

40 Österreich nach Geschlecht mit Korrektur 2003 Jahr L w L m M w M m N w N m

41 Österreich - Geschlechterunterschiede mit Korrektur 2003 Jahr Lesen Mathe Naturw

42 Danke fürs Zuhören

43 Danke fürs Zuhören