Vergleich PISA 2000 und PISA 2003 für Österreich: Notwendige Datenkorrekturen

Transkript

1 Vergleich PISA 2000 und PISA 2003 für Österreich: Notwendige Datenkorrekturen Bei PISA 2000 kam es bei der Gewichtsberechnung der einzelnen Schultypen zu einer Unterrepräsentation der Berufsschüler/innen. Da diese Gruppe bei den Kompetenzwerten unterdurchschnittlich abschneidet, sind die PISA 2000-Gesamtwerte für Österreich besser als es bei korrekter Repräsentation der einzelnen Schultypen der Fall wäre. Bei PISA 2003 wurden erstmals Leistungswerte von Schülern/innen auch für Kompetenzfelder geschätzt, in denen diese Testpersonen keine Testaufgaben gelöst haben. Dabei kam es in einigen wenigen Ländern zu gewissen Problemen. Unter diesen Ländern war auch Österreich, wo die synthetisierten Lesewerte etwas zu niedrig ausfielen. Durch die im internationalen Vergleich atypische sehr ungleiche Geschlechterzusammensetzung in manchen Schulen und als Folge des zweistufigen Auswahlverfahrens der Testschulen und Testschüler/innen kam es in Österreich 2003 außerdem (im Vergleich zu den Burschen) zu einer Überrepräsentation von Mädchen im Stratum Gymnasien. Alle diese Verzerrungen können bereinigt werden. Die bereinigten Zahlen für die österreichischen Leistungswerte in den einzelnen Kompetenzfeldern lauten dann: Lesen Mathematik Naturw Differenz Der Durchschnittswert für alle OECD-Länder, die an PISA teilgenommen haben, ist außer für Lesen im Jahre 2003, wo der OECD-Durchschnittswert 494 beträgt. Errechnet man die Leistungswerte getrennt für die Geschlechter, dann erhält man folgende Werte: Lesen Mathematik Naturwissenschaften weiblich männlich weiblich männlich weiblich männlich Differenz In beiden Tabellen ist die Differenz in Mathematik grau unterlegt, weil durch Änderungen im Testverfahren zwischen 2000 und 2003 die Werte nicht unmittelbar vergleichbar sind. Diese Tabellen zeigen, dass sich die Leistungen der österreichischen Schüler/innen

2 im Lesen kaum geändert haben und sowohl die Lesewerte als auch die Mathematikwerte in der Nähe des OECD-Durchschnitts liegen. In den Naturwissenschaften ist dagegen ein deutlicher Rückgang der österreichischen Werte erkennbar. Die ursprünglich (vor allem im Nationalen Bericht für PISA 2003) publizierten Vergleiche haben dagegen folgende Zahlen enthalten: Lesen Mathematik Naturw Differenz Wieder geschlechterweise getrennt waren die Werte: Lesen Mathematik Naturwissenschaften weiblich männlich weiblich männlich weiblich männlich Differenz Diese (vor allem für 2000 für die österreichischen Schüler/innen nicht repräsentativen) Werte würden den Schluss nahe legen, dass es in allen 3 Gebieten zu deutlichen Verschlechterungen gekommen ist und dass die Verschlechterungen bei den Burschen deutlich höher ausgefallen sind als bei den Mädchen. Unsere (mit der OECD abgestimmten) Korrekturen zeigen, dass das so nicht stimmt. Diese irreführenden Schlussfolgerungen wurden aber tatsächlich in den österreichischen Medien nach Bekanntwerden der PISA-Studie 2003 gezogen. Realistischerweise muss man folgende Schlussfolgerungen ziehen: Österreich liegt in Mathematik und Lesen sowohl 2000 als auch 2003 im OECD-Durchschnitt, weder auffällig darüber noch auffällig darunter. In den Naturwissenschaften sind die durchschnittlichen Werte von 2000 schlechter geworden, 2003 schneidet Österreich in den Naturwissenschaften unterdurchschnittlich ab. Alle diese Aussagen gelten auch, wenn man die Daten getrennt für Mädchen und Burschen analysiert. Das Kompetenzfeld Problemlösen wurde nur 2003 untersucht, daher ist ein Zeitvergleich nicht möglich. Die folgenden 4 Grafiken stellen für 2003 für alle beteiligten Länder die Leistungswerte mit den statistischen Schwankungsbreiten dar und erlauben einen Vergleich zwischen einzelnen Ländern. Hier ein Lesebeispiel für die Grafiken: Der blaue Block in der ersten Abbildung stellt das österreichische Leseergebnis bei PISA 2003 dar. Der weiße Balken in der Mitte ist der Gesamtmittelwert. Er liegt knapp unter Punkten. Die Höhe des Blocks gibt die statistische Schwankungsbreite dieses Schätzwerts an. Die waagrechte Linie über die gesamte Breite der Grafik markiert den OECD-Durchschnittswert (bei Lesen 2003 war das 494). Man kann sagen, dass auf jeden Fall alle Länder, bei denen diese waagrechte Linie durch den Grafikblock des Landes geht, Leistungswerte im Bereich des OECD-

3 Durchschnitts haben. Das ist für Österreich bei allen Disziplinen außer den Naturwissenschaften der Fall. In all diesen Grafiken sind die Länder nach den Kompetenzfeldmittelwerten gereiht. Vereinfachend kann man weiters sagen, dass überlappende Länderbalken bedeuten, dass es zwischen zwei Ländern keinen Unterschied gibt. Obwohl also beispielsweise beim Lesen mehrere Länder zwischen Frankreich und Österreich liegen und damit Österreich im Wertungsrang deutlich schlechter liegt als Frankreich, überlappen die beiden Länderbalken noch und daher kann man davon ausgehen, dass es keinen relevanten Unterschied in der Leseleistung gibt. Die exakte Beurteilung, ob der Unterschied zwischen zwei Ländern signifikant ist oder nicht, ist methodisch etwas aufwändiger, die Grafiken reichen aber durchaus, einen ersten Eindruck von signifikanten und nichtsignifikanten Länderdifferenzen zu erhalten. Lesen 2003 Mathematik 2003

4 Naturwissenschaft 2003 Problemlösen 2003

5 9 Vorwort des Leiters der Abteilung für Indikatoren und Analysen im OECD Direktorat für Bildung Eltern, Lehrkräfte und Bildungsverantwortliche benötigen verlässliche und vergleichbare Informationen über die Leistungsfähigkeit von Schulen und anderen Bildungseinrichtungen. In vielen Ländern wird heute deshalb der Lernprozess der Schülerinnen und Schüler regelmäßig bewertet. In Verbindung mit geeigneten Anreiz- und Unterstützungssystemen können derartige Bewertungen Schüler/innen zu besserem Lernen, Lehrkräfte zu effektiverem Unterrichten und Schulen zum Ausbau ihrer unterstützenden Funktionen anregen. Vergleichende internationale Analysen können die jeweils nationale Sichtweise ergänzen und vertiefen, indem sie nationale Ergebnisse zur besseren Interpretation in einen größeren Zusammenhang stellen und den Ländern erlauben, ihre jeweiligen Stärken und Schwächen im Lichte der Leistungsfähigkeit anderer Bildungssysteme einzuschätzen. Um dem Bedarf an international vergleichbaren Daten über Schülerleistungen gerecht zu werden, startete die OECD 1997 die internationale Schulleistungsstudie PISA (Programme for International Student Assessment). PISA steht für das Engagement der Regierungen, innerhalb eines gemeinsamen, international vereinbarten Rahmens die an den Schülerleistungen gemessenen Ergebnisse ihrer Bildungssysteme in regelmäßigen Abständen zu bewerten. PISA hat eine neue Basis für den bildungspolitischen Dialog und die Zusammenarbeit bei der Definition und Umsetzung von Bildungszielen geschaffen, wobei die für das spätere Leben relevanten Kompetenzen im Vordergrund stehen. Die ersten beiden PISA-Studien wurden 2000 und 2003 durchgeführt. Für einige Länder, darunter auch Österreich, fielen die Ergebnisse ernüchternd aus, da sich zeigte, dass die Leistungen ihrer 15-Jährigen hinter denen anderer Länder zurückblieben, und zwar trotz hoher Investitionen in das Bildungswesen. Auf der anderen Seite aber stellt PISA Länder heraus, denen es gelingt, ein hohes Leistungsniveau zu erzielen und zugleich eine ausgewogene Verteilung der Bildungschancen zu gewährleisten. Die Ergebnisse dieser Länder zeigen Perspektiven dafür auf, was tatsächlich erreicht werden kann. PISA ist das Produkt eines Kooperationsprojekts zwischen den Teilnehmerländern, den im Rahmen des PISA-Konsortiums tätigen Expert/innen und Institutionen sowie der OECD und wird fortlaufend weiter entwickelt und optimiert. Im Vordergrund ste-

6 10 hen dabei Anstrengungen, die internationale Vergleichbarkeit der nationalen Stichproben und Erhebungsverfahren weiter zu verbessern. Die österreichischen Stichproben erfüllen die strengen technischen Kriterien der OECD erst seit PISA 2003, so dass die OECD bislang darauf hinweisen musste, dass eine Bewertung von Leistungsveränderungen seit PISA 2000 für Österreich nur eingeschränkt zulässig ist, ohne die potenziellen Verzerrungen jedoch quantifizieren zu können. Der vorliegende Band schließt diese wissenschaftliche Lücke und ermöglicht damit erstmals bereinigte Trendanalysen für Österreich. Darüber hinaus bietet der Band wertvolle Erkenntnisse nicht nur für die Bewertung der PISA-Ergebnisse Österreichs, sondern auch für die weitere Entwicklung und Optimierung der Auswertung der internationalen Tests. Die OECD begrüßt den Band als einen wertvollen Beitrag zur methodologischen Entwicklung zukünftiger PISA-Studien. Andreas Schleicher Leiter der Abteilung für Indikatoren und Analysen im OECD Direktorat für Bildung