Schau genau: Wie begründet sind die Zweifel an den PISA-Ergebnissen aus Bayern?

Transkript

1 Jürgen Baumert, Cordula Artelt, Eckhard Klieme, Michael Neubrand, Manfred Prenzel, Ulrich Schiefele, Wolfgang Schneider, Gundel Schümer, Petra Stanat, Klaus-Jürgen Tillmann, Manfred Weiß Schau genau: Wie begründet sind die Zweifel an den PISA-Ergebnissen aus Bayern? Eine Replik auf den gleichnamigen Artikel von Klaus Klemm in der Süddeutschen Zeitung vom Zweifel an den PISA-Ergebnissen aus Bayern In einem Artikel in der Süddeutschen Zeitung vom und zugespitzt in Interviews in der Frankfurter Rundschau und im Tagesspiegel vom stellt Klaus Klemm (Essen) PISA-Ergebnisse aus Bayern in Zweifel. Im einzelnen trägt er folgende Überlegungen und Schlussfolgerungen vor: - In Bayern besuchen aufgrund der 9-jährigen Vollzeitschulpflicht und der relativ geringen Übergangsquoten in das freiwillige 10. Hauptschuljahr 14,1 Prozent der 15-jährigen Schülerinnen und Schüler bereits berufliche Schulen. Es folgen Baden-Württemberg und Rheinland-Pfalz mit Quoten von 9,3 bzw. 8,6 Prozent. In anderen Länder, die eine 10- jährige Vollzeitschulpflicht eingeführt haben, wie Nordrhein-Westfalen, Brandenburg, Berlin oder Bremen besuchen praktisch alle 15-Jährigen noch eine allgemeinbildende Schule. Angesichts des relativ hohen Anteils von 15-Jährigen, die sich in Bayern in beruflichen Schulen befinden, sei es nicht vertretbar, dieses Populationssegment in der Stichprobe durch drei berufliche Schulen (von denen überdies nur zwei in die Auswertung einbezogen wurden; Anm. der Autoren) und in anderen Ländern durch zwei berufliche Schulen zu repräsentieren. Bei vergleichbaren oder geringeren Populationsanteilen seien in Nordrhein-Westfalen 25 Gesamtschulen und in Hamburg und Berlin jeweils 25 Hauptschulen getestet worden. Dies sei dann auch für die bayerischen Berufschulen erforderlich. Da sich an den beruflichen Schulen in Bayern vor allem die schwächsten 15-jährigen Schülerinnen und Schüler befänden, könne die unzureichende Repräsentation dieser Gruppe zu

2 einer erheblichen Verschätzung der bayerischen Ergebnisse, wenn schon nicht im Gesamtmittelwert, so doch im unteren Leistungsbereich führen. - Die Ausschöpfungsquote der Stichprobe an bayerischen beruflichen Schulen liege bei 52 Prozent. Im Falle von Hamburg und Berlin hätten derartige Ausschöpfungsquoten an Hauptschulen, die einen vergleichbaren Populationsanteil an sich bänden, zum Ausschluss der beiden Stadtstaaten aus der Berichterstattung geführt. Auch die bayerischen Ergebnisse hätten bei der Anwendung gleicher Kriterien nicht berichtet werden dürfen. - An allen beruflichen Schulen seien die Ausschöpfungsquoten der Stichprobe gering (sie schwanken zwischen rund 19 Prozent in Schleswig-Holstein und Niedersachsen und 52 bzw. 53 Prozent in Bayern und Baden-Württemberg und 56 Prozent in Hessen; Anm. der Autoren). Es sei zu vermuten, dass die Beteiligungsbereitschaft von Schülerinnen und Schülern nicht unabhängig von ihrem jeweiligen Leistungsstand sei. Schwächere Schülerinnen und Schüler würden vermutlich eher eine Beteiligung verweigern. Dies führe generell zu einer Überschätzung der Leistungsergebnisse an beruflichen Schulen. Da der Anteil von Schülerinnen und Schülern an beruflichen Schulen in Bayern aber besonders groß sei, müsse dies zu einer Schönung der bayerischen Leistungsergebnisse führen. Auch wenn die Auswirkungen auf die Schätzung des Gesamtmittelwertes gering sein mögen, dürfte die Überschätzung der Testergebnisse im unteren Leistungsbereich durch den Ausfall gerade der leistungsschwächsten Schülerinnen und Schüler erheblich sein. Dies habe gravierende Folgen: Bayerns relativ gute Ergebnisse im unteren Leistungsbereich sowie bei Jugendlichen mit Migrationshintergrund und aus sozial schwachen Familien könnten Stichprobenartefakte sein. Auch werde der Zusammenhang zwischen Merkmalen der sozialen Herkunft und dem Kompetenzerwerb unterschätzt. - Schließlich macht Klemm darauf aufmerksam, dass im Länderbericht des deutschen PISA-Konsortiums für das Saarland keine 15-Jährigen in beruflichen Schulen ausgewiesen und dementsprechend auch keine beruflichen Schulen in die Stichprobe einbezogen worden seien. Auch wenn in der amtlichen Statistik des Saarlandes 15-Jährige an beruflichen Schulen nicht gesondert aufgeführt seien, müssten sich dennoch rund 10 Prozent der 15-Jährigen bereits an beruflichen Schulen befinden.

3 Mit Ausnahme des letzten Hinweises sind die Vermutungen Klemms nicht neu. Er hatte sie bereits im Rahmen einer ersten Analyse und politischen Bewertung, die er unmittelbar nach dem inoffiziellen Bekanntwerden der PISA-E Ergebnisse für die sozialdemokratisch regierten Länder vorgenommen hatte, vorgetragen. In diesem Strategiepapier geht Klemm davon aus, dass die relativ geringe Ausschöpfungsquote an bayerischen beruflichen Schulen zu einer Anhebung des gesamten bayerischen Mittelwertes geführt habe, die zu Konsequenzen bei der Berichterstattung hätte führen müssen. Bereits bei der Übergabe des PISA-E Berichts an die Kultusministerkonferenz hat das deutsche PISA-Konsortium darauf hingewiesen, dass dies überprüft worden sei. Selbst bei konservativen Annahmen zum Zusammenhang zwischen Teilnahmebereitschaft und Leistungsstand von Schülerinnen und Schülern sei nur mit geringen Verschätzungen der Gesamtwerte sowohl in Bayern als auch in Baden-Württemberg und Rheinland-Pfalz zu rechnen. In den jüngsten Zeitungsveröffentlichungen beschränkt sich Klemm deshalb auf die Annahme, dass in Bayern die Leistungsergebnisse im unteren Leistungsbereich überschätzt seien. Wie sind Klemms Argumente zu bewerten? 2. Warum ist im kleinen Stadtstaat Bremen die Stichprobe genauso groß wie im großen Flächenland Nordrhein-Westfalen und weshalb ist die Stichprobe der 15-Jährigen an beruflichen Schulen in Bayern viel kleiner als die Stichprobe der Gesamtschüler in Nordrhein- Westfalen, obwohl beide Schulformen von einem ähnlich großen Anteil des Altersjahrgangs besucht werden? Zur Stichprobenziehung an beruflichen Schulen in Bayern schreibt Klemm in der Süddeutschen Zeitung: "Da Berufsschüler für Untersuchungen im schulischen Feld als schwer erreichbar gelten, wurden die Tests dieser Gruppe in Bayern nur an drei Schulen durchgeführt. Testergebnisse von nur drei Schulen müssen daher die Leistungsfähigkeit von 14 Prozent eines Altersjahrgangs repräsentieren und dies bei der Vielfalt und Unterschiedlichkeit der Regionen Bayerns. Da für repräsentative Ergebnisse eine deutlich größere Stichprobe von Schulen erforderlich ist, wurden in den größeren Flächenstaaten für die Tests an Haupt- und Realschulen sowie an Gymnasien 25 Schulen je Schulart und Land einbezogen." Im Tagesspiegel ergänzt er: Im Vergleich zu Bayern, wo 14 Prozent der 15-Jährigen eine berufliche Schule besuchten, seien in Nordrhein-Westfalen 15 Prozent Gesamtschüler an 25

4 Schulen gestestet worden. Aus der unterschiedlichen Stichprobengröße bei gleichem Anteil der untersuchten Subpopulation an der Grundgesamtheit folgert Klemm, dass die Ergebnisse insbesondere im unteren Leistungsbereich in Bayern zu positiv ausfallen. Dieses Argument ist sachlich kaum nachvollziehbar. Das Argument beruht auf der Vorstellung, dass die "Repräsentativität von Ergebnissen" oder genauer ausgedrückt: Die Präzision der Schätzung von Populationskennwerten vom relativen Anteil der Stichprobe an der Grundgesamtheit oder Subpopulation abhängt und abnehmende Präzision mit systematischer Verzerrung einhergehe. Das quantitative Verhältnis von Grundgesamtheit und Stichprobe spielt aber bei großen Grundgesamtheiten, mit denen wir es hier zu tun haben, eine zu vernachlässigende Rolle. Die Genauigkeit der Schätzung von Populationsparametern durch einfache Zufallsstichproben hängt praktisch ausschließlich von der Streuung des untersuchten Merkmals in der Grundgesamtheit und der absoluten Größe der Stichprobe ab. Ein Maß für die Genauigkeit der Schätzung von Populationsparametern ist die Streuung der Stichprobenkennwerteverteilung, die man üblicherweise als Standardfehler bezeichnet. Der Standardfehler der Schätzung des Mittelwerts einer Grundgesamtheit etwa steigt proportional zur Streuung des Merkmals in der Grundgesamtheit und er wird kleiner, wenn der Stichprobenumfang zunimmt (Für einfache Zufallsstichproben gilt: σ σ n 2 x = ). Will man etwa die Leistungsmittelwerte im Fach Mathematik von 15-Jährigen im Stadtstaat Bremen und in Nordrhein-Westfalen mit vergleichbarer Genauigkeit schätzen, muss man, da die Mathematikleistungen in beiden Ländern ähnlich streuen, gleich große Stichproben ziehen, die dann ganz unterschiedliche Anteile an der Grundgesamtheit darstellen. Dies ist ein Sachverhalt, der für Laien oftmals schwer verständlich ist. Die angestrebte Genauigkeit der Schätzung von Populationskennwerten wird aber nicht, wie Klemm anzunehmen scheint, über Untersuchungen oder Untersuchungsteile hinweg mechanisch festgelegt, sondern sie hängt von der Fragestellung und von der Größe der Unterschiede, die man bei Vergleichen zufallskritisch absichern will, und deren praktischer Bedeutsamkeit ab. Für den intranationalen Ländervergleich wurde eine Schätzgenauigkeit für Mittelwerte geplant, die es erlaubt, Mittelwertunterschiede von d = 0.20 Standardabweichungen gegen den Zufall abzusichern. Die tatsächlich erreichte Stichprobeneffizienz liegt jedoch höher, so dass bereits kleinere Unterschiede statistisch signifikant werden. Für den länderinternen Schulformvergleich wurde entschieden, jeweils die Schulformen bzw.

5 Bildungsgänge in einen Vergleich einzubeziehen, die mindestens von 4,5 Prozent des Altersjahrgangs besucht wurden. Für diese Schulformen wurden Stichproben gezogen, mit denen Mittelwertdifferenzen von etwa d = 0.30 Standardabweichungen zufallskritisch abgesichert werden können. Nicht in den Schulformvergleich einbezogen werden sollten Förderschulen und berufliche Schulen. Für gezielte Untersuchungen an Förderschulen ist das PISA-Instrumentarium weniger geeignet; für diese Zwecke wären adaptive Testversionen notwendig, die in der zur Verfügung stehenden Zeit nicht entwickelt werden konnten (und sollten). Für den intranationalen Ländervergleich wurde deshalb auf eine Erhebung an Förderschulen verzichtet. Um dennoch den Ländern die Möglichkeit zu geben, sich im internationalen Vergleich verorten zu können, wurde die für den internationalen Vergleich gezogene Förderschulstichprobe den Datensätzen der Länder zugespielt und mit dem landesspezifischen Förderschüleranteil gewichtet. Dieses Verfahren beruht auf der Annahme, dass die Förderschulen der einzelnen Länder ähnlich effektiv sind und tatsächlich auftretende Unterschiede nur zu marginalen Verschätzungen der Kompetenzverteilungen führen. Auch über berufliche Schulen sollten keine vergleichenden Aussagen getroffen werden. 15- Jährige, wenn sie überhaupt schon an beruflichen Schulen anzutreffen sind, stellen in diesen Schulen eine Minderheit dar, von der nicht auf Verhältnisse an einer beruflichen Schule insgesamt geschlossen werden kann. Es wurde deshalb entschieden, die Gruppe der 15-Jährigen an diesen Schulen in geringerem Umfang in die Stichprobe einzubeziehen (Undersampling) und größere Standardfehler in Kauf zu nehmen. Die vergrößerten Standardfehler gehen in die Schätzung der Standardfehler der Mittelwerte der Gesamtpopulation, aber auch von Subpopulationen ein. Ein größerer Standardfehler zeigt geringere Schätzgenauigkeit, aber keine systematische Verzerrung in irgend eine Richtung an. In PISA (wie auch in TIMSS) wurden keine einfachen Zufallsstichproben gezogen, sondern mehrfach geschichtete Klumpenstichproben mit dem Ziel, einen optimalen Kompromiss zwischen Praktikabilität der Erhebung und Stichprobeneffizienz zu erreichen. Bei der Ziehung von Klumpenstichproben wie dies bei der Auswahl von Einzelschulen innerhalb von Schulformen der Fall ist hängt der Standardfehler der geschätzten Populationsparameter auch von der Ähnlichkeit der Klumpen also der Schulen innerhalb einer Schulform ab. Gibt es keine Leistungsunterschiede zwischen Einzelschulen oder sind diese gering, erzielt man

6 mit Klumpenstichproben genauere Parameterschätzungen, als dies mit einer gleich großen, einfachen Zufallsstichprobe möglich wäre. Mit zunehmenden Unterschieden zwischen den Einzelschulen allerdings sinkt die Stichprobeneffizienz. Die Genauigkeit der Schätzung von Parametern für die 15-Jährigen in beruflichen Schulen wird allein durch die Homogenität dieser Subgruppe über einzelne berufliche Schulen hinweg bestimmt. Diese wiederum hängt primär davon ab, ob berufliche Schulen für ihre angebotenen Programme den Hauptschulabschluss als Eingangsvoraussetzungen verlangen oder aber auch Maßnahmen für Schulabgänger ohne Hauptschulabschluss anbieten. Eine zweite Einflussgröße sind die Leistungsunterschiede zwischen den Hauptschulen eines Bundeslandes, aus denen 15-Jährige in berufliche Schulen wechseln. Eine Überprüfung, ob sich unter den in PISA gezogenen beruflichen Schulen auch Schulen befinden, in die 15-Jährige ohne Hauptschulabschluss nicht aufgenommen werden, ergab dass dies in einer Schule der Fall war. Unter den in Bayern gezogenen drei beruflichen Schulen befindet sich eine berufliche Schule, die Ausbildungsgänge für Pflegeberufe anbietet, die den Hauptschulabschluss voraussetzen. Hier liegt u.u. eine Quelle für eine leichte Überschätzung der bayerischen Ergebnisse an beruflichen Schulen. (Es gibt keine Möglichkeit, dies durch Gewichtung auszugleichen, da keine Daten über Verteilungen in der Grundgesamtheit der 15- Jährigen an beruflichen Schulen verfügbar sind.) Wie sehr sich die 15-Jährigen an beruflichen Schulen in den einzelnen Ländern von Schule zu Schule unterscheiden, ist unbekannt. Klemms Annahme jedoch, dass in Bayern die Unterschiede aufgrund der regionalen Vielfalt des Landes besonders groß seien, ist eher unplausibel. Betrachtet man nämlich Schulleistungen und die Notenvergabe an Hauptschulen gleichzeitig, so ist Bayern das Land, in dem Hauptschulnoten über Einzelschulen hinweg am ehesten vergleichbar sind und die Leistungsdifferenzen zwischen den einzelnen Hauptschulen niedrig ausfallen. Aufgrund des komplexen Stichprobenplanes können die Standardfehler der Populationsparameter nicht in der üblichen, oben angegebenen Weise berechnet werden, da diese eine einfache Zufallsstichprobe mit voneinander unabhängigen Beobachtungen voraussetzt. Deshalb wird in PISA-E zur Berechnung der Standardfehler wie auch in PISA, TIMSS und anderen vergleichbaren Studien auf empirische Verfahren zurückgegriffen, die ohne Annahme einfacher Zufallsstichproben auskommen. Diese sogenannten Jackknife-Methoden basieren auf dem Grundgedanken, die Variabilität der Schätzung von Populationskennwerten durch das wiederholte Schätzen dieser Kennziffern aus Substichproben zu bestimmen. In den

7 Analysen der PISA-Studie wird die sogenannte Balanced Repeated Replication Technique in der Variante von Fay (1989) verwendet, die zu korrekten Schätzungen der Standardfehler führt. Dies bedeutet, dass in alle Schätzungen der Standardfehler von Populations- oder Subpopulationsparametern gleichgültig ob es sich um Mittelwerte oder Prozentanteile handelt die Stichprobengröße und der Klumpungseffekt der Schulen eingehen. Dies führt zu einer Vergrößerung der Standardfehler, nicht aber zu einer systematischen Verzerrung. Man wünschte sich, dass derartige methodische Vorkehrungen auch in anderen empirischen Studien der Pädagogik anzutreffen wären, in denen Schulen oder Klassen als Stichprobeneinheiten gezogen werden. 3. Unterschiedliche Ausschöpfungsquoten der Stichprobe: Ein ernsthaftes Problem Es war ein erklärtes Ziel von PISA, hohe Qualitätsmaßstäbe für die Stichprobenausschöpfung einzuhalten, um seit langem bekannte Schwächen internationaler Vergleichuntersuchungen zu vermeiden. Mit abnehmender Beteiligungsbereitschaft von Schulen und Schülern innerhalb von Schulen besteht die Gefahr, dass Leistungsmittelwerte über- und Populationsvarianzen unterschätzt werden, sofern leistungsschwächere Schulen und Schüler eher dazu neigen, die Testteilnahme zu verweigern. Im Rahmen von PISA wurden international als untere kritische Grenzen Beteiligungsraten von 85 Prozent für Schulen und 80 Prozent für Schülerinnen und Schüler innerhalb von Schulen festgelegt. Diese Grenzwerte stellen pragmatische Erfahrungsgrößen dar, die im technischen Bericht der OECD näher erläutert werden. Im Bericht des deutschen PISA-Konsortiums "PISA 2000 Die Länder der Bundesrepublik Deutschland im Vergleich" heißt es dazu (Baumert u.a. 2002, S. 25): "Eine zweite Quelle der Gefährdung der Generalisierbarkeit und damit auch der Vergleichbarkeit von Befunden stellen unzureichende Ausschöpfungsquoten der Stichproben dar, und zwar sowohl auf Schulals auch auf Schülerebene.... Eingeschränkte Teilnahmequoten stellen immer dann eine ernste Gefahr der externen Validität einer Untersuchung dar, wenn die Teilnahme- bzw. Verweigerungsbereitschaft mit Untersuchungskriterien kovariiert. Nimmt eine in die Sollstichprobe aufgenommene Schule an einer geplanten Untersuchung nicht teil, weil an dem festgelegten Untersuchungszeitpunkt das lange vorher geplante Schulfest stattfindet, dann ist dies für die Validität der Untersuchung wahrscheinlich unproblematisch. Verweigert eine Schule jedoch die Teilnahme, weil die Schulleitung nicht unbegründet mit schlechten Ergeb-

8 nissen rechnet, dann ist dies eine Quelle für Stichprobenverzerrungen. Ähnliches gilt auch auf Schülerebene. Fehlen Schülerinnen und Schüler am Untersuchungstermin aufgrund einer Erkältungswelle, so darf man annehmen, dass dies die mittlere Schulleistung nicht beeinträchtigt; bleiben dagegen die unteren Leistungskurse zu Hause, so führt dies zu einer Stichprobenverzerrung. Das Ausmaß der Verschätzung von Populationsparametern hängt zum einen von der Enge des Zusammenhangs von Teilnahmebereitschaft und Untersuchungskriterium ab und zum anderen von der tatsächlich erreichten Ausschöpfungsquote. Bei einem perfekten Zusammenhang zwischen Teilnahmebereitschaft und Leistungsniveau verweigern immer die schwächsten Schulen oder Schüler einer Stichprobe die Teilnahme. Bei abnehmender Beteiligungsquote werden dann Populationsmittelwerte zunehmend über- und Populationsvarianzen unterschätzt. Wenn Teilnahmebereitschaft und Untersuchungskriterium voneinander unabhängig sind, gefährden auch geringere Teilnahmequoten die Validität einer Untersuchung nicht auch wenn bei zurückgehenden Fallzahlen die Populationsschätzungen unpräziser werden." Tabelle 1: Beteiligungsquote nach Land und Schulform (in Prozent) Land Hauptschule Realschule Schule mit mehreren Bildungsgängen Gymnasium Inte- Grierte Gesamtschule Berufliche Schule Gesamt Baden-Württemberg 86,8 88,5 94,6 48,9 52,7 88,4 Bayern 92,7 89,7 91,4 79,6 52,0 89,6 Berlin 53,0 75,2 84,9 64,1 69,3 Brandenburg 88,2 91,6 79,8 86,6 Bremen 83,0 89,0 92,3 84,0 87,7 Hamburg 67,8 63,7 75,6 80,6 60,9 35,3 70,1 Hessen 82,6 88,3 92,5 86,0 56,0 84,0 Mecklenburg-Vorpommern 72,5 88,3 90,2 93,8 85,5 27,1 88,4 Niedersachsen 79,4 46,0 86,1 87,5 78,2 19,1 82,0 Nordrhein-Westfalen 84,3 93,5 92,6 75,5 86,5 Rheinland-Pfalz 85,6 87,7 91,5 90,5 78,6 50,0 87,9 Saarland 80,6 85,1 88,9 88,2 81,5 85,4 Sachsen 84,9 89,1 35,1 84,9 Sachsen-Anhalt 85,2 88,0 91,9 50,0 24,0 84,0 Schleswig-Holstein 85,2 89,9 92,1 81,3 18,5 86,3 Thüringen 93,3 92,7 88,4 36,5 92,0 Gesamt 81,0 86,4 87,3 90,6 76,0 36,2 84,7

9 Im Fall von PISA-E ist der Ausschöpfungsgrad der Stichprobe auf Schulebene in allen Ländern der Bundesrepublik unproblematisch. Dies gilt in den meisten Länder auch für die insgesamt erreichten Beteiligungsquoten auf Schülerebene. Nur die Stadtstaaten Berlin und Hamburg unterschritten mit Beteiligungsquoten von 69,3 Prozent (Berlin) und 70,1 Prozent (Hamburg) die kritischen Grenzen. Die übrigen Länder erreichten Beteiligungsraten, die in der Mehrzahl der Fälle zwischen 84 und 90 Prozent lagen. Klaus Klemm weist nun mit Recht darauf hin, dass nicht nur unterschiedliche Beteiligungsquoten, die auf der Ebene der Gesamtstichproben berechnet werden, den intranationalen Ländervergleich tangieren können, sondern auch reduzierte Beteiligungsquoten innerhalb von Schulformen, und zwar insbesondere dann, wenn nicht nur die Ausschöpfungsquoten von Land zu Land variieren, sondern sich gleichzeitig der relative Schulbesuch an diesen Schulformen von Land zu Land in substantieller Weise unterscheidet. Dies ist für die beruflichen Schulen der PISA-E Stichprobe der Fall. Für den länderübergreifenden Gymnasialvergleich wurde dieses Problem im ersten PISA-E Bericht ausführlicher dargestellt und anhand von Modellrechnungen illustriert. Die Befunde zeigten, dass die unterschiedlichen Ausschöpfungsquoten der Gymnasialstichprobe in Bremen, Hamburg und Berlin einen Vergleich nicht ernsthaft beeinträchtigen (vgl. Baumert et al. 2002, S ). Das Problem unterschiedlicher Ausschöpfungsquoten der Stichprobe tritt jedoch bei Schülerinnen und Schülern an beruflichen Schulen in verstärkter Form auf. Das deutsche PISA-Konsortium wäre also gut beraten gewesen, mögliche Konsequenzen, die sich aus dieser Sachlage ergeben, bereits im ersten Länderbericht zu diskutieren und nicht für den für später vorgesehenen Schulformvergleich aufzusparen. Wir wollen dies an dieser Stelle nachholen. Bereits in der Stichprobe des internationalen Vergleichs war die Ausschöpfungsquote der Stichprobe an Förderschulen mit 56 Prozent erwartungsgemäß unbefriedigend. Wenn Beteilungsbereitschaft und Leistungsfähigkeit von Förderschülern kovariieren, werden die Leistungsresultate der schwächsten Schülerinnen und Schüler in Deutschland überschätzt. Aufgrund des geringen relativen Schulbesuchs an Förderschulen im Bundesdurchschnitt sind die Auswirkungen dieser potentiellen Stichprobenverzerrung auf den Gesamtmittelwert zu vernachlässigen. Dagegen kann eine Unterschätzung des Anteils der 15-Jährigen, die Kompetenzstufe I in den untersuchten Leistungsbereichen verfehlen, nicht ausgeschlossen

10 werden. Für die Schätzung des Anteils potentieller Risikokandidaten wiederum also jener Jugendlicher, die über das Kompetenzniveau I nicht hinauskommen dürften die Auswirkungen marginal sein. Für den bundesinternen Ländervergleich wirkt sich die potentielle Überschätzung der Leistungen der schwächsten Schülerinnen und Schüler für alle Länder in ähnlich geringfügiger Weise positiv aus, da der relative Besuch von 15-Jährigen an Sonderschulen insgesamt gering ist und nur zwischen 3,3 Prozent im Saarland und 6,1 Prozent in Sachsen-Anhalt schwankt. Problematischer ist die Situation an den beruflichen Schulen. Hier schwanken die Ausschöpfungsquoten von Land zu Land erheblich. Die Spannweite reicht von 18,5 Prozent in Schleswig-Holstein, bzw. 19,1 Prozent in Niedersachsen bis zu 52 Prozent in Bayern, 52,7 Prozent in Baden-Württemberg und 56 Prozent in Hessen. Gleichzeitig differiert der relative Schulbesuch von 15-Jährigen an beruflichen Schulen erheblich. In den Ländern mit 10-jähriger Vollzeitschulpflicht sind praktisch keine 15-Jährigen im beruflichen Schulwesen anzutreffen (Berlin, Brandenburg, Bremen und Nordrhein-Westfalen). In einer zweiten Gruppe von Ländern mit 9-jähriger Vollzeitschulpflicht ist der Anteil von 15-Jährigen an beruflichen Schulen gering. Er liegt zwischen 3,0 Prozent in Sachsen und 6,2 Prozent in Hamburg. In diesen Ländern wird entweder ein 10. Hauptschuljahr angeboten, das aufgrund eines erweiterten Abschlusses für viele attraktiv ist (etwa in Niedersachsen) oder aber der relative Hauptschulbesuch ist bereits sehr niedrig (wie in den neuen Ländern oder in Hamburg und Hessen). Es kann aber auch der Anteil von Schülerinnen und Schülern mit verzögerter Schullaufbahn, die sich noch im allgemeinbildenden Schulwesen befinden, besonders hoch sein (wie in Schleswig-Holstein). Eine dritte Gruppe von Ländern mit 9-jähriger Vollzeitschulpflicht schließlich weist einen relativ hohen Anteil von 15-Jährigen an beruflichen Schulen aus: In Bayern beträgt diese Quote 14,1, in Baden-Württemberg 9,2 und in Rheinland-Pfalz 8,6 Prozent. In diesen Ländern wird ein freiwilliges 10. Hauptschuljahr mit selektivem Zugang angeboten, das besonders leistungsfähige Hauptschüler zum Realschulabschluss führen soll. Gleichzeitig ist in allen drei Ländern der relative Besuch des Hauptschulbildungsgangs sehr hoch.

11 Tabelle 2: Bildungsbeteiligung der 15-Jährigen nach Ländern der Bundesrepublik Land Hauptschule Realschule Gymnasium Integrierte Gesamtschule Berufliche Schule Sonderschule Baden-Württemberg 26,5 31,0 28,9 0,5 9,3 3,9 Bayern 28,7 26,6 26,6 0,5 14,1 3,6 Hessen 15,2 28,4 31,4 16,4 5,2 3,4 Niedersachsen 30,4 32,5 24,8 3,8 3,9 4,7 Nordrhein-Westfalen 24,6 26,2 30,0 14,9 4,4 Rheinland-Pfalz 32,8 26,2 25,6 3,4 8,6 3,4 Saarland 18,1 33,5 28,5 16,5 3,3 Schleswig-Holstein 29,5 29,5 26,2 6,8 4,1 3,9 Alte Länder 1 26,2 28,3 28,1 7,3 6,1 4,0 Brandenburg 13,9 28,8 52,2 5,0 Mecklenburg-Vorpommern 10,4 49,4 25,7 5,7 3,3 5,4 Sachsen 9,2 55,0 27,7 0,3 3,1 4,8 Sachsen-Anhalt 6,2 54,8 28,3 1,0 3,6 6,1 Thüringen 16,5 43,5 26,7 2,0 6,0 5,4 Neue Länder 8,4 44,3 27,6 11,4 3,1 5,3 Berlin 10,6 21,2 33,8 30,7 3,7 Bremen 24,7 25,1 29,6 15,4 5,2 Hamburg 11,7 18,9 31,8 25,9 6,3 5,5 Stadtstaaten 12,3 21,0 32,8 27,9 1,7 4,3 1 Ohne Stadtstaaten Aufgrund dieser Befundlage entwickelt Klaus Klemm folgenden Gedankengang. (1) 15-Jährige an beruflichen Schulen gehörten zum leistungsschwächsten Teil der Schülerinnen und Schüler an den allgemeinbildenden Schulen. Es handele sich vorwiegend um Jugendliche, die nach dem Abschluss der Vollzeitschulpflicht vorzeitig aus der 6., 7. oder 8. Klasse ohne Abschluss die Schule verlassen hätten. Schüler, die nach termingerechter Einschulung und ohne Klassenwiederholung die Hauptschule erfolgreich durchlaufen hätten, seien eine Minderheit. Klemm bemerkt dazu im Tagesspiegel: "Es darf aber vermutet werden, dass ein größerer Anteil von ihnen nach der 9-jährigen Schulpflicht die Schule ohne Abschluss frühzeitig verlassen hat. An den Berufsschulen absolvieren sie beispielsweise berufsvorbereitende Kurse. Einige Schnelllerner können

12 aber auch dabei sein. Insgesamt sind in dieser Gruppe aber nicht die glänzenden Schüler vertreten." (2) Klemm geht ferner von der Annahme aus, dass auch an beruflichen Schulen ein Zusammenhang zwischen Beteiligungsbereitschaft und Schulleistung bestehe (auch wenn über die Stärke des Zusammenhangs nichts bekannt ist; Anm. der Autoren). Klemm folgert daraus, dass bei unzureichenden Ausschöpfungsquoten an beruflichen Schulen der Verdacht bestehe, dass unter den schon relativ leistungsschwachen 15-Jährigen, die berufliche Schulen besuchten, die leistungsschwächsten nicht am Test teilgenommen hätten. Diese Vermutung gilt im Prinzip für alle Länder, in denen sich 15-Jährige an beruflichen Schulen befinden insbesondere aber für Niedersachsen und Schleswig- Holstein, in denen die geringsten Ausschöpfungsquoten der Stichprobe erreicht wurden. Die Auswirkungen dieser potentiellen Stichprobenverzerrung auf die Schätzung des Gesamtmittelwertes bzw. der prozentualen Verteilung der Schülerinnen und Schüler auf die Kompetenzstufen hängt einmal von der Korrelation zwischen Teilnahmebereitschaft und Schulleistung und zum anderen von der Höhe des relativen Schulbesuchs an berufliche Schulen ab. Ist die Quote der 15-Jährigen an beruflichen Schulen gering, sind die Verschätzungen zu vernachlässigen; bei steigenden Besuchsquoten können sie jedoch substantiell sein. Dies dürfte so Klemms Annahme bei einem relativen Schulbesuch von 14,1 Prozent wie in Bayern der Fall sein. (3) Klemm zieht daraus eine Reihe von Schlussfolgerungen. In seinem für die sozialdemokratisch regierten Länder angefertigten Positionspapier erwartete er zunächst eine Anhebung des gesamten bayerischen Mittelwertes. Nachdem das PISA-Konsortium in Simulationsrechnungen gezeigt hatte, dass bei realistischen Annahmen über den Zusammenhang zwischen Teilnahmebereitschaft und Schulleistung die Verschätzung der Mittelwerte in Bayern, Baden-Württemberg und Rheinland-Pfalz zu vernachlässigen sei, konzentriert sich Klemm auf mögliche Auswirkungen im unteren Leistungsbereich. Seine Schlussfolgerungen in der Süddeutschen Zeitung: - "Die unterste Leistungsgruppe der bayerischen Schüler ist im innerdeutschen Vergleich <und das heißt insbesondere im Vergleich zu Brandenburg, Bremen und Nordrhein-Westfalen, also Ländern, in denen 15-Jährige noch keine beruflichen Schulen besuchen> deshalb so gut, weil ein beachtlicher Teil der Leistungsschwächsten am Test schlicht nicht teilgenommen hat."

13 - "Da unter den leistungsschwächeren Schülern solche mit Migrationshintergrund besonders stark vertreten sind, müssen auch die in Bayern gemessenen überdurchschnittlichen Ergebnisse dieser Schülergruppe zumindest relativiert werden." - "Leistungsschwächere Schüler entstammen überdurchschnittlich den aus unteren Sozialschichten. Wenn nun die Leistungsfähigkeit der unteren Leistungsgruppe durch das 'Ausscheren' eines besonders schwachen Teils dieser Gruppe überhöht dargestellt wird, so führt dies zwangsläufig zu einer Schönung der Testergebnisse der Kinder aus sozial schwachen Familien Bayerns." (4) Schließlich weist Klemm auf eine versäumte Konsequenz hin: "Nur 53 Prozent der an Bayerns Berufsschulen vorgesehenen Testteilnehmer beteiligten sich am PISA-Test. Diese Quote hätte angesichts der sonst angelegten Untersuchungsstandards zum Ausschluss (Bayerns aus der Berichterstattung; Anm. der Autoren) führen müssen." Einen Sonderfall stellt das Saarland dar, auf den uns in der Tat erst Klaus Klemm aufmerksam gemacht hat. Im Saarland wurden keine beruflichen Schulen in die Stichprobe aufgenommen, da das Land keine Angaben zu 15-Jährigen in beruflichen Schulen machen konnte. Die amtliche Statistik des Saarlandes weist 15-Jährige an beruflichen Schulen nicht gesondert aus, sondern subsumiert sie unter der Kategorie der 16-Jährigen und jüngeren. Das Data Processing Center in Hamburg, das für die Stichprobenziehung verantwortlich war, ging deshalb fälschlicherweise davon aus, dass sich im Saarland ähnlich wie in anderen Ländern praktisch alle 15-Jährigen noch an allgemeinbildenden Schulen befinden. Klemm weist nun mit Recht darauf hin, dass dies bei einer 9-jährigen Vollzeitschulpflicht kaum denkbar sei. Er schätzt den relativen Schulbesuch von 15-Jährigen an beruflichen Schulen im Saarland auf rund 10 Prozent. Berücksichtigt man den relativ hohen Anteil von Schülerinnen und Schülern in Hauptschulbildungsgängen und ferner die Tatsache, dass das Saarland keine 10. Hauptschulklasse kennt, so dürfte dieser Wert zu niedrig sein. Ein Abgleich der Zahl der 15-Jährigen im Saarland im Jahr 2000 mit der gleichaltrigen Schülerschaft an allgemeinbildenden Schulen (einschließlich der Förderschulen) zeigt, dass sich rund 13 Prozent der 15-Jährigen bereits an beruflichen Schulen befinden mussten. Stimmte Klemms Ausgangsannahme, dass 15-Jährige an beruflichen Schulen das schwächste Leistungsstratum des Altersjahrgangs repräsentieren,

14 müsste man mit möglicherweise erheblichen Verschätzungen aller Populationsparameter im Saarland rechnen. Im folgenden wollen wir die Argumentation Klemms in zwei Schritten überprüfen. Im ersten Schritt soll geklärt werden, welche Jugendlichen mit welcher Schullaufbahn sich zum PISA- Testzeitpunkt im Jahre 2000 bereits an beruflichen Schulen befinden konnten. Ziel dieses Schrittes ist es, die Basisannahme Klemms über die Zusammensetzung der 15-jährigen Berufsschulpopulation zu überprüfen. In einem zweiten Schritt werden wir uns die Stichtagsregelung der Einschulung zu nutze machen. In der PISA-Stichprobe befinden sich unter den Schülerinnen und Schülern, die 1984 nach dem Einschulungsstichtag geboren und nicht vorzeitig eingeschult wurden, alle Jugendlichen, die zum nachfolgenden Jahr nach Abschluss der Vollzeitschulpflicht als 15-Jährige in berufliche Schulen wechseln werden. Diese Teilstichprobe weist überall eine hohe Ausschöpfungsquote auf. Wir werden deshalb für diese Gruppe ein Übergangsmodell entwickeln, um auf dieser Grundlage Leistungswerte für die beruflichen Schulen zu schätzen, die durch niedrige Ausschöpfungsquoten nicht beeinträchtig sein können. Abschließend wollen wir noch einmal auf Klemms Argument zurückkommen, Bayern hätte wie Berlin (und Hamburg) aus der Berichterstattung ausgeschlossen werden müssen. 4. Wer besucht im Alter von 15 Jahren eine berufliche Schule? Zu der in PISA untersuchten Grundgesamtheit gehören alle Jugendlichen, die zwischen dem 1. Februar 1984 und dem 31. Januar 1985 geboren wurden und im Frühjahr 2000 eine öffentliche oder private Vollzeit- oder Teilzeitschule besuchten. Diese Zielpopulation wird etwas nachlässig als die Altersgruppe der 15-Jährigen bezeichnet, obwohl einige Schülerinnen und Schüler zum Untersuchungszeitpunkt bereits 16 Jahre alt geworden waren. Aus dieser Grundgesamtheit konnten sich im Frühjahr 2000 unter den Bedingungen einer 9-jährigen Vollzeitschulpflicht im wesentlichen zwei Gruppen von Jugendlichen mit unterschiedlicher Schullaufbahn in beruflichen Schulen befinden. Zur ersten Gruppe gehören jene Jugendlichen, die vor dem Einschulungsstichtag des geboren wurden, fristgerecht eingeschult wurden und ohne jede Klassenwiederholung nach neun Schuljahren in das berufsbildende Schulsystem gewechselt sind. Zu dieser Gruppe zählen auch vorzeitig eingeschulte Jugend-

15 liche, die ohne bzw. mit maximal einer Klassenwiederholung nach Abschluss der Hauptschule eine berufliche Schule besuchen. Bei allen Angehörigen dieser Gruppe dürfte es sich fast ausschließlich um erfolgreiche Absolventen einer Hauptschule handeln. (Fristgerecht eingeschulte Schülerinnen und Schüler, welche die allgemeinbildende Schule bis zum Ende der 9. Jahrgangsstufe ohne Klassenwiederholung durchlaufen haben und bei drohender erstmaliger Nichtversetzung am Ende der 9. Jahrgangsstufe auf eine Klassenwiederholung verzichten und die Schule ohne Abschluss verlassen, sind quantitativ zu vernachlässigen. Ebenso spielen vorzeitig eingeschulte Schülerinnen und Schüler, die bei drohender zweiter Nichtversetzung am Ende der 9. Jahrgangsstufe von der Schule ohne Abschluss abgehen, zahlenmäßig keine Rolle.) Zu einer zweiten Gruppe von Jugendlichen an beruflichen Schulen gehören Schülerinnen und Schüler, die ebenfalls vor dem Stichtag des geboren wurden, termingerecht oder verzögert eingeschult wurden, mindestens eine Klasse wiederholt haben und aus der 6., 7. oder 8. Jahrgangsstufe die allgemeinbildende Schule ohne Abschluss verließen und sich zum Untersuchungszeitpunkt in der Regel in einer berufsvorbereitenden Maßnahme befanden. Festzuhalten bleibt, dass Jugendliche, die vor dem 1. Februar1984 geboren wurden, regulär oder verzögert eingeschult wurden und dann nach ein- oder mehrmaliger Klassenwiederholung die allgemeinbildende Schule aus der 9. Jahrgangsstufe am Ende des Schuljahres 1998/1999 ohne Abschluss verlassen haben und sich im Frühjahr 2000 im ersten Jahr an einer beruflichen Schule befanden, aufgrund ihres höheren Alters nicht zur PISA-Zielpopulation gehören. Die beiden beschriebenen Teilgruppen von Jugendlichen an beruflichen Schulen unterscheiden sich in ihren Leistungen erheblich. Erfolgreiche Hauptschulabsolventen ohne Klassenwiederholung gehören zur Gruppe der leistungsstärksten Hauptschüler, deren Leistungsverteilung weit in den Bereich der Realschule hineinreicht. Dagegen handelt es sich bei den Frühabgängern aus der 6., 7. und 8. Jahrgangsstufe um die leistungsschwächste Schülergruppe im System. Um die Zusammensetzung der PISA-Subpopulation an beruflichen Schulen zu beschreiben, benötigt man eine Vorstellung von der relativen Größe beider Gruppen. Da die Länderstatistiken Schulabgänger nicht nach Abschluss, Klassenstufe und Alter aufschlüsseln, muss man als Schätzer die amtlichen Angaben zu Schulabgängern aufgegliedert nach Abschluss und Klassenstufe heranziehen. Die Relation der Schulabgänger mit Hauptschulabschluss aus der 9. Jahrgangsstufe zu Abgängern ohne Schulabschluss aus

16 der 6., 7. und 8. Jahrgangsstufe allgemeinbildender Schulen dürfte der beste Schätzer für das Verhältnis der beiden Teilgruppen der PISA-Subpopulation an beruflichen Schulen sein. Dabei geht die Annahme ein, dass die Altersverteilung beider Abgängergruppen ähnlich ist. Tabelle 3 weist die Relationen von Frühabgängern ohne Abschluss und Abgänger aus der 9. Jahrgangsstufe mit Hauptschulabschluss für die Länder Baden-Württemberg, Bayern, Rheinland-Pfalz und Saarland aus. Dies sind Verhältnisse, die auch in der PISA-Subpopulation der Schüler in beruflichen Schulen zu erwarten sind. Der weitaus überwiegende Teil der PISA- Schülerinnen und Schüler an beruflichen Schulen gehört zur leistungsstärkeren Gruppe der "glatten" Hauptschulabsolventen. Die Gruppe der leistungsschwächsten Frühabgänger stellt dagegen eine Minderheit dar.

17 Tabelle 3: Schulabgänger nach Land, Schulform und Abschluss (1999/2000) Land/Schulform Schulabgänger Baden-Württemberg Ohne Abschluss Mit Hauptschul- Summe aus der 8. Klasse oder niedriger abschluss aus der 9. Klasse Hauptschule MBG 1 Realschule Gymnasium IGS Summe 2547 (6,8%) (93,2%) Bayern Rheinland-Pfalz Saarland Hauptschule MBG 1 Realschule Gymnasium IGS 2 Summe 4352 (9%) (91%) Hauptschule MBG Realschule Gymnasium IGS Summe 1762 (12%) (88%) Hauptschule MBG Realschule Gymnasium 8 8 IGS Summe 394 (12%) 2894 (88%) Schulen mit mehreren Bildungsgängen (MBG) Integrierte Gesamtschulen (IGS) 5. Ein Modell für den Übergang von PISA-Schülern in berufliche Schulen PISA-Teilnehmer, die nach dem Stichtag des geboren und nicht vorzeitig eingeschult wurden und keine Klasse übersprungen haben, konnten sich im Jahre 2000 auch bei 9- jähriger Vollzeitschulpflicht noch nicht in beruflichen Schulen befinden. Dies ist der größere Teil der PISA-Stichprobe. In dieser Untergruppe befinden sich auch jene Schülerinnen und

18 Schüler, die im nachfolgenden Schuljahr als 15-Jährige in beruflichen Schulen anzutreffen sein werden. Gelingt es, für diese Schülergruppe ein theoretisch plausibles Übergangsmodell zu entwerfen und die prospektiven Schüler und Schülerinnen an beruflichen Schulen zu identifizieren, kann man die Leistungswerte dieser Personen nutzen, um eine nicht durch unterschiedliche Ausschöpfungsquoten verzerrte Leistungsverteilung von Jugendlichen an beruflichen Schulen zu schätzen. Abbildung 1 stellt das im folgenden zugrunde gelegte Übergangsmodell dar. Abbildung 1: Theoretisches Modell des Übergangs von 1984 nach dem Einschulungsstichtag geborenen Schülerinnen und Schüler in berufliche Schulen bei einer Vollzeitschulpflicht von 9 Jahren 1999/2000 Notendurchschnitt 2/2,5 2000/ Jahrgangsstufe Hauptschule 9. Jahrgangsstufe Hauptschule Berufliche Schulen Klassenziel wird nicht erreicht Notendurchschnitt > 4 8. Jahrgangsstufe Hauptschule 9. Jahrgangsstufe Hauptschule Klassenziel wird nicht erreicht Notendurchschnitt > 4 7. Jahrgangsstufe (alle Schulformen) Berufliche Schulen (Berufsvorbereitende Maßnahmen) 6. Jahrgangsstufe (alle Schulformen)

19 Nach dem Stichtag geborene und nicht vorzeitig eingeschulte PISA-Schüler, die sich im Schuljahr 1999/2000 in der 9. Jahrgangsstufe eines Hauptschulbildungsgangs befanden, hatten zum Schuljahr 2000/2001 in Ländern mit einer 9-jährigen Vollzeitschulpflicht drei Übergangsmöglichkeiten: - Sofern in dem jeweiligen Land eine freiwillige 10. Jahrgangsstufe an Hauptschulen angeboten wird und die geforderten Leistungsvoraussetzungen für den Übergang erfüllt sind, können sie in die 10. Jahrgangsstufe der Hauptschule überwechseln (Übergänge in die Realschule sind zu vernachlässigen). Die Übergangsquote lässt sich aus einem Vergleich der Besetzung der 9. Jahrgangsstufe an Hauptschulen mit jener der 10. Jahrgangsstufe ein Jahr später schätzen. - Sollte das Klassenziel nicht erreicht werden, wird in der Regel die 9. Jahrgangsstufe im folgenden Schuljahr wiederholt. Ein Abgang ohne Schulabschluss ist höchst unwahrscheinlich, da es sich bei diesen Schülern um die erste Klassenwiederholung handelt. Potentielle Klassenwiederholer sind Schülerinnen und Schüler mit einer Durchschnittsnote in den drei Hauptfächern (Deutsch, Mathematik und erste Fremdsprache) unter Vier. - Die übrigen "glatten" Neuntklässler werden im Schuljahr 2000/2001 an beruflichen Schulen wiederzufinden sein (Gruppe A). PISA-Teilnehmer, die 1984 nach dem Einschulungsstichtag geboren wurden, sich im Schuljahr 1999/2000 in der 8.Jahrgangsstufe eines Hauptschulbildungsgangs befinden und bereits eine Klasse wiederholt haben, werden beim Nichterreichen des Klassenziels nach der Erfüllung der Vollzeitschulpflicht ohne Abschluss in eine berufliche Schule in der Regel in eine berufsvorbereitende Maßnahme münden. Ein Indikator für das Nichterreichen des Klassenziels ist eine Durchschnittsnote in den drei Hauptfächern unter Vier (Gruppe B). Dass Schülerinnen und Schüler der 8. Jahrgangsstufe, die zwar eine Klasse wiederholt haben, aber das Klassenziel im Jahr 1999/2000 erreichen werden, die Schule ohne Abschluss verlassen, ist unwahrscheinlich. Sie werden, wie die übrigen erfolgreichen Klassenkameraden im Schuljahr 2000/2001 in die 9. Jahrgangsstufe der Hauptschule wechseln. Nach dem Stichtag geborene PISA-Teilnehmer, die sich im Schuljahr 1999/2000 noch in der 6. oder 7. Jahrgangsstufe einer allgemeinbildenden Schule befinden, werden nach Abschluss der Vollzeitschulpflicht unmittelbar in eine berufsvorbereitende Maßnahme an einer beruflichen Schule einmünden (Gruppe B).

20 Aufgrund der Annahmen dieses Modells ist es möglich, die Schülerinnen und Schüler zu identifizieren, die im nachfolgenden Schuljahr aller Voraussicht nach berufliche Schulen besuchen werden. Dies gilt auch für das Saarland, in dem für das Schuljahr 1999/2000 keine beruflichen Schulen in die Stichprobe aufgenommen wurden. Wendet man dieses Modell auf die nach dem Stichtag geborenen und nicht vorzeitig eingeschulten PISA- Teilnehmer an, so ergeben sich für die Länder Bayern, Baden-Württemberg, Rheinland-Pfalz und Saarland folgende Ergebnisse: (1) In Bayern gehören zur Gruppe A nach dem Stichtag geborene Schüler und Schülerinnen an 9. Hauptschulklassen abzüglich der voraussichtlichen Wiederholer (Schüler mit einer Durchschnittsnote unter Vier) und abzüglich der Übergänger in die freiwillige 10. Jahrgangsstufe der Hauptschule (Schüler und Schülerinnen mit einer Durchschnittsnote von Zwei und besser). In Bayern beträgt die Übergangsquote in die 10. Jahrgangsstufe der Hauptschule 9,3 Prozent. Benutzt man die Durchschnittsnote Zwei als Abgrenzungskriterium, wird der Übergangsanteil etwas überschätzt. Dies führt konservativ zu einer leichten Unterschätzung der Leistungsfähigkeit der Schülerinnen und Schüler an beruflichen Schulen. Zur Gruppe B gehören nach dem Stichtag geborene Schüler der 8. Jahrgangsstufe an Hauptschulen, die voraussichtlich mit einer Durchschnittsnote unter Vier ohne Abschluss das allgemeinbildende Schulwesen verlassen werden. Ferner werden alle Schüler aus 7. Klassen oder niedriger aller allgemeinbildenden Schulen dieser Gruppe zugerechnet. Nach Schätzungen aus der amtlichen Statistik entfallen auf die Gruppe A 91 Prozent und auf die Gruppe B 9 Prozent der Übergänger in das berufliche Schulwesen. Insgesamt beträgt der relative Schulbesuch der 15-Jährigen an beruflichen Schulen in Bayern 14,1 Prozent. Diese Werte werden als Gewichte für die Postadjustierung benutzt. (2) In Baden-Württemberg gehören zur Gruppe A ebenfalls alle nach dem Stichtag geborenen Schülerinnen und Schüler einer 9. Hauptschulklasse abzüglich der voraussichtlichen Klassenwiederholer, deren Durchschnittsnote unter Vier liegt, und abzüglich der voraussichtlichen Übergänger in die freiwillige 10. Klasse der Hauptschule. Die Übergangsquote in die 10. Hauptschulklasse beträgt in Baden- Württemberger 15,5 Prozent. Dieser Wert wird mit einer Durchschnittsnote von Zwei und besser als Grenzwert gut approximiert. Zur Gruppe B der Übergänger gehören alle nach dem Stichtag geborenen Achtklässler an Hauptschulen, die mit einer Durchschnittsnote unter Vier voraussichtlich ohne Abschluss das allgemeinbildende Schulwesen verlassen werden. Ferner werden alle nach dem Stichtag geborenen Schülerinnen und Schüler, die sich in der 6. oder 7. Klasse einer allgemeinbildenden Schule befinden, dieser Gruppe hinzugerechnet. Nach Schätzungen aus der amtlichen Statistik beträgt der Anteil der Übergänger in berufliche Schulen aus der Gruppe A 93,1 Prozent und der Gruppe B 6,9 Prozent. Der relative Schulbesuch von 15-Jährigen an beruflichen Schulen beträgt in Baden-Württemberg insgesamt 9,3 Prozent. (3) Zur Gruppe A der Übergänger in berufliche Schulen gehören auch in Rheinland-Pfalz alle nach dem Stichtag geborenen Neuntklässler in Hauptschulbildungsgängen einschließlich des Hauptschulbildungsgangs an Schulen mit mehreren Bildungsgängen abzüglich der voraussichtlichen Klassenwiederholer mit einer Durchschnittsnote unter Vier und abzüglich der Übergänger in die freiwillige 10. Hauptschulklasse. Die Übergangsquote liegt in Rheinland-Pfalz bei 21,5 Prozent ein Wert, der mit einer Durchschnittsnote von 2,5 und besser als Grenzmarke gut approximiert wird. Ebenfalls zur Gruppe A werden alle nach dem Stichtag geborenen Schülerinnen und Schüler aus Integrierten Gesamtschulen gerechnet, die eine Durchschnittsnote unter Drei erhalten haben. Dies entspricht etwa den 37 Prozent der Abgänger aus Integrierten Gesamtschulen, die mit einem Hauptschulabschluss die Schule verlassen. Zur Gruppe B der Übergänger werden alle nach dem Stichtag geborenen Schülerinnen und Schüler der 8. Klasse im Hauptschulbildungsgang und der Integrierten Gesamtschule gerechnet, die voraussichtlich mit

21 einer Durchschnittnote unter Vier und ohne Schulabschluss aus dem allgemeinbildenden Schulwesen abgehen werden. Wie auch in den anderen Ländern werden außerdem alle nach dem Stichtag geborenen Schülerinnen und Schüler der 6. und 7. Klasse als voraussichtliche Frühabgänger der Gruppe B zugerechnet. In Rheinland-Pfalz macht die Gruppe A 88 und die Gruppe B 12 Prozent der PISA-Subpopulation an beruflichen Schulen aus. Insgesamt beträgt in Rheinland-Pfalz der relative Schulbesuch der 15-Jährigen an beruflichen Schulen 8,6 Prozent. (4) Im Saarland gehören zu den potentiellen Übergängern in berufliche Schulen alle nach dem Stichtag geborenen Schülerinnen und Schüler der 9. Klasse in Hauptschulbildungsgängen einschließlich des Hauptschulbildungsgangs an Schulen mit mehreren Bildungsgängen abzüglich der voraussichtlichen Klassenwiederholer mit einer Durchschnittsnote unter Vier. Ebenfalls rechnen zur Gruppe A nach dem Stichtag geborene Schüler und Schülerinnen der Integrierten Gesamtschule, die einen Notendurchschnitt von unter Drei erreicht haben. Dieser Anteil entspricht etwa den 59 Prozent der Abgänger aus Integrierten Gesamtschulen, die ihre Schule aus der Klassenstufe 9 oder 10 mit Hauptschulabschluss verlassen. Zur Gruppe B der Übergänger werden alle nach dem Stichtag geborenen Schülerinnen und Schüler der 8. Klasse in einem Hauptschulbildungsgang und an Integrierten Gesamtschulen gerechnet, die voraussichtlich mit einer Durchschnittsnote unter Vier ohne Schulabschluss das allgemeinbildende Schulwesen verlassen werden. Ebenso werden Schülerinnen und Schüler der 6. und 7. Klasse aus allen Schulformen als voraussichtliche Frühabgänger dieser Gruppe zugerechnet. Im Saarland macht die Gruppe A 88 Prozent und die Gruppe B 12 Prozent der Übergänger in das berufliche Schulwesen aus. Der relative Schulbesuch von 15-Jährigen an beruflichen Schulen beträgt im Saarland insgesamt wenn man diesen Wert aus der Stichprobe schätzt 14,8 Prozent. Diese Schätzung liegt sehr nahe an dem aus der amtlichen Statistik für das Jahr 2000 errechneten Wert von 13 Prozent, den wir als Gewichtungsfaktor benutzen (s. oben). Dies stützt unser Vorgehen. 6. Zwei Modelle zur Leistungsschätzung Die als potentielle Übergänger in berufliche Schulen identifizierten Personen sollen im folgenden zur Schätzung der Leistungswerte an beruflichen Schulen genutzt werden. Bei diesem letzten Schritt ist zu berücksichtigen, dass diese Schülerinnen und Schüler im Vergleich zur Originalstichprobe ein Jahr früher getestet wurden. Um zu vertretbaren Schätzungen zu kommen, sind Annahmen über Leistungszuwächse innerhalb eines Jahres zu treffen. Wir wollen zwei Modelle schätzen, die jeweils Grenzfälle darstellen. Im ersten Fall wird angenommen, dass die Schulabgänger nach Verlassen der allgemeinbildenden Schule keine weiteren Leistungszuwächse zu verzeichnen haben (Modell A). Diese Annahme ist, wie wir aus TIMSS/III wissen, ein unzutreffender, konservativ gewählter Grenzwert. In diesem Modell werden die tatsächlichen Leistungen der Schüler an beruflichen Schulen systematisch unterschätzt. Im Alternativmodell wollen wir annehmen, dass die Abgänger ohne Schulabschluss keine Leistungszuwächse erreichen; für die glatt durch das System gelaufenen Hauptschüler in Bayern, Baden-Württemberg, Rheinland-Pfalz und Saarland sollen dagegen die selben Leistungszuwächse angenommen werden, die in Nordrhein-Westfalen von der

22 gleichen Schülergruppe zwischen der 9. und 10. Jahrgangsstufe an Hauptschulen erzielt werden. 6.1 Schätzung korrigierter Mittelwerte Tabelle 4: Mittlere Lesekompetenz nach ausgewählten Ländern (in Klammern Standardfehler) Land PISA-E, 15-Jährige unkorrigiert PISA-E, Neuntklässler 1 Korrigierte Schätzung für 15-Jährige aus der Stichprobe der beruflichen Schulen 2 Modell: Modell: r = 1.0 r =.50 Korrigierte Schätzung für 15- Jährige aus der Stichprobe der nach dem Stichtag Geborenen Modell: r =.30 Modell A Modell B Baden-Württemberg 500 (5,5) 510 (2,4) 494/ / / (4,3) 500 (4,4) Bayern 510 (4,0) 518 (2,8) 505/ / / (3,7) 509 (3,8) Rheinland-Pfalz 485 (6,6) 496 (3,1) 481/ / / (4,3) 489 (4,2) Saarland 484 (2,4) 487 (2,4) (2,7) 478 (2,6) Nordrhein-Westfalen 482 (2,6) 493 (2,4) Ohne Schülerinnen und Schüler an Förderschulen 2 Korrigierte Schätzung ohne Berücksichtigung der eingeschränkten Varianz / Korrigierte Schätzung unter Berücksichtigung der eingeschränkten Varianz Tabelle 4 weist in der zweiten und dritten Spalte die im Länderbericht ausgewiesenen nichtkorrigierten Landesmittelwerte für die Lesekompetenz aus. In Spalte 4 werden Mittelwertschätzungen berichtet, die unter der Annahme berechnet wurden, dass in den beruflichen Schulen ein perfekter Zusammenhang zwischen Beteiligungsbereitschaft und Leistung besteht. Die Schätzungen vor dem Schrägstrich beruhen auf einem einfachen Modell, das die Mittelwertverzerrung unter Berücksichtigung des Zusammenhangs zwischen Beteiligungsbereitschaft und Leistung korrigiert. Die Schätzungen nach dem Schrägstrich beruhen auf einem erweiterten Modell, das zusätzlich die in der verzerrten Stichprobe reduzierte Varianz berücksichtig. Die mathematischen Grundlagen der Schätzungen sind dem Anhang 1 zu entnehmen. Die geschätzten Mittelwerte der Spalte 4 liegen zwischen sechs und zehn Punkten unterhalb der Mittelwerte der Spalte 2. Ein Blick auf die Standardfehler in der Spalte 2 zeigt, dass die Unterschiede nicht zufallskritisch abzusichern sind. Dieses worst case Szenario, in dem für alle Jugendlichen an beruflichen Schulen, die in die Stichprobe aufgenommen wurden, aber am Test nicht teilgenommen haben, Leistungswerte angenommen werden, die unterhalb des leistungsschwächsten Teilnehmers liegen, ist mit Sicherheit unzutreffend. Von welcher Stärke des Zusammenhangs zwischen Beteiligungsbereitschaft und Leistungsniveau