1
PISA 2003 Schulspezifische Ergebnisrückmeldung am Lycée technique Michel Lucius 2
Gliederung Allgemeiner Überblick zur PISA-Studie Schulspezifische Rückmeldung Nutzen und Grenzen Testteilnehmer Ihrer Schule Testleistungen der Schüler Schülercharakteristiken Schulzweige im nationalen und Schulen im internationalen Vergleich 3
PISA 2003 Überblick zum OECD Programme for International Student Assessment (PISA) 4
PISA - Fragestellungen Wie gut sind Jugendliche auf die Herausforderungen der Zukunft vorbereitet? Sind sie in der Lage, ihre Ideen und Vorstellungen nutzbringend zu analysieren, zu begründen und zu kommunizieren? Verfügen sie über die Voraussetzungen für lebenslanges Lernen? 5
PISA Merkmale (1) Von OECD-Teilnehmerstaaten gemeinsam entwickelte Studie International standardisierte Leistungsmessung Hauptaugenmerk Erfassen von Fähigkeiten, Fertigkeiten und Wissen; Beherrschung von Prozessen und Verständnis von Konzepten Zielpopulation sind 15-jährige Schüler Jedes Land testet etwa 5200 Schüler 6
PISA Merkmale (2) 3 Testbereiche Hauptbereich 2003 Mathematische Grundbildung Nebenbereiche 2003 Lesekompetenz Naturwissenschaftliche Grundbildung Fächerübergreifende Komponente NEU: Problemlösen 7
PISA Merkmale (3) Zyklische Wiederholung Jeweils alle 3 Jahre Mit wechselndem Schwerpunkt dem Hauptbereich sind 2/3 der Testzeit zugeordnet sonst: Erfassen eines allgemeinen Leistungsprofils 8
Ziele der PISA-Studie Information zu Schülerleistungen auf Landesebene zur Bewertung und Steuerung des Systems Information zu Rahmenbedingungen der Schulen und des Unterrichts über die Einstellungen der Schüler und deren Zusammenhänge zur Leistung Aber: keine Evaluation einzelner Schulen 9
PISA 2003 -Teilnehmerländer OECD-Länder Partnerländer Neu in 2003 Australien Belgien Dänemark Deutschland Finnland Frankreich Griechenland Großbritannien Irland Island Italien Japan Kanada Korea Luxemburg Mexiko Neuseeland Niederlande Norwegen Österreich Polen Portugal Schweden Schweiz Spanien Tschechische Republik Ungarn USA Brasilien Lettland Liechtenstein Russland Hong Kong- China Indonesien Macao-China Serbien Slowakei Thailand Tunesien Türkei Uruguay 10
Schülerleistung im internationalen Vergleich Mittelwert aller OECD-Teilnehmerländer 500 Punkte Standardabweichung 100 Punkte d.h. 2/3 aller Schüler erreichen Mittelwerte zwischen 400 und 600 Punkten Länder mit Mittelwerten > 500 Punkte = oberhalb des OECD-Durchschnitts < 500 Punkte = unterhalb des OECD-Durchschnitts 11
PISA 2003 Schülerleistungen in mathematischer Grundbildung Überdurchschnittliche Schülerleistungen 540 520 500 480 Hong Kong-China Korea Liechtenstein Kanada Macao-China Australien Czech. Republik Dänemark Schweden Irland Norwegen Polen Lettland Finnland Niederlande Japan Belgien Schweiz Neuseeland Island Frankreich Österreich Deutschland Slovak. Republik Luxemburg (492) Ungarn Spanien USA 540 520 500 480 460 Russ. Föderation Italien Portugal 460 440 Griechenland Unterdurchschnittliche Schülerleistungen 440 12
PISA 2003 Schulspezifische Rückmeldung: Nutzen und Grenzen 13
Nutzen der Schulrückmeldung Standardisierte Momentaufnahme der Schülerleistungen an einer Schule Bewertung von empirischen Daten Einordnung im Umfeld mit anderen Schulen, deren Eingangsbedingungen ähnlich sind Anlass für pädagogische Diskussion 14
Grenzen der Schulrückmeldung Keine Verallgemeinerung über das Fachgebiet oder den Jahrgang hinaus Keine Evaluation der Schule Keine direkten Rückschlüsse auf die Effizienz und Qualität der schulischen Arbeit Rein deskriptive Daten liefern keine konkreten didaktischen Maßnahmen zur Beseitigung erkannter Defizite liefern keine Erklärungen für die beobachteten Ergebnisse Keine Erwartung an Schulentwicklungsprozesse 15
Grenzen der Schulrückmeldung Das Wissen über Leistungsergebnisse und Leistungsvoraussetzungen von Schulsystemen und Schulen wächst schneller als das Wissen darüber, was man mit diesem Wissen anfangen kann und soll. Terhart (2002) 16
PISA 2003 Schulspezifische Rückmeldung: Testleistungen der Schüler 17
Darstellung der Ergebnisse Getrennt nach Schulzweig Enseignement secondaire (ES) Enseignement secondaire technique (EST) Régime Préparatoire (PREP) Vergleich der Ergebnisse Mit dem Durchschnittswert des entsprechenden Schulzweigs 18
Teilnehmer des LTML Anzahl Schüler Prozent Mädchen Mittlerer SES*der Schule Schüler mit Migrationshintergrund Umgangssprache Luxemb. bzw. Testsprache Wahl der Testsprache N % % % deutsch % LTML 138 58 durchschnittlich 44 70 71 EST- Gesamt 2208 49 36 66 78 * sozioökonomischer Status 19
Anstrengungsbarometer des LTML 10 9 8 7 6 5 4 3 hoch 10 9 2 1 neutral 8 7 6 5 4 LTML Kein signifikanter Unterschied zum EST- Durchschnitt 3 EST-Durchschnitt 2 niedrig 1 Anstrengungsbereitschaft im PISA-Test Anstrengungsbereitschaft, wenn der PISA- Test benotet worden wäre 20
Darstellung der Durchschnittsleistungen Punkte 620 600 580 560 540 520 500 480 460 440 420 400 380 Mathematische Grundbildung Leistungsbereich des Landes Leistungsbereich einer Schulform (ES bzw. EST bzw. PREP) Leistungsbereich der Schule Ein Bereich entspricht dem 95%-Konfidenzintervall, d.h. Mittelwert +/- 2 Standardfehler. Überlappen sich der Bereich Ihrer Schule und der Bereich einer Schulform (ES bzw. EST bzw. PREP), so ist der Unterschied zwischen den durchschnittlichen Schülerleistungen Ihrer Schule und denen des ES, EST bzw. PREP nicht signifikant. Überlappen sich die beiden Bereiche nicht, ist der Unterschied signifikant. Durchschnitt an Ihrer Schule ES/EST/PREP-Durchschnitt Luxemburger Durchschnitt 21
Enseignement secondaire technique (EST) Durchschnittsleistungen in den vier Testbereichen 540 520 500 Die Durchschnittsleistungen der Schüler des LTML sind in allen vier Testbereichen signifikant höher als im EST-Durchschnitt. Punkte 480 460 440 420 400 380 Mathematische Grundbildung Lesekompetenz Naturwissenschaftliche Grundbildung Problemlösen EST-Durchschnitt LTML-Durchschnitt Luxemburger Durchschnitt 22
Einflussfaktoren von Leistung (1) Verschiedene Merkmale beeinflussen die Schülerleistung Auf einige Merkmale kann Ihre Schule keinen Einfluss ausüben z. B. auf die Zusammensetzung der Schülerschaft bezüglich des sozioökonomischen Status, des Migrationsstatus, des Geschlechts und des Schulprogramms Darstellung der Leistung Ihrer Schule unter Kontrolle der genannten Merkmale 23
Einflussfaktoren von Leistung (2) Annahmen für die Modellrechnung Für die Schüler aller Schulen gilt: sie haben einen durchschnittlichen sozioökonomischen Status sie sind Jungen (ausser in Lesekompetenz: Mädchen) sie sind in Luxemburg geboren und stammen aus Familien ohne Migrationshintergrund sie sind im selben Schulprogramm (9e théorique) 24
Enseignement secondaire technique (EST) Mittelwerte unter Kontrolle des sozioökonomischen Status, des Migrationsstatus, des Geschlechts und des Schulprogramms 540 520 500 480 Punkte 460 440 420 400 380 Unter Kontrolle der genannten Einflussfaktoren unterscheiden sich die Durchschnittsleistungen der Schüler des LTML nicht signifikant vom EST-Durchschnitt. Mathematische Grundbildung Lesekompetenz Naturwissenschaftliche Grundbildung EST-Durchschnitt LTML-Durchschnitt 25
Schülerleistungen in den Teilbereichen Teilbereiche der mathematischen Grundbildung Raum und Form Veränderung und Beziehung Quantität Unsicherheit Definition und Beispiele 26
Definition der Teilbereiche (1) Raum und Form Umgang mit geometrischen Objekten; Vorstellen von Verwandlung, Bewegung und Perspektiven Veränderung und Beziehungen Vergleich von Gruppen in algebraischer, geometrischer oder graphischer Form Durchschnittsgröße männlicher Jugendlicher 1998 Durchschnittsgröße weiblicher Jugendlicher 1998 27
Definition der Teilbereiche (2) Quantität Quantifizieren, Messen und Zahlendenken Unsicherheit Wahrscheinlichkeitsrechnung und Statistik 4 lange Holzbretter Anzahl der Raubüberfälle im Jahr 520 515 + 12 kleine Klammern + 2 große Klammern + 14 Schrauben 6 kurze Holzbretter 1999 510 1998 505 28
540 Enseignement secondaire technique (EST) Durchschnittsleistungen in den Teilbereichen der mathematischen Grundbildung 520 500 480 Punkte 460 440 420 400 Die Durchschnittsleistungen der Schüler des LTML sind in den Bereichen Veränderung und Beziehungen, Quantität und Unsicherheit signifikant höher als im EST-Durchschnitt. 380 Raum und Form Veränderung und Beziehungen Quantität Unsicherheit EST-Durchschnitt LTML-Durchschnitt Luxemburger Durchschnitt 29
PISA-Kompetenzstufen Einteilung der Punkteskala In Kompetenzstufen mit aufsteigendem Schwierigkeitsniveau Bedeutung der Kompetenzstufen Sie beschreiben, über welche Fähigkeiten ein Schüler auf einer bestimmten Stufe verfügt In Abgrenzung zu der nächst höher oder tiefer gelegenen Stufe Je nach Schwierigkeitsniveau werden die Aufgaben einer Kompetenzstufe zugeordnet Beispiele... 30
VI Aufgabe Wechselkurs Mei-Ling aus Singapur wollte für 3 Monate als Austauschstudentin nach Südafrika gehen. Sie musste einige Singapur Dollar (SGD) in Südafrikanische Rand (ZAR) wechseln. 669 607 V IV Wechselkurs 1: 545 Mei-Ling fand folgenden Wechselkurs zwischen Singapur Dollar und Südafrikanischen Rand heraus: III 1 SGD = 4,2 ZAR. Mei-Ling wechselte zu diesem Wechselkurs 3000 Singapur Dollar in Südafrikanische Rand. Wie viele Südafrikanische Rand hat Mei-Ling erhalten? 83% 87% 483 421 II I Antwort:. 358 Prozent richtig gelöst : LTML % EST-Durchschnitt % 31
VI Aufgabe Größer werden 669 Für 1998 ist die durchschnittliche Körpergröße von männlichen und weiblichen Jugendlichen in den Niederlanden in dem folgendem Graphen dargestellt. GRÖSSER WERDEN 3: Erkläre, wie der Graph zeigt, dass sich die Wachstumsrate für Mädchen über 12 Jahre im Durchschnitt verlangsamt. 36% 43% 607 V IV Größe 190 (cm) 180 170 160 150 140 130 10 11 12 13 14 15 16 17 18 19 Alter (Jahre) Durchschnittsgröße männlicher Jugendlicher 1998 Durchschnittsgröße weiblicher Jugendlicher 1998 GRÖSSER WERDEN 2: In welchem Lebensabschnitt sind laut Graphen weibliche Jugendliche durchschnittlich größer als ihre männlichen Altersgenossen? GRÖSSER WERDEN 1: Seit 1980 hat die Durchschnittsgröße 20-jähriger Frauen um 2,3 cm auf 170,6 cm zugenommen. Was war die Durchschnittsgröße einer 20-jährigen Frau im Jahr 1980? Prozent richtig gelöst : LTML % 60% 52% 72% 66% EST-Durchschnitt % 545 483 421 358 32 III II I
14% 5% VI Aufgabe Gehen 38% 669 V 29% 607 IV Das Bild zeigt die Fußabdrücke eines gehenden Mannes. Die Schrittlänge P entspricht dem Abstand zwischen den hintersten Punkten von zwei aufeinander folgenden Fußabdrücken. Für Männer drückt die Formel n/p=140 die ungefähre Beziehung zwischen n und P aus, wobei GEHEN 3: Bernhard weiß, dass seine Schrittlänge 0,80 Meter beträgt. Die Formel trifft auf Bernhards Gangart zu. Berechne Bernhards Gehgeschwindigkeit in Meter pro Minute und in Kilometern pro Stunde. Gib an, wie Du zu deiner Antwort gekommen bist. GEHEN 1: 545 483 421 III II n = Anzahl der Schritte pro Minute und P = Schrittlänge in Meter ist. Wenn die Formel bei Daniels Geburt zutrifft und er 70 Schritte pro Minute macht, wie viel beträgt dann seine Schrittlänge? I 358 Prozent richtig gelöst : LTML % EST-Durchschnitt % 33
Enseignement secondaire technique (EST) Prozentualer Anteil Schüler auf den Kompetenzstufen der mathematischen Grundbildung 100 2 3 11 11 80 Angaben in Prozent (%) 60 40 20 0 39 31 13 3 LTML 26 33 20 7 EST-Durchschnitt Stufe 6 Stufe 5 Stufe 4 Stufe 3 Stufe 2 Stufe 1 Stufe<1 Rund 84% der Schüler des LTML erreichen mindestens Stufe 2 gegenüber 73% im EST- Durchschnitt. 34
Weitere Analysen Geschlechtsspezifische Unterschiede In mathematischer Grundbildung Lesekompetenz Naturwissenschaftlicher Grundbildung 35
Enseignement secondaire technique (EST) Geschlechtsspezifische Leistungsunterschiede 50 Differenz (Jungen - Mädchen) in Punkten 40 30 20 10 0-10 -20-30 -40-50 12 28 Mathematische Grundbildung Die Durchschnittsleistungen der Mädchen des LTML sind in Lesekompetenz signifikant höher als die der Jungen. -43-23 Lesekompetenz 0 24 Naturwissenschaftliche Grundbildung Jungen besser Mädchen besser LTML EST-Durchschnitt 36
PISA 2003 Schulspezifische Rückmeldung: Schülercharakteristiken 37
Schülermerkmale Beruhen auf Selbsteinschätzungen der Schüler Beziehen sich auf Emotion und Motivation in Mathematik Selbstvertrauen in Mathematik Lernverhalten in Mathematik Beispielaussagen 38
Schülermerkmale (1) Motivation in Mathematik Emotion in Mathematik Freude und Interesse Instrumentelle Motivation Leistungsmotivation Angst Mich interessiert das, was ich in Mathematik lerne. Mathematik zu lernen lohnt sich, weil es meine Berufs- und Karriereaussichten verbessert. Ich strenge mich in Mathematik an, weil ich zu den Besten gehören möchte. Ich mache mir Sorgen, das ich in Mathematik schlechte Noten bekomme. 39
Schülermerkmale (2) Selbstvertrauen in Mathematik Selbstwirksamkeit Selbstkonzept In Mathematik lerne ich schnell. Wie sicher glaubst du, folgende Mathematikaufgaben lösen zu können? z.b. eine Gleichung wie 3x+5=17 lösen. 40
Schülermerkmale (3) Lernverhalten in Mathematik Kontrollstrategien Wiederholungsstrategien Elaborationsstrategien Um mir den Lösungsweg einzuprägen, rechne ich die Mathematikaufgaben immer wieder durch. Bei Mathematikaufgaben überlege ich mir oft neue Lösungswege. Wenn ich für Mathematik lerne, versuche ich herauszufinden, was ich noch nicht richtig verstanden habe. 41
Antwortkategorien Bewertungen der Schüler erfolgten auf einer vierstufigen Antwortskala stimmt ganz genau stimmt eher stimmt eher nicht stimmt überhaupt nicht Ich lese gerne etwas über Mathematik. 4 3 2 1 42
Enseignement secondaire technique (EST) Schülermerkmalsprofil (Mädchen) hoch 4.0 3.5 3.0 neutral 2.5 2.0 1.5 niedrig 1.0 Erscheint ein grauer Balken, ist der Unterschied zum EST-Durchschnitt signifikant. Interesse und Freude instrumentelle Motivation Leistungsmotivation Angst Selbstkonzept Selbstwirksamkeit Memorieren Elaborieren Kontrollstrategien Motivation Emotion Selbstvertrauen Lernstrategien LTML EST-Durchschnitt - Mädchen 43
Enseignement secondaire technique (EST) Schülermerkmalsprofil (Jungen) hoch 4.0 3.5 3.0 neutral 2.5 2.0 1.5 niedrig 1.0 Erscheint ein grauer Balken, ist der Unterschied zum EST-Durchschnitt signifikant. Interesse und Freude instrumentelle Motivation Leistungsmotivation Angst Selbstkonzept Selbstwirksamkeit Memorieren Elaborieren Kontrollstrategien Motivation Emotion Selbstvertrauen Lernstrategien LTML EST-Durchschnitt - Jungen 44
Schulbezogene Merkmale Schüler antworteten auch auf Fragen zum Klassenklima in Mathematik Schulklima allgemein Antwortschema Vierstufige Skala Beispielaussagen 45
Schulbezogene Merkmale (1) Klassenklima in Mathematik Disziplin Unterstützung der Lehrer Wie häufig kommen diese Dinge in deinem Mathematikunterricht vor? z.b. Wir hören nicht auf das, was der Lehrer sagt. Wie häufig kommen diese Dinge in deinem Mathematikunterricht vor? z.b. Der Lehrer unterstützt uns zusätzlich, wenn wir Hilfe brauchen. 46
Schulbezogene Merkmale (2) Schulklima Einstellung zur Schule Zugehörigkeit zur Schule Wenn du darüber nachdenkst, was du in der Schule gelernt hast: z.b. Die Schule hat wenig dazu beigetragen, mich auf das Leben als Erwachsener vorzubereiten. Meine Schule ist ein Ort, wo z.b....mich die anderen Schüler mögen. Schüler-Lehrer- Verhältnis Wenn du an die Lehrer deiner Schule denkst: z.b. Die Schüler verstehen sich mit den meisten Lehrern gut. 47
Enseignement secondaire technique (EST) Merkmalsprofil Schule - aus der Sicht der Schüler hoch 4.0 3.5 3.0 neutral 2.5 2.0 1.5 niedrig 1.0 Erscheint ein grauer Balken, ist der Unterschied zum EST- Durchschnitt signifikant. Disziplin Unterstützung der Lehrer Einstellung zur Schule Zugehörigkeitsgefühl zur Schule Schüler-Lehrer- Verhältnis Klassenklima in Mathematik LTML EST-Durchschnitt Schulklima 48
PISA 2003 Schulspezifische Rückmeldung Schulzweige im nationalen und Schulen im internationalen Vergleich 49
Enseignement secondaire (ES) Schülerleistungen in den vier Testbereichen, differenziert nach Schulprogramm 600 590 580 588 585 585 570 560 550 540 38 550 573 40 36 29 549 544 545 530 520 Mathematische Grundbildung Lesekompetenz Naturwissenschaftliche Grundbildung Problemlösen Classique Moderne 50
Enseignement secondaire technique (EST) Schülerleistungen in den vier Testbereichen, differenziert nach Schulprogramm (9. Klasse) 510 490 Punkte 470 450 430 410 390 370 483 42 441 35 406 478 475 54 49 424 426 37 387 33 393 485 43 442 29 413 350 Mathematische Grundbildung Lesekompetenz Naturwissenschaftliche Grundbildung Problemlösen Théorique Polyvalente Pratique 51
Enseignement secondaire technique (EST) Schülerleistungen in den vier Testbereichen, differenziert nach Schulprogramm (10. Klasse) 540 520 500 480 460 526 27 499 21 478 523 46 477 515 27 488 36 526 27 499 32 467 440 420 44 433 452 400 Mathematische Grundbildung Lesekompetenz Naturwissenschaftliche Grundbildung Problemlösen Régime technique Régime de la formation de technicien Régime professionnel 52
Internationaler Schulvergleich Die 5 % besten Schulen eines Landes in mathematischer Grundbildung 700 680 660 640 Punkte 620 600 580 560 BEL (FLA) BEL (WAL) NLD FRA LUX 540 520 500 Anmerkung: Jeder Kreis repräsentiert eine Schule mit dem entsprechenden 95%igen Konfidenzintervall 53