4. Kieler Schulleitungssymposium: Leistung und Leistungsmessung in der Schule Schülerleistungen und Kompetenzstufenmodelle Olaf Köller K Leibniz-Institut für f r die Pädagogik P der Naturwissenschaften und Mathematik (IPN) Überblick Die KMK-Gesamtstrategie der Qualitätssicherung Von Kompetenzskalen zu Kompetenzstufen: Standard-Setting Ein Beispiel: Definition von Kompetenzstufen im Fach Englisch Nutzung von Kompetenzstufen zur Definition von Mindest-, Regel- und Idealstandards Kompetenzstufen im Ländervergleich 2009 Nutzung von Kompetenzstufenmodellen bei der Lernausgangslagendiagnostik zu Beginn der Sekundarstufe I Zusammenfassung Standards, Ländervergleiche L und Vergleichs- arbeiten: Beschlüsse sse der KMK Beteiligung an internationalen Studien auf Stichprobenbasis (internationales Benchmarking) -PISA in der Sekundarstufe I (15jährige) -PIRLS und TIMSS in der Grundschule (4. Jahrgangsstufe) Nationaler Vergleich (Ländervergleich) durch das IQB auf der Basis der länderübergreifenden Bildungsstandards -4. Jahrgangsstufe für den Primarbereich -9. Jahrgangsstufe für den Mittleren Abschluss Flächendeckende Vergleichsarbeiten (Stufen 3 und 8) zum Zwecke der intermediären Feststellung von Leistungsständen; Anbindung an die Standards (VERA 3 und VERA 8)
KMK-Gesamtstrategie zum Bildungsmonitoring Zeitliche Perspektiven 2009 2010 2011 2012 2013 2014 2015 2016 PIRLS TIMSS PISA LV-GS LV-Sek. VERA NBB LV-GS: Ländervergleich in der 4. Jahrgangsstufe (Deutsch, Mathematik) LV-Sek.: Ländervergleich in der 9. Jahrgangsstufe (abwechselnd Sprachen vs. Mathe + Nawi) VERA: Vergleichsarbeiten in der 3. und 8. Jahrgangsstufe NBB: Nationaler Bildungsbericht Forderungen, die aus der Praxis an Tests gestellt werden Ergebnisse müssen verständlich/nachvollziehbar sein Welche Leistung muss erreicht werden, damit die Schule/Klasse bzw. die Schülerinnen und Schüler im Soll sind? Wie kann ich die Ergebnisse für Unterrichtsentwicklung und individuelle Förderung nutzen? Kompetenzstufenmodelle als Interpretationshilfe Schulleistungen/Kompetenzen sind typischerweise kontinuierliche Merkmale Prozedur: Einteilung des Kontinuums in Intervalle zur besseren Interpretation von Testwerten Ziel der Niveaustufensetzung müssen plausibel interpretierbare und kommunizierbare Kompetenzstufen sein Hierzu sollten Experten unterschiedlicher Gruppen eingebunden werden Wichtige Voraussetzung: Aufgaben und Schüler liegen auf dem selben Maßstab
Kontinuierliche Kompetenzskala (M = 500 und SD = 100) Nationaler Mittelwert SD = 2 SD = 1 SD = 1 SD = 2 300 400 500 600 700 Skalenwert 2,3% 15,9% 50,0% 84,1% 97,7% Prozentrang Schritte im Standard-setting Prozess 1. Auswahl von Experten 2. Training von Experten (sofern nötig) 3. Entwicklung von Bezeichnungen für die einzelnen Kompetenzstufen 4. Entwicklung von Deskriptoren für die einzelnen Kompetenzstufen 5. Bestimmung von Schwellenwerten in mehreren Runden (a) ohne Feedback und Diskussionsmöglichkeit (b) mit Feedback und Diskussionsmöglichkeit (c) mit «Impact Data» und Diskussionsmöglichkeit 6. Endgültige Setzung der Schwellenwerte durch politische Entscheidungsträger 7. Evaluation der Effektivität des Standard-setting Prozesses 8. Dokumentation des Standard-setting Prozesses Standard-setting im Fach Englisch für f den Mittleren Schulabschluss Insgesamt vier Panels - Lehrkräfte mit klassischer Bookmark-Methode (homogen) - Lehrkräfte mit modifizierter Bookmarkmethode (Computer- Programm Criterion Map; homogen) - Fachdidaktiker/Bildungsforscher/Lehrkräfte mit klassischer Bookmark-Methode (heterogen) - Fachdidaktiker/Bildungsforscher/Lehrkräfte mit modifizierter Bookmarkmethode (Computer-Programm Criterion Map; heterogen) Fünftägiger Workshop Festlegung von vier Cut Scores
Bookmark-Methode Items unterhalb der Bookmark erfordern Operationen, die con Schüler auf Stufe X beherrscht werden Items oberhalb der Bookmark sind zu schwer für Schüler der Stufe X X Ordered Item Booklet 1 2 3 4 5 6 Bookmark 7 8 Y 9 10 11 12 13 14 15 16 17 18 19 20 21 22 Items sind nach aufsteigender Schwierigkeit sortiert Modifizierte Bookmark-Methode CriterionMap 1.27 BEAR Assessment Center (University of California at Berkeley) C1 680 B2 560 B1 430 A2 350 A1 Befunde im Lesen Bookmark CriterionMap Bookmark CriterionMap Level HomogenHeterogen Mean SD HomogenHeterogen Mean SD Level HomogenHeterogen Mean SD HomogenHeterogen Mean SD C1 647 655 651 6 640 735 688 67 C1 647 655 651 6 640 B2 499 557 528 41 580 540 735 688 67 560 28 B2 499 557 528 41 580 540 560 28 B1 426 437 432 8 450 450 450 0 B1 426 437 432 8 450 450 450 0 A2 358 372 365 10 350 360 355 7 A2 358 372 365 10 350 360 355 7 Level Grand Mean SD Adjusted Mean Interval Cuts after Rescaling Level Grand Mean SD Adjusted Mean Interval Cuts after Rescaling C1 681,13 44,26 650 100 700 C1 681,13 44,26 650 100 700 B2 539,00 34,19 550 100 600 B2 539,00 34,19 550 100 600 B1 440,75 11,59 450 100 500 B1 440,75 11,59 450 100 500 A2 361,25 9,09 350 400 A2 361,25 9,09 350 400
Verteilung der Schüler auf die Stufen C1 B2 B1 A2 A1 Mindest-,, Regel- und Maximalstandards Mindeststandards beschreiben Kompetenzniveaus, bei denen die Vorgaben der Standards nicht erreicht werden, die vorhandenen Kompetenzen aber vermuten lassen, dass bei Unterstützungsmaßnahmen der erfolgreiche Übergang in die berufliche Erstausbildung gelingt. Ziel eines Bildungssystems muss sein, dass alle Schülerinnen und Schüler wenigstens die Mindeststandards erreichen. Regelstandards beschreiben Kompetenzniveaus, die im Einklang mit den durch die KMK verabschiedeten Kompetenzerwartungen sind. Regelstandards plus beschreiben Kompetenzniveaus, die in einem gelingenden Unterricht langfristig erreicht werden sollten Optimal- bzw. Maximalstandards beschreiben Kompetenzniveaus, die deutlich über die curricularen Anforderungen hinaus gehen und das Ergebnis günstiger Voraussetzungen auf Seiten der Schüler und gelungenen Unterrichts sind. Mindest-,, Regel- und Maximalstandards für f den MSA in i Englisch GER- Niveau Unter- stufe Kriterium Englisch Lesen Hören Französisch Lesen Hören A1 A2.1 Unter Mindest- standard < 450 < 415 < 385 < 365 A2 A2.2 B1.1 450 549 415-544 385 494 365-494 Mindest- standard B1 B1.2 Regelstandard 550-599 545-609 495-549 495-559 Regelstandard 600-649 610-674 550-604 560-624 B2.1 plus B2 C1 B2.2 Maximal- standard 650 675 605 625
Schüleranteile im Hörverstehen H (in %) nach Ländergruppe und Stufen (Ländervergleich 2009) Alte Länder GER-Stufe A2.2 A2.2/ B1.2 B2.1 B2.2 B1.1 Sonstige 14,3 62,7 17,9 4,6 0,5 Gymnasium 0,7 24,7 37,1 27,6 9,9 Gesamt 8,3 46,2 26,2 14,6 4,6 Neue Länder Sonstige 42,7 51,7 5,0 0,6 0,1 Gymnasium 3,0 47,7 33,8 13,1 2,3 Gesamt 25,2 50,0 17,7 6,1 1,1 Zwischenfazit Kompetenzstufen werden in erster Linie definiert, um die Kommunikation über Leistungen aus Schulleistungsstudien zu erleichtern Sie sind das Resultat eines konsensuellen Prozesses in Abstimmung zwischen Fachdidaktik, Psychometrie und Politik Kompetenzstufen können in einem Assessment-System auch die Basis zur Definition von Mindest-, Regel- und Idealstandards sein Die Befunde für das Fach Englisch zeigen, dass in solch einem System substanzielle Schüleranteile die gesetzten Ziel verpassen können Nutzung von Kompetenzstufenmodellen für r Lernausgangslagenuntersuchungen Projekt an Bremer Schulen (Sekundarschulen, Integrierte Gesamtschulen, Gymnasien), 687 Schülerinnen und Schüler aus 9 Schulen und 34 Klassen Finanzierung durch die Bremer Senatsbehörde Feststellung der Lernausgangslagen zu Beginn der 5. Jahrgangsstufe im Fach Mathematik auf der Basis der Bildungsstandards Nutzung des Kompetenzstufenmodells für das Fach Mathematik am Ende der 4. Jahrgangsstufe Identifikation von Förderbedarf zu Beginn der 5. Jahrgangsstufe
Kompetenzstufen Mathematik, 4. Jahrgangsstufe Stufe Werte- bereich Beschreibung I < 390 Routineprozeduren auf Grundlage einfachen begrifflichen Wissens II III IV 390-459 Einfache Anwendungen von Grundlagenwissen 460-529 Erkennen und Nutzen von Zusammenhängen in einem vertrauten (mathematischen und sachbezogenen) Kontext 530-599 Sicheres und flexibles Anwenden von begrifflichem Wissen und Prozeduren im curricularen Umfang V 600 Modellierung komplexer Probleme unter selbstständiger Entwicklung geeigneter Strategien Anteil im 4. Jg. 10% 21% 33% 21% 15% Beispielaufgaben: Zahlen und Operationen M = 500; SD = 100 V 600 IV 530 III 460 II 390 I Rechne schriftlich. 348 + 87 + 609 = Beispielaufgaben: Zahlen und Operationen V 600 M = 500; SD = 100 IV 530 III 460 II 390 I
Beispielaufgaben: Zahlen und Operationen M = 500; SD = 100 V 600 IV 530 III 460 II 390 I Tina und Ester sammeln Fußball-Bilder. Zusammen haben sie 25 Bilder. Tina hat 7 Bilder mehr als Esther. Wie viele Bilder hat Esther? 7 9 16 18 Welche Zahl ist um 4 größer als das Produkt aus 9 und 3? 10 16 31 39 63 Standardisiertes Testheft pro Schüler 1 Zu den Testheften Zwei Testhefte für das Fach Mathematik in der Grundschule Ein Handbuch informiert über die Bildungsstandards und gibt Auswertungs- und Interpretationshilfen Normierte Aufgaben für die Klassenstufen 3 und 4 Lehrkräfte erhalten Hinweise, welche Aufgaben konkret hinter den Leistungserwartungen der Bildungsstandards stehen Lehrkräfte können die Hefte einsetzen (wann immer sie wollen) um zu testen, ob die Schülerinnen und Schüler die in den Standards formulierten Erwartungen erfüllen Ergebnisse bleiben in der Schule, gehen nicht an die Schulaufsicht Tests sind als Screening-Instrumente geeignet
Schulrückmeldung: ckmeldung: Schüler nach Kompetenzstufen in 2008 Ihre Schule SMS-Gymnasien SMS-Gesamtschulen SMS-Sekundarschulen Stufe I Stufe II Stufe III Stufe IV Stufe V SMS 2008 Nationale Norm (Ende 4. Jg.) 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Schüler in % Schulrückmeldung: ckmeldung: Lernstand 2008 in Ihren Klassen Ihre Schule Klasse 5b Stufe I Stufe II Stufe III Stufe IV Stufe V Klasse 5a 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Schüler in % Was folgt aus den Ergebnissen? Lernstandserhebung check Durchführung hrung der Vergleichsarbeiten Analyse der Ergebnisse: Systematische Betrachtung der quantitativen Ergebnisse act Interpretation der Ergebnisse: Bewertung und Erklärung der aus der Analyse hervorgegangenen Erkenntnisse plan Formulierung von Zielen und Planung der Maßnahmen: Vereinbarung von vorrangigen aus der Interpretation entstandenen Zielen und Planung von entsprechenden Maßnahmen do Umsetzung der Maßnahmen: Durchführung schulischer und unterrichtlicher Maßnahmen basierend auf den Zielen und Planungen
Zusammenfassung Kompetenzstufenmodelle als Orientierungshilfe bei Lernausgangslagenuntersuchungen Feststellung individuellen Förderbedarfs (Stufen I und II) Ergebnisse nicht als Assessment der abgebenden Grundschulen Idealerweise bei Fördermaßnahmen Prozessevaluation Und nicht vergessen: Von Daten zu Taten!!! Herzlichen Dank für Ihre Aufmerksamkeit!