Vergleichsarbeiten. Olaf Köller & Brigitte Dedekind. Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik (IPN), Kiel

Transkript

1 1. Schulleitungstagung SGS, Halle, Diagnostizieren und Fördern mit Tests und Vergleichsarbeiten Olaf Köller & Brigitte Dedekind Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik (IPN), Kiel

2 Überblick Ein allgemeines Modell zur Steuerung von Bildungssystemen Gesamtstrategie der KMK zur Qualitätssicherung (Plöner Beschlüsse von 2006) Folgen der Plöner Beschlüsse für die Qualitätssicherung in Deutschland Das KMK-Kompetenzstufenmodell Kompetenzstufenmodell für das Ende der 4. Jahrgangsstufe Ergebnisse aus VERA 3 für die Unterrichtsentwicklung nutzen (Brigitte Dedekind)

3 Steuerung von Bildungssystemen (nach Scheerens 2008) Kontexte/Umwelt Input Prozess Produkt/ Outcome Strukturen Fächerkanon Lehrpläne Stundentafeln Lehrbücher e Schule Unterricht Leistungen Motivation Selbstregulation Sozialver- halten

4 Implikationen aus dem Scheerens-Modell Zurückfahren der Inputsteuerung zugunsten von mehr Autonomie von Schule Transformation der Lehrpläne in Kerncurricula Stärkung der Prozessebene durch Verbesserung der Lehreraus- und fortbildung (SINUS an Grundschulen) Monitoring der Prozessebene (Schulinspektion) Monitoring (Assessment) auf Schülerebene mit Rückwirkungen k auf die Prozess- und dinputebene

5 Gesamtstrategie der KMK zur Qualitäts- sicherung (Plöner Beschlüsse von 2006)

6 Gesamtstrategie der KMK zur Qualitäts- sicherung (Plöner Beschlüsse von 2006) Internationale Schulleistungsvergleiche PIRLS/IGLU alle 5 Jahre (Lesen, 4. Klasse) TIMSS alle 4 Jahre (Mathematik/Naturwissenschaften, 4. Klasse) PISA alle drei Jahre (Lesen, Mathematik, Naturwissenschaften, 15jährige) Ländervergleiche zur Überprüfung der Bildungsstandards Deutsch, Mathematik in der Grundschule alle 5 Jahre (4. Klasse) Deutsch, Englisch, Französisch alle 6 Jahre in der Sekundarstufe I (9. Klasse) Mathematik, Naturwissenschaften alle 6 Jahre in der Sekundarstufe I (9. Klasse) Flächendeckende Lernstandserhebungen/Vergleichsarbeiten g Deutsch, Mathematik in der 3. Klasse (VERA 3) Deutsch, Mathematik, Englisch, Französisch in der 8. Klasse (VERA 8)

7 Internationale und nationale Vergleiche in den nächsten Jahren (Plöner Beschlüsse) Jahr Stufe Internationale Fächer im Ländervergleich Studie 2009 Sekundarstufe I PISA Deutsch, erste Fremdsprache 2011 Primarstufe IGLU/TIMSS Deutsch, Mathematik 2012 Sekundarstufe I PISA Mathematik, Biologie, Chemie, Physik 2015 Sekundarstufe I PISA Deutsch, erste Fremdsprache 2016 Primarstufe IGLU Deutsch, Mathematik

8 Von Kompetenzskalen zu Kompetenzstufen Das KMK-Modell Modell für die 4. Jahrgangsstufe Das fünfstufige Modell der KMK für Mathematik in der Primarstufe

9 Kontinuierliche Kompetenzskala Nationaler Mittelwert SD = 2 SD = 1 SD = 1 SD = Skalenwert 2,3% 15,9% 50,0% 84,1% 97,7% Prozentrang Prof. Dr. Olaf Köller

10 Beispiel: Grundschule Mathematik Stufe Wertebereich Beschreibung Anteil im 4. Jg. I < 390 Routineprozeduren auf Grundlage einfachen begrifflichen Wissens 10% II Einfache Anwendungen von 21% Grundlagenwissen III Erkennen und Nutzen von Zusammen- 33% hängen in einem vertrauten (mathematischen und sachbezogenen) Kontext IV Sicheres und flexibles Anwenden von 21% begrifflichem Wissen und Prozeduren im curricularen Umfang V 600 Modellierung komplexer Probleme unter 15% selbstständiger Entwicklung geeigneter Strategien

11 Kompetenzstufe I Einfache mathematische Begriffe und Prozeduren sind bekannt und können in einem innermathematischen Kontext bzw. in einem aus dem Alltag vertrauten oder gut geübten Kontext t korrekt kt reproduziert werden. Insbesondere werden grundlegende Begriffe der ebenen Geometrie und gängige Repräsentanten standardisierter Einheiten richtig verwendet. Zahldarstellungen in Stellentafeln werden sicher gelesen. Die Grundaufgaben des kleinen Einspluseins und Einmaleins werden beherrscht und bei halbschriftlichen und schriftlichen Rechenverfahren genutzt, wenn die Aufgabenstellungen keine besonderen Schwierigkeiten aufweisen. Klar strukturierten Diagrammen, Schaubildern und Tabellen mit Bezug zur Lebenswirklichkeit können relevante Daten entnommen werden.

12 Differenzierung der Stufe I für VERA 3 Stufe Ia (unter 310 Punkten): Die Grundaufgaben des kleinen Einspluseins und Einmaleins werden beherrscht und genutzt, wenn die Aufgabenstellungen keine besonderen Schwierigkeiten aufweisen. Klar strukturierten Diagrammen, Schaubildern und Tabellen mit Bezug zur Lebenswirklichkeit können relevante Daten entnommen werden. Stufe Ib ( ) Einfache mathematische Begriffe und Prozeduren sind bekannt und können in einem innermathematischen Kontext bzw. in einem aus dem Alltag vertrauten t oder gut geübten Kontext korrekt reproduziert werden. Kleine Zahlen können in Bezug auf ihre Größe verglichen werden, Zahldarstellungen in Stellentafeln werden sicher gelesen. Auch die schwierigeren i Einmaleinsaufgaben i werden gelöst.

13 Kompetenzstufe II Die Struktur des Dezimalsystems wird genutzt, Gesetzmäßigkeiten werden erkannt und bei der Fortsetzung einfacher Zahlenfolgen, beim strukturierten Zählen und systematischen Probieren berücksichtigt. Aufgaben zur Addition, Subtraktion und Multiplikation werden halbschriftlich und schriftlich durchgeführt. Überschlagsrechnungen werden durchgeführt. Insbesondere können in diesem Zusammenhang einfache Sachaufgaben gelöst werden. Aus dem Alltag vertraute proportionale Zuordnungen werden erkannt und angewendet. Bei einfachem Zahlenmaterial wird das Umwandeln von Größen in gegebene Einheiten auch bei gemischten Größenangaben durchgeführt. Grundbegriffe der räumlichen Geometrie werden korrekt verwendet, wenn diese einen Bezug zum Alltag haben.

14 Kompetenzstufe III Das erlernte Wissen kann flexibel in unterschiedlichen Problemstellungen genutzt werden, die einem vertrauten Kontext zuzuordnen sind. Insbesondere wird mit Zahlen und Operationen im curricularen Umfang sicher umgegangen, Überschlagsrechnungen werden auch bei großen Zahlen sicher durchgeführt. Strukturelle Aspekte werden bei gut geübten Inhalten gesehen und können kommuniziert werden. Das betrifft auch Inhalte der Geometrie, wobei etwa zwischen verschiedenen Darstellungsformen einer Figur vermittelt werden kann. Einfache Sachsituationen werden modelliert und die damit verbundenen Problemstellungen gelöst. Daten und Informationen können in bekanntem Kontext flexibel dargestellt werden. Bei nicht allzu komplexen Zufallsexperimenten werden Gewinnchancen korrekt eingeschätzt und begründet.

15 Kompetenzstufe IV Auch in einem wenig vertrauten Kontext wird mathematisches Wissen sicher angewendet. Eigene Vorgehensweisen werden korrekt beschrieben, die Lösungswege anderer Kinder werden verstanden und reflektiert. t Das Rechnen wird im curricularen Umfang in allen Varianten sicher beherrscht. Begriffe der ebenen und räumlichen Geometrie werden flexibel verwendet. Zahldarstellungen in Stellenwerttafeln können auch bei sehr großen Zahlen nach Vorschrift selbstständig manipuliert und systematisch verändert werden. Das Rechnen mit Größen ist sicher und flexibel und umfasst insbesondere Näherungsrechnungen und Überschlagsrechnungen. Informationen aus unterschiedlichen Quellen können in einen Zusammenhang gestellt und in Modellierungsaufgaben selbstständig verwendet und manipuliert werden.

16 Kompetenzstufe V Mathematische Problemstellungen werden auch in einem unbekannten Kontext angemessen, sicher und flexibel bearbeitet. Dabei werden geeignete Strategien, sinnvolle Bewertungen oder Verallgemeinerungen auf hohem Niveau geleistet. Umfangreiches curricular verankertes Wissen wird in ungewohnten Situationen flexibel genutzt. Das Vorgehen kann sicher und nachvollziehbar kommuniziert und begründet werden. Komplexe Sachsituationen werden modelliert und bearbeitet, wobei besondere Schwierigkeiten wie die Verwendung von Tabellen, der Umgang mit zusammengesetzten Größen oder das Rechnen mit Zahlen in Kommaschreibweise auftreten können. Es können auch ungewohnte funktionale Zusammenhänge analysiert und genutzt werden. Die Lösung von Aufgaben kann ein hohes Maß an räumlichem Denken oder entsprechende analytische Fähigkeiten voraussetzen.

17 Beispielaufgaben: Zahlen und Operationen V 600 IV 530 Rechne schriftlich = M = 500; SD = 100 III 460 II 390 I

18 Beispielaufgaben: i Zahlen und Operationen V 600 IV 530 M = 500; SD = 100 III 460 II 390 I Prof. Dr. Olaf Köller

19 Beispielaufgaben: Zahlen und Operationen M = 500; SD = 100 V 600 IV 530 III 460 II 390 I Tina und Ester sammeln Fußball-Bilder. Zusammen haben sie 25 Bilder. Tina hat 7 Bilder mehr als Esther. Wie viele Bilder hat Esther? Welche Zahl ist um 4 größer als das Produkt aus 9 und 3? Prof. Dr. Olaf Köller

20 Mindest-, Regel- und Maximalstandards Mindeststandards (Stufe II) beschreiben Kompetenzniveaus, bei denen die curricularen Vorgaben noch nicht erreicht werden, die vorhandenen Kompetenzen aber vermuten lassen, dass bei Unterstützungsmaßnahmen die Ziele der Grundschule erreicht werden. Regelstandards (Stufe III) beschreiben Kompetenzniveaus, die im Einklang mit den durch die KMK verabschiedeten Kompetenzerwartungen sind. Regelstandards plus (Stufe IV) beschreiben Kompetenzniveaus, die Ziele erfolgreicher Unterrichtsentwicklungsmaßnahmen sein sollten Optimal- oder Maximalstandards (Stufe V) beschreiben Kompetenzniveaus, die über die curricularen Anforderungen hinaus gehen und das Ergebnis günstiger Voraussetzungen auf Seiten der Schüler und gelungenen Unterrichts sind. Prof. Dr. Olaf Köller

21 Die Bedeutung von Kompetenz- bzw. Niveau- Stufenmodellen in VERA Stufenmodelle erlauben die differenzierte Beschreibung der auf unterschiedlichen Abschnitten einer Leistungsskala erreichten Kompetenzen Stufenmodelle können genutzt werden, um im Rahmen der Kompetenzmessungen Mindest-, Regel- und Maximalstandards (Idealstandards) festzulegen Stufenmodelle können für eine kriteriale Rückmeldung bei Vergleichsarbeiten genutzt werden und Schulen wie Eltern deutlich machen, ob die Kinder/Jugendlichen die in den Bildungsstandards formulierten Ziele für die Primar- und Sekundarschule erreichen

22 Gefahren bei VERA Schulrankings Benotungen Laufbahnempfehlungen Ländervergleiche Inflated Gain Scores durch verstärkstes Üben Schummeleien bei der Testdurchführung und/oder Testauswertung Belastungserleben auf Seiten der Lehrkräfte Politischer Gegenwind Prof. Dr. Olaf Köller

23 Vielen Dank für Ihre Aufmerksamkeit!

24 Definition von Niveaustufen Standard-setting Die untersuchten Merkmale stellen kontinuierliche Merkmale dar Jede Stufung des Kontinuums dient als Interpretationshilfe für Praktiker Standard-Setting bezeichnet die Festlegung von Schwellenwerten (Cut-scores), die eine eindimensionale Kompetenzskala in sukzessive Kompetenzstufen oder Kompetenzniveaus einteilt. In einem Standard-Setting Verfahren wird ein Panel aus Experten konstituiert, das in einem iterativen Verfahren aus Einzelurteilen l und Gruppendiskussionen zur Festlegung von Cut-Scores kommen soll. Prof. Dr. Olaf Köller

25 Standard-Setting Setting Es werden N Niveaustufen durch das Setzen von N-1 Cut-scores definiert, wobei gleiche Abstände zwischen Niveaustufen nicht automatisch zu erwarten sind. Zuordnung auf Kompetenzstufe X Zuordnung auf Kompetenzstufe Y Zuordnung auf Kompetenzstufe Z Cut Score Cut Score Prof. Dr. Olaf Köller

26 Standard-Setting Setting Bookmark Methode Den Panelteilnehmern wird ein Buch mit allen Testitems vorgegeben. Aufsteigend vom leichtesten zum schwierigsten Item ist jedes Item auf einer Seite abgebildet. Aufgabe der Experten: Markiere im Item-Buch hdas Item, das ein Schüler [mit einer bestimmten Wahrscheinlichkeit] lösen kann, der gerade so die vorgegebene Kompetenz- stufe erreicht. Diese Wahrscheinlichkeit wird häufig auf 2/3 oder RP =.67 gesetzt, in PISA auf RP =.625, bei den Bildungsstandards ebenfalls bei RP =.625 Prof. Dr. Olaf Köller

27 Standard-Setting Setting Bookmark Methode Diese Items messen Fähigkeiten, die für eine Testperson der betrachteten Kompetenzstufe zu schwer sind Diese Items definieren, i was eine Testperson beherrschen sollte, um der Komptenzstufe X zugeordnet zu werden Bookm mark Einige Testpersonen auf Kompetenzstufe ex werden in der Lage sein, auch Items hinter dem Boolmark zu lösen Testpesonen auf dieser Ordered Kompetenzstufe müssen Item "Mastery" " der Items vor dem Booklet Bookmark zeigen Prof. Dr. Olaf Köller

28 Illustration des Standardsettings ST 5 xxx ST 4 Leistungs- Skala ST 3 M = 500 SD = 100 xxx xxx ST 2 Aufgaben xxx ST 1 Prof. Dr. Olaf Köller

29 Definition von Kompetenzstufen Für die Bildungsstandards: Vorgaben Enge Orientierung an den 2003 und 2004 verabschiedeten Bildungsstandards der KMK, dabei aber zusätzliche Berücksichtigung g des gesamten Kompetenzspektrums p Anbindung der Kompetenzstufenmodelle an internationale Vorarbeiten, wie sie in PISA realisiert wurden 5 Kompetenzstufen für die Grundschule und die Sekundarstufe I annähernd gleich breite Kompetenzstufen fachdidaktisch gut interpretierbare und vertretbare Grenzen zwischen den Kompetenzstufen Globales Modell plus leitideenspezifische Modelle Festlegung von Minimal-, Regel- und Maximalstandards Prof. Dr. Olaf Köller