Wie kann man Schülerleistungen im Mathematikunterricht diagnostizieren und lernförderlich rückmelden? Ergebnisse aus dem Projekt Co²CA

Transkript

1 Wie kann man Schülerleistungen im Mathematikunterricht diagnostizieren und lernförderlich rückmelden? Ergebnisse aus dem Projekt Co²CA Universität Landau, Michael Besser, Lüneburg & Werner Blum, Kassel

2 GLIEDERUNG 1) Das Forschungsprojekts Co²CA: Theoretische Vorüberlegungen und zentrale Fragestellungen 2) Abgeschlossene Teilstudien: Skalierungserhebung, Surveystudie, Laborstudie, Unterrichtsstudie 3) Aktuelle Teilstudie: Untersuchungen zur Wirksamkeit von Lehrerfortbildungen 4) Ausblick: Zusammenfassung und Implikationen

3 Teil 1: Das Forschungsprojekt Co 2 CA Theoretische Vorüberlegung und zentrale Fragestellungen

4 DAS FORSCHUNGSPROJEKT Co²CA Eckhard Klieme Werner Blum Dominik Leiss Katrin Rakoczy Michael Besser Michael Besser Birgit Harks Natalie Tropper Anika Bürgermeister Malte Klimczak Petra Pinger DFG-Schwerpunktprogramm (SPP 1293): Kompetenzmodelle zur Erfassung individueller Lernergebnisse und zur Bilanzierung von Bildungsprozessen

5 DAS FORSCHUNGSPROJEKT Co²CA Eine Diagnose der bearbeiteten kompetenzorientierten Aufgaben (Schülerlösungen) unterstützt die Analyse des Leistungsstandes, fördert ein differenziertes Feedback gegenüber dem Lernenden und gibt dem Lehrer Orientierung im weiteren unterrichtlichen Vorgehen. Nur die gezielte Analyse einer Reihe von aufeinanderfolgenden schriftlichen Leistungsnachweisen ergeben einen Überblick über die erworbenen Kompetenzen. (Merkmale von kompetenzorientiertem Mathematikunterricht, 2009)

6 DAS FORSCHUNGSPROJEKT Co²CA Wie? Wie? Eine Diagnose der bearbeiteten kompetenzorientierten Aufgaben (Schülerlösungen) unterstützt die Analyse des Leistungsstandes, fördert ein differenziertes Feedback gegenüber dem Lernenden und gibt dem Lehrer Orientierung im weiteren unterrichtlichen Vorgehen. Wie? Wie? Nur die gezielte Analyse einer Reihe von aufeinanderfolgenden schriftlichen Leistungsnachweisen ergeben einen Überblick über die erworbenen Kompetenzen. (Merkmale von kompetenzorientiertem Mathematikunterricht, 2009)

7 DAS FORSCHUNGSPROJEKT Co²CA Lernförderlich? Ø 2,96

8 DAS FORSCHUNGSPROJEKT Co²CA Zentrale Frage (theoretisch): Wie sollten Leistungsmessung und Leistungsbewertung im (Mathematik-) Unterricht gestaltet werden, um sowohl kognitive als auch emotionale/ motivationale Dispositionen der Lernenden optimal zu fördern?

9 Ziel der Leistungsbeurteilung: Summativ? (Leistungsstand) Formativ? (Leistungsentwicklung) Funktion der Leistungsbeurteilung: R Ü C K M E L D E F U N K T I O N Auskunft über Lernstand/Bemühungen (S) und über Qualität/Erfolg des Unterrichts (L) Black & William (2009); Deci, Koestner & Ryan (1999); Hattie & Timperley (2007); Kluger & DeNisi (1996).

10 Zentrale Fragen der Rückmeldung: How am I going? (Stand) Where to next? (nä. Schritte) Where am I going? (Ziel) Bezugsnorm der Rückmeldung: Ebenen der Rückmeldung: Black & William (2009); Deci, Koestner & Ryan (1999); Hattie & Timperley (2007); Kluger & DeNisi (1996). Aufgaben-/ Prozessebene Selbstregulationsebene Selbstebene

11 DAS FORSCHUNGSPROJEKT Co²CA kompetenzorientierte, formative Leistungsmessung lernförderliche Leistungsrückmeldung Lernprozess kompetenzorientierter Mathematikunterricht

12 Teil 2: Abgeschlossene Teilstudien Skalierungserhebung, Surveystudie, Laborstudie, Unterrichtsstudie

13 ABGESCHLOSSENE TEILSTUDIEN Skalierungserhebung, Surveystudie: Entwicklung kompetenzorientierter Mathematikaufgaben; Untersuchung zu Leistungsbeurteilung im Mathematikunterricht Laborstudie: Erprobung verschiedener Arten schriftlicher Rückmeldungen Unterrichtsstudie: Umsetzung zentraler Ideen formativen Assessments in einem kompetenzorientierten Mathematikunterricht Feldexperiment Laborexperiment Testexperiment

14 Erste Projektphase: Skalierungserhebung, Surveystudie Entwicklung kompetenzorientierter Aufgaben; Befragung von Lehrkräften zur Bewertungspraxis

15 SKALIERUNGSERHEBUNG, SURVEYSTUDIE 1474 Schülerinnen und Schülern 66 neunter Realschulklassen Entwicklung und Erprobung von 160 Aufgaben für Unterricht- und Testsituationen (Inhalte: Pythagoras, Lineare Funktionen; Komp.bereiche: Technisch, Modellieren) teilweise aus DISUM Befragung von 46 Lehrkräften zu deren Beurteilungspraxis im alltäglichen Mathematikunterricht

16 SKALIERUNGSERHEBUNG, SURVEYSTUDIE

17 SKALIERUNGSERHEBUNG, SURVEYSTUDIE

18 Zweite Projektphase: Laborstudie Erprobung verschiedener Arten schriftlicher Rückmeldung

19 LABORSTUDIE 55 Schulen in den Großräumen Frankfurt und Kassel 329 Schülerinnen und Schüler neunter Realschulklassen Laborsitzungen mit jeweils 6 Schülerinnen/ Schülern und einer Dauer von 100 Minuten

20 LABORSTUDIE Wie hast du abgeschnitten? Datum: ID: 0613 R E C H E N A U F G A B E N Deine Leistung in den Rechenaufgaben ist befriedigend (Note 3). Deine Leistung in den Sachaufgaben ist gut (Note 2). Wie hast du abgeschnitten? Vor dir haben bereits 30 andere Schüler unsere Rechenaufgaben bearbeitet. Diese Schüler haben im Durchschnitt die Note 3,5 erzielt. S A C H A U F G A B E N 30 andere Schüler haben bereits vor dir unsere Sachaufgaben bearbeitet. Im Durchschnitt haben diese Schüler mit der Note 3,6 abgeschnitten. Bei Rechenaufgaben bist du auf Stufe 1. Bei den Sachaufgaben bist du auf Stufe 3. Datum: Stufe 1 - ein(e) Schüler(in) auf dieser Stufe kann: Wie hast du abgeschnitten? Stufe 1 - ein(e) Schüler(in) auf dieser Stufe kann: ID: 0614 Den Notenspiegel für die Rechenaufgaben - Grundrechenarten kannst du der Tabelle (mit unten Längeneinheiten) entnehmen. durchführen. Den Notenspiegel für die Sachaufgaben - Rechtwinklige Dreiecke auf (räumlichen) Bildern/ Abbildungen erkennen, beschriften kannst du der Tabelle unten entnehmen. - Mit Termen mit Quadratzahlen umgehen. Zu deiner Leistung bei dieser Art von Aufgaben können wir dir mitteilen: und die Lage des rechten Winkels und der Seiten zueinander Zu deiner bestimmen. Leistung bei dieser Art von Aufgaben können wir dir mitteilen: - Mit einfachen Wurzeltermen (mit Längen- bzw. Flächeninhaltsangaben) umgehen. - Benötigte Informationen von nicht benötigten Informationen auf (räumlichen) Bildern/ Note 1: sehr gut - Einfache (quadratische) Gleichungen lösen. Bei den Rechenaufgaben bist du noch nicht ganz so sicher im Umgang Abbildungen mit unterscheiden. Bei den Sachaufgaben bist du schon recht sicher im Umgang mit 2: gut 3: befriedigend 4: ausreichendverschiedenen 5: mangelhaft Themen der Satzgruppe Note des Pythagoras. 1: sehr Im gut Detail sehen 2: gutwir 3: befriedigend 4: ausreichend verschiedenen 5: mangelhaft Themen der Satzgruppe des Pythagoras. Im Detail sehen wir Anzahl der Anzahl der anhand deiner Lösungen, dass anhand deiner Lösungen, dass Schüler Stufe 2 - ein(e) Schüler(in) auf dieser Stufe kann alles von Stufe 1 und zusätzlich: Schüler Stufe 2 - ein(e) Schüler(in) auf dieser Stufe kann alles von Stufe 1 und zusätzlich: - Winkel in einfachen geometrischen Figuren bestimmen. - Verschiedene Arten von Dreiecken auf einfachen (räumlichen) Bildern/ Abbildungen bereits gut umgehen kannst: - Rechtwinklige Dreiecke in einfachen geometrischen du mit folgenden Figuren finden. Themen erkennen, diese in gegebene Bilder/ Abbildungen mit folgenden einzeichnen Themen und gesuchte bereits gut Größen umgehen kannst: - Bei rechtwinkligen Dreiecken die Katheten 1. und Ein die rechtwinkliges Hypotenuse Dreieck bestimmen. in einer benennen. ebenen oder räumlichen Figur 1. Ein rechtwinkliges Dreieck in einer innerhalb einer Sachaufgabe - Die zum Satz des Pythagoras gehörende, quadratische erkennen. Gleichung (siehe z.b. Aufgabe aufstellen. 2) - Einfache geometrische Begriffe, Symbole beschriebenen und Rechenregel Situation kennen finden. und (siehe diese auf z.b. Aufgabe 3) - Den Satz des Pythagoras in einfachen ebenen Figuren sowohl zur Bestimmung einer einfache reale Situationen anwenden Deine Note: "befriedigend" (3) Deine Note: "gut" (2) Kathetenlänge als auch zur Bestimmung der 2. Hypotenusenlänge Den Satz des Pythagoras anwenden. aufstellen, wenn die Kathetenlängen Durschnittsnote: 3,5 gegeben sind. (siehe z.b. Aufgabe 1) Durschnittsnote: 3,6 R E C H E N A U F G A B E N R E C H E N A U F G A B E N Datum: Stufe 3 - ein(e) Schüler(in) auf dieser Stufe 3. kann Den Satz alles des von Pythagoras Stufe 1 und aufstellen, 2 und zusätzlich: wenn die Hypotenusenlänge Stufe 3 - ein(e) Schüler(in) auf dieser Stufe kann alles von Stufe 1 und 2 und zusätzlich: - Mit schwierigen Wurzeltermen (mit mehr als und einer eine Wurzel) Kathetenlängen umgehen. gegeben sind. (siehe z.b. Aufgabe 7) - Verschiedene Arten von Dreiecken auf schwierigen (räumlichen) Bildern/ Abbildungen - Den Satz des Pythagoras sprachlich und inhaltlich richtig wiedergeben. erkennen, diese benennen und in gegebene Bilder/ Abbildungen einzeichnen. - Den Satz des Pythagoras in einfachen ebenen 4. Mit Figuren Quadratzahlen anwenden, rechnen wenn und hierfür Wurzeln zuvorziehen. (siehe z.b. Aufgabe 5) besondere geometrische Eigenschaften der Figuren erkannt werden mussten. - Benötigte Informationen von nicht benötigten Infromationen in einfachen Aufgabentexten - Den Satz des Pythagoras in räumlichen Körpern einmalig anwenden. unterscheiden, eine passende Skizze anfertigen und mit den Informationen rechnen. - Anhand einer vorgegebenen Pythagorasgleichung 5. Mathematische den rechten Rundungsregeln Winkel in einem korrekt Dreieck anwenden. (siehe z.b. - Bei überschaubaren anwendungsbezogenen Aufgaben den Satz des Pythagoras benutzen Aufgabe 1) bestimmen. und die eigene Vorgehensweise beschreiben. S A C H A U F G A B E N S A C H A U F G A B E N ID: 0611 Stufe 4 - ein(e) Schüler(in) auf dieser Stufe kann alles von Stufe 1, 2 und 3 und zusätzlich: Stufe 4 - ein(e) Schüler(in) auf dieser Stufe kann alles von Stufe 1, 2 und 3 und zusätzlich: - Den Satz des Pythagoras mehrfach hintereinander in räumlichen Körpern anwenden. - Benötigte Informationen aus einem schwierigen Aufgabentext herleiten. - Den Satz des Pythagoras in ungewohnten ebenen Figuren anwenden, wenn hierfür zuvor - du dich bei folgenden Themen noch verbessern kannst: So kannst du dich verbessern: Zur Lösung der Aufgabe benötigte Annahmen du dich bei bei schwierigen folgenden Sachaufgaben Themen noch treffen. verbessern kannst: besondere geometrische Eigenschaften der Figuren erkannt werden mussten. - Den Satz des Pythagoras bei schwierigen Sachaufgaben (mehrfach hintereinander) - Die Umkehrung des Satzes des Pythagoras 1. anwenden. Gleichungen richtig umformen. (siehe z.b. Aufgabe 7) Bedenke, dass a!+b!=c! benutzen. nach a! 1. Für das Lösen einer Aufgabe alle benötigten Größen aus Text und - Auf Grund besonderer geometrischer Eigenschaften eines Dreiecks angeben, ob diese umgeformt a!=c!-b! -ergibt. Vorgegebene Lösungswege bei schwierigen Bild Sachaufgaben auswählen. (siehe beurteilen z.b. Aufgabe und Fehler 4) rechtwinklig ist. im Umgang mit dem Satz des Pythagoras benennen. 2. Eine in einer Sachaufgabe beschriebene Situation geeignet vereinfachen und für das Lösen geeignete Annahmen treffen. (siehe z.b. Aufgabe 4) Stufe 5 - ein(e) Schüler(in) auf dieser Stufe kann alles von Stufe 1, 2, 3 und 4 und zusätzlich: Stufe 5 - ein(e) Schüler(in) auf dieser Stufe kann alles von Stufe 1, 2, 3 und 4 und zusätzlich: 3. Den Satz des Pythagoras in einer gegebenen "realen Situation" - Den Satz des Pythagoras als "Hilfsmittel" zur Berechnung gesuchter, geometrischer - Eigene Lösungswege bei schwierigen Sachaufgaben richtig anwenden. bewerten, (siehe hinterfragen z.b. Aufgabe und 4) Größen anwenden (zum Beispiel als ein "Hilfsmittel" zur Bestimmung der Kathetenlänge interpretieren. eines Dreiecks auf dem Weg zur Berechnung des Flächeninhalts eines Dreiecks). 4. Das Ergebnis deiner Rechnungen sinnvoll hinterfragen. (siehe z.b. Aufgabe 4) So kannst du dich verbessern: Suche nötige Angaben im Text/ Bild. Stell dir die Situation konkret vor. Überlege: Welche Seiten sind die Katheten, welche Seite ist die Hypotenuse. Überlege, ob dein Ergebnis zur Aufgabenstellung passt. 5. Das Ergebnis deiner Rechnungen nachvollziehbar in eigenen Worten zusammenfassen. (siehe z.b. Aufgabe 3) Kontrolliere, ob du einen passenden Antwortsatz aufgeschrieben hast. Jede(r) Lernende hat Stärken und Schwächen. Du kannst dich im nächsten Test verbessern, wenn du unsere Tipps beachtest. Jede(r) Lernende hat Stärken und Schwächen. Du kannst dich im nächsten Test verbessern, wenn du unsere Tipps beachtest.

21 LABORSTUDIE Kontrolliere, ob du einen passenden Antwortsatz aufgeschrieben hast.

22 LABORSTUDIE 1) Fertige eine Skizze an. 2) Erinnere dich: Der Satz des Pythagoras lautet K 2 +K 2 = H 2.

23 LABORSTUDIE Prozessbezogen Kriterial Sozial- Vergleichend Wahrgenommene Unterstützung Rückmeldung (im Labor) Leistung/ Interesse

24 Dritte Projektphase: Unterrichtsstudie Formatives Assessment im kompetenzorientierten Mathematikunterricht

25 UNTERRICHTSSTUDIE 23 Schulen mit 39 Lehrerinnen und Lehrern in den Großräumen Frankfurt und Kassel 978 Schülerinnen und Schüler neunter Realschulklassen Begleitung von 13 Schulstunden zuzüglich 2 x 2 Schulstunden für Vortest und Nachtest

26 UNTERRICHTSSTUDIE Kompetenzorientierte Unterrichtseinheit Zudem: Lösungsprozessbezogene, schriftliche Rückmeldung Zudem: Lernprozessbegleitende, adaptive Lehrerinterventionen Vortest Unterrichtseinheit Pythagoras Nachtest

27 UNTERRICHTSSTUDIE

28 UNTERRICHTSSTUDIE

29 UNTERRICHTSSTUDIE (Wie) Wirkt ein derartiges formatives Assessment in Abhängigkeit von der Qualität der schriftlichen Rückmeldungen?... in Abhängigkeit von der unterrichtlichen Rückmeldesituation?... in Abhängigkeit von der allgemeinen Unterrichtsqualität?

30 UNTERRICHTSSTUDIE

31 UNTERRICHTSSTUDIE Typisches Beispiel 1 ( negatives Feedback, keine Wirkung): Kein Meta-Tipp, nur konkreter Aufgabenbezug durch Zahlenbeispiel!

32 UNTERRICHTSSTUDIE Typisches Beispiel 1 ( negatives Feedback, keine Wirkung): Kein Meta-Tipp, nur konkreter Aufgabenbezug durch Zahlenbeispiel!

33 UNTERRICHTSSTUDIE Typisches Beispiel 1 ( negatives Feedback, keine Wirkung): Kein Meta-Tipp, nur konkreter Aufgabenbezug durch Zahlenbeispiel! Typisches Beispiel 2 ( negatives Feedback, positive Wirkung): Meta-Tipp ( Abbildung anschauen ) + konkreter Aufgabenbezug!

34 UNTERRICHTSSTUDIE Typisches Beispiel 1 ( negatives Feedback, keine Wirkung): Kein Meta-Tipp, nur konkreter Aufgabenbezug durch Zahlenbeispiel! Typisches Beispiel 2 ( negatives Feedback, positive Wirkung): Meta-Tipp ( Abbildung anschauen ) + konkreter Aufgabenbezug!

35 UNTERRICHTSSTUDIE Wahrgenommene Unterstützung Rückmeldung (im Unterricht) Leistung/ Interesse

36 Teil 3: Aktuelle Teilstudie Untersuchungen zur Wirksamkeit von Lehrerfortbildungen

37 LEHRERFORTBILDUNGSSTUDIE kompetenzorientierte, formative Leistungsmessung lernförderliche Leistungsrückmeldung Lernprozess kompetenzorientierter Mathematikunterricht

38 LEHRERFORTBILDUNGSSTUDIE COACTIV: PCK [ ] makes the greatest contribution to explaining student progress. [ ] One of the next great challenges for teacher research will be to determine how this knowledge can best be conveyed to both preservice and inservice teachers (Baumert et al., 2010, p. 168).

39 LEHRERFORTBILDUNGSSTUDIE Zentrale Fragen: 1) (Inwieweit) Ist es möglich, im Rahmen von Lehrerfortbildungen das fachdidaktische Wissen (PCK) sowie das allgemein pädagogische Wissen (PK) von Lehrkräften zu formativem Assessment im kompetenzorientierten Mathematikunterricht gezielt zu fördern? 2) (Inwieweit) Gelingt es, Testinstrumente zu entwickeln, die PCK und PK der Lehrkräfte zu formativem Assessment am Ende der Fortbildungen reliabel und valide erfassen? 3) (Inwieweit) Wirken sich Lehrerfortbildungen zum formativen Assessment auf den Mathematikunterricht der teilnehmenden Lehrpersonen aus?

40 LEHRERFORTBILDUNGSSTUDIE 70 Lehrerinnen und Lehrer 2 x 3 Tage Fortbildung Hausaufgaben Evaluation der Wirksamkeit der Fortbildungen Zwei Untersuchungsbedingungen: 1) Formatives Assessment im kompetenzorientierten Mathematikunterricht am Beispiel Modellieren 2) Didaktische Grundüberlegungen zu Modellieren und Problemlösen

41 LEHRERFORTBILDUNGSSTUDIE Lehrer- und Schülerbefragungen Vorwissen: CK und PCK UB 1 3 Tage Lehrerfortbildung UB 2 3 Tage Lehrerfortbildung 10 Wochen zur Implementation zentraler Ideen formativen Assessments im eigenen Unterricht UB 1 3 Tage Lehrerfortbildung UB 2 3 Tage Lehrerfortbildung Erfassung von PCK und PK Design der Fortbildungsstudie

42 LEHRERFORTBILDUNGSSTUDIE CK: 02 Items PK: 01 Item CK, PCK und PK PCK (FA): 11 Items PK (FA): 15 Items PCK (PS): 04 Items PCK und PK PCK: 22 Items (COACTIV)

43 LEHRERFORTBILDUNGSSTUDIE CK, PCK und PK PCK und PK

44 LEHRERFORTBILDUNGSSTUDIE PCK (FA); 11 Items UB 1 UB 2 PCK (COACTIV); 14 Items

45 Lehrerfortbildungsstudie CK: score -0,01 UB 1 = 1 UB 2 = 0 0,64** PCK (FA): score PCK (14 Items): score 0,27**

46 Teil 4: Ausblick Zusammenfassung und Implikationen

47 AUSBLICK Wahrgenommene Unterstützung Rückmeldung Leistung/ Interesse