Leistungsbeurteilungen und diagnostische Kompetenz von Lehrkräften

Transkript

1 Christian-Albrechts-Universität zu Kiel Arbeitseinheit Psychologie für Pädagogen Leistungsbeurteilungen und diagnostische Kompetenz von Lehrkräften Jens Möller, CAU Kiel, 19. Landesfachtag Deutsch 25. April 2015

2 Kompetenzraster in SH 2

3 Brauchen Schüler Noten? Nein: Noten sind weder objektiv und fair noch differenziert Contra 1: Unterschiedliche Lehrkräfte bewerten dieselbe Leistung mit unterschiedlichen Noten. Contra 2: Noten hängen von der Leistungsstärke der Klasse ab. Contra 3: Zensuren nehmen die Freude am Lernen. 3

4 Brauchen Schüler Noten? Ja: Noten sind gerecht! Pro 1: Jugendliche mit guten Noten haben die besten Chancen, ihre Ausbildung oder ihr Studium erfolgreich abzuschließen. Pro 2: Gute Zensuren öffnen den Weg zum Gymnasium. Wer stattdessen dem Elternwillen freien Lauf lässt, der bevorzugt stärker die Kinder aus betuchten Familien. Pro 3: Schüler und Eltern schätzen die Klarheit von Ziffernnoten und wollen wissen, wo sie oder ihre Kinder im vertrauten Koordinatensystem der Leistung stehen. 4

5 Christian-Albrechts-Universität zu Kiel Leistungsbeurteilungen und diagnostische Kompetenz von Lehrkräften 1. Was ist diagnostische Kompetenz? 2. Was ist gute Diagnostik? 3. Sind Noten schädlich? 4. Sind Berichtszeugnisse oder Kompetenzraster besser? 5. Schlussbemerkung 5

6 Was ist diagnostische Kompetenz? Unter diagnostischer Kompetenz wird die Fähigkeit eines Urteilers verstanden, Personen zutreffend zu beurteilen (Schrader, 2006). 6

7 Was ist diagnostische Kompetenz? Wichtiger Aspekt der professionellen Kompetenz von Lehrkräften Ermöglicht die Anpassung des Unterrichts an die Lernvoraussetzungen von Schülerinnen und Schülern Ermöglicht die Identifikation von Kindern mit Lernschwierigkeiten 7

8 Was ist diagnostische Kompetenz? Fokus auf Urteilsgenauigkeit Fähigkeit, Personen zutreffend zu beurteilen Maß: Übereinstimmung zwischen Lehrereinschätzungen bzgl. der schulischen Leistungen ihrer Schüler und den objektiv gemessenen Schülerleistungen 8

9 Was ist diagnostische Kompetenz? Untersuchungen zur Überprüfung der Genauigkeit von Lehrerurteilen Vorgehen: Lehrerurteil und Schülermerkmal werden unabhängig voneinander erhoben Anschließend werden Korrelationen als Maß für die Übereinstimmung berechnet 9

10 Was ist diagnostische Kompetenz? Befunde zur diagnostischen Kompetenz von Lehrern: Leistungsbeurteilung 2 Metaanalysen Hoge & Colardacci (1989) Südkamp, Kaiser & Möller (2012) Korrelationen der Lehrerbeurteilung mit dem Ergebnis in einem standardisierten Schulleistungstest zwischen.28 und.92 (Mittelwert r =.63) 10

11 Was ist diagnostische Kompetenz? Befunde zur diagnostischen Kompetenz von Lehrern Treffende Einschätzung der Rangfolge der Leistungen Überschätzung des Leistungsniveaus von Schulklassen Deutliche Unterschätzung der Streuung der Leistungen (Tendenz zur Mitte). Rangkorrelationen zwischen Lehrerurteil und Schulleistung:.63 Intelligenz:.40 Selbstkonzept:.39 Lernmotivation:.20 Leistungsängstlichkeit:.15 11

12 Christian-Albrechts-Universität zu Kiel Diagnostische Kompetenz von Lehrkräften Fachübergreifende Aspekte 1. Was ist diagnostische Kompetenz? 2. Was ist gute Diagnostik? 3. Sind Noten schädlich? 4. Sind Berichtszeugnisse oder Kompetenzraster besser? 5. Schlussbemerkung 12

13 Was ist gute Diagnostik? Gute Leistungsbeurteilungen sind - Objektiv (mehrere Lehrer kommen zum gleichen Urteil) - Reliabel (bei mehreren Leistungsmessungen kommt Ähnliches heraus) - Valide (messen das, was sie messen sollen) - ökonomisch - fair 13

14 Betrachten Sie sorgfältig die in Kürze erscheinende Wortfolge! 14

15 Bonbon, sauer, Zucker, bitter, gut, Geschmack, Zahn, schön, Honig, Soda, Schokolade, Herz, Kuchen, essen, Torte 15

16 Sie haben nun eine Minute Zeit, um alle Wörter aufzuschreiben, an die Sie sich erinnern können 16

17 Wie viele Wörter haben Sie erinnert? Wer hat das Wort Geschmack? Punkt? Süß? 17

18 Bonbon, sauer, Zucker, bitter, gut, Geschmack, Zahn, schön, Honig, Soda, Schokolade, Herz, Kuchen, essen, Torte 18

19 Warum lassen sich Menschen leicht täuschen? Durch die Darbietung vieler Wörter, die stark mit süß assoziiert sind, wird das semantische Netzwerk süße Sachen in Ihrer Vorstellung aktiviert. Die im Netzwerk befindlichen zentralen Begriffe werden angeregt. 19

20 Eine diagnostische Übung Zahn Bonbon Drops Zucker süß Schokolade ungesund sauer essen Geschmack 20

21 Was ist gute Diagnostik? Gütekriterien diagnostischer Urteile 1. Objektivität Ein Urteil gilt als objektiv, wenn es hinsichtlich der Durchführung, der Auswertung und der Interpretation unabhängig vom jeweiligen Lehrer ist, d.h. wenn andere Lehrer zu denselben Aussagen kommen würden.

22 Was ist gute Diagnostik? Gütekriterien diagnostischer Urteile 1. Objektivität Lehrerurteile können verzerrt werden u. a. durch Beobachtungsmängel Erinnerungsfehler (Vergessen, Hinzufügen) Urteilstendenzen (Milde, Strenge) Erwartungseffekte Sympathie/Antipathie 22

23 Was ist gute Diagnostik? Was sagt die Forschung? Die gleiche Klassenarbeit wird von verschiedenen Lehrkräften unterschiedlich benotet. Noten für Aufsätze schwanken zwischen 1,0 und 4,5 (Birkel, 2003) Aber: relativ hohe Übereinstimmung im Ranking der Arbeiten. Schwäche von Noten: mangelnde Vergleichbarkeit zwischen Klassen, da Lehrkräfte einen klasseninternen Maßstab verwenden. 23

24 Was ist gute Diagnostik? Einfluss der Klassenleistung auf Noten, Grundschulempfehlungen und Selbstvertrauen Schulleistung Big Fish in a little Pond -Effekt M Klasse1 Gleiche Leistung zweier Schüler M Klasse2 Klasse 1 Klasse 2 24

25 Was ist gute Diagnostik? Gütekriterien: Reliabilität Ein Test gilt als reliabel, wenn er das, was er misst, möglichst fehlerfrei misst. Dies ist dann gegeben, wenn im Idealfall dasselbe Instrument, zur selben Zeit wiederholt angewendet auf dieselben Personen, zu identischen Aussagen führt. Schätzwert der zeitlichen Stabilität eines Merkmals Annahme zeitlich stabiler Merkmale Problematisch bei Leistungsbeurteilung 25

26 Was ist gute Diagnostik? Reliabilität Im Grundschulbereich findet sich von Zeugnis zu Zeugnis eine Korrelation zwischen den Noten von über 0,80. Im Sekundarbereich sinkt die Korrelation üblicherweise etwas ab Im Mittel verschlechtern sich die Noten im Laufe des Grundschulbereichs. Leistungen und Noten in SH 26

27 Schulnoten Mittelwerte (Standardabweichungen) Was ist gute Diagnostik? HS RS GYM GES alle Kl (.78) 2.97 (0.55) 2.10 (0.55) 2.84 (0.81) 2.70 (0.84) Deutsch Mathe Sport Kl (.87) 3.21 (0.84) 2.71 (0.83) 3.00 (1.09) 2.98 (0.88) Kl (.89) 3.21 (0.87) 2.69 (0.83) 3.34 (0.88) 2.98 (0.89) Kl (.92) 2.85 (0.77) 2.08 (0.63) 3.05 (0.93) 2.66 (0.92) Kl (.86) 3.06 (0.88) 2.82 (0.88) 3.25 (0.93) 2.94 (0.88) Kl (.97) 3.04 (0.92) 2.74 (0.86) 3.28 (0.88) 2.96 (0.92) Kl (.78) 2.00 (0.69) 1.81 (0.65) 1.92 (0.71) 1.94 (0.70) Kl (.77) 2.17 (0.74) 2.01 (0.81) 1.84 (0.76) 2.12 (0.78) Kl (.95) 2.14 (0.88) 1.94 (0.81) 1.99 (0.78) 2.06 (0.86) 27

28 Schulnoten Mittelwerte (Standardabweichungen) Was ist gute Diagnostik? HS RS GYM GES alle Kl (.78) 2.97 (0.55) 2.10 (0.55) 2.84 (0.81) 2.70 (0.84) Deutsch Mathe Sport Kl (.87) 3.21 (0.84) 2.71 (0.83) 3.00 (1.09) 2.98 (0.88) Kl (.89) 3.21 (0.87) 2.69 (0.83) 3.34 (0.88) 2.98 (0.89) Kl (.92) 2.85 (0.77) 2.08 (0.63) 3.05 (0.93) 2.66 (0.92) Kl (.86) 3.06 (0.88) 2.82 (0.88) 3.25 (0.93) 2.94 (0.88) Kl (.97) 3.04 (0.92) 2.74 (0.86) 3.28 (0.88) 2.96 (0.92) Kl (.78) 2.00 (0.69) 1.81 (0.65) 1.92 (0.71) 1.94 (0.70) Kl (.77) 2.17 (0.74) 2.01 (0.81) 1.84 (0.76) 2.12 (0.78) Kl (.95) 2.14 (0.88) 1.94 (0.81) 1.99 (0.78) 2.06 (0.86) Deutliche Unterschiede zwischen den Schulformen 28

29 Schulnoten Mittelwerte (Standardabweichungen) Was ist gute Diagnostik? HS RS GYM GES alle Kl (.78) 2.97 (0.55) 2.10 (0.55) 2.84 (0.81) 2.70 (0.84) Deutsch Mathe Sport Kl (.87) 3.21 (0.84) 2.71 (0.83) 3.00 (1.09) 2.98 (0.88) Kl (.89) 3.21 (0.87) 2.69 (0.83) 3.34 (0.88) 2.98 (0.89) Kl (.92) 2.85 (0.77) 2.08 (0.63) 3.05 (0.93) 2.66 (0.92) Kl (.86) 3.06 (0.88) 2.82 (0.88) 3.25 (0.93) 2.94 (0.88) Kl (.97) 3.04 (0.92) 2.74 (0.86) 3.28 (0.88) 2.96 (0.92) Kl (.78) 2.00 (0.69) 1.81 (0.65) 1.92 (0.71) 1.94 (0.70) Kl (.77) 2.17 (0.74) 2.01 (0.81) 1.84 (0.76) 2.12 (0.78) Kl (.95) 2.14 (0.88) 1.94 (0.81) 1.99 (0.78) 2.06 (0.86) Big Fish Little Pond 29

30 Was ist gute Diagnostik? Stabilitäten in SH (Korrelationen von Leistungsindikatoren zwischen Ende 4, Mitte 6 und Anfang 8. Klasse) Kl. 4 Kl. 6 Kl. 6 Kl. 7 Kl. 4 Kl. 7 Lesekompetenz.72***.70***.62*** Deutsch-Note.36***.49***.30*** Mathe-Note.30***.49***.32*** Sport-Note.48***.53***.45*** Leistungsunterschiede sind noch stabiler als Noten 30

31 Was ist gute Diagnostik? Validität Ein Urteil gilt als valide, wenn das, was gemessen werden soll, auch tatsächlich gemessen wird (Noten in ähnlichen Schulfächern sollten positiv korreliert sein, Noten sollten gute Prognosen erlauben). 31

32 Was ist gute Diagnostik? Validität von Noten Noten unterschiedlicher Fächer hängen relativ eng zusammen (Deutsch und Mathematik r =.66)! Gesamtnoten sind die besten Prädiktoren für den Ausbildungs- und Studienerfolg! Keine Einzelnote aus einem der Kernfächer hat eine so hohe Prognosekraft wie die Gesamtnote. Die höchste Prognosekraft ergab sich für die Mathematiknote und für fachaffine Noten. 32

33 Was ist gute Diagnostik? Übergangsentscheidungen als Prognosen Welche Faktoren beeinflussen Übergangsempfehlungen und -entscheidungen? - Noten - Sozialer Hintergrund - Übergangsregelungen Mittlere Zusammenhänge zwischen Leistungsbewertungen und Erfolg in der nächsten Phase 33

34 Was ist gute Diagnostik? Empfehlungskonform vs. höher Beschulte (Gymnasium) - Lesekompetenz passende Beschulung 60 für niedrigere Schulform empfohlen

35 Christian-Albrechts-Universität zu Kiel Diagnostische Kompetenz von Lehrkräften 1. Was ist diagnostische Kompetenz? 2. Was ist gute Diagnostik? 3. Sind Noten schädlich? 4. Sind Berichtszeugnisse oder Kompetenzraster besser? 5. Schlussbemerkung 35

36 Sind Noten schädlich? Effekte von Noten (Klapp, 2015) Schweden: Vergleich von Schülern, die in der 6. Klasse entweder Noten bekamen oder nicht Schwächere Schüler, die in Klasse 6 keine Noten bekamen, bekamen in Klasse 7-9 bessere Noten als die schwächeren Schüler, die in Klasse 6 Noten bekamen. Leistungsstarke Mädchen profitierten mehr von Noten als Jungen. In einer Studie mit Berliner Grundschülern gab es keine motivationalen Vorteile für Schüler mit Verbalbeurteilungen. 36

37 Christian-Albrechts-Universität zu Kiel Diagnostische Kompetenz von Lehrkräften 1. Was ist diagnostische Kompetenz? 2. Was ist gute Diagnostik? 3. Sind Noten schädlich? 4. Sind Berichtszeugnisse oder Kompetenzraster besser? 5. Schlussbemerkung 37

38 Sind Berichtszeugnisse besser? Befunde zur Akzeptanz und Wirkung von Berichtszeugnissen Die Anzahl der Eltern, die sich anstelle von Berichtszeugnissen Notenzeugnisse wünschen, ist gering (ca. 5%). Ab der 3. Jahrgangsstufe steigt der Elternwunsch nach Notenzeugnissen deutlich an (bis 50%). Eltern tun sich oft schwer, anhand von Berichtszeugnissen eine realistische Einschätzung ihrer Kinder vorzunehmen. Objektivität, Reliabilität, Validität, Ökonomie? 38

39 Sind Berichtszeugnisse oder Lehrkräfte Akzeptanz der Zeugnisformate Kompetenzraster besser? 1. Ich finde das Zeugnis insgesamt gut. 2. Das Zeugnis macht deutlich, in welchen Bereichen der Schüler gute Leistungen erbringt und in welchen es Schwierigkeiten hat. Berichtszeugnis Kompetenzraster Notenzeugnis 3. was der Schüler in diesem Schuljahr gelernt hat. 4. was der Schüler in verschiedenen Fächern kann. 5. woran der Schüler weiterarbeiten soll. 6. Auch im Laufe des Schuljahrs gebe ich dem Schüler immer wieder Informationen über die Leistung und die Lernentwicklung. 2 2,5 3 3,5 4 39

40 Sind Berichtszeugnisse oder Eltern Akzeptanz der Zeugnisformate Kompetenzraster besser? 1. Ich finde das Zeugnis insgesamt gut in welchen Bereichen mein Kind gute Leistungen erbringt und in welchen es Schwierigkeiten hat. Berichtszeugnis Kompetenzraster Notenzeugnis 3. was mein Kind in diesem Schuljahr gelernt hat. 4. in verschiedenen Fächern kann. 5. woran mein Kind weiterarbeiten soll meinem Kind helfen, sich im nächsten Jahr zu verbessern im Laufe des Jahres immer wieder Infos über die Leistungen und die Lernentwicklung 2 2,5 3 3,5 4 40

41 Sind Berichtszeugnisse oder Akzeptanz der Zeugnisformate Schülerinnen und Schüler der 7. Klassenstufe Kompetenzraster besser? 1. Ich finde das Zeugnis insgesamt gut. 2. Das Zeugnis macht deutlich, in welchen Bereichen ich 3. was ich in diesem Schuljahr gelernt hat. Kompetenzraster Notenzeugnis 4. was ich in verschiedenen Fächern kann. 5. woran ich weiterarbeiten soll. 6. Das Zeugnis kann mir helfen, mich im nächsten 7. Ich bekomme auch im Laufe des Jahres immer wieder 2 2,5 3 3,5 4 41

42 Sind Kompetenzraster besser? Sind Berichtszeugnisse oder Kompetenzraster besser? Vermutlich sind Kompetenzraster von Noten nicht sehr verschieden. Kompetenzraster erlauben differenziertere Leistungsbeurteilungen. Dafür sind sie etwas schwerer kommunizierbar. Kompetenzrastern fehlt wie Ziffernzeugnissen die Entwicklungskomponente. Bezüglich Objektivität, Reliabilität, Validität dürften sie ähnlich abschneiden wie Noten. Bezüglich der Ökonomie schneiden sie besser ab als Berichtszeugnisse. 42

43 Christian-Albrechts-Universität zu Kiel Diagnostische Kompetenz von Lehrkräften 1. Was ist diagnostische Kompetenz? 2. Was ist gute Diagnostik? 3. Sind Noten schädlich? 4. Sind Berichtszeugnisse und Kompetenzraster besser? 5. Schlussbemerkung 43

44 Schlussbemerkung Brauchen Grundschüler Noten? Grundschüler brauchen guten Unterricht! Lernförderliches Klima Klare Strukturierung Erhöhung kognitiv aktivierender Lernzeit Klare Leistungserwartungen Individuelles Fördern 44

45 Schlussbemerkung Grundschüler brauchen guten Unterricht! Guter Unterricht setzt gute Diagnostik voraus! Zu guter Diagnostik gehört gute Leistungsrückmeldung. Gute Leistungsrückmeldung ist eher situativ als überdauernd eher aufgaben- und themenbezogen als fachbezogen eher längsschnittlich als stabil eher positiv als negativ Gute Diagnosen ohne guten Unterricht nützen gar nichts! 45

46 Schlussbemerkung Fazit Lehrkräfte haben mittelhohe diagnostische Kompetenz im Leistungsbereich Wer Noten kritisiert, muss auch die Stärken und Schwächen der Berichtszeugnisse und Kompetenzraster sehen Die Art der Zeugnisse ist eher ein Oberflächen- als ein Tiefenmerkmal Wichtiger ist lernbezogenes Feedback im Unterricht Solches Feedback basiert auf der Kenntnis des Leistungsstands der Schüler und der Lernziele 46

47 47