Prof. Dr. Werner Sacher: Wegmarken und Stolpersteine für die Interpretation der Hattie Studie

Transkript

1 Prof. Dr. Werner Sacher: Wegmarken und Stolpersteine für die Interpretation der Hattie Studie Vortrag bei der Herbsttagung des Zentrums für Lehrerbildung und Bildungsforschung der Universität Würzburg am Stolpersteine 1

2 Stolpersteine Effektstärken Effektstärken messen Zusammenhänge, sagen aber nichts über Ursachen und Wirkungen! Hattie 2013, S.4: Korrelate dürfen nicht mit Ursachen verwechselt werden. Stolpersteine Effektstärken Beispiel Feedback: d = 0,73 große Effektstärke = starker Zusammenhang zw. Feedback (A) u. Schulleistung (B) 2

3 Stolpersteine Effektstärken Beispiel Feedback: d = 0,73 große E ektstärke = starker Zusammenhang zw. Feedback (A) u. Schulleistung (B) Mögliche Kausalbeziehungen: Feedback verursacht gute Leistungen: A B Gute Leistungen verursachen Feedback: B A Gute Situiertheit von Schülern verursacht Feedback, zugleich haben gut situierte Schüler auch gute Leistungen: usw. usw. C (Situiertheit) A Auch Köller & Möller ( schulmanagement 2012/2013) sprechen fälschlich von erfolgreichen Faktoren, die helfen! B Stolpersteine Selbstbeschränkungen Hatties Beschränkung auf Faktoren, die mit der (Fach ) Leistung zusammenhängen Hattie 2013, S.7: Es gibt natürlich viele Outcomes [Wirkungen; W. S.] der Schulbildung, etwa persönliche Einstellungen, physische Outcomes, Zugehörigkeitsgefühl, Respekt, aktive Bürgerschaft und die Liebe zum Lernen. In diesem Buch konzentriere ich mich auf die Schülerleistung Dieses Buch befasst sich mit Leistung; wir erwarten aber von unseren Schulen viel mehr als nur Leistung. (Hattie 2012, S.3; Übers. W. S.) 3

4 Stolpersteine Selbstbeschränkungen Hatties Ausblenden des sozialen Hintergrundes Hattie 2013, S.XXXVI: Es ist kein Buch über das, was in Schulen nicht beeinflusst werden kann. Beispielsweise sind kritische Diskussionen über Armut, familiäre Ressourcen und Ernährung nicht enthalten aber NICHT, weil diese Faktoren nicht von Bedeutung wären. Im Gegenteil: Sie sind vielleicht sogar noch wichtiger als viele der in diesem Buch besprochenen Einflüsse. Aber manche Faktoren z. B. Klassengröße interagieren mit sozialen Bedingungen: Z. B. werden in kleinen Klassen sozial benachteiligte Grundschüler besser gefördert! (Bildungsbericht Bremen 2012, S. 195) Stolpersteine Grenzen der Auswertungsmethode Zusammenwerfen von Unterschiedlichem: unterschiedliche Begriffe: z. B. von individ. Förderung, kleinen und großen Klassen, schülerzentriertem u. lehrerzentriertem Unterricht verschiedene Schularten u. Schulstufen: Vorschulerziehung, Grundschule, Schulen der Sekundarstufe, Einrichtungen des Tertiärbereichs 4

5 Stolpersteine Grenzen der Auswertungsmethode Durch Mittelung der Effekte von Studien gehen Differenzierungen verloren. Stolpersteine Grenzen der Auswertungsmethode Durch Mittelung der Effekte von Studien gehen Differenzierungen verloren. Beispiel Hausaufgaben (Hattie 2013, S.276f.): Insgesamt d = 0,29 kleiner E ekt aber: Grundschule d = 0,15 kleiner E ekt Sekundarstufe d = 0,64 großer E ekt 5

6 Stolpersteine Grenzen der Auswertungsmethode Kurvilineare Effekte werden nicht erfasst. y y kurvilineare Funktion lineare Funktion lineare Trendlinie x Beispiel Fernsehen (Hattie 2013, S.81f.): Insgesamt d = 0,18 bis 10 Std. pro Woche: leicht positive Effekte über 10 Std. pro Woche: negative Effekte 35 bis 40 Std. pro Woche: stark negative Effekte x Stolpersteine Grenzen der Auswertungsmethode Moderatorvariablen können nicht berücksichtigt werden. Beispiel: Klassengröße (Hattie 2013, S.88) Insgesamt d = 0,21 kleiner E ekt Aber Klassengröße z. B. Voraussetzung für häufiges Feedback d = 0,73 großer E ekt 6

7 2. Wegmarken für die Interpretation Interpretations Schema Validität Objektivität Reliabilität Bedeutsamkeit 7

8 Interpretations Schema Objektivität Untersuchungs methoden Auswertungs verfahren Validität Zeitpunkt der Studien Altersstufen Schularten Fächer Repräsentativität Bedeutsamkeit Stärke Handlungs möglichkeiten Aufwand Reliabilität Anzahl der Meta analysen u. Studien Probandenzahl Homogenität der Befunde (SE) Signifikanz Interpretations Schema für Hattie Objektivität Untersuchungs methoden Auswertungs verfahren Validität Zeitpunkt der Studien Altersstufen Schularten Fächer Repräsentativität Bedeutsamkeit Stärke Handlungs möglichkeiten Aufwand Reliabilität Anzahl der Meta analysen u. Studien Probandenzahl Homogenität der Befunde (SE) Signifikanz 8

9 Interpretations Schema für Hattie Validität Zeitpunkt der Studien Altersstufen Schularten Fächer Bedeutsamkeit Stärke: Hinge Pont d = 0,40 Reliabilität Anzahl der Meta analysen u. Studien Probandenzahl Homogenität der Befunde: mittl. SE = 0,07 95% Vertrauensbereich von d: d 2SE d d + 2SE Validität Zeitpunkt der Studien: ? Altersstufen: Sek. / Tertiär (Schularten) (Fächer) Feedback (S ) Bedeutsamkeit Stärke: d = 0,73 Reliabilität Anzahl der Meta analysen u. Studien: 23 / 1287 Probandenzahl: Homogenität der Befunde: SE = 0,061 95% Vertrauensbereich von d: 0,73 2*0,061 d 0,73 + 2*0,061 0,608 d 0,852 9

10 Feedback Zeitpunkt der Studien: ? Altersstufen: Sek. / Tertiär (Schularten) (Fächer) Feedback 10

11 Feedback 95% Vertrauensbereich von d: 0,73 2*0,061 d 0,73 + 2*0,061 0,608 d 0,852 Feedback (S ) Erste mögliche Kausalrichtung: Feedback (als Ursache) bewirkt in hohem Maße bessere Leistungen. Mögliche Erklärungen: Schüler erhalten Information, welche Lern anstrengungen zum Erfolg führen. Selbstkonzept der Schüler wird gestärkt. Beziehung zwischen Lehrkraft und Schüler wird verbessert. usw. usw. 11

12 Feedback (S ) Zweite mögliche Kausalrichtung: Schüler mit höherer Leistungs fähigkeit (als Ursache) erhalten häufiger Feedback. Mögliche Erklärungen: Es ist für Lehrkräfte angenehmer, leistungs fähigen Schülern Feedback zu geben. Leistungsfähigere Schüler ziehen stärker die Aufmerksamkeit der Lehrkräfte auf sich. usw. usw. Exkurs: Ergebnisse über Feedback (Skala) aus einem Gymnasium in Baden Württemberg 12

13 Individualisierung (S.234ff.) Validität Zeitpunkt der Studien: Altersstufen: eher Sek. (Schularten) Fächer: Mathe / NW Bedeutsamkeit Stärke: d = 0,23 Reliabilität Anzahl der Meta analysen u. Studien: 9 / 600 Probandenzahl: 9380 Homogenität der Befunde: SE = 0,056 95% Vertrauensbereich von d: 0,23 2*0,056 d 0,23 + 2*0,056 0,118 d 0,342 Individualisierung 13

14 Individualisierung Individualisierung Reliabilität 95% Vertrauensbereich von d: 0,23 2*0,056 d 0,23 + 2*0,056 0,118 d 0,342 14

15 Individualisierung (S.234ff.) Erste mögliche Kausalrichtung: Individualisierung (als Ursache) bewirkt (in geringem Maße) bessere Leistungen. Mögliche Erklärungen: Individualisierung wird wenig intensiv praktiziert. Es wird nur die Lernzeit individualisiert, nicht aber die Lernmaterialien. Individualisierung wird in zu großen Klassen praktiziert und kann deshalb nicht im erforderlichen Ausmaß begleitet werden. usw. usw. Individualisierung (S.234ff.) Zweite mögliche Kausalrichtung: Bei besseren Schülern praktizieren Lehrkräfte (in geringem Umfang) mehr Individualisierung. Mögliche Erklärungen: Lehrkräfte betrachten individualisierende Methoden als Methode der Begabtenförderung. Lehrkräfte vertrauen darauf, dass bessere Schüler eher selbständig eigene Lernwege gehen können. usw. usw. 15

16 Interpretationsversuche (Hattie 2013, S.193, 155 u. 239) berechnet Anzahl der Metanalysen Anzahl der Studien Anzahl der Lernenden d Streuung (SE) Vertrauens Bereich 95% Ziele ,56 0,057 0,45 d 0,67 Direkte Instruktion ,59 0,096 0,40 d 0,78 Metakognitive Strategien ,69 0,181 0,33 d 1,06 Freiarbeit ,04 0,176 0,31 d 0,39 Lautier Methode ,60 0,221 0,16 d 1,04 Ganzheits Methode ,06 0,056 0,05 d 0,17 Validität Bedeut samkeit Reliabilität 1. und 2. Kausalrichtung? 2. Mögliche Erklärungen? 3. Hatties Verständnis von Direkter Instruktion und Feedback 16

17 Direkte Instruktion Renaissance des Frontalunterrichts? Hattie 2013, S.31: Diese Darlegung des sichtbaren Lernens bezieht sich auf Lehrpersonen als Regisseure ( activators ), die bewusst den Wandel gestalten und die Lernprozesse steuern. D.h. nicht, dass sie didaktisch im Sinne von Frontalunter richt agieren, täglich 80% oder mehr mit Reden verbrin gen und das Ziel haben, das Curriculum oder die Unter richsstunde durchzupauken, komme, was da wolle. Das Modell des sichtbaren Lehren und Lernens kombi niert lehrerzentrierte Lehre und schülerzentriertes Lernen, statt beide gegeneinander auszuspielen. Direkte Instruktion Elemente direkter Instruktion (Hattie 2013, S.242f.): Klare Zielsetzungen Klare Erfolgskriterien Aufhänger für Beteiligung der Schüler Genaue Vorstellungen über Vermittlung und Erklärung der Inhalte Angeleitete Übung Verständliche Bilanzierung des Gelernten Praktische Anwendung des Gelernten in verschiedenen Kontexten Letztlich ein Artikulationsschema! 17

18 Feedback Nicht zu verwechseln mit Lob und Belohnung. (Hattie 2013, S.208) Entscheidend ist das Feedback, das bei Schülern ankommt, nicht das Feedback, welches Lehrkräfte geben: Carless 2006: 70% der Lehrer geben angeblich häufig Feedback, aber nur 45% der Schüler berichten von häufigem Feedback. (Hattie 2013, S.207) Es geht nicht nur um Lehrer Feedback, sondern auch um Feedback von Schülern an Lehrer und von Schülern untereinander: Nuthall 2007: 80% des Feedbacks, das Schüler erhalten, kommt von Mitschülern. Aber 80% dieses Feedbacks sind unzutreffend (Hattie 2013, S.5) Feedback Drei Fragen (Hattie 2013, S.210): Where am I going? Wohin gehe ich? Welches Lernziel soll erreicht werden? How am I going? Wie komme ich voran? Wie steht der Schüler im Verhältnis zum Lernziel? Where to next? Wohin geht es danach? Wie kann es weitergehen? 18

19 Feedback Rezeptartige Vermehrung von Feedback ist nicht effektiv! Eines der Hauptergebnisse, die in diesem Buch präsentiert werden, bezieht sich... auf die Verstärkung des Feedbacks. Dies ist ohne Zweifel ein wichtiges Korrelat der Schülerleistung. Man sollte jedoch nicht sofort mehr Feedback geben, in der Hoffnung, dass sich dann wie von Zauberhand die Leistung erhöht. (Hattie 2013, S.4) Die simple Anwendung eines Rezepts (z. B. Gib mehr Feedback! ) funktioniert nicht in unseren lebendigen, facettenreichen, kulturell vielfältigen und sich verändernden Klassen. (Hattie 2013, S.5) Feedback Sieben Voraussetzungen für erfolgreiches Feedback (Hattie 2013, S.4f.) Wie wir weiter unten sehen werden, setzt ein positiver Effekt auf die Schülerleistung durch vermehrtes Feedback folgendes voraus: 1. Dass man seine Vorstellung darüber, was es heißt, eine Lehrperson zu sein, ändert. 2. Das an die Lehrperson gerichtete Feedback darüber, was Lernende leisten können und was nicht, ist wirksamer als das Feedback, das sich an die Lernenden richtet. 3. Außerdem erfordert es eine andere Art der Interaktion mit und des Respekts gegenüber den Lernenden... 19

20 Feedback Sieben Voraussetzungen für erfolgreiches Feedback (Hattie 2013, S.4f.) Wie wir weiter unten sehen werden, setzt ein positiver Effekt auf die Schülerleistung durch vermehrtes Feedback folgendes voraus: 4. 80% des Feedbacks, das ein Lernender oder eine Lernende bezüglich seiner bzw. ihrer Arbeit in der (Grund )Schule erhält, [stammt; W.S] von Mitlernenden. Aber wiederum 80% dieses Feedbacks sind unzutreffend! 5. Es ist wichtig, sich Gedanken über das Klima im Klassenzimmer zu machen, ehe man die Menge des Feedbacks steigert. Feedback Sieben Voraussetzungen für erfolgreiches Feedback (Hattie 2013, S.4f.) Wie wir weiter unten sehen werden, setzt ein positiver Effekt auf die Schülerleistung durch vermehrtes Feedback folgendes voraus: 6. Denn es ist von entscheidender Bedeutung sicherzustellen, dass Fehler nichts Schlimmes sind. Sie dienen als Ansatzpunkte für die Verbesserung des Lernverhaltens. 7. Wichtig ist, dass die Ziele, die man sich setzt, eine angemessene Herausforderung darstellen. So können die Menge und auch die Zielgerichtetheit des Feedbacks maximiert werden. 20

21 Feedback Sieben Voraussetzungen für erfolgreiches Feedback (Hattie 2013, S.4f.) Zusammenfassung: 1. Vorstellung von der Lehrerrolle (als Regisseur) 2. Feedback an Lehrkraft 3. Beziehung Lehrkraft Schüler 4. Feedback von Mitschülern 5. Klassenklima 6. Fehlerkultur 7. Zielorientierung 4. Hatties Intention Dewey 1938: Der Forschungsstand liefert uns keine Handlungsanweisungen, sondern lediglich Hypothesen für intelligentes Problemlösen und Denkanstöße hinsichtlich unserer Bildungsziele. (Hattie 2009, S.247; Übers. W. S.) Am wichtigsten bei jeder Diskussion über Messergebnisse sind konkurrierende plausible Hypothesen. (Hattie 2009, S.248; Übers. W. S.) 21

22 Literatur: Bundesministerium für Unterricht, Kunst und Kultur (2012): Die Hattie Studie. Forschungsbilanz und Handlungsperspektiven. Wien. Autorenteam Bildungsberichterstattung Bremen und Bremerhaven (2012): Bildung Migration soziale Lage. Voneinander und miteinander lernen. Bildungsberichterstattung für das Land Bremen. Bremen. [Zitiert: Bildungsbericht Bremen 2012] Hattie, J. A. (2009): Visible learning. A synthesis of over 800 analyses relating to achievement. London & New York: Routledge. Hattie, J. A. (2011): Visible learning for teachers. Maximizing impact on learning. London & New York: Routledge. Hattie, John A. (2013): Lernen sichtbar machen. Überarbeitete deutschsprachige Ausgabe von Visible learning, besorgt von Wolfgang Beywl und Klaus Zierer. Baltmannsweiler: Schneider Hohengehren. Snook, I.; Clark, J.; Harker, R.; O Neill, A. M.; O Neill, J. (2009): Invisible Learnings? A commentary on John Hattie s Visible Learning: A Synthesis of over 800 Meta Analyses Relating to Achievement. In: New Zealand Journal of Education 44, Annex A. Köller, O.; Möller, J. (2012/2013): Was wirklich wirkt. John Hattie resümiert die Forschungsergebnisse zu schulischem Lernen. Teile 1 bis 5. In: schulmanagement 4/2012, S.34 37; 5/2012, S.34 37; 6/2012, 35 37; 1/2013, S.35 37, 2/2013, S

23 OECD Organisation for Economic Cooperation and Development (2001): Lernen für das Leben. Erste Ergebnisse der internationalen Schulleistungsstudie PISA Paris. Sacher, W. (2013): Wird der Familieneinfluss auf die Schulleistung überschätzt? Nein denn die Hattie Studie widerlegt nur scheinbar bisherige Erkenntnisse. In: Pädagogik 65 (2013), H. 9, S