PISA war gestern - heute ist HATTIE! Die Rolle von Schule und Unterricht im Spiegel der internationalen empirischen Forschung

Transkript

1 PISA war gestern - heute ist HATTIE! Die Rolle von Schule und Unterricht im Spiegel der internationalen empirischen Forschung Univ. Prof. Dr. Rainer Dollase früher: Uni Bielefeld, Abt. Psychologie westfälisch-lippische Direktorenvereinigung Hamm, den 4. Dezember 2013

2 Ist eine Reform des Unterrichts überhaupt nötig? Haben oder hatten wir ein Defizit?

3 Table 15 Recent IQ Gains: Locations Grouped by Test and Ranked by Rate of Gain Location Leipzig France Belgium Belgium Netherlands Norway West Germany Australia Edmonton Australia Norway Great Britain Great Britain Test Ravens Ravens Ravens Shapes Ravens Matrices Horn-Ravens* Jenkins Ravens Ravens Matrices Ravens Ravens Rate" Age (years) IS Period IQgain (points) , Status' 3/ Der Flynn Effekt - Kinder und Jugendliche in den Industriestaaten werden -wie Deutschland- um bis zu zwanzig IQ Punkte schlauer Japan Vienna West Germany Zurich Edmonton France United States United States Solothurn Wechsler'' Wechsler Wechsler" Wechsler CTMM Wechsler" Wechsler-Binet* Wechsler' Wechsler and /4 4 3/ Saskatchewan Norway Belgium France Saskatchewan New Zealand Norway Otis" Verbal-Math Verbal-Math Verbal-Math Otis' Otis Verbal-Math / /3 1 1 Note. Data from Tables 1-14; see these tables for full test names. " The content of these tests was substantially altered. b IQ points per year. c Key: 1 = verified, 2 = probable, 3 «tentative, and 4= speculative.

4 Der IQ in NRW schwankt

5

6 PISA war gestern :-) PISA 2012 Mathematik Textverstehen Naturwissenschaft Deutschland China USA Japan Finnland

7 Schweden steigt ab Mathematik Lesekompetenz Naturwissenschaft PISA PISA

8

9 Bei PISA sind wir seit 2000 besser gewesen als 1974 Internationaler Leistungsvergleich 1974 Naturwissenschaften Bei den Zehnjährigen in den vierten Grundschulklassen liegen sämtliche Leistungen in der Bundesrepublik sehr wesentlich unter dem internationalen Durchschnitt Bei den Achtzehnjährigen im letzten Jahrgang der Sekundarstufe II steht die Bundesrepublik am unteren Ende der Rangskala auf dem vorletzten Platz ZEIT, 1974, , Hayo Matthiesen Deutschland liegt seit 2000 im unteren/oberen Mittelfeld

10 Ländervergleich Mathematik Ländervergleich Biologie Ländervergleich Chemie Ländervergleich Physik Sachsen 536 Thüringen 521 Brandenburg 518 Bayern 517 Sachsen-Anhalt 513 Mecklenburg-Vorpommern 505 Rheinland-Pfalz 503 Schleswig-Holstein 502 Baden-Württemberg 500 Deutschland 500 Niedersachsen 495 Hessen 495 Saarland 489 Hamburg 489 Nordrhein-Westfalen 486 Berlin 479 Bremen 471 Sachsen 541 Thüringen 535 Brandenburg 532 Sachsen-Anhalt 529 Mecklenburg-Vorpommern 521 Rheinland-Pfalz 514 Schleswig-Holstein 505 Bayern 505 Niedersachsen 504 Baden-Württemberg 501 Deutschland 500 Saarland 498 Berlin 493 Hessen 489 Hamburg 487 Nordrhein-Westfalen 482 Bremen 481 Sachsen 542 Sachsen-Anhalt 538 Thüringen 534 Brandenburg 530 Mecklenburg-Vorpommern 519 Bayern 512 Rheinland-Pfalz 504 Niedersachsen 502 Deutschland 500 Schleswig-Holstein 499 Baden-Württemberg 499 Saarland 497 Hessen 492 Berlin 490 Hamburg 484 Nordrhein-Westfalen 481 Bremen 477 Sachsen 544 Thüringen 539 Sachsen-Anhalt 534 Brandenburg 529 Mecklenburg-Vorpommern 516 Bayern 515 Rheinland-Pfalz 505 Schleswig-Holstein 504 Baden-Württemberg 502 Niedersachsen 500 Deutschland 500 Saarland 497 Hessen 496 Berlin 491 Bremen 482 Hamburg 482 Nordrhein-Westfalen 476 astinnen und Gymnasiasten die KMK-Regelstandards für den nach neun Jahren ist an Gesamtschulen bereits wieder einge- NRW ist schlechter geworden IQB vom NRW d= - 0,19 in Chemie d= - 0,14 in Mathematik d = - 0,24 in Physik

11 Figure 1.2 The global talent pool: a perspective from PISA Percentage of top performers across all PISA countries and economies Chinese Taipei 3% Hong Kong-China 1% Netherlands 2% Australia 3% Poland 3% Canada 4% France 5% Belgium 1% Finland 1% Czech Republic 1% Spain 1% Italy 2% Sweden 1% Brazil 1% New Zealand 1% Switzerland 1% Austria 1% Others 6% United States 25% Japan 13% Deutschland hat nach USA und Japan zahlenmäßig die meisten top performer bei PISA Korea 5% Russian Federation 6% United Kingdom 8% Germany 8% Note: Others includes countries that account for 0.5% or less: Hungary, Turkey, Ireland, Israel, Chile, Slovak Republic, Denmark, Norway, Mexico, Greece, Portugal, Slovenia, Thailand, Lithuania, Argentina, Croatia, Bulgaria, Estonia, Latvia, Romania, Colombia, Indonesia, Serbia, Jordan, Uruguay, Macao-China, Iceland, Luxembourg, Tunisia, Liechtenstein, Qatar, Azerbaijan, Kyrgyzstan, Montenegro. Source: OECD PISA 2006 Database. aus: Top of the class, High performers in Science in PISA 2006 OECD 2009

12 ..also: eigentlich alles in Ordnung...?

13 demographischer Wandel und die Globalisierung zwingen zur Effizienzsteigerung von Schule und Unterricht

14

15 Folgen des demographischen Wandels Seltenheit der Jugend: Kontakte, Subkulturen, aktive und retroaktive Sozialisation, Generationskonflikte Veränderung der Wertschätzung von Kompetenz: Bildung und Erziehung unter dem Druck der Effizienz Einstellungsentwicklung wegen Zuwanderungsbedarf Sinnvolle Verlängerung der Lebensarbeitszeit : früheres Schuleintrittsalter, G8, späteres Ende der aktiven Arbeitszeit; Alte im Erwerbsprozess binden

16 Ergebnisse für einen Mann der am geboren wurde. Herzlichen Glückwunsch, Sie gehören zu den 76,098 %, der mit Ihnen an Ihrem Geburtstag geborenen, die noch leben. Bereits verstrichene Lebenszeit In Prozent In Jahren 83,902 % 70,521 Noch verbleibende Lebenszeit 16,098 % 13,531 Diese Daten ergeben folgenden statistischen Todestag: Demographische Daten sind im Durchschnitt hoch zuverlässig...dürfen nicht auf den Einzelfall übertragen werden Carpe Diem Alle Daten stammen aus der aktuellen Sterbetafel 2009/2011, die das Statistische Bundesamt in Wiesbaden am veröffentlichte. Hinweis: Eine neue "Allgemeine Sterbetafel" wird jeweils nach Vorliegen der Ergebnisse einer Volkszählung berechnet. Zwischenwerte wurden von uns durch Interpolation der Altersdaten ermittelt.

17 Wer weiß genau, wie Schule und Unterricht zu verbessern ist? viele fühlen sich berufen...

18 Medien, Mischung aus Bestseller Prominente Meinung und Fakten zufällige facts aus anderen Medien, allen anderen Diskursen, meist nicht belegt öffentliche Meinung

19 Politik, Kommissionen politiknahe ExpertInnen PISA, Kommissionsberichte zufällige, einseitige Auswahl aus Forschung und Praxis auf Exekutive

20 Von den Besten lernen? z.b.finnland Finnland Bewertung Hattie,2009 Situation in Deutschland Bildungsgerechtigkeit, Gesamtschule Gesamtschule lehrerzentrierter Unterricht fast nur Akademikerkinder kommen an die Uni haben auch PISA Verlierer ability grouping d=+0,11 positiv (d = +0,60) activator vs. facilitator wurde lange verschwiegen hier ein erstrebenswertes Ziel für viele gilt hier als altmodisch, wird kritisiert Einschulung mit 7 Jahren positiv (d=+0,50) gilt hier als altmodisch strenge Auswahl der Bewerber für das Lehramt 2,5% der SchülerInnen haben Zuwanderungshintergrund Lehrerausbildung wie bei uns positiv (d immer über +0,50) ist eine Erleichterung unklar Lehrermangel verhindert Selektion Land hat neue Zuwanderung nötig Ratlosigkeit - keiner macht die eigentlich Schuldigen aus multiprofessionelle Teams positiv gilt hier als unfinanzierbar

21 Um eine evidenzgesteuerte Bildungspolitik unterstützen zu können, brauchen wir eine Gemeinschaft empirischer Bildungsforscher, die sich überall deutlich gegen einen politisch selektiven und vereinfachenden Umgang mit Pisa- Daten wendet. Der öffentliche Diskurs kann da nur nützlich sein. Baumert, Klieme, Prenzel 2008 in der ZEIT - Entgegnung auf Klemm

22 aus der Praxis für die Praxis Klippert, Green, Unterrichtsgestal tung praktikabel, aber nicht ausreichend belegt Praxis, Ausbildung

23 internationale empirische Unterrichtsforschung Hattie, 2009, 2013 Zusammenfassung aller empirischen Untersuchungen weltweit allgemeine, nomothetische Aussagen, dürfen nicht auf Einzelfall übertragen werden auf Fachleute beschränkt

24 Überinformation - Hits in Datenbanken zu Unterrichtsthemen (2007) (ERIC, Psycinfo, PsycBOOKS, PSYNDEX) education = aggression = prejudice = heterogeneous groups = 561 teaching = instruction = class = tuition = learning =

25 Von Metaanalysen lernen die Zusammenfassung möglichst vieler Untersuchungen

26 angewandte, empirische Handlungsforschung im Schulalltag Kounin, von Cranach Verhalten im Unterricht empirisch belegt, auf Praxis übertragbar, Videoforschung es gibt nur wenig Forschung

27 Praxis Praktiker, LSE Alltag Einzelfallaussagen, nicht immer verallgemeinerbar öffentliche und politische Meinungsbildung

28 Diskurs Vertreter typische Aussagen Wahrheitsgehalt Wirkung Medien, Bestseller Prominente Mischung aus Meinung und Fakten zufällige facts aus anderen Medien, allen anderen Diskursen, meist nicht belegt öffentliche Meinung Politik, Kommissionen politiknahe ExpertInnen PISA, Kommissionsberichte zufällige, einseitige Auswahl aus Forschung und Praxis auf Exekutive aus der Praxis für die Praxis Klippert, Green, Unterrichtsgestaltung praktikabel, aber nicht ausreichend belegt Praxis, Ausbildung internationale empirische Unterrichtsforschung Hattie, 2009, 2013 Zusammenfassung aller empirischen Untersuchungen weltweit allgemeine, nomothetische Aussagen, dürfen nicht auf Einzelfall übertragen werden auf Fachleute beschränkt empirische Handlungsforschung im Schulalltag Kounin, von Cranach Verhalten im Unterricht empirisch belegt, auf Praxis übertragbar, Videoforschung es gibt nur wenig Forschung Praxis Praktiker, LSE Alltag Einzelfallaussagen, nicht immer verallgemeinerbar öffentliche und politische Meinungsbildung

29 ...Kompromisse zwischen allen Diskursen?!

30 ...jetzt also kommt HATTIE... (PISA war gestern)

31 Die Hattie Studie - nichts weiter als eine Zusammenfassung vieler Untersuchungen (Metaanalysen) die alle schon bekannt waren zur Zeit (2013 Ende) über 1000 Metaanalysen, ca Einzelstudien Meta Meta Analyse

32 Hattie (2009) Die Sensation in Fachkreisen deutsche Übersetzung 23.April 2013, Schneider Verlag Hohengehren

33 Dezember 2011 (zit.2012) dt. Januar 2014 Januar 2013

34 Hattie (2009) Hattie (2011) Auf die Lehrer und Lehrerinnen kommt es an

35 NRW d= - 0,19 in Chemie d= - 0,14 in Mathematik d = - 0,24 in Physik

36 d = Anteil des Mittelwertsunterschieds an der Standardabweichung a) Anfangs- Endmessung b)versuchs- Kontrollgruppe

37 d= 0.40 heißt etwa: 27.4% besser als vorher (Längsschnitt) bzw. mit der Methode x besser als mit Methode y (Vergleichsgruppe) bzw. mit der Methode x besser als Kontrollgruppe (random; other things being equal) d= 0.60 heißt: 38,2% besser d=0,80 heißt: 47,4% besser

38 Teacher: Lehrerfähigkeit, Lehrerausbildung, Fachwissen, Qualität des Lehrens, Personalentwicklung, Glaubwürdigkeit, Erwartungen, Lehrer, Klarheit etc. Curricula: reading, writing and the arts, math and sciences, other curricular programs etc. Teaching: Zielsetzungen,concept mapping, Lernhierarchien, mastery learning, feedback, frequency of testing, peer tutoring, Fragemethoden, meta cognitive Strategien, individual instruction, direct instruction, cooperative learning, computer aided instruction, web based learning, etc. Student: prior achievement, intelligence, attitudes and dispositions, physical influences, drugs, gender, Lebensführung, Bildungskarriere, etc. Home: sozioökonomischer Status, Familienstruktur, Wohlfahrtsmassnahmen, home environment, Elternmitarbeit, etc. School: school effects, types of school, school composition, Heterogenität, Größe, Schulwechsel, Schulprogramm, Schulleitung, ability grouping, Klassengröße, Klassenzusammensetzung, Inklusion, Spezialprogramme, Klassen Einflüsse, Zusammenhalt, Störungen, etc.

39 Welche Hauptergebnisse?

40 Haupttendenzen der Zusammenstellung von Hattie Bedeutung des Lehrers ist groß (teacher matters) (Organisatorische und strukturelle Variablen sind schwächer) Lehrerzentrierter Unterricht (Kritik) ist bei aktivem Lernen der Schüler besser - reformpädagogische Ansätze (Kritik) schneiden nur schwach ab innere wie äußere Differenzierung wirken nur schwach aber: viele Methoden sind nicht schlecht, what works? - what works best?

41 aus Hattie 2003

42 Starke Lehrerfaktoren Faktor d-wert Teacher credibility 0,90 classroom discussion 0,82 Teacher clarity 0,75 Feedback 0,75 reciprocal teaching 0,74 Teacher Student Relationship 0,72 Teaching strategies 0,62 Problem solving teaching 0,61 not labeling students 0,61 direct instruction 0,59

43 Die Lehrer- Schüler Beziehung ist wichtig

44 Diese Ergebnisse zeigen, dass (vom Lehrer ausgeführte) aktive und geführte Instruktion sehr viel erfolgreicher ist als ungeführtes, facilitative Lernen. (Hattie, 2009, S.243, Übersetzung R.D.) reciprocal teaching= Dialog L - S; e.g. summarizing, questioning, clarifying, predicting behavioral organizers = e.g.advance organizers

45 direct teaching (Hattie, 2009, S. 205/206) learning intentions success criteria build commitment and engagement how the teacher should present the lesson guided practice closure independent practice

46 Mitchell, 2008

47 z.b.paraphrasieren z.b. einfache Fragen an gute Schüler stellen z.b. schwierige Fragen an schlechte Schüler stellen z.b. framing von Fragen, so dass sie schwer erscheinen, obwohl sie leicht zu beantworten sind z.b. sich als L selbst als Kooperationspartner bei PA oder GA anbieten - mal bei guten, mal bei schlechten z.b. Kontrolle der Mobbing - Äußerungen von Schülern im lz U leichter als in GA

48 Mitchell direct instruction (DI) Research studies have consistently shown that DI has a positive effect across a range of learners and across various subject areas d Werte von 4 Metaanalysen: 0,85-0,90-0,82-0,84

49 Lernen in Gruppen bzw. in Kooperation Faktor d-wert cooperative vs. competitive learning 0,54 small group learning (nur college) 0,49 cooperative learning 0,41 within class grouping 0,16 ability grouping 0,12 multi age /grade groups 0,04 student control over learning 0,04 open education 0,01

50 cooperative learning (Hattie, 2009, S. 212/214) reading d= 0,44 mathematics d=0,01 für ältere Schüler besser if you want to increase student academic achievement, give each student a friend = f(soziometrischer Struktur der Lerngruppe)

51 ..aus besonderem Anlass.. transformationale Führung = die Geführten haben Respekt, Vertrauen, Loyalität und Bewunderung gegenüber der Führungskraft und bringen deshalb überdurchschnittliche Leistungen (Wikipedia) instructional management = formalisiertes Führungssystem nach Muster QA

52 Einordnung der Ergebnisse...

53 Hatties Leistung besteht in zweierlei: 1. Sammlung der Studien (Fakten) 2. Deutung der Ergebnisse der Sammlung (Meinung)

54 This is not a book... Hattie, 2009, S. ix about classroom Life (kein Handlungswissen, keine Handlungsforschung) about what cannot be influenced in schools (Was Schule nicht verändern kann) that include qualitative studies about criticism of research

55 Von Hattie selbst erläutertes Beispiel für Zusammenfassungs fehler : d für homework in elementary schools d=0,15 d für homework in secondary schools d=0,64

56 Das dürfen Sie nie vergessen: Empirische Durchschnittsresultate (Effektwert d) zeigen nur, wie gut oder schlecht es bislang gelungen ist, diese Methode (diesen Faktor) zu realisieren. Diese Ergebnisse zeigen nicht, was man damit bei weiterer Optimierung erreichen könnte. Durchschnittsresultate dürfen nicht auf den Einzelfall übertragen werden. d-werte dürfen nicht ohne weitere Empirie kombiniert oder addiert und gemittelt werden.

57 Fazit: Die Ergebnisse sind empirische Trends die bei der lokalen Optimierung von pädagogischen Handlungsfeldern Ideen bereitstellen, was man besser machen kann Teach to DIE for (Hattie, 2013, ) d.h. D= Diagnosis, I=Intervention, E= Evaluation Knew thy impact - Ergebnisse entscheidend

58 Wie kann man die Ergebnisse zusammenfassen?

59 Hatties Zusammenfassung 1

60 Hatties Zusammenfassung 2

61 aktives Lernen + explizites Lehren (Terhart 2011 über Hattie 2009)

62 Entwicklungs- und sozialpsychologische Erklärung der Ergebnisse von Hattie Hattie liefert keine kausale Theorie der Ergebnisse

63 Ein Modell - Kognitionen und Aussenwelt Menschen entwickeln sich nach einem evolutionären Programm - Tricks der Evolution sind die Angewiesenheit auf Bezugspersonen in Unsicherheitssituationen und die angeborene Selbständigkeit in der Informationsaufnahme sowie die Informationsaufnahme durch Kommunikation (Evolutionsprinzip) Kinder und Jugendliche nehmen alle Informationen auf, die sie für relevant und richtig halten - Glaubwürdigkeit der erziehenden Erwachsenen ist also wichtig (Glaubwürdigkeitsprinzip) 63

64 Gibson und Walk, 1960

65 Wer pädagogischen Einfluss haben will, muss glaubwürdiger als die anderen Quellen sein Erziehung ist ein Konkurrenzkampf um Glaubwürdigkeit

66 Empirischer Beleg Der autoritative Erziehungsstil - eine Kombination aus Führung und Herzlichkeit hat gegenüber allen anderen Erziehungsstilen die besten Resultate Er erzeugt ein Maximum an Glaubwürdigkeit

67

68 Neue Konzepte guided participation epistemic authorities (Kruglanski u.a. 2006)

69 Nuthall (2007): 80% des Feedbacks in Grundschulen kommt von anderen Schülern - aber 80% davon ist falsch

70 Eher gefährlich: Brain Book Buddy Boss

71 Primus Schule Realisierung Bewertung Hattie, 2013 Jahrgangsmischung Jg 1-3 Jg 4-6 Jg 7-9 Nulleffekt d=0,04 Schule vom 1. bis zum 10.Schuljahr - ohne Brüche ohne Brüche irrelevant Verzicht auf Noten bis 8 mdl. Leistungsrückmeldung mit häufigen Tests besser d= 0,46 offene Arbeit Nulleffekte d=: 0,12; 0,03; -0,13; 0,06 Projekte statt Fächer besser: gezielte Programme (Fachdidaktik d=0,45) (Projekte evtl. Grundschule besser als in SI) Mathe und Naturwissenschaften getrennt besser

72 Gruppenleistung = Potentielle Leistung - Motivationsverlust - Prozessverlust + Kompensationsleistungen einzelner

73 Leistungs- und Entscheidungsnachteile von Gruppen (kleine Auswahl nach Wilke und Wit, 2001) Hidden profile (verstecktes Profil - beste Lösung wird nicht erkannt) Common knowledge (Effekt des gemeinsamen Wissens - geteiltes Wissen wird diskutiert statt eigenes) Production blocking (Produktionsblockierung - Kommunikationsregeln unterdrücken Kreativität) Sucker (Trotteleffekt- Rücknahme der Anstrengung wegen Ausnutzung) Free-riding (Trittbrettfahrereffekt - Rücknahme der Anstrengung auf Kosten anderer) Social loafing (Soziales Faulenzen - unbewußtes Nachlassen der Anstrengung in Gruppen) Social inhibition (Soziale Hemmung - andere hemmen bei komplizierten oder ungeübten Aufgaben) Risky shift (Risikoschub - Gruppen sind leichtsinniger) Sociometric structure (Struktureffekte - ungünstige informelle Position, mobbing) Social comparison (soziale Vergleichseffekte, Demoralisierung, wenn die anderen besser sind) Prozesskoordinierung bei Heterogenität ( Binnendifferenzierung kann misslingen, diskriminieren)

74 Toll Ein Anderer Machts

75 Fazit: Auf die Lehrer und Lehrerinnen kommt es an!! (...nicht so stark auf Gruppe, auf Struktur und Organisation, auf Technik, auf Verwaltung...)

76 ENDE