Prof. Dr. Harm Kuper Fachbereich Erziehungswissenschaft und Psychologie Arbeitsbereich Weiterbildung und Bildungsmanagement Freie Universität Berlin Wirkungen und Gelingensbedingungen evidenzbasierter Schulreform Von Daten zu Taten oder: Nutzbarmachung datengestützter Rückmeldung für die Schulentwicklung Deutsche Gesellschaft für Bildungsverwaltung Hamburg, 19. Juni 2015
KMK-Strategie vergleichender Schulleistungsstudien Vergleiche und Referenzen Auswirkungen von Vergleichen Nutzung von Vergleichsstudien Schulorganisation und Nutzung Geteilte Verantwortung der Nutzung Ergebnisse und Nutzung
Zeitpunkte für die Datenerhebung internationaler und nationaler Schulvergleichsstudien LV 2011 LV 2016 LV 2021 LV 2009 1 LV 2012 LV 2015 LV 2018 LV 2021 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 PISA PISA PISA PISA PISA TIMSS TIMSS TIMSS PIRLS PIRLS PIRLS IQB Ländervergleichsstudien auf Basis der Bildungsstandards Mathematik und Naturwissenschaften in der Sekundarstufe I Deutsch, Englisch und Französisch in der Sekundarstufe I Deutsch und Mathematik in der Primarstufe Anmerkung. 1 Für das Fach Französisch fand die Datenerhebung bereits 2008 statt. (Pant, Stanat, Pöhlmann, Böhme 2013, S. 15)
Typen von Schulvergleichsstudien 1. Individuelle Zertifizierung durch zentrale Tests oder Prüfungen mit berechtigender Wirkung 1.Abschlussprüfungen 2.Zugangsprüfungen 2. Flächendeckende Evaluation von Einzelschulen bzw. ausgewählten Jahrgängen an Einzelschulen Wettbewerbsmodell a) ohne Berücksichtigung von Ausgangsbedingungen b) mit Berücksichtigung von Ausgangsbedingungen (value added approach) Modell professioneller Qualitätsentwicklung und Qualitätssicherung a) Separierung von Beratung und Kontrolle/Steuerung b) Verbindung von Beratung und Kontrolle/Steuerung 3. Systemmonitoring auf Stichprobenbasis 4. Internationale Vergleichsstudien auf Stichprobenbasis (vgl. Baumert 2001)
Vergleichshorizonte Adressaten Funktionen Vergleichshorizonte Adressaten Funktionen Internationale Studien z.b. PISA OECD-Referenzwerte; Nationale Bildungssysteme; Systemvergleiche Bildungsstandards Bildungspolitik; Öffentlichkeit Leistungsfähigkeit nat. Bildungssysteme; Kalibrierung fachl. Kompetenzstufen Nationale Studien LV Nationale Referenzwerte; Bundesländer; Bildungspolitik; Administration; Öffentlichkeit Schulstruktur; Curriculum; Abschlüsse; Professionalisierung Schulvergleiche VERA Referenzwerte Länder; (ähnliche) Schulen; Klassen Schulleitungen; Lehrerinnen/Lehrer; Administration Schulintern: Leistungserwartungen; Schul-/Unterrichtsentwicklung Schulextern: Accountability
Vergleiche nach Merkmalen nationaler Bildungssysteme School Accountability, Autonomy, Choice (Wößmann u.a. 2007) 20 15 Differenz durchschnittlicher PISA-Ergebnisse (2003) 16,2 10 10 5 2,3 5,3 3,2 0-5 External exit exams Assessment for promotion Assessment for grouping -6,1 Assessment for comparison Principal monitors teacher lessons External inspection of teacher lessons -10
Vergleiche nach Merkmalen nationaler Bildungssysteme School Accountability, Autonomy, Choice (Wößmann u.a. 2007) 8 6 4 Differenz durchschnittlicher PISA- Ergebnisse (2003) 5,7 4,3 2 0-2 Autonomy in formulating budget autonomy in staffing decisions autonomy in hiring teachers -4-6 -8-7,3
Informationswert zentraler Abschlussprüfungen auf dem Arbeitsmarkt (Piopiunik et al. 2014, S. 53)
Transmissionsriemen der Vergleichsstudien auf die Leistungserbringung im System (formal) (vgl. Helmke 2006)
Transmissionsriemen der Vergleichsstudien auf die Leistungserbringung im System (formal) Konditionalprogrammierung Prozesse werden durch Bedingungen ausgelöst (Lernausgangslagen) Keine Outputkontrolle, ev. Legitimation des outputs anhand der Ausgangslagen Input Prozess Output Zweckprogrammierung Prozesse werden auf Zielerreichung eingerichtet Retroaktive Nutzung Erfahrung für Prozessgestaltung; Input Input Prozess Output (vgl. Luhmann 2000)
Transmissionsriemen der Vergleichsstudien auf die Leistungserbringung im System (empirisch) Prüfungsaufgaben International uneindeutige Entwicklung des kog. Anspruchniveaus (zusammenfassend Klein u.a. 2014) Beurteilungsstandards Verminderung sozialer Bezugsnormorientierung in HH und BW (Neumann u.a. 2011) Fach- und kursspezifische Bezugsnormorientierung in HB und H (Holmeier 2013) Unterricht Einschränkung der Möglichkeit individueller Förderung in NRW Einschränkung der Themenvarianz (Kühn/Racherbäumer 2013) Hohe Intensität der Prüfungsvorbereitung BW (van Ackeren u.a. 2012) Länder- und fachspezifische Variation von Elaborationsstrategien in HB und H (Maag Merki 2011) Organisation Kooperation während der Implementation in HB und H Kooperation begünstigt kriteriale Beurteilung (Holmeier 2013)
Schulorganisatorische Bedingungen der Nutzung von VERA-Rückmeldungen (Kuper 2013 BMBF Schwerpunkt empirische Bildungsforschung)
Schulorganisatorische Bedingungen der Nutzung von VERA-Rückmeldungen (Kuper 2013 BMBF Schwerpunkt empirische Bildungsforschung) Fall I Schulleitung / Stellvertretende SL Evaluationskritisch Kein Informationsgewinn durch VERA Selbstverständnis demokrat. Führung Kein schulübergreifendes Konzept Delegation Delegation Koordinierungsstelle VERA Durchführung Berichtslegung Gremien/Fachgruppen Operative Aufarbeitung der Ergebnisse Lehrerkollegium Mangel an konzept. Rahmung & Information Heterogene Reaktionen Passive Einstellung
Schulorganisatorische Bedingungen der Nutzung von VERA-Rückmeldungen (Kuper 2013 BMBF Schwerpunkt empirische Bildungsforschung) Fall II Schulleitung / Stellvertretende SL Identifikation von Handlungsbedarf Einforderung von Berichten aus den FB Überantwortung operativer Durchführung Handlungsbedarf Bericht Steuerungsgruppe VERA Stimmt strategische Ausrichtung ab Koordiniert Maßnahmen Gremien/Fachgruppen Routine Lehrerkollegium Entscheidung über Durchführung Kommunikation in FG Routine ind. verantwortete Maßnahmen gemeinsame Zielorientierung
Nutzung von VERA-Rückmeldungen durch Schulleitungen, Fachgruppen, Lehrerinnen und Lehrer (Kuper 2014 BMBF Schwerpunkt empirische Bildungsforschung) Befragungsdaten (Mai 2014 und Mai 2015) 115 Berliner und Brandenburger Schulen Sek I (VERA 8) Schulorganisation Schulleitung VERA-Nutzung nach Akteur Rezeption Reflexion Aktion VERA-Daten (2010-2014) Bildungsstandard - Schulmittelwerte - Standardabweichungen in Schulen - Klassenmittelwerte - Standardabweichungen in Klassen
Nutzung von VERA-Rückmeldungen durch Schulleitungen, Fachgruppen, Lehrerinnen und Lehrer (Kuper 2014 BMBF Schwerpunkt empirische Bildungsforschung) Relative Häufigkeiten der Rezeptionsformen nach SL/FB/LK FB Klassenübergreifende Vergleiche SL Klassenübergreifende Vergleiche LK Klasseninterne Vergleiche FB Klasseninterne Vergleiche LK Aufgaben/Personen FB Aufgaben/Personen,0,1,2,3,4,5,6,7,8,9 1,0
Nutzung von VERA-Rückmeldungen durch Schulleitungen, Fachgruppen, Lehrerinnen und Lehrer (Kuper 2014 BMBF Schwerpunkt empirische Bildungsforschung) Relative Häufigkeiten der Reflexionsformen nach SL/FB/LK Refl_Beurteil_LK Refl_Beurteil_FB Refl_Beurteil_SL Refl_Unterricht_LK Refl_Unterricht_FB Refl_Schüler_LK Refl_Schüler_FB,0,1,2,3,4,5,6,7,8,9 1,0
Nutzung von VERA-Rückmeldungen durch Schulleitungen, Fachgruppen, Lehrerinnen und Lehrer (Kuper 2014 BMBF Schwerpunkt empirische Bildungsforschung)
Nutzung von VERA-Rückmeldungen durch Schulleitungen, Fachgruppen, Lehrerinnen und Lehrer (Kuper 2014 BMBF Schwerpunkt empirische Bildungsforschung) Relative Häufigkeiten der Aktionsformen nach SL/FB/LK Akt_Schulentw_LK Akt_Schulentw_FB Akt_Schulentw_SL Akt_SchulintVgl_LK Akt_SchulintVgl_FB Schulübergreifende Maßnahmen Elaborierte Strategien der Nutzung von Vergleichen zwischen Klassen Akt_VERAPrüf_LK Akt_VERAPrüf_FB Akt_VERAUnter_LK Oberflächenstrategien der Anpassung an Tests Akt_VERAUnter_FB Akt_AbstInh_LK Akt_AbstInh_FB Akt_IndFörd_LK Akt_IndFörd_FB Elaborierte Strategien Curriculum Individualförderung,0,1,2,3,4,5,6,7,8,9 1,0
Das Helmke-Modell: Theoretisch schön, aber auch empirisch? a A =1.19***(.58) a B =1.48***(.47) Reflexion b A = 1.19*** (.69) b B =.98*** (.65) Rezeption c Aktion Indirekter Effekt a*b A =1.41*** (.40) a*b B =1.45*** (.30) Totaler Effekt c+a*b A =1.62*** (.46) ISQ-Forschungskolloquium 19. März 2015 c+a*b B =1.94*** (.41) R² ReflexionA =.33 R² AktionA =.53 R² ReflexionB =.22 R² AktionB =.49
Aktivitäten der Akteure a A = n.s. a B =.85***(.51) Fachbereichsleitung b A =.50*** (.51) b B =.36** (.43) Schulleitung c Lehrkraft Indirekter Effekt a*b A =n.s. a*b B =.31** (.22) Totaler Effekt c+a*b A =n.s. c+a*b B =.36* (.26) ISQ-Forschungskolloquium 19. März 2015 R² FachbereichA =.31 R² LehrkraftA =.02 R² FachbereichB =.26 R² LehrkraftB =.20
Ergebnisse Korrelationsanalysen (VERA-Aktivitäten und -Leistung) Rezeption Land A Land B GESAMT Leistung Deutsch Mathematik Deutsch Mathematik Deutsch Mathematik VERA-Skalen SL FBL LK SL FBL LK SL FBL LK SL FBL LK SL FBL LK SL FBL LK Rezeption der Rückmeldung auf Klassenebene Rezeption der Rückmeldung (klassenübergreifend) Reflexion Reflexion auf Schüler/-innen-Ebene -,20** -,20* Reflexion auf Unterrichtsebene Reflexion der Beurteilungsstandards -,46** -,43** -,20* -,20* Aktion: Individuelle Förderung -.48 ** -,48** Aktion: Abstimmung der Inhalte Aktion: VERA-Aufgaben im Unterricht -.48** -,42** -,21* -,31** Aktion Aktion: VERA-Aufgaben in Klassenarbeiten Aktion: Schulinterner Vergleich (Bildungsstandards) -,33* Aktion: Schulentwicklung -,27* Aktion: Hospitation,24* Aktion: Externe Kommunikation
Zusammenhänge zwischen VERA-Ergebnissen und VERA-Nutzung (Kuper 2014 BMBF Schwerpunkt empirische Bildungsforschung) Durchschnittliche VERA-Ergebnisse der Schulen in Mathe & Deutsch korrelieren moderat negativ mit - allg. Nutzeneinschätzung VERA - Reflexion der Beurteilung durch LK - Übernahme VERA-Inhalte/-Formate LK/FB Schulleiteraktivitäten Rezeption (klassenübergreifende Vergleiche) korrelieren stark positiv mit Reflexion der Beurteilung durch Schulleitung Schulleiteraktivitäten Aktion (Schulentwicklung) korrelieren moderat positiv mit - Reflexion (Schüler/Unterricht) LK/FB - Aktion (Austausch/Abstimmung) LK/FB
Resümee Charakteristisch für jeden dieser Befunde ist, dass keiner direkte Entscheidungshilfen liefert, sondern eher die Komplexität von Entscheidungssituationen vergrößert. Nutzen wird erst im reflexiven Gebrauch der Ergebnisse erzeugt. (Baumert 2001) Vergleichsarbeiten bieten: - Referenzen für die Beurteilung von Schulleistungen - Diskussionsstoff für curriculare Fragen - Ansatzpunkte für Strategien der Schulentwicklungsplanung - keine schulscharfen Informationen über - keine Rückschlüsse auf Effekte interventiver Maßnahmen
Literatur Baumert, J. (2001): Vergleichende Leistungsmessung im Bildungsbereich. In: Oelkers, J. (Hrsg.) Zukunftsfragen der Bildung. Z.f.Päd. Sonderheft 43. Weinheim. 13-36. Klein, D.; Krüger, M.; Kühn, S.; Ackeren, I. van (2014): Wirkungen zentraler Abschlussprüfungen im Mehrebenensystem der Schule. In: Zeitschrift für Erziehungswissenschaft, H.1., 7-33. Pant, A.; Stanat, P.; Pöhlmann, C.; Böhme, K. (2013): Die Bildungsstandards im allgemeinbildenden Schulsystem. In: Pant u.a. (Hrsg.): IQB-Ländervergleich 2012. Waxmann. 13-22. Piopiunik, M.; Schwerdt, G.; Wößmann, L. (2014): Zentrale Abschlussprüfungen, Signalwirkung von Abiturnoten und Arbeitsmarkterfolg in Deutschland. In: Zeitschrift für Erziehungswissenschaft, H. 1, 35-60. Wößmann, L.; Lüdemann, E.; Schütz, G.; West, M. (2007): School Accountability, Autonomy, Choice, and the Level of Student Achievement. OECD working papers.