Integrierte Datennutzung an allgemeinbildenden Schulen oder 8 Regeln für die totale Folgenlosigkeit von Evaluation in Schulen

Transkript

1 Integrierte Datennutzung an allgemeinbildenden Schulen oder 8 Regeln für die totale Folgenlosigkeit von Evaluation in Schulen Klaudia Schulte & Marnie Schlüter Speyer, 17. September 2015

2 2

3 Gliederung 1. Ausgangspunkt 2. Projekt IDA struktureller Rahmen 3. Wirk- und Disseminationsmodell 4. empirische Teilstudien 5. Zentrale Befunde 6. 8 Regeln für die totale Folgenlosigkeit von Evaluation 3

4 1. Ausgangspunkt 2. Projekt IDA struktureller Rahmen 3. Wirk- und Disseminationsmodell 4. empirische Teilstudien 5. Zentrale Befunde 6. 8 Regeln für die totale Folgenlosigkeit von Evaluation 4

5 Ausgangspunkt: Rückmeldungen des IfBQ für Schulen KERMIT: Schulleistungstests in Deutsch-Leseverstehen, Mathematik, Naturwissenschaften und Englisch (Leseverstehen und Hörverstehen), Erhebung einmal pro Jahr in den Jahrgängen 2, 3, 5, 7, 8 und 9 Schulinspektion: Gewinn und Bereitstellung empirischer Erkenntnisse über Schulen, um Mindeststandards schulischer Qualität zu sichern und Schulentwicklung zu stimulieren, eine Inspektion findet alle fünf bis sieben Schuljahre statt Schule im Überblick: Datenreport, der das Einzugsgebiet der Schule, die schulische Herkunft bzw. die Schulwahl und das sozialräumliche Umfeld der Schule sowie die soziale und ethnische Zusammensetzung der Schülerschaft, die Abschlussquoten der Schule, bei Gymnasien etc. aufbereitet. Einmal jährlich, auf Basis schulstatistischer und sozialräumlicher Daten. Rückmeldung zur Umsetzung des Sprachförderkonzepts: Evaluation des Ausmaß des Sprachförderbedarfs, schulischer Rahmenbedingungen (Ressourceneinsatz, Qualifikation der Förderlehrkräfte und Sprachlernberaterinnen und -berater) und der Umsetzung des Hamburger Sprachförderkonzeptes (Qualität und Probleme der Umsetzung der verschiedenen Elemente des Sprachförderkonzeptes), einmal jährlich. Zentrale Prüfungen: Bisher keine Schulrückmeldungen 5

6 Ausgangspunkt Verschiedene externe Evaluationsdaten für Schulen in Hamburg, z.b. die Ergebnisse von Vergleichsarbeiten (KERMIT) oder der Schulinspektionsbericht im Rahmen von Bildungsmonitoring Welche Daten gibt es und wofür können sie von wem und bei welcher Gelegenheit genutzt werden? Wie gehen Schulen damit um? Wie passen verschiedene Datenquellen zusammen? Welche Daten können dabei helfen, eine Vision und Ziele für Schulen zu entwickeln? Was bringt es, sich über Daten Gedanken zu machen, während im Schulalltag ganz andere Dinge obenauf liegen? 6

7 1. Ausgangspunkt 2. Projekt IDA struktureller Rahmen 3. Wirk- und Disseminationsmodell 4. empirische Teilstudien 5. Zentrale Befunde 6. 8 Regeln für die totale Folgenlosigkeit von Evaluation 7

8 Projekt IDA struktureller Rahmen Laufzeit von Juli 2014 Ende August 2015 Ziel: Erstellung eines Konzepts Stand der Forschung bzgl. datengestützter Schulentwicklung Bestandsaufnahme der aktuellen Nutzungssituation datengestützter Rückmeldungen Problemanalyse & Strategien, mit denen die systematische Datennutzung an Schulen unterstützt werden kann Vorarbeiten für eine Hamburger Gesamtstrategie datengestützter SE Befragung von über 300 Akteuren (Schulleitungen, Datenbeauftragte, Lehrkräfte, Schulaufsichtsbeamte, Externe) mit quantitativen und qualitativen Instrumenten Installation einer Arbeitsgruppe am IfBQ Diskussion aller Rückmeldungen Gemeinsame Erarbeitung von Teilen des Konzepts Entwicklung eines Wirkmodells Stichwort integrierte Datennutzung 8

9 1. Ausgangspunkt 2. Projekt IDA struktureller Rahmen 3. Wirk- und Disseminationsmodell 4. empirische Teilstudien 5. Zentrale Befunde 6. 8 Regeln für die totale Folgenlosigkeit von Evaluation 9

10 Wirk- und Disseminationsmodell Integrierte Datennutzung 10

11 1. Ausgangspunkt 2. Projekt IDA struktureller Rahmen 3. Wirk- und Disseminationsmodell 4. empirische Teilstudien 5. Zentrale Befunde 6. 8 Regeln für die totale Folgenlosigkeit von Evaluation 11

12 Empirische Teilstudien 1. Workshop mit Schulformexpertinnen und -experten (Nov. 2014) 5 Schulformexpertinnen und -experten (2 Gymnasien, Sozialindex 5; 3 Grundschulen, Sozialindex 1, 4 & 6) 2. Gespräch Schulleitungen (Dez. 2014) 5 Schulleitungen (3 Grundschulen, 1 Gymnasium, 1 Stadtteilschule) 3. Analyse von vorhandenen Interviews, 2. Zyklus Schulinspektion Von 112 Schulen zufällige Auswahl von je 4 Schulen pro Schulform und pro Datennutzung stark/schwach N = 24 Schulen 96 Interviews, davon 48 mit Lehrkräften und Schulleitungen. SuS und Eltern nur ausgewertet, wenn Datennutzung in Kurzprotokoll erwähnt (N = 41) 4. Interviews im Rahmen von IDA (April 2015) Leitfadengestützte Interviews mit je 2 Schulen pro Schulform mit hoher und niedriger Datennutzung plus ein Gymnasium (convenience sampling) N = 7 Schulen (6 SL, eine Eva-Beauftragte) 5. Online-Fragebogenbefragung (N = 127, davon 70 Schulleitungen) 12

13 1. Ausgangspunkt 2. Projekt IDA struktureller Rahmen 3. Wirk- und Disseminationsmodell 4. empirische Teilstudien 5. Zentrale Befunde 6. 8 Regeln für die totale Folgenlosigkeit von Evaluation 13

14 Zentrale Befunde Der Umgang mit datengestützten Rückmeldungen variiert stark von Schule zu Schule (abhängig von Schulform, Sozialindex und Datenbeauftragte/r), von sehr datenaffinen Schulen hin zu sehr kritischen Schulen in Bezug auf Datennutzung Eigenlogiken der Akteure (Governance-Perspektive), Innovationskapazität Unterschiedliche Bedarfslagen in Bezug auf Fortbildung und Beratung Schulleitungen nutzen Rückmeldungen intensiver als Lehrkräfte und zeigen positivere Einstellungen Die Referenzebene von Lehrkräften ist nicht das Schulsystem sondern die Interaktion mit Schülerinnen und Schülern KERMIT und Inspektion sind am stärksten institutionalisiert und in den Schulen verankert, erzeugen jedoch am meisten Druck Von low-stakes zu high-stakes durch Wettbewerb innerhalb und außerhalb der Schulen? 14

15 Zentrale Befunde Zusammenhang der Daten untereinander ist oft unklar, wird gerade bei abweichenden Ergebnistendenzen auch von den Schulleitungen thematisiert ( Sprachlosigkeit auf allen Akteursebenen) Vereindeutigung widersprüchlicher Ergebnisse durch höhere Priorisierung der KERMIT-Ergebnisse Positive Bewertungen der Handhabbarkeit der Rückmeldungen Viele Beispiele für gelungene Konsequenzen aus den Rückmeldungen (Maßnahmen der Schul- und Unterrichtsentwicklung) Teilweise Schwierigkeiten (organisatorisch, inhaltlich, Sorgen bzgl. Datenschutz) Wunsch nach mehr Unterstützung 15

16 Zentrale Befunde Alle Schulen arbeiten mit diversen weiteren Daten diagnostische Testverfahren interne Evaluationen Noten Jährliches Statusgespräch mit der Schulaufsicht wird eher als Kontrolle und weniger als Unterstützung wahrgenommen 16

17 1. Ausgangspunkt 2. Projekt IDA struktureller Rahmen 3. Wirk- und Disseminationsmodell 4. empirische Teilstudien 5. Zentrale Befunde 6. 8 Regeln für die totale Folgenlosigkeit von Evaluation 17

18 8 Regeln für die totale Folgenlosigkeit von Evaluation in Schulen 1. Verwenden Sie in der Rückmeldung wissenschaftliche Fachterminologie und unterlassen Sie jede Reduktion von Komplexität. 2. Verweisen Sie bei widersprüchlichen oder schwierigen Ergebnissen auf Ihre wissenschaftliche Expertise, ohne Nachfragen konkret zu beantworten. 3. Fahren Sie nach der Veröffentlichung der Ergebnisse für mindestens zwei Wochen in den wohlverdienten Urlaub. 4. Stören Sie sich nicht daran, dass die Schule ggf. mit Reaktionen der Eltern oder Schüler-/innen konfrontiert sein wird. 5. Veröffentlichen Sie alle Rückmeldungen im Internet und erstellen Sie Rankings, die Sie mit Anekdoten über schwierige Schulen ausschmücken. 6. Bieten Sie keine Beratungen, Fortbildungen oder unterstützende Materialien an. Falls Sie diese doch anbieten, gehen Sie in keinem Fall auf die konkrete Situation an den Schulen ein. 7. Betonen Sie die Kontrollfunktion der Erhebungen und drohen Sie ernsthafte Konsequenzen an, wenn Standards nicht erreicht werden. 8. Erwarten Sie nur von Schulen kontinuierliche Qualitätsentwicklung. Qualitätsentwicklung in Ihrer Organisation steht auf einem anderen Blatt. 18

19 Vielen Dank!