Wie führe ich den Prozess der Datenanalyse an meiner Schule?

Transkript

1 Wie führe ich den Prozess der Datenanalyse an meiner Schule? Vortrag auf der kantonalen Tagung für Schulleitungen in Aarau 28. März 2012 Dr. Ursula Koch Projekt VERA

2 Theorie Überblick Modell zur Qualitätssicherung Rahmenmodell der Unterrichtsentwicklung Konkrete Umsetzung Datenanalyse Maßnahmenplanung und umsetzung Evaluation Zusammenfassung 2

3 Wer hat welche Aufgabe? Aufgabe Umgang mit Ergebnissen Auflösungsgrad der Daten Administration (Steuerleute) Entscheidungen für das Gesamtsystem Supervision der schulinternen Auswertung Schulleitung Koordination, innerschulische Kooperation gemeinsame Zielvereinbarungen Lehrkräfte guter Unterricht; Diagnose & Förderung Konsequenzen & Impulse für Unterrichtsentwicklung Schulen, Bezirke Klassen, Schule Schülerebene, Klasse 3

4 Modell zur Qualitätssicherung (nach Ditton, 2002) 4

5 Rahmenmodell der Unterrichtsentwicklung (nach Helmke, 2004) Individuelle Bedingungen Rückmeldungen aus Lernstandserhebungen Rezeption Reflexion Aktion Evaluation Schulische Bedingungen Externe Bedingungen 5

6 Erweitertes Modell der Unterrichtsentwicklung Fragen / Annahmen Daten Rezeption Reflexion Aktion Evaluation 6

7 Datenanalyse Fragen / Annahmen Daten Rezeption Reflexion Aktion Evaluation Schulische Bedingungen 7

8 Datenanalyse Fragen / Annahmen Daten Rezeption Reflexion Aktion Evaluation Schulische Bedingungen mit den eigenen Erwartungen bzw. Ergebnissen, die den eigenen Erwartungen widersprechen, beginnen Annahmen generieren Annahmen bestätigen bzw. alternative Erklärungen prüfen Nutzung verschiedener grafischer Darstellungen Verteilung Ausreißer in Beziehung setzen von Merkmalen iterativ (schrittweise, wiederholend) vorgehen Kommunikation über die Daten notwendig / hilfreich 8

9 Annahmen Fragen / Annahmen Daten Rezeption Reflexion Aktion Evaluation Schulische Bedingungen Wo vermute ich die Ursachen? auf der Ebene situativ, durch den Test einzelner Schülerinnen und Schüler der Klasse der Schule jenseits der Schule außergewöhnliche Umstände während der Durchführung Testvertrautheit der Kinder 9

10 Welche Fragen? Fragen / Annahmen Daten Rezeption Reflexion Aktion Evaluation Schulische Bedingungen Wer ist betroffen? Wie war die Situation? ein oder mehrere Kinder in der Klasse alle Kinder der Klasse alle Kinder der Schule alle Kinder überhaupt Testsituation Besonderheiten der Aufgaben 10

11 Welche Daten? Fragen / Annahmen Daten Rezeption Reflexion Aktion Evaluation Schulische Bedingungen 4 Datenquellen Schülerleistungen Demografische Daten Einstellungen/Wahrnehmungen Unterrichts und Schulprozesse (externe) Lernstandserhebungen Schriftliche und mündliche Noten Beobachtungen Geschlecht Nationalität, Sprachbeherrschung Anwesenheiten Schülerinnen und Schüler Eltern Lehrkräfte Unterschiedliche Instruktionen Binnendifferenzierung 11

12 Rezeption / Reflexion Fragen / Annahmen Daten Rezeption Reflexion Aktion Evaluation Schulische Bedingungen Analyse Vergleichsebenen Wechsel zwischen den Ebenen einzelner Daten in Beziehung setzen innerhalb einer Datenquelle mehrerer Datenquellen zueinander über die Zeit sozialer Vergleich, fairer Vergleich kriterial intraindividuell Zeit Individualdaten Klassendaten Bedeutung der Varianz, Ausreißer 12

13 Beispiel Erwartung: Mädchen sind in Deutsch besser als die Jungen Klasse 1 Punktdiagramm Klasse 1 Boxplot Mädchen Mädchen Junge Junge Anzahl_gelöster_Leseaufgaben Anzahl_gelöster_Leseaufgaben 13

14 Beispiel Erwartung: Mädchen sind in Deutsch besser als die Jungen Alternative Erklärungen: Das Problem ergibt sich durch die fehlende Sprachkompetenz ( Deutsch nicht dominante Sprache ). Klasse 1 Punktdiagramm Klasse 1 Boxplot n n j j Anzahl_gelöster_Leseaufgaben Anzahl_gelöster_Leseaufgaben 14

15 Beispiel Erwartung: Mädchen sind in Deutsch besser als die Jungen Alternative Erklärungen: Das Problem ergibt sich durch die fehlende Sprachkompetenz ( Deutsch nicht dominante Sprache ) Bei den Jungen gibt es mehr Kinder mit Deutsch als nicht dominanter Sprache Klasse Junge4 Säulendiagramm Geschlecht Mädchen4 2 Anzahl ( ) j n Dominante_Sprache_Deutsch 15

16 Beispiel Erwartung: Mädchen sind in Deutsch besser als die Jungen Alternative Erklärungen: Das Problem ergibt sich durch die fehlende Sprachkompetenz ( Deutsch nicht dominante Sprache ) Bei den Jungen gibt es mehr Kinder mit Deutsch als nicht dominanter Sprache Besonders die Jungen mit Deutsch als nicht dominante Sprache sind betroffen 16

17 Beispiel Klasse 1 Punktdiagramm Klasse 1 Boxplot Junge, deutsch Junge, nicht deutsch Mädchen, deutsch Mädchen, nicht deutsch Anzahl_gelöster_Leseaufgaben Dominante_Sprache_Deutsch j n Junge, deutsch Junge, nicht deutsch Mädchen, deutsch Mädchen, nicht deutsch Anzahl_gelöster_Leseaufgaben Dominante_Sprache_Deutsch j n 17

18 Beispiel Weitere Analyseansätze Wo liegen die besonderen Schwierigkeiten der Jungen, wo die besonderen Kompetenzen der Mädchen? Gilt dies in gleicher Weise für alle Aufgabenarten, alle Inhaltsbereiche? Vergleich mit Parallelklasse Klasse 1 Boxplot Klasse 2 Boxplot Mädchen Mädchen Junge Junge Anzahl_gelöster_Leseaufgaben Anzahl_gelöster_Leseaufgaben 18

19 Nach der Analyse 19

20 Welche Aktion? Fragen / Annahmen Daten Rezeption Reflexion Aktion Evaluation Schulische Bedingungen Maßnahme muss zur angenommenen Ursache passen Realisierung einer einzelnen oder mehrerer kombinierten Maßnahmen? Wer ist Adressat der Maßnahme? Welcher zeitliche Umfang ist geplant? Woran ist der Fortschritt erkennbar? 20

21 Maßnahmenplanung Fragen / Annahmen Daten Rezeption Reflexion Schulische Bedingungen Aktion Evaluation Problem / Ziel Maßnahme Adressat verantwortlich Indikator der Zielerreichung Termine Beginn, Ende Übungen mit der Balkenwaage; Übertragung auf Gleichung alle Kinder der Klasse Schwierigkeiten mit Gleichungen Mathematiklehrkraft 90% Lösungshäufigkeit bei Umformung von Gleichungen In den nächsten zwei Wochen 21

22 Maßnahmenplanung Fragen / Annahmen Daten Rezeption Reflexion Schulische Bedingungen Aktion Evaluation Problem / Ziel Maßnahme Adressat verantwortlich Indikator der Zielerreichung Termine Beginn / Ende Lesemotiva tion differenzierte Leseangebote einzelne Schüler Deutschlehrkraft Befragung der Schüler Lesestrategien vermitteln alle Kinder der Klasse tiefergehendes Textverständnis Deutschlehrkraft weiterführende Fragen an den Text Lesen in allen Fächern Fächerübergreifende Leseförderung ganzer Jahrgang Lehrkräfte der Jahrgangsstufe Verständnis von Sachtexten Unterstützung durch Eltern Elternabend Eltern Klassenlehrkraft Lesetagebuch 22

23 Maßnahmendurchführung Fragen / Annahmen Daten Rezeption Reflexion Aktion Evaluation Schulische Bedingungen Information aller Beteiligten: Schüler, Eltern, Lehrkräfte, Schulleitung Reflexionsphasen: Umgang mit Schwierigkeiten Dokumentation wichtiger Zwischenschritte, Abweichungen der Realisierung Rechenschaftslegung Hinweise zur Optimierung 23

24 Evaluieren der Fragen / Annahmen Daten Rezeption Reflexion Aktion Evaluation Maßnahmen Schulische Bedingungen Reflexionsphasen abschließende Evaluation Ziele der Maßnahmen erreicht? Endmessung o Befragung o erneuter Testeinsatz, an Ursprungstest angelehnte Klassenarbeit Vergleich mit o Eingangsmessung o mit einer anderen Teilgruppe Information aller Beteiligten: mündlich, Evaluationsbericht 24

25 Zusammenfassung Betrachtung der Wirkung von Unterricht / Unterrichtsentwicklung notwendig gründliche Analyse der Daten ist erforderlich Datendetektiv Durchführung von Maßnahmen Evaluation der Maßnahmen frühzeitig planen adaptive Maßnahmen ohne Einzelunterricht Klare Kommunikation nach innen und außen Haltung Schulleitung: unterstützen und einfordern 25

26 Vielen Dank für Ihre Aufmerksamkeit! 26

27 Literatur Ditton, H. (2002). Evaluation und Qualitätssicherung. In R. Tippelt (Hrsg.), Handbuch Bildungsforschung (S ). Opladen: Leske + Budrich. Helmke, A. (2004). Von der Evaluation zur Innovation: Pädagogische Nutzbarmachung von Vergleichsarbeiten in der Grundschule. SEMINAR Lehrerbildung und Schule, 2, Hosenfeld, I., Groß Ophoff, J. & Bittins, P. (2006). Vergleichsarbeiten und Schulentwicklung. Schulmanagement Handbuch, 25 (118). Key Curriculum Press. (2006) Fathom 2 [Computer software]. Emeryville, CA: Key Curriculum Press. Demoversion verfügbar unter: kassel.de/~fathom/. Koch, U. (2011). Verstehen Lehrkräfte Rückmeldungen aus Vergleichsarbeiten? Datenkompetenz von Lehrkräften und die Nutzung von Ergebnisrückmeldungen aus Vergleichsarbeiten. Münster: Waxmann. 27