Wie führe ich den Prozess der Datenanalyse an meiner Schule? Vortrag auf der kantonalen Tagung für Schulleitungen in Aarau 28. März 2012 Dr. Ursula Koch Projekt VERA koch@zepf.uni-landau.de
Theorie Überblick Modell zur Qualitätssicherung Rahmenmodell der Unterrichtsentwicklung Konkrete Umsetzung Datenanalyse Maßnahmenplanung und umsetzung Evaluation Zusammenfassung 2
Wer hat welche Aufgabe? Aufgabe Umgang mit Ergebnissen Auflösungsgrad der Daten Administration (Steuerleute) Entscheidungen für das Gesamtsystem Supervision der schulinternen Auswertung Schulleitung Koordination, innerschulische Kooperation gemeinsame Zielvereinbarungen Lehrkräfte guter Unterricht; Diagnose & Förderung Konsequenzen & Impulse für Unterrichtsentwicklung Schulen, Bezirke Klassen, Schule Schülerebene, Klasse 3
Modell zur Qualitätssicherung (nach Ditton, 2002) 4
Rahmenmodell der Unterrichtsentwicklung (nach Helmke, 2004) Individuelle Bedingungen Rückmeldungen aus Lernstandserhebungen Rezeption Reflexion Aktion Evaluation Schulische Bedingungen Externe Bedingungen 5
Erweitertes Modell der Unterrichtsentwicklung Fragen / Annahmen Daten Rezeption Reflexion Aktion Evaluation 6
Datenanalyse Fragen / Annahmen Daten Rezeption Reflexion Aktion Evaluation Schulische Bedingungen 7
Datenanalyse Fragen / Annahmen Daten Rezeption Reflexion Aktion Evaluation Schulische Bedingungen mit den eigenen Erwartungen bzw. Ergebnissen, die den eigenen Erwartungen widersprechen, beginnen Annahmen generieren Annahmen bestätigen bzw. alternative Erklärungen prüfen Nutzung verschiedener grafischer Darstellungen Verteilung Ausreißer in Beziehung setzen von Merkmalen iterativ (schrittweise, wiederholend) vorgehen Kommunikation über die Daten notwendig / hilfreich 8
Annahmen Fragen / Annahmen Daten Rezeption Reflexion Aktion Evaluation Schulische Bedingungen Wo vermute ich die Ursachen? auf der Ebene situativ, durch den Test einzelner Schülerinnen und Schüler der Klasse der Schule jenseits der Schule außergewöhnliche Umstände während der Durchführung Testvertrautheit der Kinder 9
Welche Fragen? Fragen / Annahmen Daten Rezeption Reflexion Aktion Evaluation Schulische Bedingungen Wer ist betroffen? Wie war die Situation? ein oder mehrere Kinder in der Klasse alle Kinder der Klasse alle Kinder der Schule alle Kinder überhaupt Testsituation Besonderheiten der Aufgaben 10
Welche Daten? Fragen / Annahmen Daten Rezeption Reflexion Aktion Evaluation Schulische Bedingungen 4 Datenquellen Schülerleistungen Demografische Daten Einstellungen/Wahrnehmungen Unterrichts und Schulprozesse (externe) Lernstandserhebungen Schriftliche und mündliche Noten Beobachtungen Geschlecht Nationalität, Sprachbeherrschung Anwesenheiten Schülerinnen und Schüler Eltern Lehrkräfte Unterschiedliche Instruktionen Binnendifferenzierung 11
Rezeption / Reflexion Fragen / Annahmen Daten Rezeption Reflexion Aktion Evaluation Schulische Bedingungen Analyse Vergleichsebenen Wechsel zwischen den Ebenen einzelner Daten in Beziehung setzen innerhalb einer Datenquelle mehrerer Datenquellen zueinander über die Zeit sozialer Vergleich, fairer Vergleich kriterial intraindividuell Zeit Individualdaten Klassendaten Bedeutung der Varianz, Ausreißer 12
Beispiel Erwartung: Mädchen sind in Deutsch besser als die Jungen Klasse 1 Punktdiagramm Klasse 1 Boxplot Mädchen Mädchen Junge Junge 0 2 4 6 8 10 12 14 Anzahl_gelöster_Leseaufgaben 0 2 4 6 8 10 12 14 Anzahl_gelöster_Leseaufgaben 13
Beispiel Erwartung: Mädchen sind in Deutsch besser als die Jungen Alternative Erklärungen: Das Problem ergibt sich durch die fehlende Sprachkompetenz ( Deutsch nicht dominante Sprache ). Klasse 1 Punktdiagramm Klasse 1 Boxplot n n j j 0 2 4 6 8 10 12 14 Anzahl_gelöster_Leseaufgaben 0 2 4 6 8 10 12 14 Anzahl_gelöster_Leseaufgaben 14
Beispiel Erwartung: Mädchen sind in Deutsch besser als die Jungen Alternative Erklärungen: Das Problem ergibt sich durch die fehlende Sprachkompetenz ( Deutsch nicht dominante Sprache ) Bei den Jungen gibt es mehr Kinder mit Deutsch als nicht dominanter Sprache Klasse 1 8 6 Junge4 Säulendiagramm Geschlecht 2 0 8 6 Mädchen4 2 Anzahl ( ) j n Dominante_Sprache_Deutsch 15
Beispiel Erwartung: Mädchen sind in Deutsch besser als die Jungen Alternative Erklärungen: Das Problem ergibt sich durch die fehlende Sprachkompetenz ( Deutsch nicht dominante Sprache ) Bei den Jungen gibt es mehr Kinder mit Deutsch als nicht dominanter Sprache Besonders die Jungen mit Deutsch als nicht dominante Sprache sind betroffen 16
Beispiel Klasse 1 Punktdiagramm Klasse 1 Boxplot Junge, deutsch Junge, nicht deutsch Mädchen, deutsch Mädchen, nicht deutsch 0 2 4 6 8 10 12 14 Anzahl_gelöster_Leseaufgaben Dominante_Sprache_Deutsch j n Junge, deutsch Junge, nicht deutsch Mädchen, deutsch Mädchen, nicht deutsch 0 2 4 6 8 10 12 14 Anzahl_gelöster_Leseaufgaben Dominante_Sprache_Deutsch j n 17
Beispiel Weitere Analyseansätze Wo liegen die besonderen Schwierigkeiten der Jungen, wo die besonderen Kompetenzen der Mädchen? Gilt dies in gleicher Weise für alle Aufgabenarten, alle Inhaltsbereiche? Vergleich mit Parallelklasse Klasse 1 Boxplot Klasse 2 Boxplot Mädchen Mädchen Junge Junge 0 2 4 6 8 10 12 14 Anzahl_gelöster_Leseaufgaben 0 2 4 6 8 10 12 14 16 18 Anzahl_gelöster_Leseaufgaben 18
Nach der Analyse 19
Welche Aktion? Fragen / Annahmen Daten Rezeption Reflexion Aktion Evaluation Schulische Bedingungen Maßnahme muss zur angenommenen Ursache passen Realisierung einer einzelnen oder mehrerer kombinierten Maßnahmen? Wer ist Adressat der Maßnahme? Welcher zeitliche Umfang ist geplant? Woran ist der Fortschritt erkennbar? 20
Maßnahmenplanung Fragen / Annahmen Daten Rezeption Reflexion Schulische Bedingungen Aktion Evaluation Problem / Ziel Maßnahme Adressat verantwortlich Indikator der Zielerreichung Termine Beginn, Ende Übungen mit der Balkenwaage; Übertragung auf Gleichung alle Kinder der Klasse Schwierigkeiten mit Gleichungen Mathematiklehrkraft 90% Lösungshäufigkeit bei Umformung von Gleichungen In den nächsten zwei Wochen 21
Maßnahmenplanung Fragen / Annahmen Daten Rezeption Reflexion Schulische Bedingungen Aktion Evaluation Problem / Ziel Maßnahme Adressat verantwortlich Indikator der Zielerreichung Termine Beginn / Ende Lesemotiva tion differenzierte Leseangebote einzelne Schüler Deutschlehrkraft Befragung der Schüler Lesestrategien vermitteln alle Kinder der Klasse tiefergehendes Textverständnis Deutschlehrkraft weiterführende Fragen an den Text Lesen in allen Fächern Fächerübergreifende Leseförderung ganzer Jahrgang Lehrkräfte der Jahrgangsstufe Verständnis von Sachtexten Unterstützung durch Eltern Elternabend Eltern Klassenlehrkraft Lesetagebuch 22
Maßnahmendurchführung Fragen / Annahmen Daten Rezeption Reflexion Aktion Evaluation Schulische Bedingungen Information aller Beteiligten: Schüler, Eltern, Lehrkräfte, Schulleitung Reflexionsphasen: Umgang mit Schwierigkeiten Dokumentation wichtiger Zwischenschritte, Abweichungen der Realisierung Rechenschaftslegung Hinweise zur Optimierung 23
Evaluieren der Fragen / Annahmen Daten Rezeption Reflexion Aktion Evaluation Maßnahmen Schulische Bedingungen Reflexionsphasen abschließende Evaluation Ziele der Maßnahmen erreicht? Endmessung o Befragung o erneuter Testeinsatz, an Ursprungstest angelehnte Klassenarbeit Vergleich mit o Eingangsmessung o mit einer anderen Teilgruppe Information aller Beteiligten: mündlich, Evaluationsbericht 24
Zusammenfassung Betrachtung der Wirkung von Unterricht / Unterrichtsentwicklung notwendig gründliche Analyse der Daten ist erforderlich Datendetektiv Durchführung von Maßnahmen Evaluation der Maßnahmen frühzeitig planen adaptive Maßnahmen ohne Einzelunterricht Klare Kommunikation nach innen und außen Haltung Schulleitung: unterstützen und einfordern 25
Vielen Dank für Ihre Aufmerksamkeit! 26
Literatur Ditton, H. (2002). Evaluation und Qualitätssicherung. In R. Tippelt (Hrsg.), Handbuch Bildungsforschung (S. 775 790). Opladen: Leske + Budrich. Helmke, A. (2004). Von der Evaluation zur Innovation: Pädagogische Nutzbarmachung von Vergleichsarbeiten in der Grundschule. SEMINAR Lehrerbildung und Schule, 2, 90 112. Hosenfeld, I., Groß Ophoff, J. & Bittins, P. (2006). Vergleichsarbeiten und Schulentwicklung. Schulmanagement Handbuch, 25 (118). Key Curriculum Press. (2006) Fathom 2 [Computer software]. Emeryville, CA: Key Curriculum Press. Demoversion verfügbar unter: http://www.mathematik.uni kassel.de/~fathom/. Koch, U. (2011). Verstehen Lehrkräfte Rückmeldungen aus Vergleichsarbeiten? Datenkompetenz von Lehrkräften und die Nutzung von Ergebnisrückmeldungen aus Vergleichsarbeiten. Münster: Waxmann. 27