Erfahrungen aus Schulrückmeldungen. ckmeldungen im Projekt VERA

Transkript

1 Projekt VERA Erfahrungen aus Schulrückmeldungen ckmeldungen im Projekt VERA Universität Koblenz - Landau, Campus Landau Projekt VERA ( Projektverbund Empirische Bildungsforschung Überblick Nutzung von Rückmeldungen Von Evaluation zur Innovation... VERA-Zyklus Ergebnisse zur Rezeption und Nutzung von VERA Fazit Groß Ophoff & Koch, Universität Landau 2 1

2 Nutzung von RückmeldungenR Kohler & Schra (2004): Rückmeldung von Leistungsformationen führt nicht automatisch zu schulischen Innovationsprozessen Kluger & DeNisi (1996, 1998): zweischneidiges Schwert, aber moat positiver Effekt Hattie & Timperley (2007): wirksames Feedback bezieht sich auf kognitive und/o regulatorische Prozesse Rossi, Lipsey & Freeman (1999), Visscher & Coe (2002): strumentelle Nutzung (Unterrichtsentwicklung) konzeptuelle Nutzung (Estellungen) symbolische Nutzung ( Argumentationen, Begründung von Entscheidungen) strategische (missbräuchliche) Nutzung Visscher & Coe (2002): Anlage und Inhalt Rückmeldungen sowie schulische Bedgungen beeflussen die Nutzung Helmke & Hosenfeld (2005): Prozess von Evaluation zur Innovation Groß Ophoff & Koch, Universität Landau 3 Von Evaluation zur Innovation... (nach Helmke & Hosenfeld, 2005) Groß Ophoff & Koch, Universität Landau 4 2

3 VERA-Zyklus Pilotierung/Normierung Aufgaben-Entwicklung Projekt-Evaluation Vergleichsarbeiten Ergebnis-Rückmeldung Groß Ophoff & Koch, Universität Landau 5 VERA-Zyklus: Rückmeldungen bei VERA Aufgaben-Entwicklung Pilotierung/Normierung Projekt-Evaluation Vergleichsarbeiten Ergebnis-Rückmeldung FN Schüler FN Klasse/Schule FN Land FN Fairer Vergleich Groß Ophoff & Koch, Universität Landau 6 3

4 Funktion von VERA Die wichtigste Funktion von Vergleichsarbeiten ist nach Meung Lehrkräfte: 70,1% 31,8% 16,1% 9,0% 5,1% sozialer Vergleich Schul- und Unterrichtsentwicklung kriterialer Vergleich Individualförung Kontrolle/ Druck offene Frage (n = 1343) Groß Ophoff & Koch, Universität Landau 7 Übersicht Datenquellen allgeme 2004 BE, BB, HB, MV, NRW, RP, SH 2005 BE, BB, HB, MV, NRW, RP, SH 2006 BE, BB, HB, MV*, RP, SH* Zentralstichprobe (ZFB) - geschichtete Zufallsstichprobe - ternetgestützte Durchführung während VERA - Kontextformationen September bis Oktober 2004 N = etwa 1000 September bis Oktober 2005 N = etwa 1050 September bis Oktober 2006 N = 1165 Evaluationsstichprobe (EFB) - freiwillige Teilnahme - ternetgestützte Durchführung ca. 6 Monate nach VERA - Rezeption & Nutzung von VERA April bis Mai 2005 N = 1510 (vollständig: 19,6 % Schulen) März bis Mai 2006 N = 3101 (vollständig: 16,5 % Schulen) Februar bis Juni 2007 N = 718 (vollständig: 23,5 % Schulen) 2007 HB 3, MV 3, NRW 3, RP 3, SH 3 BB 4 Mai bis Juni 2007 N = 1724 seit Dezember 2007 Groß Ophoff & Koch, Universität Landau 8 4

5 Repräsentativit sentativität: t: Akzeptanz von Schulleistungstests 4 3 2,7 2,7 Mittelwert 2,4 2,3 2 1 EFB2005 ZFB2006 EFB2006 ZFB2007 Groß Ophoff & Koch, Universität Landau 9 Repräsentativit sentativität: t: weitere Variablen Unterrichtserfahrung Lehrkräfte:... Evaluationsstichprobe tendenziell höher, z.b. 2006: EFB: M = 24 Jahre ZFB: M = 20 Jahre Schülerleistung:... Evaluationsstichprobe etwas höher, z.b. 2006: d = 0,15 bereigt um die Kontextmerkmale verschwdet dieser Effekt Groß Ophoff & Koch, Universität Landau 10 5

6 Von Evaluation zur Innovation... (nach Helmke & Hosenfeld, 2005) Groß Ophoff & Koch, Universität Landau 11 Rezeption Ergebnisse Mittelwert 4 3 3,2 3,3 3,1 3,1 2,8 2,6 2,8 2, ,8 2 1 Verständlichkeit Intensität Auseansetzung Nützlichkeit Groß Ophoff & Koch, Universität Landau 12 6

7 Rezeption Ergebnisse: Attribution von Abweichungen 94 % Lehrkräfte berichten, dass VERA-Ergebnisse von ihren Erwartungen abweichen. Diese Abweichungen führen sie zurück auf: tern 10,9% extern 50,0% 30,4% 6,0% 1,6% Schüler/-nen Wissenschaft/Uni Landau (Testkonstruktion) Lehrkraft selbst externe bzw. schulische Bedgungen Kolleg/-nen 10,9% 1,1% 89,1% Eltern offene Frage (n = 148) Groß Ophoff & Koch, Universität Landau 13 Von Evaluation zur Innovation... (nach Helmke & Hosenfeld, 2005) Groß Ophoff & Koch, Universität Landau 14 7

8 Weiterbildung nach VERA 75% Lehrkräfte geben an, dass sie sich nach VERA stärker formiert haben Bezug auf: : getrennt nach Deutsch & Mathematik fachdid. Fragen Kern- und Bildungsstandards Diagn. Kompetenz Test-/Unt.aufgaben div. Förung Unterrichtsmeth. Rahmenlehrpläne allgem. Groß Ophoff & Koch, Universität Landau 15 Unterrichtsentwicklung nach VERA Md. 90 % Lehrkräfte geben an, nach VERA etwas an ihrem Unterricht veränt zu haben. M 75,4% Wieholung bzw. Vertiefung von Gebieten, denen es laut VERA Schwächen gab 54,2% Entwicklung neuer Übungsaufgaben, angelehnt an VERA- Aufgaben 50,5% an VERA angelehnte Aufgaben Klassenarbeiten 49,4% Ausprobieren neuer Unterrichtsmethoden ,9% Zusätzlicher Unterricht diesem Fach 9,8% Gemesamer Unterricht (team teachg) 8,8% Kreuzkorrektur ausgewählter Schülerarbeiten 8,6% Hospitation Groß Ophoff & Koch, Universität Landau 16 8

9 Unterrichtsentwicklung nach VERA 100% ,9 78,2 70,0 39,7 64,0 58,8 44,2 55,7 51,6 29,4 37,2 48,3 24,8 25, ,8 0 Wieholung/Vertiefung Entwicklung von an VERA anglehnten Übungsaufgaben an VERA angelehnte Aufgaben Klassenarbeiten wieholter Esatz von VERA-Aufgaben VERA-Korrekturkriterien Klassenarbeiten Groß Ophoff & Koch, Universität Landau 17 Von Evaluation zur Innovation... Strukturgleichungs-Modell CFI =.934, TLI =.927, RSMEA =.033 Groß Ophoff & Koch, Universität Landau 18 9

10 Zusammenschau Rezeption: hohe Verständlichkeit und Nützlichkeit Rückmeldungen zurückgehende Intensität Ergebnisse werden v.a. extern attribuiert Aktion: Lehrkräfte formieren sich über VERA haus und veränn ihren Unterricht kontuierliche Steigerung VERA-bezogenen Aktivitäten Von Evaluation zur Innovation? Modell grundsätzlich bestätigt; wichtige Variablen sd: Nützlichkeit Akzeptanz externe Unterstützung Eschränkungen Repräsentativität ke echter Längsschnitt, sonn Querschnittsuntersuchung ree Fragebogenuntersuchung Groß Ophoff & Koch, Universität Landau 19 Fazit Zielklarheit ist elementare Voraussetzung und muss den Lehrkräften vermittelt werden Klarheit bezüglich Grenzen beugt unrealistischen Erwartungen vor Unterstützung ist notwendig Umgang mit empirischen Daten Diagnostische Kompetenz kommunikative Kompetenz (Kooperation!) Nutzungs- und Entwicklungsmöglichkeiten aufzeigen Further research is needed... experimentelle Designs usw. Ergänzung um qualitative Studien Persönlichkeitsvariablen (Elaborationsgrad Rezeption, Motivation...) Erfolgskriterium? (z.b. Kompetenzzuwachs, Veränung des Lernklimas) Groß Ophoff & Koch, Universität Landau 20 10

11 Projekt VERA Vielen Dank für f Ihre Aufmerksamkeit! Universität Koblenz - Landau, Campus Landau Projekt VERA ( Projektverbund Empirische Bildungsforschung 11