Welche Bedeutung haben Entscheidungsregeln für die Reliabilität der Dateninterpretation im Evaluationsprozess?

Transkript

1 DeGEval/SEVAL-Tagung Welche Bedeutung haben Entscheidungsregeln für die Reliabilität der Dateninterpretation im Evaluationsprozess? Zürich,. September 0 Bäuerle, Vaccaro, Lankes & Schefcsik

2 Überblick. Problemstellung. Theoretischer Hintergrund. Fragestellungen. Methodisches Vorgehen. Ergebnisse 6. Diskussion und Ausblick

3 Problemstellung Externe Schulevaluation zur Qualitätssicherung und entwicklung bisherige Forschungsschwerpunkte: Akzeptanzstudien / Wirkungen von Schulevaluation (z. B. Husfeldt, 0; Gärtner, Hüsemann & Pant, 0) Güte der Instrumente (z. B. Gärtner, 00; Müller & Pietsch, 0) kaum Erkenntnisse über die Verarbeitung von Evaluationsdaten (z. B. Lankes, Vaccaro & Gegenfurtner, 0) Wie reliabel sind die Qualitätsurteile der Evaluationsteams? Gehen Evaluationsteams bei der Dateninterpretation einheitlich vor? Ist die Vorgehensweise der Evaluationsteams immer zielführend?

4 Theoretischer Hintergrund: Entscheidungsforschung verschiedene Modellvorstellungen (z. B. Kahneman & Tversky, 000) Systematisierung von Entscheidungsregeln (Dhar, 996) Verarbeitung entscheidungsrelevanter Informationen (Verarbeitungsdimension) Verrechnung (kompensatorische Strategie) inhaltliche Interpretation (nicht-kompensatorische Strategie) Fragebogenindikator mit eindeutiger Datenlage: bei kompensatorischer Strategie eindeutige Bewertung des Indikators als einschränkend kein Entscheidungsproblem 6 trifft zu trifft eher zu teils/teils trifft eher nicht zu trifft nicht zu

5 Theoretischer Hintergrund: Entscheidungsforschung Systematisierung von Entscheidungsregeln (Dhar, 996) Fragebogenindikator mit nicht eindeutiger Datenlage: bei kompensatorischer Strategie keine eindeutige Bewertung des Indikators möglich Entscheidungsunsicherheit 6 6 trifft zu trifft eher zu teils/teils trifft eher nicht zu trifft nicht zu

6 Fragestellungen der Studie Testung von zwei Hypothesen. Evaluationsteams wenden eine einheitliche Entscheidungsregel bei der Bewertung von Einzelindikatoren an.. Bei nicht eindeutiger Datenlage treten bei Evaluationsteams häufiger Entscheidungsprobleme auf. 6

7 Methodisches Vorgehen Stichprobe: N = 76 Evaluationsteams Aufgabenstellung: Bewertung von Einzelindikatoren als Grundlage für die Einschätzung einer Anforderung Vergabe grüner (stützend) / roter (einschränkend) Metaplan-Karten Entscheidung ggf. Zuweisung einer weißen Karte (neutral) Entscheidungsaufschub Studiendesign: Bildung realer Evaluationsteams ( Lehrpersonen + nicht-schulische(r) Evaluator(in)) Datenmaterial aus realer Schulevaluation Ökologische Validität keine Kontrollgruppe 7

8 Datenmaterial Qualitätsrahmen (Tableau) Rahmenbedingungen (beschreibend) Schule Prozessqualitäten (bewertend) Unterricht Ergebnisse (beschreibend) Kriterium: Förderung überfachlicher Kompetenzen Anforderung: Erwerb von Kompetenzen der Selbstwahrnehmung Fragebogenindikatoren Unterrichtsbeobachtung Schulportfolio trifft zu trifft eher zu teils/teils (eher) ja (eher) nein Fließtext trifft eher nicht zu 6 0 trifft nicht zu 8 7 FB FB FB FB Datenlage weniger eindeutig UB 6 UB UB 7 UB 8 Datenlage weniger eindeutig 8

9 Das bayerische Qualitätstableau Rahmenbedingungen Standort der Schule Schule ( Kriterien) Prozessqualitäten Unterricht und Erziehung (0 Kriterien) Ergebnisse schulischer Arbeit Leitung der Schule Ablauf Unterrichtscharakteristik Unterstützende Personalführung Effizienz der Lernzeitnutzung Zielorientiertheit der Leitung Effizienz der Verhaltensregulierung Effizienz der Arbeitsorganisation Schülerschaft Arbeit des Kollegiums Darstellung Niveau der Lernergebnisse Offenheit gegenüber dem schulischen Umfeld Abgestimmtheit der kollegialen Arbeit Strukturiertheit der Darstellung Klarheit der Darstellung Personalstruktur Entwicklung der Schule Gestaltung Zufriedenheit Offenheit für Veränderungen Systematik der Qualitätsentwicklung Individuelle Unterstützung Förderung selbstgesteuerten Lernens [mit der Arbeit der Schule] Systematisches Monitoring Förderung der Lernmotivation Materielle und finanzielle Ressourcen Organisatorische Besonderheiten Schulkultur Achtung der Beteiligten Interessensförderung Intensität der Mitwirkung Förderung der Identifikation mit der Schule Förderung der Inklusion Sicherung des Lernerfolgs Förderungüberfachlicher Kompetenzen Unterrichtsklima Lernförderlichkeit des Unterrichtsklimas 9

10 Datenmaterial Fragebogenindikatoren (Antwortverteilungen) FB : Ich habe im Unterricht fast jeden Schüler schon mal gezielt in eine Situation versetzt, die selbstbewusstes Auftreten erfordert hat (z. B. eigenen Standpunkt öffentlich verteidigen). (Lehrpersonen) FB : Ich habe den Eindruck, dass mein Kind im Unterricht lernt, sich in verschiedenen Situationen richtig einzuschätzen. (Eltern) FB : Der Lehrer fragt mich manchmal, welche Note ich mir für eine Arbeit selber geben würde. (Schüler/innen) FB : Wenn wir im Unterricht über ein Thema sprechen, sollen wir immer mal wieder vor der Klasse unsere eigene Meinung sagen. (Schüler/innen) Datenlage weniger eindeutig FB FB FB FB trifft zu trifft eher zu teils/teils trifft eher nicht zu trifft nicht zu 0

11 Datenmaterial Unterrichtsbeobachtung (Verteilung Beobachtungshäufigkeiten) Datenlage weniger eindeutig UB : Die Schüler holen sich bei Bedarf eigenständig Hilfe. UB 6: Die Schüler werden als Experten eingesetzt. (eher) ja (eher) nein UB 7: Die Schüler werden dazu angehalten, ihren Standpunkt zu begründen. UB 8: Den Schülern wird ermöglicht, sich selbst realistisch einzuschätzen. UB 6 UB UB 7 UB 8 Schulportfolio: Befund ist dokumentenanalytisch zu erschließen Textauszug aus Schulportfolio (SP 9): Die Schüler/innen werden regelmäßig dazu angehalten, ihren Standpunkt zu begründen und ggf. zu verteidigen. Besondere Gelegenheit hierfür bietet der in allen Klassen im Rahmen des Konzepts Sozialwirksame Schule durchgeführte Klassenrat, aber auch die in größeren Abständen stattfindenden Schulvollversammlungen. [ ]

12 Ergebnisse Übereinstimmungsquoten Fragebogenindikatoren Unterrichtsbeobachtung SP Workshop FB FB FB FB UB 6 UB UB 7 UB 8 SP 9 00 % 00 % 00 % 86 % 00 % 00 % 86 % % 86 % 00 % 00 % 00 % 9 % 86 % 00 % 00 % 0 % 7 % 00 % 00 % 9 % 8 % 9 % 9 % 00 % % 7 % 00 % 00 % 00 % 8 % 00 % 00 % 00 % 6 % 6 % 00 % 00 % 00 % 67 % 00 % 00 % 00 % % % 6 00 % 00 % 00 % 60 % 00 % 00 % 00 % 0 % 90 % 7 60 % 00 % 00 % 00 % 00 % 90 % 00 % 60 % 90 % Datenlage weniger eindeutig Übereinstimmung nimmt ab Datenlage weniger eindeutig Übereinstimmung nimmt ab

13 Statistische Prüfung (Hypothese ) Evaluationsteams wenden eine einheitliche Entscheidungsregel bei der Bewertung von Einzelindikatoren an. Latent-Class-Analyse: Ein-Klassen-Lösung, d. h. keine workshopspezifischen Antwortmuster Fit-Index Klasse Klassen Klassen Klassen BIC (LL) κ-koeffizient 0,6 als Indiz für gute Übereinstimmung Evaluationsteams κ-koeffizient (Fleiss) 9%-Konfidenzintervall Untergrenze Obergrenze Gesamt (N = 76) 0,6 0,6 0,66 Hypothese wird bestätigt.

14 Ergebnisse Häufigkeit fehlender Bewertung (weiße Karte (neutral)) Fragebogenindikatoren Unterrichtsbeobachtung SP Bewertung FB FB FB FB UB 6 UB UB 7 UB 8 SP 9 ohne mit

15 Statistische Prüfung (Hypothese ) Bei nicht eindeutiger Datenlage treten bei Evaluationsteams häufiger Entscheidungsprobleme auf. Zusammenhang Datenlage und Bewertung statistisch signifikant. Chi-Quadrat-Test χ² (, N=76) = 8,** Cochran-Armitage-Trendtest Z (, N=76) = -8,** Hypothese wird bestätigt.

16 Zusammenfassung der Ergebnisse einheitliches Vorgehen bei der Bewertung der Einzelindikatoren Hinweise auf Verwendung kompensatorischer Entscheidungsregeln in der Folge bei weniger eindeutiger Datenlage Entscheidungsprobleme bzw. Entscheidungsaufschub 6

17 Diskussion und Ausblick Gefahren für die Zuverlässigkeit der Qualitätseinschätzung Nicht-Berücksichtigung qualitätsrelevanter Indikatoren Fehlinterpretation von Indikatoren Bildung von Indikatoren-Cluster ( Superindikatoren ) Informationsverlust bei heterogenen Indikatoren Professionalisierungsansätze: Schulung der Evaluationsteams (Sensibilisierung für Entscheidungsregeln, Analyse des Schulportfolios etc.) Unterstützungsmaterialien für die Datenauswertung (Entwicklung kriterialer Maßstäbe: Prototypen, Benchmarks) 7

18 Literatur: Vaccaro, D. et al. (in Vorb.). Welche Bedeutung haben Entscheidungsregeln für die Reliabilität der Dateninterpretation im Evaluationsprozess? Lankes, E.-M., Vaccaro, D. & Gegenfurtner, A. (0). Wie kommen Evaluationsteams zu ihrer Einschätzung der Unterrichtsqualität bei externen Evaluationen? Unterrichtswissenschaft,,

19 Welche Bedeutung haben Entscheidungsregeln für die Reliabilität der Dateninterpretation im Evaluationsprozess? Florian Bäuerle, Michael Schefcsik Kontakt: Web: