Interkulturelle Validität eine Herausforderung für das Systemmonitoring!?

Transkript

1 Svenja Vieluf, Victoria Barth und Eckhard Klieme Interkulturelle Validität eine Herausforderung für das Systemmonitoring!? P3 Vortrag bei der 12. Jahrestagung der DeGEval: Evaluation und Gesellschaft, Münster, Oktober 2009

2 Folie 1 P3 teaching practices habe ich jetzt im ganzen Dokument als Praktiken übersetzt. Zuvor hatte ich Unterrichtsmethoden, dann Unterrichtsgestaltung, aber so richtig passt keines...in den Wörterbüchern kommt es als Vorbereitungszeit im SInne eines Referendariats vor... Praktikum_pisa2012;

3 Einleitung Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 2

4 OECD-Teaching and Learning International Survey TALIS untersucht die Arbeitsbedingungen und das schulische Arbeitsumfeld sowie die professionellen Überzeugungen, Einstellungen und Praktiken von Lehrkräften und Schulleitern in der Sekundarstufe I Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 3

5 professionelle Kompetenz (Wissen und Überzeugungen) Fachwissen, fachdidaktisches Wissen allgemeines pädagogisches Wissen Überzeugungen und Einstellungen Überzeugungen über die Natur des Lernens und Lehrens: rezeptives Verständnis vs. konstruktivistisches Verständnis Prozessmerkmale der Unterrichtsqualität Strukturierung, Schülerorientierung, erweiterte Lernformen professionelle Aktivitäten Lehrerkooperation: unterrichtsbezogener Austausch und Koordination professionelle Kollaboration Lernumgebung in der Klasse aktive Lernzeit* disziplinäres Klassenklima Lernumgebung in der Schule Schulklima: Schüler-Lehrer- Beziehungen Lernprozesse Lernresultate Arbeitsbezogene Einstellungen Selbstwirksamkeit Arbeitszufriedenheit* Schulmerkmale und Prozesse z.b. Schulmanagement, (z.b. Schulmanagement) Mitarbeitergespräche, Schulevaluation Lehrer- Hintergrundmerkmale (z.b. Aus- und Weiterbildung, Erfahrung) Schüler- Hintergrundmerkmale Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 4

6 Prozessmerkmale professionelle Kompetenz der (Wissen und Unterrichtsqualität Überzeugungen) Strukturierung, Fachwissen, Schülerorientierung, fachdidaktisches Wissen erweiterte Lernformen allgemeines pädagogisches Wissen Überzeugungen und Einstellungen Überzeugungen über die Natur des Lernens und Lehrens: rezeptives Verständnis vs. konstruktivistisches Verständnis professionelle Aktivitäten Students learn best by finding solutions Lehrerkooperation: to problems on their own. unterrichtsbezogener Austausch und Koordination professionelle Kollaboration Lernumgebung in der Klasse aktive Lernzeit* disziplinäres Klassenklima Lernumgebung in der Schule Schulklima: Schüler-Lehrer- Beziehungen Lernprozesse Lernresultate Arbeitsbezogene Einstellungen Selbstwirksamkeit Arbeitszufriedenheit* Schulmerkmale und Prozesse z.b. Schulmanagement, (z.b. Schulmanagement) Mitarbeitergespräche, Schulevaluation Lehrer- Hintergrundmerkmale (z.b. Aus- und Weiterbildung, Erfahrung) Schüler- Hintergrundmerkmale Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 5

7 professionelle Kompetenz (Wissen und Überzeugungen) Fachwissen, fachdidaktisches Wissen allgemeines pädagogisches Wissen Überzeugungen und Einstellungen Überzeugungen über die Natur des Lernens und Lehrens: rezeptives Verständnis vs. konstruktivistisches Verständnis Prozessmerkmale der Unterrichtsqualität Strukturierung, Schülerorientierung, erweiterte Lernformen professionelle Aktivitäten Lehrerkooperation: unterrichtsbezogener Austausch und Koordination professionelle Kollaboration If I try really hard, I can make Lernumgebung in der Klasse progress with even the most difficult and unmotivated aktive Lernzeit* students. disziplinäres Klassenklima Lern- Lernprozessresultate Lernumgebung in der Schule Schulklima: Schüler-Lehrer- Beziehungen Arbeitsbezogene Einstellungen Selbstwirksamkeit Arbeitszufriedenheit* Schulmerkmale und Prozesse z.b. Schulmanagement, (z.b. Schulmanagement) Mitarbeitergespräche, Schulevaluation Lehrer- Hintergrundmerkmale (z.b. Aus- und Weiterbildung, Erfahrung) Schüler- Hintergrundmerkmale Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 6

8 TALIS: Ziel Bildungsmonitoring/ Evaluation auf Systemebene: Indikatoren für internationale Vergleiche des Arbeitsplatzes Schule und zentraler Lehrermerkmale (Indicators of Education Systems, INES). Empirisch gesicherte Informationen als Grundlage für schulpolitische Entscheidungen Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 7

9 TALIS und Bildungsmonitoring Steuerungswissen & Impulse für Intervention: Deskription Analyse Beobachtung Wie sieht das Wo gibt es Welche Bildungssystem im Ansatzpunkte Veränderungen Vergleich zu denen für Intervention? gibt es über die anderer Länder aus? Zeit? Input Prozesse Output Mittelwerte Streuung Perzentile Korrelationen Regressionen Trends auf Systemebene Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 8

10 TALIS: Design repräsentative Stichprobe (1. Schulen, 2. Lehrer innerhalb der Schulen) Mehrebenenstruktur Fragebögen Trend auf Systemebene geplant international vergleichend (23 Staaten) Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 9

11 TALIS: Stichprobe Lehrer in 23 Ländern Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 10

12 Internationaler Vergleich Ermöglicht gesamtsystemische Betrachtungsweise: Bewertung der Güte des eigenen Systems: Benchmarks für Output und Outcome Erklärung der Ergebnisse: Zusammenhang von Systemmerkmalen mit Output und Outcome Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 11

13 Internationaler Vergleich Sie sind nicht fähig, eine Hütte zu bauen, Sie wissen nicht, wie man essbare Wurzeln findet, und Sie sind schlecht in Wettervorhersage. Es tut mir Leid, aber Sie haben einen sehr niedrigen IQ Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 12

14 Internationaler Vergleich Fehlende Äquivalenz / Invarianz kann über interkulturelle Unterschiede informieren kann aber weitere Analysen verzerren und damit zu falschen Schlussfolgerungen führen Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 13

15 Forschungsfrage Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 14

16 Forschungsfrage Welchen Einfluss hat fehlende Invarianz auf den Nutzen von TALIS für Zwecke des Systemmonitorings? a) Effekte auf die Beschreibung von Systemen b) Effekte auf die Beantwortung analytischer Fragen Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 15

17 Methode Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 16

18 Methode Mehrgruppen konfirmatorische Faktorenanalyse 1. Konfigurale Invarianz CFA parameters factor loading 2. Metrische Invarianz value for item y residual intercept latent variable Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 17 η

19 Methode Mehrgruppen konfirmatorische Faktorenanalyse 1. Konfigurale Invarianz 3. Skalare Invarianz 2. Metrische Invarianz value for item y CFA parameters intercept factor loading latent variable residual Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 18 η

20 Methode Mehrgruppen konfirmatorische Faktorenanalyse 1. Konfigurale Invarianz 2. Metrische Invarianz value for item y CFA parameters intercept factor loading latent variable residual 3. Skalare Invarianz Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 19 η

21 Methode Vergleich von latenten Mittelwerten und Regressionskoeffizienten, die berechnet wurden a) auf der Basis eines Modells, in dem Faktorladungen, Intercepts und Residualvarianzen über die Länder hinweg variieren dürfen b) auf der Basis eines Modells, in dem Faktorladungen und Intercepts in allen Ländern gleichgesetzt werden Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 20

22 Ergebnisse Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 21

23 Ergebnisse Selbstwirksamkeit Konfigurale Invarianz Metrische Invarianz Skalare Invarianz Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 22

24 Ergebnisse Konstruktivistische Überzeugungen über das Lehren und Lernen Konfigurale Invarianz Metrische Invarianz Skalare Invarianz Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 23

25 Ergebnisse Invarianz CFA parameters Land 1 value for item y Land 2 latent variable Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 24

26 Ergebnisse Verzerrung durch Invarianz Deskription configural invariance self efficacy scalar invariance NOR IRL ISL DNK ITA AUS AUT BGR TUR MEX LTU BFL SVN MLT MYS PRT BRA POL SVK HUN EST ESP KOR latent mean and confidence interval Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 25

27 Ergebnisse Verzerrung durch Invarianz Deskription configural invariance self efficacy scalar invariance variance of latent variables NOR IRL ISL DNK ITA AUS AUT BGR TUR MEX LTU BFL SVN MLT MYS PRT BRA POL SVK HUN EST ESP KOR Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 26

28 Ergebnisse Verzerrung durch Invarianz Analyse Regression of self efficacy on participation in networks for professional development 0.14 configural invariance metric invariance regression coefficient * * * * * * * * * * * * * * * * * * * * * * * * * * * * 0 BGR AUS POL KOR HUN MEX NOR TUR DNK MLT BFL ITA BRA EST SVN ISL IRL LTU ESP AUT PRT MYS SVK * * * * * * * * * * Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 27

29 Ergebnisse Verzerrung durch Invarianz Die Analysen deuten hin auf Interventionsbedarf in Spanien Fortbildung in Lehrernetzwerken als mögliche Interventionsstrategie [aber Kausalität unklar!]. Keine Verzerrung durch fehlende Invarianz Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 28

30 Ergebnisse Verzerrung durch Invarianz Deskription configural invariance constructivist beliefs about instruction scalar invariance TUR AUT BGR MLT HUN EST ITA LTU ISL POL SVN PRT MYS DNK SVK AUS KOR ESP BRA NOR BFL IRL MEX Latent mean and confidence interval Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 29

31 Ergebnisse Verzerrung durch Invarianz Deskription constructivist beliefs about instruction configural invariance scalar invariance variance of latent variables NOR IRL ISL DNK ITA AUS AUT BGR TUR MEX LTU BFL SVN MLT MYS PRT BRA POL SVK HUN EST ESP KOR Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 30

32 Ergebnisse Verzerrung durch Invarianz Analyse Regression of constructivist beliefs about instruction on participation in networks for professional development configural invariance metric invariance * * * * * * * * regression coefficient * * * * * * * * AUS AUT BRA BGR DNK EST HUN ISL IRL ITA KOR LTU MYS MLT MEX NOR POL PRT SVK SVN ESP TUR BFL * * * * * * * * Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 31

33 Ergebnisse Verzerrung durch Invarianz Es gibt kein Land außer Spanien, das unabhängig vom Modell einen unterdurchschnittlichen Mittelwert hat. Unterschiede auch in Varianzen Regressionskoeffizienten ähnlich Merkliche Verzerrung durch fehlende Invarianz Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 32

34 Diskussion Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 33

35 Zusammenfassung Beschreibung des Bildungssystems Teilweise Verzerrungen der Mittelwerte durch fehlende Invarianz Bezüglich der mittleren Ausprägung nur grobe Vergleiche mit anderen Ländern oder mit Benchmarks valide Vergleiche der Streuung kaum beeinflusst Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 34

36 Zusammenfassung Analytische Fragestellungen Zusammenhangsanalysen kaum beeinflusst durch fehlende Invarianz Bei Skalen, bei denen die Unterschiede in der Struktur gering sind, fast dieselben Koeffizienten Wenn die Unterschiede größer sind, geringe, aber doch merkliche Verzerrungen Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 35

37 Fazit Nutzen von international vergleichenden Daten für Systemmonitoring wird nicht grundsätzlich in Frage gestellt. Aber die Ergebnisse legen eine gründliche Untersuchung der interkulturellen Invarianz nahe, um ggf. Einschränkungen der Validität zu berücksichtigen Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 36

38 Fazit Größere Ähnlichkeit von Ladungen als von Intercepts. Dies ist ein häufiges Ergebnis, das generell einen stärkeren Fokus auf analytische als auf deskriptive Fragestellungen nahe legt. Schwierigkeit: Vermittlung von Einschränkungen an Auftraggeber Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 37

39 Vielen Dank für Ihre Aufmerksamkeit! Jahrestagung der DeGeVal: Evaluation und Gesellschaft Seite 38