Johannes Gutenberg-Universität Mainz Lehrstuhl für Wirtschaftspädagogik. Wien

Transkript

1 Prof. Dr. Zlatkin-Troitschanskaia 05. Dezember 2016

2 8. QUALITÄTS SNETZWERK- KONFE ERENZ Zahlen, Daten, Fakten für das Qualitätsmanagement. Chancen und Herausforderungen für die Schul- und Unterrichtsentwicklung Prof. Dr. Zlatkin-Troitschanskaia 05. Dezember 2016

3 Evidenzbasiertes Handeln im schulischen Mehrebenensystem Gelingensbedingungen für Nutzung von Evidenz Olga Troitschanskaia Prof. Dr. Zlatkin-Troitschanskaia 05. Dezember 2016

4 AGENDA 1. Ausgangslage und Hintergrund 2. Forschungsverbund EVIS 3. Nutzung von Evidenz 4. Einflussfaktoren 5. Evidenzbasierung und Schul- & Unterrichtsentwicklung 6. Fazit: Gelingensbedingungen

5 AUSGANGSLAGE UND HINTERGRUND Glaubenssatz: Schulwesen ist wenig innovativ

6 AUSGANGSLAGE UND HINTERGRUND Innovationsindikatoren Indikatoren (z.b. PISA-Index, Quote der Beschäftigten ohne Hochschulabschluss an Erwerbsbevölkerung) Verschiedene Dimensionen (Bildung, Wirtschaft (14), Wissenschaft (8), etc.) 35 Länder werden berücksichtigt Acatech& BDI (2015, S. 26)

7 AUSGANGSLAGE UND HINTERGRUND Glaubenssatz: Mehr Informat tionen und Daten führen zu mehr Wissen

8 AUSGANGSLAGE UND HINTERGRUND BAKT-Summe enscore Zeitpunkt D10_SUM Median spline Graphs by ID Zlatkin-Troitschanskaia et al. (2013) Zlatkin-Troitschanskaia et al. (2014)

9 AUSGANGSLAGE UND HINTERGRUND Modell zur Beschreibung des schulischen evidenzbasierten Entscheidungsprozesses (Ikemoto & Marsh, 2007, S. 109)

10 DAS FORSCHUNGSPROJEKT EVIS Steuerung im Bildungssystem (SteBis) Forschungsthemen: Effekte neuer Steuerungsinstrumente Schulleitungshandeln und Nutzu ung evidenzbasierten Wissens durch Steuerungsakteure in Schule und Schuladministration Möglichkeiten der Weiterentwicklung von Verfahren der Qualitätsentwicklun und -sicherung im Schulsystem Evidenzbasiertes Handeln im schulischen Mehrebenensystem Bedingungen, Prozesse und Wirkungen ( )

11 DAS FORSCHUNGSPROJEKT EVIS Struktur des Verbundes: EVIS I Förderung durch das Bundesministerium für Bildung und Forschung (10/2010 bis 08/2013) Interdisziplinäre Kooperation Universität Mainz, Duisburg-Essen, Bochum, Münster Zentrales Forschungsinteresse: Operationalisierung und Erfassung evidenzbasierten Handelns in Schulen Identifikation personeller und organisationaler Faktoren, die ein evidenzbasiertes professionelles Handeln schulischer Akteure (Lehrerkollegien und Schulleitungen) begünstigen oder behindern Struktur des Verbundes: Förderung durch das Bundesministerium für Bildung und Forschung (09/2013 bis 08/2016) Interdisziplinäre Kooperation Universität Mainz, Duisburg-Essen, Münster Zentrales Forschungsinteresse: EVIS II Entwicklung evidenzbasierten Handelns in den untersuc Schulen im zeitlichen Verlauf Fokus auf Belastungen und Ressourcen, die bei der Umsetzung evidenzbasierten Handelns im schulischen Kontext von Bedeutung sein können sowie auf die Rolle Schulleitung

12 DAS FORSCHUNGSPROJEKT EVIS EviS I TEILPROJEKT 1 Sample 2: 1300 Lehramtsstudierende sowie 330 Referendare Standardisierte Fragebogenerhebung/ qual. Interviews ZENTRALPROJEKT Sample 1: 2640 Lehrkräfte sowie 297 (stellvert.) Schulleiter/innen aus 155 Schulen in Rheinland-Pfalz Standardisiertee Fragebogenerhebung TEILPROJEKT 2 Theoretical Sampling aus Sample 1: 8 Schulen Netzwerkanalyse/ qual. Interviews EviS II TEILPROJEKT 1 Sample 2: Rebefragung + Berufseinsteiger aus Sample 1 (220 TN) Standardisierte Fragebogenerhebung/ Tagebücher ZENTRALPROJEKT Sample 1: Rebefragung von 1513 Lehrkräften sowie 213 (stellvert.) Schulleiter/innen aus 111 Schulen in Rheinland-Pfalz Standardisiertee Fragebogenerhebung VERTIEFUNGSSTUDIE 2 Theoretical Sampling aus Sample 1: 7 Schulen qual. Interviews

13 DAS FORSCHUNGSPROJEKT EVIS Schultyp Anzahl Schulen Anteil Schulen insgesamt Durchschnittl. Anzahl Lehrkräfte pro Schule Durchschnittl. Beteiligung pro Schule* Grundschule 30 27,9% 19 54,5% Berufsbildende Schule 31 24,3% 75 43,0% Realschule Plus 26 15,3% Gymnasium 20 13,4% Förderschule 35 11,1% Integrierte Gesamtschule 11 5,8% 44 39,5% 62 36,3% 20 52,0% 43 50,5% Anteil Schultypen und Beteiligung der Lehrkräfte

14 WIE WIRD EVIDENZ IM SCHULSYSTEM GENUTZT? Evidenzquellen im engeren Sinne (ausgeprägte Wissenschaftsorientierung) Evidenzquellen im weiteren Sinne weniger ausgeprägte Wissenschaftsorientierung eher formalisiert (expliziter Steuerungsanspruch) eher informell (implizites Steuerungspotenzial) Schulleistungsstudien Bildungsberichterstattung (wie PISA, IGLU, TIMSS) Schulinspektion Vergleichsarbeiten Zentrale Abschlussprüfungen externe Bereitstellung von Aufgabensammlungen vermittelte Evidenz über Artikel in schulfachbezogenen oder überfachlichen schulbezogenen Zeitschriften Schülerfeedback zum Unterricht Gemeinsame Unterrichtsentwicklungs- maßnahmen (wie kollegiale Hospitationen) Schulinterne Befragungen Parallelarbeiten Bildungsteile von Tages- /Wochenzeitungen oder Magazinen Diskussionsforen / Blogs Evidenzbasiertes Wissen: Herkunft des Wissens und zentrale Charakteristika (vgl. van Ackeren, et al. 2013, S. 55)

15 WELHE EVIDENZ WIRD GENUTZT? Informationsquelle Schülerfeedback Kollegiale Unterrichtsentwicklungsmaßnahmen Schulfachbezogene Zeitschriften Parallelarbeiten Eingesetzte Tests Bildungsteil von Zeitungen und Magazinen Überfachliche schulbezogene Zeitschriften Schulstatistiken Befunde der Schulinspektion Aufgabensammlungen von zentraler Stelle Landesweite Lernstanderhebungen Schulleistungsvergleiche Nutzung verschiedener Evidenzquellen durch Lehrkräfte (N = 1230) und Schulleitungen (N = 297) (Zlatkin-Troitschanskaia et al., 2016a) Lehrkräfte Schulleitung

16

17 WELCHE FAKTOREN BEEINFLUSSEN DIE EVIDENZBASIERUNG? Evidenzbasierung von Lehrkräften Welchen Einfluss haben schulische Strukturen auf die Evidenzbasierung von Lehrkräften? Veränderte strukturelle Rahmenbedingungen an Schulen (NSM) Kommunikations- /Informationsbeschafungstruktur Partizipationsstruktur Kooperationsstruktur Transformationale Führung

18 WELCHE FAKTOREN BEEINFLUSSEN DIE EVIDENZBASIERUNG? Interne Evidenzorientierung Berücksichtigung von Fakten zur eigenen Schule bei Entscheidungen Beispielitem: Bevor unsere Schule ein Verfahren von einer anderen Schule übernimmt, prüfen wir, inwiefern sich die Rahmen- in den Schulen bedingungenn ähneln. Externe Evidenzorientierung Berücksichtigung wissenschaftlicher Erkenntnisse bei Entscheidungen Beispielitem: In unserer Schule werden Neuerungen durch wissenschaftliche Untersuchungen belegt. Ersatzwissenorientierung Berücksichtigungg von Bauchgefühl und persönlichen Präferenzen bei Entscheidungen Beispielitem: An unserer Schule geht man davon aus, dass man dem Bauchgefühl bei wichtigen Entscheidungen immer vertrauen kann.

19 WELCHE FAKTOREN BEEINFLUSSEN DIE EVIDENZBASIERUNG? Skala Beispiel M (SD) Cronbach s α Faktorreliabilität COMM 3 Items PART 3 Items COOPINT 4 Items COOPEXT 3 Items An unserer Schule haben wir Zugriff auf Inter-und Intranet, um uns über aktuelle, unsere Tätigkeitt betreffende Erkenntnisse zu informieren. Wir Lehrer werden in Entscheidungen, die unsere Tätigkeiten betreffen, eingebunden. (.910) An unserer Schule werden Qualitätszirkel/ Lehrer- zu netzwerke gebildet, um die Qualität unserer Arbeit verbessern (.889) (.884) An unserer Schule wird die Kooperation mit anderen Schulen, Firmen oder Hochschulen unterstützt. (.835) (Zlatkin-Troitschanskaia et al., 2016b)

20 Ebene 2: Schule: N = 119 TF.064 IE COMM PART COOPINT COOPEXT Ebene 1: Lehrer: N = 1334 R² =.427 (Stump et al., 2016; Zlatkin-Tro IE oitschanskaia et al., 2016b) Nullmodell: AIC = BIC = Ll = df = 3 ICC =.065 Endmodell: Intercepts-and- Slopes-as-Outcome-Modell AIC = BIC = Ll = df = 8 Modellvergleich: df = 5 LR = P =.000

21 WELCHE FAKTOREN BEEINFLUSSEN DIE EVIDENZBASIERUNG? (Zlatkin-Troitschanskaia et al., 2016b)

22 WELCHE FAKTOREN BEEINFLUSSEN DIE EVIDENZBASIERUNG? Variable EE IE 1 Transformationale Führung.448 ***.593 *** 2 Klima Eigeninitiative ( Probleme aktiv angehen n ).407 **.450 *** 3 Einstellungen Schulleitung Einstellungen Lehrer aggregiert ( Vertrauen in Evidenz ).275 ***.244 *** Standardisierte Koeffizienten bezüglich externem (EE) und internem (IE) evidenzbasierten Handeln (Zlatkin-Troitschanskaia et al., 2016a) N = 122 Schulen. ***p <.001 **p <.01. *p <.05.

23 (Zlatkin-Troitschanskaia et al., 2016c)

24 WIEVIEL EVIDENZ BRAUCHT EINE SCHULE? Projektauswahl einige ausgewählte wahllos viele Belastung des Lehrpersonals s regulär 2 Schulen mit Erhöhung der Evidenzbasierung X hoch 1 Schule mit Verminderung der Evidenzbasierung 2 Schulen mit Verminderung der Evidenzbasierung (Laier, Schultheis & Preisendörfer 2016)

25 WIEVIEL EVIDENZ BRAUCHT EINE SCHULE? Typ 1: Verhinderung von Überlastung Klare Definition von Zielen durch die Schulleitung Zielgerichtete Projektauswahl Konsequente Durchführung durch zeitliche Bündelung auf die ausgewählten Projekte Bedeutung der Evidenzen eher hoch, insbesondere wenn individuelle Unterrichtsgestaltung angesprochenn wird Hin und wieder Projekte zur reinen Selbstdarstellung, dann aber ohne viel Energie zu investieren (Laier, Schultheis & Preisendörfer 2016)

26 WIEVIEL EVIDENZ BRAUCHT EINE SCHULE? Typ 2: Umgang mit Belastung Beschränkte Zahl von Projekten, um Überlastung zu vermeiden (fast) nur vorgeschriebene Projekte Konsequente Durchführung der wenigen Projekte Bedeutung der Evidenzen eher niedrig (Bewältigung des Schulalltags steht im Vordergrund) Keine Erhöhung der Zahl der Projekte, auch wenn Legitimationsdruck seitens der schulischen Umwelt wahrgenommen wird (Laier, Schultheis & Preisendörfer 2016)

27 WIEVIEL EVIDENZ BRAUCHT EINE SCHULE? Typ 3: Überforderung Keine klare Zielverfolgung Übermäßig viele Projekte Inkonsequente Durchführung der Projekte Überforderung des Kollegiums und/oder der Schulleitung Eher ablehnende Haltung gegenüber Evidenzen Projektteilnahme aus Legitimationsgründen (Laier, Schultheis & Preisendörfer 2016)

28 FAZIT: GELINGENSBEDINUNGEN Nicht alle Arten und Typen von Evidenzen sind für die Praxis nützlich und nutzbar Evidenzbasierung erfordert eine Kombination von Gelingensbedingungen auf den verschiedenen Ebenen Besondere Rolle der Schulleitungen, Rollenklärung für weitere Akteure / Ebenen Besondere Rolle von schulischen Netzwerken und Netzwerken mit anderen Akteure Ziele des Transfers, der Wirksamkeit und der Wirkungen für verschiedene Ebenen k definieren / Kriterien für das Nutzen und für die Nützlichkeit definieren / Transfer erfordert einen gemeinsamen Zielgegenstand Die besten Praxisbeispiele identifizieren, davon lernen und kooperieren

29 FAZIT: GELINGENSBEDINUNGEN Transfer erfordert Anreizstrukturen und erfordert (Zusatz)Ressourcen Lokale Adaptation und Evolutionäre Logik sind erforderlich und brauchen Zeit Expertise auf Seiten der Forschung sowie der Praxis: Für die professionelle Nutzung der Daten sind auch Erklärungsmodelle erforderlich Chancen Evidenzen werden in der Praxis genutzt Nutzung von Evidenzen kann beeinflusst werden Weniger ist mehr!

30 Vielen Dank! Prof. Dr. Zlatkin-Troitschanskaia Prof. Dr. Zlatkin-Troitschanskaia 05. Dezember 2016

31 Literaturverzeichnis Ackerten, I. van, Binnewies, C., Clausen, M., Demski, D., Dormann, C., Koch, A. R., Laier, B., Preisendörfer, P., Preuße, D., Rosenbusch, C., Schmidt, U., Stump, M., & Zlatkin-Troitschanskaia, O. (Autorengruppe EviS) (2013). Welche Wissensbestände nutzen Schulen im Kontext von Schulentwicklung? Theoretische Konzepte und erste deskriptive Befunde des EviS-Verbundprojektes im Überblick. Die Deutsche Schule, (12. Beiheft), Deutsche Akademie der Technikwissenschaften (acatech) & Bundesverband der deutschen Industrie (BDI). (2015). Innovationsindikator Gefunden am unter ovationsindikator_2015_web.pdf Ikemoto, G. S. & Marsh, J. A. (2007). Cutting Through the "Data-Driven" Mantra: Different Conceptions of Data-Driven Decision Making. In P. A. Moss (Hrsg.), Evidence and decision making. The 106th yearbook of the national society for the study of education (S ). Malden: Blackwell. Laier, B., Schultheis, M. & Preisendörfer, P. (2016). Vortrag bei der Evis & Stebis Transfertagung an der JGU Mainz am Stump, M., Zlatkin-Troitschanskaia, O., & Mater, O. (2016). Effects of Transformational Leadership on Data Use at Schools Differences in Actor Groups and Types of Schools. Journal for Educational Research (JERO Online) (in press). Zlatkin-Troitschanskaia, O., Happ., R., Förster, M., Preuße, D., Schmidt, S., & Kuhn, C. (2013). Analyse der Ausprägung und Entwicklung der Fachkompetenz von Studierenden der Wirtschaftswissenschaften und der Wirtschaftspädagogik. Lehrerbildung auf dem Prüfstand, Sonderheft, Zlatkin-Troitschanskaia, O., Förster, M., Brückner, S., & Happ, R. (2014). Insights from a German assessment of business and economics competence. In H. Coates (Ed.), Higher Education Learning Outcomes Assessment International Perspectives (pp ). Frankfurt am Main: Lang. Zlatkin-Troitschanskaia, O., Zimmer, L.M., Mater, O., Laier, B., Koch, A.R., Binnewies, C., Dormann, C., van Ackeren, I., Clausen, M., Preisendörfer, P., Schmidt, U., Demski, D., Preuße, D., & Stump, M. (2016a). Schulische und individuelle Einflussfaktoren auf das evidenzbasierte Handeln von Lehrkräften und Schulleitungen - eine mehrebenenanalytische Studie. In Bundesministerium für Bildung und Forschung (BMBF) (Hrsg.), Steuerung im Bildungssystem. Implementation und Wirkung neuer Steuerungsinstrumente im Schulwesen, (S. 8-38). Berlin: BMBF. Zlatkin-Troitschanskaia, O., Förster, M., Preusse, D., & Mater, O. (2016b). Influence of Communication, Cooperation and Participation Structures at Schools on Teachers Data Use. Journal for Educational Research (JERO Online) (in press). Zlatkin-Troitschanskaia, O., Binnewies, C., Preisendörfer, P., Preuße, D., Göning, C., Laier, B., & Mater, O. (2016c). Evidenzbasiertes Handeln im schulischen Mehrebenensystem Bedingungen, Prozesse und Wirkungen (EviS II). Abschlussbericht. Unveröffentlichtes Manuskript.