Externe Evaluation als Instrument der Qualitätssicherung an bayerischen Schulen. LEV Forchheim

Transkript

1 Externe Evaluation als Instrument der Qualitätssicherung an bayerischen Schulen LEV Forchheim

2 Externe Evaluation an bayerischen Schulen 1. Organisation und Personal 2. Ablauf und Verfahrensschritte 3. Eingesetzte Instrumente 4. Offene Fragen -Veränderungsbedarf

3 Externe Evaluation in Bayern Pilotphase Ausweitung 2005/06 Ausweitung 2006/07 Ausweitung 2007/08 Ausweitung 2008/09 20 Teams 80 Schulen 44 Teams 250 Schulen 64 Teams 500 Schulen 78 Teams 310 schulische Evaluatoren 340 nichtschulische Experten 600 Schulen 88 Teams 381 schulische Evaluatoren 420 nichtschulische Experten 733 Schulen

4 Externe Evaluation in Bayern Gesamtzahlen der evaluierten Schulen: 746 VS, 94 RS, 160 GYM, 148 FÖS, 84 BS, 94 BeS, 19 WS, 79 FOS/BOS 1424 Schulen (von 5612 Schulen in Bayern) Verhältnis der Schularten: 08/09: Von 733 Schulen sind 560 VS Besonderheit der 7 Vollzeitteams

5 Das Evaluationsteam 3 schulische Evaluatoren + 1 externer Experte (Eltern, Wirtschaft) - führen die externe Evaluation an Schulen durch -erstellen den Evaluationsbericht Kompetenzen Unterricht + Schulentwicklung + Schulleitung Seminarleiter, SE-Moderatoren, Schulleiter, -stellvertreter, etc. Der Teamsprecher -organisiert die Durchführung der externen Evaluation an den Schulen -koordiniert die Erstellung des Evaluationsberichtes -koordiniert die Durchführung der Evaluationen im/in den Bezirk/en -kooperiert mit den zuständigen Schulaufsichtsbeamten -kooperiert mit der Qualitätsagentur

6 Rolle der Qualitätsagentur Externe und interne Evaluation der Einzelschule Weiterentwicklung des Evaluationskonzepts Optimierung der Evaluationsinstrumente Ausbildung und Begleitung der Evaluationsteams Einhaltung der Konzepttreue Kooperation mit der Schulaufsicht Implementierung der externen und internen Evaluation

7 Rolle der Schulaufsicht Implementierung der externen Evaluation Information der Schulen Motivation zur Selbstevaluation Organisation der externen Evaluation (MB-Dienststelle Regierung) schlägt der QA Evaluatoren vor gewinnt und empfiehlt Schulen für die Evaluation kooperiert mit der Qualitätsagentur Umsetzung der Zielvereinbarungen erhält Evaluationsbericht vereinbart mit der Schule Ziele bietet geeignete Unterstützungsmaßnahmen an sorgt für die Qualitätssicherung

8 Auswahl der Schulen Schulen Freiwillige Meldung Schulaufsicht Freiw. Meldungen + Benennung Qualitätsagentur Freiw. Meldungen + Benennung + Stichprobenziehung informiert Schulaufsicht informiert Evaluationsteams Kontaktaufnahme Schule

9 Grundsätze der externen Evaluation Externe Evaluation ~ wird in Augenhöhe durchgeführt ~ sieht die Schule als Ganzes ~ ermöglicht eine Sicht aus verschiedenen Blickwinkeln ~ trennt Evaluation von Beurteilung ŁSie soll ein möglichst objektives, an Leitzielen von Bildung und Erziehung orientiertes Bild von der Arbeit an der Schule geben. Distanz zur Schule Wohlwollen Verfahren, Bewertungskriterien und Instrumente sind bekannt Offenheit und Transparenz

10 4Qualitätsbereiche 14 Dimensionen 37 Kriterien 3.1 Rahmenbedingungen 3.2 Prozessqualitäten Schule 3.3 Prozessqualitäten Unterricht und Erziehung 3.4 Ergebnisse der schulischen Arbeit und Umgang mit diesen Ergebnissen Standort der Schule Schulleitung und - Management Unterrichtsqualität Niveau der Lernergebnisse Lehrerkollegium Arbeit des Kollegiums/der Fachschaften qualitätssichernde Maßnahmen des Kollegiums Monitoring Zusammensetzung der Schülerschaft Schulkultur Zufriedenheit materielle und finanzielle Ressourcen Schulentwicklung und Schulprofil ggf. regionale/ organisatorische Besonderheiten

11 Die Kriterien des Unterrichtsbeobachtungsbogens Klassenführung Unterrichtsklima Motivierung Strukturiertheit Zielorientierung Individuelle Unterstützung Selbstständiges Lernen Variabilität der Unterrichtsformen Lernerfolgssicherung

12 Instrumente der Evaluation Schulportfolio Unterrichtsbeobachtung Interviews

13 STAATSINSTITUT FÜR SCHULQUALITÄT UND BILDUNGSFORSCHUNG Qualitätsagentur Von der Schule bereitzustellende Daten Schule: Schulportfolio Schulart: O Grundschule O Hauptschule O Volksschule Regierungsbezirk: 3 Erkenntnisse und Beobachtungen über die Bereiche/Dimensionen von Schulqualität 3.1 Rahmenbedingungen Sachaufwandsträger/ Trägerschaft Schulsprengel/Einzugsgebiet Besonderheiten z. B. Heimschule, Hort, Ganztagesschule etc. Ausstattung Bitte ankreuzen bzw. ergänzen! Computer in den Klassen- und Fachräumen o z. T. mit Internetanschluss EDV-Räume mit insgesamt Computern o Intranet weitere Fachräume: Sporthalleneinheiten o Sportplatz o Schwimmbad o Bibliothek/Schülerbücherei o Mittagsbetreuung (Räumlichkeiten) o Kantine o besondere Einrichtungen: Im Bau/In Planung:

14 Instrumente der externen Evaluation Schulportfolio 1. Schulportfolio 1.3 Organisation - AGs - Wahlfächer - Mitarbeitergespräche - Geschäftsverteilungsplan - Aufgabenverteilung - Projekte 1.4 päd. Zielsetzungen - Leitbild - Schulprogramm - Fortbildungsplan - Umgang mit Leistungsergebnissen

15 Instrumente der externen Evaluation Befragung Befragung von Schülern, Eltern und Lehrern -bis 200 Schüler: alle Schüler und Eltern -ab 200 Schüler: 20% Schüler und Eltern -grundsätzlich alle Lehrkräfte Standardisierte Fragebogen -Lehrkräfte und Schüler online -Eltern in Papierform -für Grundschüler auch animierte Version

16 Instrumente der Evaluation: Befragung Item im Lehrerfragebogen: Einhaltung Verhaltensregeln Klassenführung Unterrichts -klima Item im Elternfragebogen: Einhaltung von Disziplin und Ordnung Item im Schülerfragebogen: Einhaltung Verhaltensregeln wertschätzender Umgang/Umgangston Einsatz der Lehrer für die Schüler öffentliche Anerkennung von Leistung Anhalten zu ordentlichem, rücksichtsvollem Benehmen gemeinsam festgelegte Regeln und Normen Verfahren zur Konfliktlösung/Streitschlichter angenehmes Klima an der Schulklima/Schulleben Schule Lernen der S als Anliegen der L hohe Leistungserwartungen Lehrer Schüler Eltern bei Unterstützung der S angenehmes/ordentliches Schulhaus Wohlbefinden der S Verständnisvolle Lehrer Stoffvermittlung nicht einziges Interesse der Lehrer Gefühl der E, dass ihr Kind in guten Händen ist guter Ruf der Schule in der Elternschaft Wertlegen auf Ordnung und Sauberkeit Engagement Älterer für Jüngere Unterstützung der Lehrer durch Eltern

17 STAATSINSTITUT FÜR SCHULQUALITÄT UND BILDUNGSFORSCHUNG Qualitätsagentur Unterrichtsbeobachtung 5 Zielorientierung Beobachtungsbogen für den Unterrichtsbesuch Der Unterricht baut zusammenhängendes, vernetztes Wissen auf. Der Unterricht setzt die Lernziele des Lehrplans um. Die angestrebten Lernziele werden klar thematisiert. Fachliche und/oder überfachliche Zusammenhänge werden aufgezeigt. 6 Individuelle Unterstützung Die Lehrkraft gibt Hilfestellung, wenn Schüler etwas nicht verstehen oder können. Die Lehrkraft achtet nicht nur auf Leistungsergebnisse, sondern auch auf Lernerfolge und Lernschwierigkeiten. Die Lehrkraft stellt unterschiedliche Aufgaben je nach Können der Schüler. Fehler der Schüler werden konstruktiv für das Lernen genutzt. 7 Selbstständiges Lernen Die Schüler haben Gelegenheit, fachliche und/oder methodische Kompetenzen zu erwerben bzw. zu erproben. Die Schüler haben Gelegenheit, Medienkompetenz zu erwerben bzw. zu erproben. Die Schüler haben Gelegenheit, personale und/oder soziale Kompetenzen zu erwerben bzw. zu erproben. Die Schüler erhalten Anregungen zur Reflexion und Verbesserung der eigenen Lernstrategien. 8 Variabilität der Unterrichtsformen Verschiedene methodische Vorgehensweisen (z. B. direkte Instruktion, Projektarbeit, Freiarbeit) kommen zum Einsatz. Die Unterrichtsmethoden werden den angestrebten Zielen und Inhalten entsprechend variiert. Fachspezifische Arbeitsweisen kommen dem Alter der Schüler gemäß - zur Anwendung. In Phasen kooperativen Lernens können die Schüler voneinander lernen und/oder die Arbeit im Team üben. 9 Lernerfolgssicherung Die Aufgaben haben ein angemessenes Anforderungsniveau (weder Über- noch Unterforderung). Die Schüler lernen, ihr Wissen in unterschiedlichen Zusammenhängen anzuwenden. Der Unterricht enthält Phasen des Wiederholens und Übens. Das Erreichen der Lernziele wird überprüft. Die Hausaufgaben sind eine sinnvolle Ergänzung des Unterrichts. Die Hausaufgaben werden kontrolliert und besprochen. Unterrichtsbeobachtungsbogen

18 Unterrichtsbeobachtung Stundenauswahl -große Schulen Ł ca. 18 Stunden: 3 Tage x 2 Tandems x 3 Stunden -9 Std. profilbildende Fächer: Deutsch, Mathematik, AWT, etc. - 9 Std. andere Fächer - verschiedene Jahrgangsstufen -Auswahl der Lehrkräfte ~ offene Klassentür ~ 4 Lehrkräfte pro Zeitfenster -kleine Schulen => jede Lehrkraft einmal Unterrichtsbesuch im Tandem nur kurzes Gespräch nach dem Unterricht Klassensituation Kooperation Unterrichtsentwicklung Zusammenschau der Ergebnisse Darstellung im Bericht anonym, Befunde betreffen die Schule

19 Instrumente der Evaluation Interviews Interviews mit allen am Schulleben beteiligten Personengruppen Lehrkräfte Eltern Schüler Nicht lehrendes Personal Sachaufwandsträger Schulleitung

20 Höchstmaß an Objektivität 1. Evaluatoren Urteilsbildung im Team erfolgt aufgrund der Wahrnehmung mehrerer Evaluatoren in gegenseitiger Unabhängigkeit (2 Personen führen eine Maßnahme durch, Bewertung im Konsens) 2. Verfahren Mehrere, unterschiedliche Verfahren zur Untersuchung derselben Bereiche: Befragung, Datenauswertung, Beobachtung, Interview 3. Betroffene Mehrere Personen(-gruppen) werden unabhängig voneinander zum selben Bereich befragt

21 STAATSINSTITUT FÜR SCHULQUALITÄT UND BILDUNGSFORSCHUNG Qualitätsagentur Leitfaden für das Interview mit der Schulleitung Zu den folgenden Themenbereichen werden von den Evaluatoren in den Interviews Informationen eingeholt. Zusätzlich müssen in den Gesprächen die Auffälligkeiten aus den Befragungsergebnissen und aus der Datenanalyse geklärt und Rückfragen zu den Unterrichtsbesuchen gestellt werden. 3 Erkenntnisse und Beobachtungen über die Bereiche/Dimensionen von Schulqualität 3.1 Rahmenbedingungen Notizen regionale/organisatorische Besonderheiten Unterstützungsangebote (Schullaufbahnberatung, schulpsychologische Beratung, Maßnahmen zur Förderung schwacher Schüler und/oder Schüler mit sonderpädagogischem Förderbedarf, Maßnahmen zur Förderung begabter Schüler, Maßnahmen zur Förderung der Schülerselbstständigkeit, Gestaltung der Intensivierungsstunden (GYM), Gestaltung des Förderunterrichts, Ganztagsangebote, Betreuungsangebote, Unterstützungsangebote für Kinder und Familien nicht-deutscher Muttersprache, Integration von Schülern mit sonderpädagogischem Förderbedarf) 3.2 Prozessqualitäten Schule Schulleitung und Schulmanagement Personalführung Einbindung neuer Kollegen Vermeidung von einseitigen Belastungen Mitarbeitergespräch und Zielvereinbarungen als Führungsinstrument berufliche Weiterbildung der Schulleitung bezüglich Personalführung Personalrat: regelmäßige Treffen mit Schulleitung; Offenheit, Transparenz bei Entscheidungen

22 Aus allen zusammengetragenen Ergebnissen der Befragungen, der Datenanalyse, der Gespräche und der Beobachtungen wird von den Evaluatoren der Evaluationsbericht erstellt Schulkultur Schulklima Schulleben Mitwirkung von Schülern Mitwirkung von Eltern Öffnung der Schule außerunter r. Veranstalt. Befunde sind beschreibende Aussagen zu einer Dimension, unter konkreter Bezugnahme auf bestimmte Kriterien, unter Berücksichtigung der Rahmenbedingungen (4) große Stärke der Schule (3) Stärke der Schule (2) Schwäche der Schule (1) große Schwäche der Schule Belege: Informationsquelle des Befundes Systematisierung der Informationen und Priorisierung der Befunde Inhalte des Evaluationsberichts

23 Ablauf der externen Evaluation Kontaktaufnahme Organisationsgespräch Vorstellungskonferenz Befragung der S, E, L Zielvereinbarungen 3 Tage Schulbesuch Schulportfolio Berichtsentwurf Stellungnahme der Schule Abschlussbericht ca. 8 Wo ca. 2 Wo 0 ca. 1 Wo ca. 2 Wo ca. 3 Wo ca. 3 Monate vor dem Schulbesuch nach dem Schulbesuch

24 Besonderheiten in Bayern ŁTrennung Schulaufsicht Evaluation ŁEinsatz von nichtschulischen Evaluatoren ŁKeine reinen Vollzeitevaluatoren ŁBei UB: Beobachtung ganzer Stunden ŁDurchführung aller Maßnahmen im Tandem ŁBefragung repräsentativer Stichproben (Schüler, Eltern)

25 Teilnehmer Umsetzung der Ziel- und Handlungsvereinbarungen auf der Grundlage der externen Evaluation STAATSINSTITUT FÜR SCHULQUALITÄT UND BILDUNGSFORSCHUNG Qualitätsagentur an der Schule Zielvereinbarungssitzung am Schule: Schulaufsicht: 1. Ziel- und Handlungsvereinbarung Bitte pro Vereinbarung ein Formblatt verwenden. Beschreibung Die Ziele sollen anspruchsvoll, realisierbar, beeinflussbar und überprüfbar sein und präzise formuliert werden. Begründung der Vereinbarung Bedeutsamkeit für die Schule, pragmatische Gesichtspunkte, vorhandene Kompetenzen und Ressourcen Zielerreichung Woran kann festgestellt werden, dass die Ziele erreicht worden sind? 2. Prozessmanagement vereinbarte Programmpunkte Was? Wie? Strukturen, Fortbildungen, Teambildung, Veranstaltungen notwendige Unterstützungsmaßnahmen Wer? Bis wann? Was? Wie? Ressourcen, Ausstattung, Personal Wer? Bis wann? Ort, Datum Schulleitung Schulaufsicht

26 Überprüfung der Zielerreichung Umsetzung der Maßnahmen Umsetzung der Maßnahmen Umsetzung der Maßnahmen ee ie ee ie

27 Evaluation und was dann? Inhalte der Zielvereinbarungen Die Verteilung der Maßnahmen auf die einzelnen Qualitätsbereiche: 57% der Schulen vereinbarten Ziele im Bereich der Rahmenbedingungen, 91% im Bereich Prozessqualitäten Schule (ca. 50% in der Dimension Schulleitung), 60% im Bereich Unterricht und Erziehung, 11% im Bereich Ergebnisse und Umgang damit. (Mehrfachnennungen möglich)

28 Evaluation und was dann? -Auswertung einer Befragung aller bisher evaluierten Schulen positiv: Alle an der Schule beteiligten Personengruppen werden über die Ergebnisse der Evaluation informiert und setzen sich intensiv mit dem Evaluationsbericht auseinander. aber An der Erarbeitung der Zielvorschläge werden an 19% der Schulen die Lehrkräfte, an 64% die Eltern, an 75% die Schüler nicht beteiligt. 92% der Zielvereinbarungen sind ein gemeinsames Produkt von Schule und Schulaufsicht. Zu 98% basieren die Ziele auf den Empfehlungen der Teams. 40% der Schulen vereinbaren zu Unterricht und Erziehung keine Ziele, 51% haben keine Zielvereinbarung zum Bereich Schulleitung (VS 61%), gar 89% sehen im Umgang mit den Ergebnissen kein wichtiges Ziel.

29 Evaluation und was dann? positi 80% der Schulen arbeiten konsequent und erfolgreich nach der Evaluation weiter. Ca. 70% der Schulen realisieren ihre Ziele nach den Regeln eines Prozessmanagement. aber 20% der Schulen haben bei der Weiterarbeit Probleme bzw. arbeiten mit erheblichen Zeitverzögerungen: ~ 5,0 Monate: Zielfindung (2 17 Monate) ~ 7,1 Monate: Zielvereinbarung (2 17 Monate) Ca. 30% der Schulen gehen bei der Umsetzung der Ziele nicht systematisch vor.

30 Evaluation und was dann? positiv: 64% der Schulen werden bei der Umsetz der Ziele beraten und unterstützt. Davon ~ 42% durch die Schulaufsicht, ~ 17% durch Kollegen anderer Schulen, ~ 13% durch ausgebildete Moderatoren, ~ 13% durch Beratungslehrer, Schulpsychologen. aber 40% der Schulen wünschen sich mehr Beratung und Unterstützung. 92% der Schulleiter sind mit dem Erfolg der Umsetzungsmaßnahmen eher bis sehr zufrieden.

31 Zwischenbilanz Ł Der Einstieg in die externe Evaluation ist gelungen. Ł Konzept und Instrumente haben sich bewährt. Ł Die Evaluatoren arbeiten sehr engagiert Ł Die Akzeptanz der Evaluation nimmt zu. Ł Ablauf wird durch Schulaufsicht gewährleistet. Ł Mehr Unterstützung der Schulen ist erforderlich. Ł Evaluation muss noch mehr als Beitrag zur eigenen Professionalisierung verstanden werden. Ł Evaluation muss Routine werden.

32 Probleme / offene Fragen Ł Unterschiedliche Zeitdauer bis zum Abschluss der Zielvereinbarungen ŁUnterschiedliche Qualität der Zielvereinbarungen ŁUnterschiedliche Qualität der Berichte (Standardisierung der Bewertung) ŁImplementierung der internen Evaluation ŁErhöhung der Akzeptanz / Schaffung einer Evaluationskultur

33 Evaluation : Schulentwicklung

34 Qualitätsentwicklung muss beim Schüler ankommen