an bayrischen Schulen

Transkript

1 Qualitätsagentur Externe Evaluation an bayrischen Schulen Beitrag zur DJI Fachtagung Kollegiale Fremdevaluation München, Dr. Franz Huber ISB, Qualitätsagentur

2 Gliederung Die Qualitätsagentur Auftrag Arbeitsschwerpunkte Externe Evaluation von Schulen Aufgaben der externen Evaluation Qualitätsmerkmale von Schulen Instrumente zur Erfassung der Qualität einer Schule Maßstäbe der Qualitätsbeurteilung Evaluationsteams Qualifikation i der Evaluatoren Ablauf der Evaluation Erkenntnisgewinnung im Evaluationsprozess Grundsätze der Evaluation

3 Auftrag der Qualitätsagentur Wissen zur Verfügung stellen, das für die Steuerung eines modernen Schulwesens erforderlich ist (auf der Ebene der einzelnen Schule wie auch der Region und des Landes) Empfehlungen ableiten zur Qualitätsentwicklung und sicherung an bayerischen Schulen auf der Grundlage gesicherter Informationen Die geleisteten Arbeit auf den verschiedenen Ebenen des bayerischen Schulwesens möglichst objektiv dokumentieren

4 Arbeitsschwerpunkte QA 1 Bildungsberichterstattung/Bildungsmonitoring (Markus Teubner) Bildungsberichterstattung und Datenaufbereitung für ein Bildungsmonitoring, regionale Bildungskonferenzen zur Auswertung der ersten Bildungsberichterstattung QA 2 Vergleichsarbeiten (Dr. Bernd Schaal) Testtheoretische Entwicklung und Durchführung von Vergleichsarbeiten, Auswertung und Rückmeldung der Ergebnisse (Orientierungsarbeiten und Jahrgangsstufentests) QA 3 Merkmale von Schulqualität und ihre empirische Erfassung (Dr. Franz Huber) Entwicklung von Instrumenten für Evaluation von Schulen, empirische Erhebungen zu aktuellen schul-, bildungspolitischen Fragen, Erhöhung der Aussagekraft von Erhebungen zur Schulqualität, Wirkungen der Evaluation QA 4 Externe und interne Evaluation der Einzelschule (Anne Hruza-Mayer) Implementation und Umsetzung des Konzepts, fachliche und inhaltliche Betreuung der externen Evaluation an Schulen,

5 Aufgaben der externen Evaluation Hintergrund: größere Selbstständigkeit der einzelnen Schule (innere Schulentwicklung, Dezentralisierung) Vergleichbarkeit von Verfahren und Ergebnissen sichern Ziele setzen (Standards) Zielerreichung überprüfen (Evaluation)

6 Aufgaben der externen Evaluation Entwicklungsorientierung g (nach innen) Rechenschaftslegung (nach außen) Evaluation dient nicht der Beurteilung von Personen, sondern der Analyse von Bedingungen und der Bewertung von Prozessen und Ergebnissen schulischer Bildungsarbeit.

7 Qualitätsmerkmale von Schulen Nach welchen Qualitätsmerkmalen werden Schulen evaluiert? 4 Qualitätsbereiche 14 Dimensioneni 37 Kriterien

8 Instrumente zur Erfassung der Qualität Wie wird die Qualität einer Schule erfasst? durch Auswertung statistischer Daten über die Schule durch Befragung von Lehrern, Schülern und Eltern bzw. Ausbildungsbetrieben durch Leitfadeninterviews durch, Unterrichtsbeobachtungen

9 Maßstäbe der Beurteilung kriteriumsorientiert Erfüllung inhaltlicher Kriterien/Standards verteilungs-, normorientiert Vergleich mit Schulen, die unter ähnlichen Bedingungen arbeiten veränderungsorientiert Überprüfung des Entwicklungsverlaufs (vorher nachher)

10 Evaluationsteams Mitglieder des Evaluationsteams: 3 schulische Evaluatoren (Qualifikation) 1 nicht-schulischer Evaluator (Eltern, Wirtschaft, privater Schulträger, öffentliche Einrichtungen) Rekrutierung der Mitglieder eines Teams: Bewerbung bei der Schulaufsicht (org. zuständig) Bewerbungsgespräch mit Qualitätsagentur (konzeptionell zuständig) Zahl der Evaluatoren (derzeitiger Stand): 64 Teams aus allen Schularten 238 schulische Evaluatoren ca. 229 nicht-schulische Evaluatoren Zahl der 06/07 zu evaluierenden Schulen: ca. 500 (von insgesamt mehr als 5000 Schulen)

11 Qualifikation der Evaluatoren Erstqualifizierung: Theorien der Evaluation Evaluationskonzept für bayerische Schulen Schul- und Unterrichtsqualität Vorbereitung, Durchführung und Reflexion eines Schulbesuchs vor Ort Erfahrungsberichte und Austausch Konkrete Planung anstehender Evaluationen Weiterbildung: Regionale Fachtagungen Lehrgänge (z.b. Gesprächsführung) Informations- und Erfahrungsaustausch

12 Ablauf der Evaluation Auswahl der Schulen Befragung L + S E / A Organisationsgespräch Berichts- entwurf Abschluss- bericht Vorstellungskonferenz Datenlieferung 3 Tage Schulbesuch Stellungnahme der Schule Zielvereinbarungen -2 Wo -1Wo Wo + 2 Wo + 3 Wo vor dem Schulbesuch nach dem Schulbesuch

13 Evaluationsprozess eingehende Information: ausgehende Information: spezifischer Schulkontext Datenblatt Beobachtung Befragung Diagnose (=Zuschreibung) von Stärken/Schwächen

14 Evaluationsprozess Die Ergebnisse der Datenanalyse, der Befragungen, der und der werden in jeder Dimension zu den jeweiligen Kriterien zusammengetragen. Danach wird der Bericht erstellt. Kriterium 1 stat. Daten Item L, S, E Item L, E stat. Daten Item L Item L, E Kriterium 2 stat. Daten Item L stat. Daten Kriterium 3 Item L, S, E stat. Daten Item L, E, S Kriterium 4 stat. Daten Item L stat. Daten Item S, E Item L, E, S

15 Grundsätze der Evaluation Die Urteilsbildung stützt sich auf das Prinzip der Triangulation: 1 Verfahren: Es werden mehrere, unterschiedliche h Verfahren zur Untersuchung derselben Evaluationsfrage angewendet (Daten, Befragung, Beobachtung, Interview). 2 Evaluatoren: Die Urteilsbildung im ET erfolgt aufgrund der Wahrnehmungen mehrerer Evaluatoren in gegen- seitiger Unabhängigkeit (mindestens 2 Personen führen eine Evaluationsmaßnahme gemeinsam durch). 3 Betroffene: Es werden mehrere Personengruppen unabhängig voneinander zum selben Thema befragt (Beurteilungen durch verschiedene Personengruppen).

16 nützliche Hinweise Homepage der QA Manual: Externe Evaluation an Bayerns Schulen Flyer: Externe Evaluation an Bayerns Schulen