Qualitätsentwicklung: oben, unten?

Transkript

1 ARGEV-Tagung Schlüsselfragen der externen Evaluation Baden, 24. Juni 2003 Qualitätsentwicklung: oben, unten? Prof. Dr. Michael Schratz innen, aussen? vorne, hinten?

2 Europäische Dimension der Qualitätssicherung an Schulen extern Maturität England Maturität dezentral Österreich Norwegen Schottland Finnland Schweden zentral intern

3 Evas Würfel Wer entscheidet? Fremdevaluation Selbstevaluation bottom up top down innen außen Zug Druck wollen Rechenschaft müssen Wer / Was bewegt? Interne Evaluation Externe Evaluation Entwicklung Wer ist beteiligt?

4 Einschätzung von Evaluation durch die Schulen (N=101, %) fremd selbst ist sehr aufschlussreich verbessert den Unterricht ist zeitaufwändig bezieht die meisten Mitarbeiter/innen ein verbessert das Management ist leicht zu interpretieren wird von den meisten Mitarbeiter/innen begrüßt ist leicht anzuwenden ist kostenwirksam ist zuverlässig/konsistent ist gültig 52 56

5 Evaluation ist das Bemühen, die Qualität von Produkten und Prozessen zu verstehen - und zu entwickeln.

6 Bereiche zur Evaluation ERGEBNISSE PROZESSE AUF DER UNTERRICHTSEBENE PROZESSE AUF DER SCHULEBENE UMFELD 1 Schulleistungen 2 Persönliche und soziale Entwicklung 3 Weitere Laufbahn der Schülerinnen und Schüler 4 Zeit für Lernprozesse 5 Qualität des Lernens und Lehrens 6 Unterstützung bei Lernschwierikgeiten 7 Schule als Lernort 8 Schule als sozialer Ort 9 Schule als professionelle Organisation 10 Schule und Elternhaus 11 Schule und Gemeinde 12 Schule und Arbeit

7

8

9 Number of evaluations completed in different areas Number of evaluations completed in different areas (actions/number of schools) 127 number of actions number of schools academic achievement personal and social development pupils destinations time as a resource for learning quality of learning and teaching support for learning difficulties school as a learning place school as a social place school as a professional place school and home school and community school and work evaluations / numbers of schools

10 number of schools academic achievement personal and social development pupils destinations time as a resource for learning quality of learning and teaching support for learning dif f iculties school as a learning place school as a social place school as a professional place school and home school and community school and work Number of actions completed in different areas number of actions actions / numbers of schools

11 Attitudes towards self-evaluation Tells us nothing new. 4,75,1 Tells us a lot. Doesn t improve teaching. 2,9 4,4 Improves teaching. Is time consuming. Involves only few. 2,7 2,3 4,3 4,4 Takes little extra time. Involves everyone. Doesn t improve management. Is hard to interpret. 2,7 4,6 4,1 3,6 Improves management Is easy to interpret. Is disliked by most staff. Is difficult to administer. Is not cost effective. Is unreliable/inconsistent. 3,5 3,9 3,7 3,3 4,1 4,4 3,1 4,7 Is liked by most staff. Is easy to administer. Is cost effective. Is reliable/consistent Is invalid. 2,9 4,7 Is valid. Evaluating Quality in School Education Questionnaire 2

12 Vom unbewussten zum bewussten Lernen kompetent Vertrauen Sicherheit bewusste Kompetenz unbewusste Kompetenz bewusst unbewusst Unsicherheit bewusste Inkompetenz unbewusste Inkompetenz inkompetent Zufriedenheit

13 Von der unbewußten Inkompetenz zur bewußten Kompetenz tun kompetent bewußte Kompetenz inkompetent unbewußte Inkompetenz unbewußt bewußt verstehen

14 Von der unbewußten Inkompetenz zur bewußten Kompetenz tun kompetent bewußte Kompetenz inkompetent unbewußte Inkompetenz unbewußt bewußt verstehen

15 Ein/e kritische/r Freund/in ist eine vertrauenswürdige Person, die provokative Fragen stellt, Daten in einem anderen Blickwinkel darstellt und als Freund Kritik an der Arbeit einer Person übt. Ein kritischer Freund nimmt sich Zeit, um den Kontext der vorliegenden Arbeit und die Ziele, auf die die Person oder Gruppe hinarbeitet, gänzlich zu verstehen. Der Freund ist ein Advokat für den Erfolg dieser Arbeit. (Kosta/Killick 1993, S. 22).

16

17 Woran erkennen Sie hier Qualität?

18

19

20 Normmodell: Qualität verorten und entwickeln Gesamtheit der schulischen Entwicklungsanliegen (im Schulprogramm) Bereich aus dem Schulprogramm, der evaluiert werden soll. Entwicklungsziel: Was die Schule erreichen will. Indikator, an dem ich erkennen kann, ob das Ziel erreicht worden ist (woran erkennbar?) Evaluationsmethode

21 Woher wissen wir, WAS WIE Schülerinnen und Schüler lernen?

22

23 Lernen ist das Persönlichste auf der Welt. Es ist so eigen wie ein Gesicht oder wie ein Fingerabdruck. Noch individueller als das Liebesleben. Heinz von Foerster (1999)

24 ISBN

25 Serena, S. 33

26 Profil erstellen befragen Tagebuch schreiben beobachten abbilden Evaluation von Schule und Unterricht ordnen messen sammeln darstellen diskutieren

27

28 Standards verweisen auf Grundkompetenzen, die in absolut notwendiger Weise angeeignet werden müssen und hierin auch einen handlungsorientierten Gütemaßstab standhalten. unausgesprochene Standards: unverbindliche Erwartung (von individueller Festsetzung und Überzeugung geleitet) verschriftlichte Standards: verbindliche Erwartung (makro- bzw. mikropolitisch vereinbart und festgesetzt)

29 Verstehen Erkenntnisdimension Wissen Wissensdimension Dimensionen von Leistung Können Anwendungsdimension Gruppe Soziale Dimension Person Persönliche Dimension

30 Leistungsstandard ist die Beschreibung dessen, was von Schüler/innen erwartet wird, dass sie selbst bzw. in Beziehung zu anderen wissen verstehen anwenden können in überprüfbarer Form.

31 Matrix der Steuerungsoptionen in der Qualitätsentwicklung Machtstrategie: hierarchische Fremdsteuerung zentral RDD-Strategie: professionelle Fremdsteuerung Hierarchie Expertokratie Politische Anspruchsberechtigte Partizipationsstrategie: dezentrale Selbststeuerung Heterarchie dezentral Praxisnetzwerke Professionelle Experten Kompetenzstrategie: professionelle Selbststeuerung

32 Schulaufsicht SOLLEN WOLLEN Schule

33 Regionale Schulbehörde Schulaufsicht SOLLEN Regionale Schulentwicklung WOLLEN Schule Schule Schule Schule Schule Schule Schule Schule

34 Personalentwicklung Regionale Schulaufsicht SOLLEN Regionale Schulentwicklung Visionen Leitbilder WOLLEN Schule Schule Schule Schule Schule Schule Personalentwicklung Schule Schule

35 Begleitungs- oder Begleitungs- oder Innenkreis Innenkreis Verarbeitung, Reflexion Verarbeitung, Reflexion Ziele entwickeln Ziele entwickeln Eigene Lösungswege suchen Eigene Lösungswege suchen Begleitung und Strukturierung Begleitung und Strukturierung Anregungs- oder Anregungs- oder Außenkreis Außenkreis Informationen Impulse Informationen Impulse Wissenschaftliche Erkenntnisse Wissenschaftliche Erkenntnisse Arbeitsinstrumente Arbeitsinstrumente Irritationen Irritationen

36 Kontrolle der gesetzlichen Vorgaben Schulaufsicht Sicherstellung gesellschaftlicher Ansprüche (regional) Krisenmanagement Regionales Management Kontrolle der Zielerreichung Schulprogramm Selbstevaluation SGA/Schulf. Schule SGA/Schulf. Schulinterne Meta-Evaluation

37

38 Bildungspolitik/Öffentlichkeit Nationales Qualitätssystem Nationaler Bildungsbericht Nationales System Qualifizierung und Entwicklung Diagnose und Monitoring Vernetzung und Policy Analysis BMBWK - QIS Systemmonitoring Bildungsstatistik Fokussierte Evaluation Nationale Entwicklungsprojekte Region/ Land Schule Aggregierte Daten Lehrer/ Unterricht Regionaler Bildungsplan aggreg. Daten Metaevaluation Schulprogramm aggreg. Daten Leistungsbeurteilung Regionaler Bildungsplan Schulaufsicht Schulleitung / SGA Schulprogramm Personalentwicklung Benchmarking Selbstevaluation aggreg. Daten Berichte Lehrer/innen Krisenintervention Leistungsrückmeldungen Vorgabe Vergleichsdaten Selbstevaluation Regionaler Bildungsplan Vorgaben Vergleichsdaten Schulprogramm Individualfeedback Referenzdaten, Standards, Instrumente