Evaluationsinstrumente im Vergleich

Transkript

1 Dr. Ballnus S. Winter Dr. Westphal Evaluationsinstrumente im Vergleich SEIS, EFQM-kompakt und der er Fragebogen Osterholz-Scharmbeck, 6. November

2 Entstehungszusammenhänge 2

3 SEIS-Deutschland SEIS Dienstleister Bertelmann- Stiftung Geschäftsführung Einrichtung Schulen Schulen Schulen 3

4 Warum noch ein Instrument? er Fragebogen 4

5 Geeignete Verfahren 5

6 Feine Maschen großer Beifang 6

7 Der Entwicklungsstand 7

8 Die Weiterentwicklung von SEIS In 2007 Erweiterung des Qualitätsverständnisses und der Instrumente, um eine noch größere Übereinstimmung mit den Orientierungsrahmen für Schulqualität der verschiedenen Bundesländer herzustellen. Wissenschaftliche Validierung der neuen Fragebögen (Prof. Buhren und Prof. Brandl-Bredenbeck, Deutsche Sporthochschule Köln). Aktualisierung des Berichtswesens, der Software und sämtlicher Unterstützungsmaterialien, um SEIS noch handhabbarer zu machen. SEIS Wissenschaftlich validiertes und von mehr als 3800 Schulen praktisch erprobtes Evaluationsinstrument 8

9 Zum Status der Entwicklung 1. Erarbeitungsprozess 1. Redaktionelle Erstellung des Fragenkatalogs mit einzelnen Experten 2. Feedback in mehreren Expertenrunden er Fragebogen 2. Wissenschaftliche Validierung 1. Validität im messtheoretischen Sinn nicht erreichbar 2. Gleichwohl: Optimierung der inneren Konsistenz 3. Kooperation mit dem Nils 4. Entscheidend: Plausibilität und Impulsqualität 9

10 Zum Status der Entwicklung Pretest an einer GS und einer RS: Handling, Aufwand, Auswertungsmöglichkeiten, Erkenntnisgewinn er Fragebogen Rückmeldungen bestätigen positive Impulse für die Schulentwicklung, Deckung mit PEB-/NSchI-Ergebnissen 10

11 Qualitätsverständnis 11

12 Orientierungsrahmen Schulqualität 12

13 Das SEIS-Qualitätsverständnis 2008 Ergebnisse Lernen & Lehren Schulkultur Führung und Schulmanagement Professionalität der Lehrkräfte SEIS Ziele & Strategien der Qualitätsentwicklung Personale Kompetenz Schulinternes Curriculum Gestaltung der Schule als Lebensraum Führungsverantwortung der Schulleitung Zielgerichtete Personalentwicklung und Qualifizierung Schulprogramm Fachkompetenz Schülerunterstützung und -förderung Wertschätzung und soziales Klima in der Schule und in den Klassen Schulleitung und Qualitätsmanagement Personaleinsatz Evaluation Lern- und Methodenkompetenz Fachliche und didaktische Gestaltung von Lernen im Unterricht Schülerberatung und -betreuung Verwaltung und Ressourcenmanagement Kooperation Planung, Umsetzung und Dokumentation Praktische Handlungskompetenz Selbstbestimmtes und selbstgesteuertes Lernen Beteiligung von Schülern und Eltern Unterrichtsorganisation Eigenverantwortung und Innovation Schullaufbahn und weiterer Bildungsweg Gestaltung von Beziehungen, Lernzeit und Lernumgebung Kooperation mit gesellschaftlichen Partnern Arbeitsbedingungen Zufriedenheit mit der Schule als Ganzem Leistungsanforderungen und Leistungsbewertung 13

14 Operationalisierung des Qualitätsverständnisses SEIS Qualitätsbereich Kriterium 1 Kriterium 2 Kriterium 3 Kriterium 4 Kriterium 5 Fragebogen Frage 1. Frage 2. Frage 3. Frage 4. Frage 5. Frage 6. Frage 7. Frage 8. Frage 9. Frage Frage Frage 12 Frage 13 Frage 14 Frage 15 14

15 Beispiel aus dem Qualitätsbereich Ergebnisse" SEIS Ergebnisse Personale Kompetenz Fachkompetenz Lern- und Methodenkompetenz Schullaufbahn und weiterer Bildungsweg Zufriedenheit mit der Schule als Ganzem Fragen an die Lehrkräfte: In meinem Unterricht haben meine Schüler/-innen gelernt: eigenständig an Aufgaben zu arbeiten. als Teil eines Teams oder in kleinen Gruppen zu lernen. ihre Arbeit rechtzeitig fertig zu stellen. zu erkennen, worin sie gut sind und worin sie besser sein könnten. die richtigen Informationen zu finden und auszuwählen. aus ihren Fehlern zu lernen. nachzufragen, wenn sie etwas nicht verstehen. sich intensiv mit einer Aufgabe zu beschäftigen. 15

16 Bezug zum Orientierungsrahmen er Fragebogen Modularer Einsatz möglich! 16

17 Bezug zum Orientierungsrahmen er Fragebogen Item 21: Die Schüler/innen erhalten regelmäßig Informationen über den Leistungsstand. 17

18 Wer wird befragt? 18

19 Die Evaluationsinstrumente SEIS Schüler / Auszubildende Fragebögen mindestens 3 - max. 6 Befragungsgruppen (z. B. zwei Schülergruppen, deren Eltern, Lehrer, Mitarbeiter) SLEF = zusätzliches qualitatives Instrument, das die Schulleitung ausfüllt Schulleitungsformular (SLEF) Eltern / Ausbilder Lehrer / Schulleitung Mitarbeiter Schulleitung / Steuergruppe 19

20 Mehrperspektivität Lehrer/innen Eltern er Fragebogen Päd. Mitarbeiter/innen Schüler/innen (Jg. 4) 20

21 Wie wird befragt? 21

22 Computer-Unterstützung SEIS Wahl zwischen Papier-Fragebögen und Online-Verfahren Für die Nutzung von Papierfragebögen müssen Sie einen Dienstleister beauftragen: - Druck und Zusendung der Fragebögen - Abholung der ausgefüllten Fragebögen online oder Papier? - Erfassung der Daten Automatisierte Berichterstattung Abruf des Schulberichts aus dem Internet 22

23 Die Durchführung Pencil & Paper Bildschirminterview Onlinebefragung Evasys Vorteile Mit einfachen technischen Voraussetzungen machbar Materialersparnis Dateneingabe direkt durch die Befragten Sehr übersichtliches Bildschirmdesign Materialersparnis Dateneingabe direkt durch die Befragten Ausfüllen an jedem internetfähigen Rechner möglich er Fragebogen Nachteile Kosten für Papier und Fotokopien Zeitaufwand für die anschließende Dateneingabe Manuelle Dateneingabe als Fehlerquelle Die Befragung mehrerer Personen gleichzeitig erfordert eine Netzwerkinstallation von GrafStat Hardwarevoraussetzungen müssen vorliegen Erweiterte EDV-Kenntnisse erforderlich 23

24 Beispiel: Evasys er Fragebogen 24

25 Die Befragungssoftware er Fragebogen 25

26 Und was kostet das? 26

27 Mögliche Kosten einer Seis-Befragung Zweizügige GS Vierzügiges Gymnasium Software-Nutzung 80,00 80,00 Fragebögen: Druckkosten und Scanning 120,00 0 (Onlinebefragung) Kommentierung? 300,00 0 (eigene Auswertung) Summe 500,00 80,00 27

28 Mögliche Kosten er Fragebogen Zweizügige GS Vierzügiges Gymnasium er Fragebogen Software-Nutzung und Fragenkatalog 0,00 0,00 Fragebögen: Druckkosten 35,00 (Fotokopien) 0 (Onlinebefragung) Kommentierung? Nicht notwendig Summe 35,00 0,00 28

29 Datenauswertung / Berichtswesen 29

30 Der SEIS Schulbericht Die Ergebnisse werden in einem Schulbericht dargestellt. Die Berichte sollen den Schulen nichts beweisen (z.b. im Sinne eines Rankings), sondern Schulentwicklungsimpulse liefern. Die Schulentwicklungsimpulse sollen sich ergeben SEIS aus einem Datenvergleich zwischen Schulen aus dem Vergleich der Antworten verschiedener Befragungsgruppen (Schüler, Eltern /Ausbilder, Lehrer) aus einem Vergleich der Umfragen aus verschiedenen Jahren (Entwicklungsbericht). 30

31 Identifikation von Stärken und Schwächen SEIS Stärken? Schüler/innen (9. Klasse) durchschnittl. Zustimmung in Prozent Schwächen? Schule R1 R Schule R1 R2 31

32 Relativierung der Stärken und Schwächen SEIS Stärken? Schüler/innen (9. Klasse) durchschnittl. Zustimmung in Prozent Schule R R Schwächen? Schule R1 R2 32

33 Auswertungsstrategien SEIS 33

34 Die Schule entscheidet über Breite und Tiefe er Fragebogen Abweichung der Wahrnehmungen > 1/3 34

35 Mögliche Zusammenfassung er Fragebogen 35

36 Was kommt nach der Evaluation? 36

37 Qualitätszyklus Globalziel Wir wollen etwas erreichen. Leitbild Konsequenzen Wir überlegen, was wir wie besser machen können Bestandsaufnahme Wir stellen fest Evaluation Wir prüfen, ob wir mit unserer Maßnahme unser Ziel erreicht haben Schulprogramm Qualitätszyklus Maßnahmen SEIS, er Fragebogen u.a. Teilziele/Standards/ Kriterien/Indikatoren Wir legen Teilziele fest und klären, woran wir die Zielerreichung erkennen Wir setzen etwas konkret um 37

38 Unterstützungsangebote 38

39 Unterstützungsangebote für Schulen Unterstützungsangebote im Internet ( ) Handreichungen (Software-Anleitung, SEIS und externe Evaluation ) Erfahrungsberichte von Schulen, die mit SEIS gearbeitet haben Forum zum Auffinden von Kommentarschreibern Schuldatenbank mit Entwicklungsschwerpunkten SEIS Interaktive Präsentation auf CD-ROM Praxisleitfaden Bessere Qualität in allen Schulen Broschüren, Flyer und Poster zu SEIS, Zeitschrift Podium Schule Toolbox mit Schulentwicklungsbausteinen ( 39

40 Unterstützungsangebote für Schulen Onlineangebot der Fragebögen / GrafStat-Dateien Ausführliche Anleitung zum Einsatz des Fragebogens Kooperation mit dem NiLS bei Onlinebefragung mit Evasys FAQ Keine Hotline / kein Mailsupport Ziel: Das Instrument muss so einfach bleiben, dass es keinen Support braucht. Ausführliche Informationen: er Fragebogen 40

41 Und was es noch zu sagen gibt Seis Fragenkatalog kann um 10 Fragen ergänzt werden Fragebögen liegen mehrsprachig vor Seis ermöglicht den Qualitätsvergleich er Fragebogen Fragenkatalog kann beliebig verändert oder ergänzt werden Deutschsprachige Fragebögen sind für Grundschüler optimiert Der Fragebogen verzichtet auf den Qualitätsvergleich 41

42 Fazit: Der er Fragebogen... er Fragebogen... ist nicht so präzise wie eine Kernspintomographie, aber leistet mehr als ein Tastbefund, 42

43 Fazit: Der er Fragebogen... er Fragebogen... hat nicht die Nebenwirkungen einer Röntgenaufnahme und zeigt manchmal so etwas Schönes wie ein Ultraschallbild. 43

44 Dr. Ballnus S. Winter Dr. Westphal EFQM + EFQM kompakt 44

45 Notwendigkeit von Qualitätsmanagement Veränderter Steuerungsansatz höher TQM-System als Kompass und Referenzrahmen für eine ganzheitliche und systematische Entwicklung Schule als lernende Organisation hoch Schulqualitätsniveau Qualitätsmanagementsystem Steuerung über über Ziele Ziele (Kennzahlen, Indikatoren) Von Von einer inputzu einer outputorientierten Steuerung zu Paradigmenwechsel der Steuerungssysteme t = 1 t =2 45

46 Das Modell der EFQM RADAR-Logik Die gewünschten Ergebnisse bestimmen Results Approach Deployment Assessment Review (Ergebnisse) (Vorgehen) (Umsetzung) (Bewertung) (Überprüfung) Vorgehen und dessen Umsetzung bewerten und überprüfen Vorgehen und dessen Umsetzung planen Vorgehen umsetzen 46

47 Der zyklische Qualitätsentwicklungsprozess für Organisationen IST-Analyse durch Selbstbewertung auf Basis der 9 EFQM-Kriterien Umsetzung der beschlossenen Maßnahmen und laufende Überprüfung Identifizierung von Stärken und Verbesserungsbedarfen Priorisierung erforderlicher Verbesserungsmaßnahmen und Aktionsplanung 47

48 Bildungsproduktionsmodell Input- und Prozessqualitäten sind beeinflussbar Inputqualitäten Prozessqualitäten Outputqualitäten Ergeben sich aus den Input - und Prozessqualitäten Diese Teilqualität umfasst u.a. Sächliche Ressourcen Personelle Ressourcen Rahmenvorgaben Gestaltungsrahmen (Autonomiegrad) Qualifikation der Lehrkräfte Qualitätsbewusstsein Unterstützungssysteme Diese Teilqualität umfasst u.a. Unterricht Führung Verwaltung/Organisation Schulkultur Professionalität der Lehrkräfte Diese Teilqualität umfasst u.a. Pädagogische Ergebnisse : Outcome / Effektivität (d.h. Erfolg der Schülerinnen und Schüler an weiterführenden Schulen sowie in der Arbeits - und Lebenswelt) Output / Effizienz (d.h. Erfolg der Schülerinnen und Schüler gemessen an den Lernleistungen) Zufriedenheit Ökonomische Ergebnisse Effizienter Ressourceneinsatz Qualität schulischer Arbeit 48

49 Das EFQM-Modell für Excellence auf Schule angepasst 49

50 Der Aufbau der Kriterien: Befähiger (nach EFQM) 1 Führung 1a 1b 1c 1d 1e Teilkriterien (Aspekte) Ansatzpunkte Spezifischer Leitfaden für Schulen 5a 5 Prozesse 50

51 Kursbuchblatt zur Dokumentation der Selbstbewertung im Befähiger - Bereich (Kriterien 1-5) (Prinzip-Darstellung) IST-Situation: Vorgehen / Umsetzg./ Bewertg.u.Überprüfg.: Quelle: Stärken: Blatt Nr. 1 Verbesserungspotenziale: Verbesserungsplan: Verbesserungsmaßnahme Verantwortlich? Bis wann? Stand 51

52 Kursbuchblatt zur Dokumentation der Selbstbewertung im Befähiger - Bereich (Kriterien 1-5) (Prinzip-Darstellung) IST-Situation: Vorgehen / Umsetzg./ Bewertg.u.Überprüfg.: Quelle: Stärken: - Die Vision einer guten Schule entwickeln u. formulieren Protokoll Das Führungsteam der Schule hat in einem Workshop am den Entwurf einer Vision entwickelt. im - Sich auf Werte, die das Entstehen einer individuellen Schulkultur fördern, einigen u. sie vorleben Direktorat Blatt Nr. 1 - Das eigene Führungsverhalten wird durch das konsequent angewandte Instrument der Vorgesetztenbeurteilung ständig überprüft und verbessert. - Die Wirksamkeit des eigenen Führungsverhaltens überprüfen und verbessern und auf zukünftige Führungsanforderungen reagieren Die Führungskräfte überprüfen ihr Führungsverhalten mittels einer alle 2 Jahre durchgeführten systematischen Vorgesetztenbeurteilung durch ihre Mitarbeiter (MA). Auf erkannte Schwachstellen wird zeitnah durch entsprechende Maßnahmen reagiert. Die Zufriedenheit der MA mit dem erfahrenen Nutzen der Vorgesetztenbeurteilung wird bei jeder Vorgesetztenbeurteilung mit abgefragt. Unterlagen der Führungskräfte Verbesserungspotenziale: - Die Vision der Schule wurde zwar vom Führungsteam entwickelt, ist aber noch nicht mit den übrigen Mitgliedern der Schulgemeinschaft abgestimmt. - Die für das Entstehen einer guten Schulkultur zu vereinbarenden Werte sind noch nicht formuliert. Verbesserungsplan: Verbesserungsmaßnahme Verantwortlich? Bis wann? Stand Abstimmung der Vision mit der Schulgemeinschaft Schulleiter Ende Aug. 09 läuft Erarbeitg.u.Vereinbarg. der für die Schulgemeinschaft verbindlichen Werte Schulleiter Ende Aug. 09 nicht begonnen 52

53 Zusammenfassung EFQM kompakt Instrument Bezug zum Orientierungsrahmen Erfahrungen Eignung Leitfaden für eine Selbstbewertung im Rahmen eines TQM-Systems Ja, siehe Kompatibilitätsmatrix Die meisten Qualitätsaspekte sind berücksichtigt Bisher in den BBS sehr gut bewährt. Vorliegen positiver Evaluationsbefunde Für alle Schulen ab mittlerer Größe Vorkenntnisse Beratung Aufwand Eine Schulung einiger Kolleginnen und Kollegen ist zwingend erforderlich. Bei Schulen, die neu in das Qualitätsmanagement einsteigen, ist eine externe Beratung, Begleitung und Moderation erforderlich. EFQM kompakt hat den Aufwand für eine Selbstbewertung erheblich reduziert. Stark abhängig von der gewählten Vorgehensweise Kosten Ca. 30 für den Leitfaden Ggf. Kosten für die externe Beratung 53

54 Was es noch gibt Braunschweiger Kursbuch Selbstbewertung ( Braunschweig) Computergestützte Schülerbefragung (BBS Bersenbrück) SchulePlus (IQSH, Kiel) Peer-Review (Heideschule Buchholz) Blick über den Zaun (AK reformpädagogischer Schulen) 54

55 Ausgang aus dem Irrgarten? SEIS andere Evaluationsinstrumente EFQM er Fragebogen 55