Selbstevaluation von Unterrichtsgestaltung und Lernerfolgen

Transkript

1 Selbstevaluation von Unterrichtsgestaltung und Lernerfolgen Ziele, Systematik und exemplarische Verfahren Juni 2007 Albert Scherer, Hamburg 1

2 Seminarausschreibung Zielsetzung und Systematik von Evaluation (allgemein) Ausgewählte Verfahren zur Selbstevaluation von Unterrichtsgestaltung und Lernerfolgen die die Selbstlernkompetenz von bildungs- benachteiligten Jugendlichen unterstützen. Juni 2007 Albert Scherer, Hamburg 2

3 Wie ist die aktuelle Situation? Fünf Blitzlichter - Fünf Widersprüche: Blindflug und Intuition Ich weiß gleichzeitig zu viel und zu wenig! Wissenschaftlicher Anspruch und praktische Relevanz Wo ist der Rettungsanker in der Datenflut? Modeerscheinung und ernsthafte QE. Juni 2007 Albert Scherer, Hamburg 3

4 Überblick zum Seminar 1. Was ist Evaluation? 2. Funktionen, Ziele und Zwecke von Evaluationen 3. Die Systematik von Evaluationen 3.1 Evaluationsstandards 3.2 Phasen der Evaluation 3.3 Formen der Evaluation 4. Evaluationsmethoden 5. Selbstevaluation im System Schule 6. Methoden und Instrumente 7. Selbstevaluation mit bildungsbenachteiligten Jugendlichen Juni 2007 Albert Scherer, Hamburg 4

5 Fürsorglicher Warnhinweis Ein- und Überblicke blicke als Angebot Suchen Sie sich die Rosinen heraus Lassen Sie sich gegen den Strich bürsten Selbstwirksamkeit und Selbststeuerung steuerung => ein roter Faden. Juni 2007 Albert Scherer, Hamburg 5

6 1. Was ist Evaluation? Evaluation ist die systematische und methodisch kontrollierte Sammlung, Auswertung und Interpretation von Daten und Fakten (über Unterrichtsgestaltung und Lernerfolge mit bildungsbenachteiligten Jugendlichen), um daraus begründete Konsequenzen zu ziehen. Juni 2007 Albert Scherer, Hamburg 6

7 Evaluation ist aber auch ein sozialer Prozess in einem komplexen System. Juni 2007 Albert Scherer, Hamburg 7

8 2. Funktionen, Ziele und Zwecke von Evaluationen Erkenntnisfunktion (Zielerreichung, Wirkungen/Impact und Ergebnisse/Outcome Outcome) Kontrollfunktion (Akzeptanzproblem, Widerstände) Dialogfunktion (kollektiver/kommunikativer Prozess) Kontrollfunktion Dialogfunktion Legitimitätsfunktion ( Weiter so Veränderungsfunktion (Praxisrelevanz, ( Weiter so - oder anders ) Optimierung, die Implementierung einer Maßnahme / eines Programms begleiten, Qualitätsentwicklung) Juni 2007 Albert Scherer, Hamburg 8

9 3. Die Systematik von Evaluationen 3.1 Evaluationsstandards 3.2 Phasen einer Evaluation 3.3 Formen der Evaluation Juni 2007 Albert Scherer, Hamburg 9

10 3.1 Evaluationsstandards Nützlichkeit Durchführbarkeit Fairness Genauigkeit Kontraktgestaltung Juni 2007 Albert Scherer, Hamburg 10

11 Wie war, wie ist das bei uns? Sage mir, wie eure Standards (in der Praxis) sind, und ich sage dir, was herauskommt und wo die Stolpersteine liegen. Juni 2007 Albert Scherer, Hamburg 11

12 Standard Nützlichkeit Identifizierung der Beteiligten und Betroffenen (Evaluation als System) Klärung der Evaluationszwecke (Ziele und Interessen) Glaubwürdigkeit und Kompetenz der (Selbst- )EvaluatorInnen (Semi-/Profis) Ort und Zeitpunkt der Evaluation (Warum hier und jetzt?) Nutzung und Nutzen der Evaluation (Wann und für wen? Relevanz der Erkenntnisse) Juni 2007 Albert Scherer, Hamburg 12

13 Standard Durchführbarkeit Angemessenes Verfahren - Anforderungen an die Kompetenzen und Ressourcen - Evaluationsbreite und -tiefe - => Auswahl und Umfang Evaluation als kommunikativer Prozess - Akzeptanz Effizienz (Aufwand - Wirkung / Ergebnis) Wenn es (zu) kompliziert wird, stimmt etwas nicht... Juni 2007 Albert Scherer, Hamburg 13

14 Standard Fairness Kontraktgestaltung und Transparenz (u.a. Werte) Schutz individueller Rechte (Datenschutz) Unparteilichkeit bzw. Allparteilichkeit Offenlegung der Ergebnisse Interpretation und Bewertung durch alle Beteiligten und Betroffenen Juni 2007 Albert Scherer, Hamburg 14

15 Standard Genauigkeit Beschreibung des Evaluationsgegenstandes Kontextanalyse Beschreibung von Zwecken und Vorgehen Angaben von Informationsquellen Valide und reliable Informationen Systematische Fehlerprüfung Analyse qualitativer und quantitativer Informationen Begründete Schlussfolgerungen Meta-Evaluation Juni 2007 Albert Scherer, Hamburg 15

16 Kontraktgestaltung Auftraggeber und Auftragnehmer bzw. Verantwortliche benennen Evaluationsgegenstand und Fragestellung beschreiben Leistungsbeschreibung Ressourcen klären Zeitplan erstellen Datenschutz gewährleisten Umgang mit den Ergebnissen festlegen. Juni 2007 Albert Scherer, Hamburg 16

17 3.2 Phasen der Evaluation Evaluationskreislauf (Selbst-)Auftrag und Zielklärung Evaluationskonzept /-plan/ plan /-design/ Untersuchung (Feldphase) Evaluationsbericht und Interpretation => Konsequenzen Juni 2007 Albert Scherer, Hamburg 17

18 3.3 Formen der Evaluation (Externe bzw.) Fremdevaluation ( ich handle, andere evaluieren ) Vorteile: - unabhängig, neutral - Evaluationskompetenz Nachteile: - relativ aufwendig - Widerstände bei den Beteiligten / Betroffenen (Interne bzw.) Selbstevaluation ( ich handle und evaluiere ) Vorteile: - gute interne Kenntnisse - geringere Widerstände Nachteile: - blinde Flecken - weniger Evaluationskompetenz Juni 2007 Albert Scherer, Hamburg 18

19 4. Evaluationsmethoden Qualitative: Fragebogen mit offenen Antworten Einzel- und Gruppeninterviews ExpertInnenrunden Dokumentenanalyse (Teilnehmende) Beobachtung Quantitative: Fragebogen mit vorgegebenen Antworten Tests (Prüfungen) Sekundäranalyse Strukturierte Beobachtung Antworten (Ankreuzen) (Strichlisten) Juni 2007 Albert Scherer, Hamburg 19

20 5. Selbstevaluation im System Schule Beschränkung auf das (wirklich) Gewünschte und Machbare Was wissen wir bereits? Hypothesenbildung Im Team arbeiten / Evaluations- bzw. Steuergruppe Semiprofessionelle EvaluatorInnen qualifizieren (EvaluationsberaterInnen,, QM-Beauftragte) Externe BegleiterInnen einbeziehen (schul-oder abteilungsextern) Verbindung von interner und externer, Fremd- und Selbstevaluation Unterschiede Evaluation der Unterrichtsentwicklung bzw. der Schulentwicklung beachten Den Gesamtzusammenhang der Schulentwicklung verdeutlichen (Effizienz und Akzeptanz). Juni 2007 Albert Scherer, Hamburg 20

21 6. Methoden und Instrumente Es gibt nicht zu wenige, sondern zu viele M&I Alle M&I müssen maßgeschneidert und angepasst werden in einem kollektiven Prozess aller Beteiligten. Juni 2007 Albert Scherer, Hamburg 21

22 Methoden und Instrumente 2: Darf`s noch etwas mehr sein? Wochenplanarbeit, S-/L-Portfolio, Rückmeldegespräch, Kompetenzraster, Kontrollklassen, Triangulation, 360-Grad-Feedback, reziproker Feedback-Fragebogen, Partnergespräche, Concept- Map, Lerntagebücher, Selbstbeobachtungs-/ bewertungsbogen, Gruppengespräche, Evaluationszielscheibe, kollegiale Hospitation/Peerbeobachtung, Reflexionsjournal, Selbstvereinbarung zur UE, kreative Methoden, Partner-/Gruppenbewertungen, Logbuch, kritische FreundInnen, Kraftfeldanalyse. Juni 2007 Albert Scherer, Hamburg 22

23 Methoden und Instrumente 3: Worauf kommt es an? 1. Transformation M&I der Unterrichtsgestaltung => Evaluations-M&I 2. Ziele => Fragen => M&I 3. Genaue Formulierungen der Ziele und Fragen 4. Zuerst einfache, unterrichtskompatible M&I einsetzen Kein Perfektionismus oder Methodenfetischismus 5. Weniger ist mehr (Formel 2 x 2) und bunt ist besser (Methodenwechsel) 7. Methoden sind Mittel zum Zweck. Juni 2007 Albert Scherer, Hamburg 23

24 7. Selbstevaluation mit bildungsbenachteiligten Jugendlichen Perspektivenwechsel: Was haben die SchülerInnen von der Evaluation? Positive L-S-Beziehung, L Vertrauensbeziehung Die Jugendlichen einbeziehen Verständlich formulieren Ankreuzen vor Formulieren Formel Max 10 (Fragen) + Max 3 (Antworten) Formel schnell & einfach ; klein anfangen Mündlich vor schriftlich Kompetenzorientierung Soziokulturelle Aspekte berücksichtigen Rückmeldung = soziale Anerkennung Spürbare Veränderungen (Verbesserungen). Juni 2007 Albert Scherer, Hamburg 24

25 "Ich halte die Dinge so einfach wie möglich, aber nicht einfacher. Albert Einstein Juni 2007 Albert Scherer, Hamburg 25