Evaluation in SQA eine Einführung. electure: 9. Mai 2016, Uhr Moderation: Maria Gutknecht-Gmeiner

Transkript

1 Evaluation in SQA eine Einführung electure: 9. Mai 2016, Uhr Moderation: Maria Gutknecht-Gmeiner

2 Was fällt Ihnen spontan zu Evaluation ein?

3 Was Sie heute erwartet... Was ist Evaluation? Evaluation und SQA wie gehört das zusammen? Evaluation auf der SQA-Website Ein paar Tipps zum Abschluss...

4 Einschätzungen und Erwartungen 1. Wie gut kennen Sie sich mit Evaluation aus? 2. Worüber würden Sie heute gerne mehr erfahren?

5 Einschätzungen und Erwartungen 1. Wie gut kennen Sie sich mit Evaluation aus? 2. Worüber würden Sie heute gerne mehr erfahren?

6 Was ist Evaluation? Reality check (Michael Q. Patton)

7

8 Evaluation Definition SQA ist eine systematische Untersuchung und Bewertung eines Gegenstands auf der Basis empirischer, d.h. erfahrungs-basierter Informationen (Daten), in der Absicht, seine Qualität und seinen Nutzen sicherzustellen und weiterzuentwickeln.

9 Was kann evaluiert werden? eh alles (Michael Scriven) Produkte Personal Lernende Organisationen Programme...

10 Was wird in SQA evaluiert?

11 Gegenstände von Evaluation in SQA Entwicklungspläne EP Qualitätsbereiche Schulebene Lehrer/innen/ Teams Bestandsaufnahme Veränderungen

12 Pädagogische Diagnostik

13 Evaluation und Pädagogische Diagnostik Leistungsbewertung und pädagogische Diagnostik = Teil der Evaluation in SQA 2 Perspektiven Leistungsbewertung und pädagogische Diagnostik als solche, d.h. der Evaluation der SchülerInnenleistungen 2) der Evaluation der von den Lehrer/innen angewandten Verfahren zur Leistungsbewertung und pädagogischen Diagnostik

14 Was sind Daten? Daten = empirische/erfahrungsbasierte Informationen Statistiken und Ergebnisse von quantitativen Erhebungen (wie z.b. das Online-Individualfeedback, Leistungstests), aber auch qualitative Daten, wie sie bei Interviews, moderierten Gruppendiskussionen oder als Ergebnis von kreativen Methoden entstehen.

15 Methoden Schriftliche Formen der Erhebung und Reflexion Mündliche Kommunikation Beobachtungsverfahren Kreative Methoden: nonverbale, spielerische Zugänge mit gestalterischer Komponente Dokumentenanalyse: Sammlung, Aufbereitung, Analyse und Vergleich bereits vorliegender Daten

16 Evaluation und Feedback Feedback ist die Rückmeldung von betroffenen/beteiligten Personen an andere Personen. Feedback ist in SQA eine der wichtigsten, weil wirksamsten Informationsquellen. Es ist genau genommen kein eigenes Verfahren, sondern eine Form der Datenerhebung in der Evaluation.

17

18 Kein Feedback ohne Feedbackregeln Gelingensbedingungen eine positive Intention Offenheit, Vertrauen und Fairness Akzeptanz und Verständlichkeit. Checkliste 10 Tipps für konstruktives Feedback

19 Wozu wird evaluiert? Macht nach außen Rechenschaft Dialog Kontrolle Wachstum Verantwortung Entwicklung nach innen Vertrauen Evaluationslandkarte nach Nisbet 1990

20 Wissensgenerierung Evaluationsziele Verbesserung Bilanz/Kontrolle Entwicklung formativ summativ evolutiv

21 Wer evaluiert? Selbstevaluation, interne Evaluation LehrerInnen selbst, Teams Qualitätsteams, SchulkoordinatorInnen Fremdevaluation, externe Evaluation Peers Externe ExpertInnen

22

23 Leitfragen Evaluationsplanung Wozu? Zweck bestimmen Was (genau)? Gegenstand und Fragestellungen Wie bewerten? Kriterien und Indikatoren Für wen? Intendierte NutzerInnen Wer? EvaluatorInnen Mit wem? Stakeholder Wie? Methoden und Instrumente Wann? Wo?

24 Triangulation 1. Zweck der Evaluation Für wen? Mit wem? Wo? 2. Fragestellungen 3. Methoden Wer? Mit wem? Wann? Triangulation Evaluationsplan

25 Was ist Evaluation? Wie gut haben SchülerInnen gelernt, ihre Projekte professionell zu präsentieren? 1.Eine erfahrene Person notiert ihre persönlichen Eindrücke, nutzt besonders starke Adjektive (z.b. exzellent, unvollständig ), um die Besonderheiten der jeweiligen Präsentationen zu kennzeichnen. 2.Die Präsentationen werden von drei Schüler/innen entlang eines einheitlichen, strukturierten Beobachtungsschemas protokolliert. Die Beobachtungsdaten werden verglichen, es wird für jede Beobachtungsdimension eine gemeinsame Bewertung gegeben (Schulnote und kurze Begründung). (nach Balzer/Beywl 2015)

26 Evaluation und SQA Wie gehört das zusammen? Evaluation ist Grundelement von SQA Ermöglicht evidenzbasierte Schul- bzw. Unterrichtsentwicklung Merkmal von Professionalität von Personen und Organisationen

27 Evaluation und SQA Wie gehört das zusammen? Entwicklungsplan (EP) Pädagogische Diagnostik Individualfeedback SQA online Leistungsmessungen bei SchülerInnen Blick von außen externe Rückmeldung Bilanz- und Zielvereinbarungsgespräch

28 SQA-Website

29 Wie gelingt Evaluation? Ein paar Tipps Emotionen ernst nehmen Neugierde wecken Entwicklung in den Vordergrund stellen Handeln und evaluieren verschränken Im Team evaluieren Für klare Spielregeln sorgen Kleine Schritte gehen Vorbereitet sein Kein Feedback ohne Regeln

30 Rückmeldungen 1. Wie gut kennen Sie sich jetzt mit Evaluation aus? 1. Was nehmen Sie heute mit? 2. Worüber würden Sie gerne noch mehr erfahren?

31 Evaluation is an unnatural act (Michael Q. Patton)

32 Danke für Ihre Aufmerksamkeit! Maria Gutknecht-Gmeiner IMPULSE Evaluation und Organisationsberatung Rückmeldungen und Fragen bitte an: Monika Perkhofer-Czapek (SQA-Geschäftsstelle) M info@sqa.at