Evaluationsworkshop - Uni Trier Peter Baumgartner Bildungstechnologie Institut für Bildungswissenschaft & Medienforschung http://www.fernuni-hagen.de/bt http://www.peter.baumgartner.name/
Gliederung 1. Was ist Evaluation? 2. Evaluation vs. Sozialforschung 3. Fairness 4. Formative und Summative Evaluation 5. Gestaltungsbereiche
Was ist Evaluation? 3/18
Was ist Evaluation? "Alles und Nichts" Methodenlehre Werturteil Evaluation... is what people say it is; and people currently aresayingitismanydifferent things. (Glass & Ellet 1980) Messen Angewandte Sozialforschung Verbesserung praktischer Maßnahmen 4/18
Was ist Evaluation? "Alles und Nichts" Methodenlehre Werturteil Die meisten Bücher zur Evaluation sind Methodenlehren. Messen Angewandte Sozialforschung Verbesserung praktischer Maßnahmen 5/18
Was ist Evaluation? "Alles und Nichts" Methodenlehre Werturteil Thorndike et al., 1991: Measurement and Evaluation in Psychology and Education. Messen Angewandte Sozialforschung Verbesserung praktischer Maßnahmen 6/18
Was ist Evaluation? "Alles und Nichts" Methodenlehre Werturteil Evaluation... hat primär das Ziel, praktische Maßnahmen zu verbessern... (Will, Winteler & Krapp, 1987) Messen Angewandte Sozialforschung Verbesserung praktischer Maßnahmen 7/18
Was ist Evaluation? "Alles und Nichts" Methodenlehre Werturteil Evaluation research is the systematic application of social research procedures... (Rossi & Freeman, 1989) Messen Angewandte Sozialforschung Verbesserung praktischer Maßnahmen 8/18
Was ist Evaluation? "Alles und Nichts" Methodenlehre Werturteil Evaluation is the determination of a thing's value. (Worthen & Sanders, 1987) Messen Angewandte Sozialforschung Verbesserung praktischer Maßnahmen 9/18
Forschung vs Evaluation context of discovery interessengeleitet context of justification Wertfreiheit context of utilization interessengeleitet 10/18
Evaluation Sozialforschung bewertend entscheidungsorientiert verbesserungsorientiert WERT (gesellschaftlicher Nutzen) Evaluator Auftrag interessensorientiert Evaluationsumfeld oft keine Generalisierbarkeit WERTfrei schlußfolgerungsorientiert erklärungsorientiert WAHRHEIT (empirische Überfprüfbarkeit, logische Konsistenz) Wissenschafter (Auftrags-)Forschung erkenntnisorientiert scientific community Generalisierbarkeit theoriebildend 11/18
Fairness Werturteil Evaluations should not only be true, they should also be just. (Ernest R. House, 1980) 12/18
Gerechtigkeit/Fairness-Probleme Interessensausgleich und Machtverhältnisse Abhängigkeit vom Auftragsgeber Momentaufnahme bei historischer Gewachsenheit Sozio-kultureller Hintergrund der Institution 13/18
Taxonomie (Stufflebeam & Shinkfield 1985) Interesse Ziel Typ Pseudo- Verwertung Konfirmation/ Kritik Politikstudie Quasi- Erkenntnis Monitoring Antwort Kontrolle zielbasierte Studie echte Bewertung Werturteil zielfreie Studie 14/18
Logik der Evaluation (Scriven 1980) Definition von Wertkriterien Welche Kriterien muß der Evaluand aufweisen, um als "gut" zu gelten? Aufstellen von Leistungsstandards Wann gilt ein Kriterium als erfüllt? (Operationalisierung) Messen und Vergleich In welchem Maße wird das Kriterium erfüllt? Bildung des Werturteils Integration der Ergebnisse 15/18
Gestaltungsbereiche Bildungssystem Bildungsinstitution Bildungsprogramm (Lehrplan/Curriculum) Bildungsveranstaltung Unterrichtseinheit Lehr-/Lernsituation (Interaktion) 16/18
Formative vs. Summative Evaluierung Ergebnisse fliessen in die Entwicklung ein. Formen sozusagen die weitere Entwicklung. Ergebnisse sind eine abschließende Bewertung. ( abschließend ist relativ: abschließend auf was?) Prototyp 1 Prototyp 2 Prototyp 3 Evaluation Evaluation Evaluation Spezifikation Implementierung Design Design 17/18
Danke für die Aufmerksamkeit! Peter Baumgartner Bildungstechnologie Institut für Bildungswissenschaft & Medienforschung http://www.fernuni-hagen.de/bt http://www.peter.baumgartner.name/