2 Aufgaben, Standards und Modelle der Evaluation

Transkript

1 2 Aufgaben, Standards und Modelle Merkmal 1 Merkmal 2 zu bewertender Sachverhalt Merkmal 3 Merkmal n Bewertung unmittelbare/ intuitive Erkenntnis Merkmal x Zeit Abbildung 2.1. Darstellung. Bei wird eine vorher nicht festgelegte Anzahl von Merkmalen eines Sachverhaltes bewertet. Diese Bewertung kann jederzeit vorgenommen werden und führt zu einer unmittelbaren bzw. intuitiven Erkenntnis. Die gestrichelte Ellipse zeigt an, dass der Merkmalsraum theoretisch nicht vorgegeben ist. Der Bewertungsprozess (dargestellt durch die gestrichelte Zeitachse) ist raum-zeitlich nicht fixiert Merkmal 1 Merkmal 2 zu bewertender Sachverhalt Merkmal 3 Merkmal n Bewertung Y = b1m1 + b2m b xm x + a mittelbare/ diskursive Erkenntnis Merkmal x Zeit Abbildung 2.2. Darstellung sforschung. Bei sforschung sind eine theoretische Fundierung (durchgezogene Linie der Ellipse) und eine raumzeitliche Fixierung des Evaluationsprozesses gegeben, die durch die Regressionsgleichung im Bewertungskasten ausgedrückt wird. Bei sforschung liegt eine mittelbare bzw. diskursive Erkenntnis vor 1

2 Pädagogische Psychologie Abbildung 2.3. Definitionsmerkmale sforschung. In der Pädagogischen Psychologie (Disziplin) werden u. a. in den Bereichen Instruktions- und Erziehungspsychologie die Fragestellungen des Nutzens adaptiver Instruktionen und des Einflusses von Erziehungsstilen auf die Motivation evaluiert Disziplin Instruktionspsychologie Erziehungspsychologie Bereich Nutzen adaptiver Instruktionen Einfluss von Erziehungsstilen auf die Motivation Fragestellung 2

3 1 Evaluationsbedarf 2 Evaluationsauftrag 3 5 Evaluationsgrundlagen 4 methodische Projektplanungen 6 Datenauswertung 8 Dissemination der Ergebnisse 10 Rahmenbedingungen Druchführung 7 9 Abbildung 2.4. Normatives Modell des Evaluationsprozesses in 11 Stufen (nach Balzer, 2005). Der Evaluationsprozess beginnt mit dem Evaluationsbedarf und führt u. a. über den Evaluationsauftrag zur Durchführung, Datenauswertung und über weitere Schritte zur Bewertung am Ende des Evaluationsprozesses 11 Bewertung 3 Präsentation und Berichtlegung Nutzung der Ergebnisse

4 Abbildung 2.5. Veranschaulichung des gegnerschaftsorientierten Ansatzes, auch Judicial Evaluation Method (Wolf, 1979) genannt, weil zwei unabhängige Evaluatoren(-teams) Pro- und Kontraargumente austauschen: Anwalt/Team 1 und Gegenanwalt/Team 2. Diese Methode lehnt sich an den Aufbau US-amerikanischer Gerichtsverhandlungen an, bei denen eine am Ende eine unabhängige Jury die Entscheidung(en) fällt Anwalt Team 1 Plädoyers Zeugenanhörungen Verhöre Diskussionen #""""$""""% Jury 4 Gegenanwalt Team 2

5 Kirkpatrick Schenkel 0. Produktionsebene Wie bewerten Experten Bildungsmaßnahmen? Reaction 1. Reaktionsebene Wie reagieren die Lernenden auf die Bildungsmaßnahme? Learning 2. Lernebene Fand eine Verbesserung der Kenntnisse und Fähigkeiten der Lernenden statt? Behaviour 3. Handlungsebene Hat sich das Verhalten der Lernenden am Arbeitsplatz verändert? Results 4. Erfolgsebene Welche Ergebnisse erzielte die Bildungsmaßnahme insgesamt? 5. Return on Investment (ROI)-Ebene Wie ist die Bildungsmaßnahme zu beurteilen? Abbildung 2.6: Integration der Ebenenmodelle von Kirkpatrick (1987) und Schenkel (2000). Die zwei Modelle werden einander gegenübergestellt und zusammengeführt. Schenkel erweiterte die vier Ebenen Kirkpatricks um die Produktions- und die ROI-Ebene 5

6 Konzeptionsebene Feedbackschleifen Produktionsebene Reaktionsebene Lernebene Optimierung Handlungsebene Erfolgsebene Abbildung 2.7. Das nutzenorientierte Ebenenmodell nach Schenkel (2000) kann um eine Konzeptionsebene und Feedbackschleifen erweitertet werden, um eine Optimierung auf jeder Ebene zu erreichen ROI-Ebene 6

7 Makromodell Mikromodell Ausdifferenzierung Bestimmung des Evaluationsgegenstandes Auftraggeber Evaluationsbedarf Evaluationsauftrag Evaluationsgrundlagen Rahmenbedingungen methodische Projektplanungen Entscheidungsträger Bestimmung der Akteure Evaluatoren weitere Beteiligte und Betroffene Durchführung der Evaluation Evaluationsziele und -fragenbereiche Datenauswertung Bestimmung der Bewertungskriterien Präsentation und Berichtlegung Bestimmung theoretischer Grundlagen Akteure im Zusammenspiel Dissemination der Ergebnisse Nutzung der Ergebnisse Bewertung der Evaluation Abbildung 2.8. Normativer Ansatz. In der Abbildung wird die Integration des Makromodells (linker Teil) und Mikromodells (Mitte) des normativen Ansatzes von Balzer (2005) dargestellt. Im rechten Teil der Abbildung (Ausdifferenzierung) wird der Bereich Bestimmung der Akteure der Evaluation in seine Komponenten (Auftraggeber, Entscheidungsträger usw.) ausdifferenziert 7