Evaluationsziele und Bewertungskriterien I

Transkript

1 Evaluationsziele und Bewertungskriterien I Zielexplikation und Bewertungskriterien Wottawa & Thierau (1998) Die Bewertung von Maßnahmen ist nur dann sinnvoll, wenn auf der Grundlage der Ergebnisse praktische Konsequenzen eingeleitet werden, also eine Verbesserung der Maßnahmen erfolgen kann. Die Evaluation dient also dazu, die Grundlage für ein nutzenmaximierendes Verhalten zu optimieren. In diesem Zusammenhang sind besonders Zielexplikation, Bewertungsprozess und Bewertungs- und Entscheidungshilfemethoden von großer Bedeutung, auf die im Folgenden eingegangen wird. 1. Zielexplikation In den meisten Fällen liegt eine vom Auftraggeber bestimmte Zielsetzung vor, die der Evaluator allerdings noch verbessern bzw. konkretisieren kann (zu beachten ist in diesem Zusammenhang das Vorliegen institutionalisierter, aber insbesondere verdeckter Konflikte). Dies kann mithilfe der folgenden Vorgehensweisen geschehen: a. Zielgruppenbestimmung: Das Evaluationsprojekt muss nicht so eingeschränkt sein wie es zu Beginn scheint. Durch verschiedene Kreativitätstechniken, wie z.b. die hierarchische Assoziationskette (Bsp. advanced organizer ), kann der Evaluator dafür Sorge tragen, dass die jeweiligen Gesprächspartner selbst erkennen, welche (Untersuchungs- oder Personen-) Ebenen zusätzlich in Zusammenhang mit dem ursprünglichen Ziel von Relevanz sind. b. Konkretisierung des Evaluationsprojektes: Die Konkretisierung kann nur auf Basis einer guten Kenntnis der Zielsetzung erfolgen. Hierbei gilt: je komplexer die zu evaluierende Maßnahme, desto vielfältiger der Gestaltungsspielraum. Die Aufgabe des Evaluators liegt darin, eine Vielzahl möglicher Gestaltungsdimensionen zu erarbeiten. Techniken hierfür sind: Literaturstudium/Experteninterviews, Gruppendiskussionen und brainstorming. Bei der Auswahl der möglichen Varianten der Gestaltungsdimensionen sollten besonders die spätere praktische Verwendung der Ergebnisse und die in Zukunft zu erwartenden Rahmenbedingungen beachtet werden. c. Antizipatorische Ergebnisverwertung: 1

2 Die praktische Verwendbarkeit insbesondere bei größeren sozialwissenschaftlichen Evaluationsvorhaben kann unter projektunabhängigen Veränderungen der Rahmenbedingungen bzw. Zielsetzungen und nachträglichen, ergebnisabhängigen Verschiebungen leiden. Aus diesem Grund ist es wichtig, grob die spätere Verwertungssituation zu antizipieren. Durch die Szenario-Technik ( [...] systematische Methodik zur Entwicklung und Beschreibung möglicher zukünftiger Situationen sowie zum Aufzeigen des Entwicklungsverlaufes [...]. Def. S. 90) und die damit verbundene relativ grobe Abschätzung der erwartbaren Veränderungen können bei der Definition der Zielgruppe oder der Konkretisierung der Evaluationsdetails Fehler vermieden werden. Die Planspiel-Technik (Darstellung S. 91) kann für eine grobe Abschätzung der durch die Projektergebnisse denkbaren Situationsveränderungen und darauf gestützte zusätzliche Untersuchungsziele eingesetzt werden. Aufgrund des Ressourcenmangels des Auftraggebers oder in Anbetracht der Zeitperspektive ist eine fehlende rechtzeitige Ausarbeitung der Zielsetzung nicht vermeidbar. Dennoch sollte sie angestrebt werden. 2. Bewertungsprozess Der nächste Schritt nach der Festlegung der (Teil-) Ziele besteht darin zu entscheiden, an welchen empirischen Beobachtungen das Ausmaß der Zielerreichung beurteilt werden soll. Es sind folgende Punkte zu klären, die Ausführlichkeit der Durchführung wird (je nach Projekt) nach Kosten/Nutzen-Aspekten entschieden. a. Auswahl der Bewertungskriterien: - möglichst detaillierte Erfassung der Ziele (in Hierarchien; z.b. Analyse der Ist- Situation, Festlegung der Grobziele, Bestimmung der Feinziele, Hierarchisierung der Ziele nach Kriterien) - Finden der Zielhierarchien nach Möglichkeit im Team (brainstorming, Metaplan) - Reduktion der verschiedenen Vorschläge auf eine zu bewältigende Arbeitsmenge b. Nebenfolgenabschätzung: - jede Maßnahme ist mit nicht beabsichtigten/unerwünschten zusätzlichen Konsequenzen verbunden; davon sind sowohl die zu evaluierenden Sachverhalte als auch die Evaluationsstudie selbst betroffen - eine Hilfe, um an möglichst viele, nicht vorhersehbare Folgen zu denken, ist die Berücksichtigung von Handlungsplänen (z.b.: haben die Maßnahmen für die betroffenen Personen ein neues bzw. zusätzliches Problem zur Folge?; beeinflussen sie die Handlungsziele?, usw.) c. Operationalisierungsfragen: - beinhaltet die Konkretisierung der Maßnahmen, wichtig ist hier die Konsensfindung mit dem Auftraggeber 2

3 - es können in diesem Zusammenhang inhaltliche Probleme (an welchen Beobachtungen kann man das Ausmaß von z.b. Therapieerfolg oder Lernfortschritt erfassen? erforderlich sind subjektive Plausibilität, Verträglichkeitskriterien mit etablierten Ansätzen o.ä.) oder methodische Probleme auftreten (ideographische und nomothetische Ansätze) o Ideographische Ansätze: - Evaluationsergebnisse werden stark in Abhängigkeit von Individuen be- wertet (z.b. Erfolgskontrolle von Psychotherapien) - methodische Ansätze für die Datenerhebung: Interviews und Fallbeispiele, die aber Schwierigkeiten bzgl. der Verallgemeinerung der Ergebnisse be- reiten; außerdem finden am Einzelfall orientierte Fallbeispiele u.u. gerin- von subjektiver Einstellung des Untersuchers, setzt Glaubwürdigkeit der gere öffentliche Resonanz (möglicher Grund: Ausarbeitungen abhängig Bewertungen herab; deshalb sollten diese Verfahren v. a. bei formativen Fragestellungen eingesetzt werden) - bei stärkerer methodischer Strukturierung der Datenerhebung wird Einflussnahme des Untersuchers geringer (Technik: SLT; HYPAG/Structure, S. 96) - auch wenn Operationalisierung für einige Fragestellungen nur individuell möglich ist, sollte eine Zusammenfassung der Einzelergebnisse zu einer Gesamtbewertung erfolgen, denn es sollen vergleichend-verallgemeinernde Aussagen getroffen werden (Operationalisierungsansatz: Goal-Attainment- Scale, S. 98) o nomothetische Messung: - Operationalisierung des theoretischen Konstrukts für alle betroffenen Personen in der gleichen Form Rechtfertigung gerade dieser Indikatorenwahl? - Möglichkeit, für einzelnen Kriterien auf bereits vorhandene Testverfahren zurückzugreifen Vorteile: - Ökonomie - Vergleich mit anderen Untersuchungen ist leichter - prüfen, ob konkrete Operationalisierung der Evaluationsfragestellung wirklich gerecht wird! - zur Neukonstruktion von Messinstrumenten im Folgenden drei Ansätze: o Festlegung von Stoffgebieten (mit Umsetzungsregeln): - für manche Teilgebiete liegen komplette Operationalisierungen der Bewertungskriterien vor, v.a. bzgl. kognitiver Lerninhalte 3

4 - Testkonstruktion aufbauend auf kriteriumsorientierter Messung sachgerechte Zusammensetzung von Itemsätzen aus einer das Kriterium definierenden Gesamtmenge - ausgehend von Stoffmenge ist objektives Verfahren zur Umsetzung in konkrete Messinstrumente erforderlich (z.b. Zusammenstellen aller in Englisch-Lehrbüchern verwendeten Vokabeln, daraus Bildung einer Zufallsstichprobe für Wortschatztest) - Vorteile: - objektive, nachprüfbare Fragenkonstruktion - Kontrolle der Einhaltung normativer Standards, bessere Ergebnisbewertung - Möglichkeit wiederholter Messungen ohne Vertraulichkeits- und Coaching- Probleme Diese Technik der Testerstellung ist v.a. sinnvoll, wenn viele Einzelergebnisse zu globalen Bewertungen zusammengefasst werden (z.b. Schulvergleiche). o Systematische Itemkonstruktion: - zwei Ansätze für explizite Konstruktionsregeln: Facettentheorie : - Kombination verschiedener Aspekte der Aufgabe zu einzelnen Facetten rationale oder regelgeleitete Itemkonstruktion: - systematische Kombination kognitiver Prozesse, die für Aufgabenlösung benötigt werden - Nachteil: - zur Bewertung der erbrachten Testergebnisse ist keine Aussage möglich, die sich an einem bereits bestehenden externen Maßstab orientiert o Eindimensionale probabilistische Modelle: - Ansatz orientiert sich an methodischen Aspekten von Messung - betrifft optimale Zusammenstellung der Indikatoren hinsichtlich Messeigenschaften - eindimensional als besondere Definition von ähnlich Erstellung einer ganzen Dimension für jedes einzelne Item durch Hinzufügen entsprechend gleich strukturierter Fragen 3. Bewertungs- und Entscheidungshilfen Zusätzlich zum Aufzeigen der empirisch Fakten ist es auch Bestandteil von Evaluation, diese objektiven Fakten in subjektiven Nutzen / Nutzenwerte zu übersetzen. Dieser Übersetzungsprozesses kann unterstützt werden durch verschiedene Techniken (s. S. 103, Diagramm IV / 9): - vorwiegend monetäre Ansätze, z.b. Kosten-Nutzen-Analyse 4

5 - Nutzenbestimmung durch Betroffene, z.b. Planungszelle (s.u.) - Bewertung durch Experten, z.b. DELPHI-Technik (s.u.) - Elaborierte wissenschaftliche Ansätze, z.b. Multi-Attributive Nutzentechnik (MAUT, s.u.) a. Explizite Verfahren der Nutzenbestimmung - Teilschritte einer objektiven, formalisierten Nutzenbestimmung: Erhebung des Ausprägungsgrades auf festgelegtem Kriterium für jedes Evaluationsobjekt Nutzenmessung: Übersetzung einzelner Kriteriumsausprägungen in zugeordnete Nutzenwerte Nutzenverrechnung: Zusammenfassung der einzelnen Ergebnisse / Teilnutzen- Werte zu Gesamtnutzen o Nutzenmessung: - Funktion: ermöglicht Anwendung formalisierter Bewertungs- bzw. Entscheidungsverfahren - auch eine nur auf Ranginformationen aufbauende Nutzenmessung bietet Vorteile: Zusammenhang zwischen Kriteriumsausprägung und Nutzen nicht immer monoton! (für verschiedene Funktionsverläufe s. S: 104, Diagramm IV) - technische Vorgehensweisen zur Erarbeitung einer vorliegenden Kriteriums/Nutzenbeziehung: Methoden der eindimensionalen Nutzenmessung Methoden der multidimensionalen Nutzenmessung, z.b: MAUT-Technik Auch numerisch erhaltene Nutzwerte sind letztlich subjektive Setzungen! o Nutzenverrechnung: - Zusammenfassung der Teilnutzen-Werte auf den Bewertungskriterien im einfachsten Fall in linearer Form: - jedem Kriterium wird Gewicht zugeteilt, Gesamtnutzen ergibt sich aus gewichteter Summe der Nutzenwerte Bilden von Pareto-optimalen Teilmengen (s. S. 107, Diagramm IV / 12): - Idee: eine Alternative ist immer dann einer anderen unterlegen, wenn sie gleichzeitig in allen Bewertungskriterien niedrigere Nutzenwerte hat - sinnvoll, wenn viele Objekte zu evaluieren sind, liefert Vorselektion der in die engste Wahl kommenden Objekte Anwendung multipler cut-off-strategien: - auf einzelnen Teilnutzenaspekten müssen jeweils gewisse Mindestwerte überschritten werden - formale Vorselektion von Alternativen 5

6 b. Expertengestützte Entscheidungsfindung: - wenn Problemlagen spezielle, kompliziertere Kenntnisse erfordern, sollte Wissen von Spezialisten einbezogen werden (z.b. Evaluatoren) - institutionalisierte Vorgehensweisen dafür sind z.b. Anhörungen, Begutachtungen - hilfreich bei politisch-emotional umstrittenen Evaluationsfragestellungen sind Techniken, die Rollenverhalten einschränken, konsensbildend wirken, z.b. DELPHI-Technik (s. S. 108, Diagramm VI / 13): - Ziel: Gewinnung neuer Ideen durch Experten; Annäherung der Standpunkte durch ständige anonyme Rückmeldung zur Ausschaltung gruppendynamischer Effekte c. Entscheidungsfindung durch Betroffene: - Problem der mangelnden Sachkenntnis und der persönlichen Involviertheit (Überbetonung eigener Nutzenaspekte) - dem entgegen wirkt intensiver persönlicher Kontakt zwischen verschiedenen Betroffenen, repräsentative Auswahl der Entscheider aus Gesamtheit der Betroffenen, ein Ansatz ist die Planungszelle (s. S. 109, Diagramm VI / 14): - Prinzip: Zusammenfassen einer größeren Anzahl von Betroffenen in mehreren Kleingruppen; Informationen durch Fachexperten; Diskussion der Informationen in Kleingruppe mit abschließender Problembewertung bzw. Beschlussfassung - Nachteile: - erhebliche Kosten; Einschaltung einer Planungszelle bedeutet Entscheidungsdelegation, Machtverlust d. Grenzen objektiver Nutzenbewertung: - Verfahren zur Nutzenmessung und Hilfen bei der Entscheidungsfindung sind nicht immer anwendbar bzw. akzeptabel; mögliche Hinderungsgründe: - Zielsetzung ist subjektiv - Einbettung der Entscheider in Netzwerk von Einflüssen, Rückwirkung der von ihnen ausgewählten Alternative aufgrund der Reaktion der Betroffenen auf Situation der Entscheider; typisch bei politischen Maßnahmen - Entscheidungen könne nicht nur rein rational getroffen werden, es muß in gewissem Maß Freiraum für kreative Ideen, persönliche Vorlieben bleiben 6 Alexandra Quick und Susanne Idel