6.1 Klärung evaluationsrelevanter Begriffe Evaluation und Evaluationsforschung

Transkript

1 6.1 Klärung evaluationsrelevanter Begriffe Evaluation und Evaluationsforschung Evaluation: - jegliche Art der Festsetzung des Wertes einer Sache (Scriven) Definition lässt den Gegenstandsbereich von Evaluation und mit welchen Methoden / Techniken evaluiert werden soll weitgehend offen - ziel- und zweckorientierter Prozess zur Bewertung eines Evaluationsobjektes - wissenschaftliche E.: Bewertung des Gegenstandsbereiches stützt sich auf - empirische Daten, die durch wissenschaftliche Methoden erhoben wurden ( Vermeidung von Irrtümern und Fehlern) Evaluationsobjekte: = Gegenstandsbereich von Evaluationen (evaluiert werden können: Personen, Produkte, Techniken, Methoden, Zielvorgaben, Projekte, Programme, Forschungsarbeiten, Umweltfaktoren, Evaluationen) Evaluationsforschung: - wissenschaftlich fundierte, empirische und hypothesenorientierte Forschung unter systematischer Anwendung sozialwissenschaftlicher Forschungsmethoden ( Vorraussetzung) - Ergebnisse dieser Forschung bilden wesentliche Grundlage einer wissenschaftlichen Evaluation oder Bewertung der Konzeption, Ausgestaltung, Umsetzung und des Nutzens sozialer und psychologischer Interventionsprogramme Interventions- und Programmarten Bereiche: - pädagogisch-psychologisch - arbeits- und organisationspsychologisch - klinisch-psychologisch Unterscheidung der Interventionsmaßnahmen bezüglich der Zielvorstellung:

2 - allgemeine Förderung und Entfaltung der seelischen und körperlichen Gesundheit dieses allgemeine Ziel wird über das Erreichen von Teilzielen angestrebt ( z.b. Förderung bestimmter kognitiver, emotionaler, motivationaler Bereiche) - präventive Intervention: Vorbeugen bestimmter Störungen in einem spezifischen Bereich - psychotherapeutische Interventionsmaßnahmen: Verminderung oder Beseitigung einer manifesten Störung in bestimmten Funktionsbereichen auch im Bereich der klinisch-psychologischen Rehabilitation, um psychische Funktionen wieder herzustellen oder Rückfälle in alte Störungsmuster zu vermeiden - größerer Rahmen: flächendeckend (z.b. Gesundheitsprogramm in einem Bundesland etc.) - lokaler Rahmen: individuelle Interventionen (z.b. in Erziehungsberatungen) Jeder Interventionsmaßnahme liegt ein Bündel von Handlungsanweisungen zugrunde (= Programm) enthält Beschreibungen der Methoden oder Maßnahmen, deren Anwendung der Zielerreichung der Intervention dienlich ist oder diese sicherstellen soll Programme (Therapien, Trainings, Förderungsmaßnahmen) sollen wissenschaftlich und theoretisch fundiert sein und ihre spezifischen Ziele erreichen Wirksamkeitsoder Effektivitätsprüfung Programmwirksamkeit und Programmwirkung Zentrale Aufgabe der Evaluationsforschung ist der empirischer Nachweis der Wirksamkeit von Programmen empirischer Nachweis der Wirksamkeit heißt nicht automatisch, dass dieser Wirksamkeit auch die postulierten Wirkungen zugrunde liegen Programme können sich als wirksam erweisen, ohne dass zugrunde liegende Wirkkomponenten und prinzipien oder Wirkprozesse und mechanismen postuliert werden oder dass ein Wirkmodell aus grundlagenwissenschaftlichen Theorien ableitbar ist Unterscheidung Programmwirkung und Programmwirksamkeit

3 Wirkung als Oberbegriff oder übergeordnetes Konstrukt Evaluation der Programmwirkung: 1. ob die angestrebte Wirkung aufgetreten ist Wirksamkeit eines Programms 2. warum die Wirkung eingetreten ist zugrunde liegendes Wirkmodell mit seinen angenommenen und tatsächlichen Komponenten, Prinzipien, Mechanismen und Prozessen nicht das primäre Ziel der Evaluationsforschung, schafft aber eine der wichtigsten Voraussetzungen für die adaptive Anwendung des Programms zuerst empirischer Nachweis der Programmwirksamkeit und dann empirische Studien, die zugrunde liegendes Wirkmodell überprüfen Formative und summative Evaluation Sriven: Unterscheidung zwischen formativer und summativer Evaluation (verschiedene Funktionen/ Rollen ) Formative Evaluation: - wird während der Entwicklung, Ausgestaltung und Erprobung eines Programms bzw. einer Programmkonzeption durchgeführt - Funktion: in einem Programm enthaltenen Komponenten (z.b. Aufgaben, Übungen, Vermittlungsstrategien) sowie die daraus resultierenden Prozesse in Hinblick auf die Zielsetzung und Wirksamkeit des Programms zu verbessern - Programm wird oft mehr als einmal und meistens von den Autoren intern evaluiert - Aufzeigen der Schwächen des Programms, da es um dessen Verbesserung und Weiterentwicklung geht - als analytische Evaluation angelegt, könnte aber auch als globale Evaluation durchgeführt werden - insbesondere in der Erprobungsphase neuer, innovativer Programme - könnte aber auch bei der Feinabstimmung und Modifikation bereits laufender und etablierter Programme hilfreiche Hinweise zu deren Verbesserung liefern - Wissenschaftliche und quantitative Methoden stehen eher im Hintergrund - eher informell

4 Summative Evaluation: - wird nach der Fertigstellung von Programmen geplant und durchgeführt - wenn die Entwicklung der Programmkonzeption abgeschlossen ist, das Programm als Ganzes vorliegt und eingesetzt werden soll oder bereits implementiert ist - Ziel: Fragen hinsichtlich der Wirksamkeit sowie des Nutzens von Programmen zu beantworten - die daraus resultierende Antworten/Ergebnisse dienen zum einen dazu den Einsatz eines bestimmten Programms gegenüber der Öffentlichkeit und dem Träger zu begründen und/oder zum anderen als Grundlage zur Entscheidungsfindung dienen (z.b. ob ein Programm im größeren Rahmen eingeführt werden soll) - besser extern durchführen lassen oder einen externen Evaluator mit einzubeziehen - Zentrale Rolle der wissenschaftlichen und quantitativen Methoden - keine Gleichsetzung mit der Erfolgs- oder Ergebnissevaluation oder einer globalen Evaluation - kann sowohl global als auch analytisch angelegt sein Ergebnisevaluation können sowohl formativ als auch summativ durchgeführt werden Globale Evaluation: - Bewertung des Programms als Ganzes im Hinblick auf seine grundsätzliche Wirksamkeit oder Durchführbarkeit Analytische Evaluation: - detaillierte Überprüfung der einzelnen Komponenten oder Bestandteile des Programms Überprüfung des Wirkmodells Interne Evaluation = Selbstevaluation: vom Programmautor selber durchgeführt Externe Evalutation = Fremdevaluation: von anderen Forschern durchgeführt 6.2 Ein Rahmenkonzept zur Evaluation von psychologischen Interventionsmaßnahmen Bei der Unterscheidung zwischen formativer und summativer Evaluation wurde Funktion als Kriterium herangezogen (von Scriven) Unterscheidung aber auch hinsichtlich des Zeitpunktes der Durchführung

5 Formativ: In der Entwicklungs- und Erprobungsphase eines Programms Summativ: Nach der Fertigstellung eines Programms Rossi & Freeman: Evaluation kann sich auf verschiedene zeitliche Phasen/Stadien beziehen, die ein Programm von der Konzeption über die Erprobung und Umsetzung bis hin zur Erforschung der möglichen Wirkungen durchläuft 3 Hauptarten der Evaluationsforschung mit Bezug auf gesundheitspsychologische Präventionsprogramme: - Evaluation der Programmkonzeption - Evaluation der Programmdurchführung - Evaluation der Programmwirksamkeit weitere Differenzierung in fünf Evaluationsarten A B Evaluation der Programmkonzeption - erfolgt vor der Erprobung eines Programms - Bewertung der Ausarbeitung und Gestaltung der geplanten Maßnahmen sowie der Konzeption als Ganzes vor dem Hintergrund der technologischen Modellvorstellungen und Abschätzung der Wahrscheinlichkeit seiner Wirkung - auch als antizipatorische oder prospektive Evaluation bezeichnet, da nur indirekte Hinweise auf Wirksamkeit vorliegen - Fragen zur Problem- und Zielbestimmung, zur Gestaltung hinsichtlich Art, Inhalt und Vermittlungsstrategien, zur Angemessenheit und Anwendbarkeit, zur Kohärenz oder Passung zwischen Interventionsmaßnahmen und Programmzielen, zu den theoretischen oder technischen Modellvorstellungen, zur Auswahl geeigneter Zielindikatoren und zu Kriterien der Wirksamkeit und zur Bestimmung der Programmeffizienz Formative Evaluation - Erprobungs- und Testphase des Programms mittels einer formativen Evaluation - Programm als Ganzes und/oder seine Komponenten hinsichtlich Zielsetzung, Anwendbarkeit und Wirksamkeit optimieren - einschließlich Modifikationen der ursprünglichen Programmkonzeption und deren erneute Prüfung, falls nötig

6 C D E Evaluation der Programmdurchführung - Umsetzung und Ausführung der Maßnahmen im alltagspraktischen Einsatz kontrollieren und bewerten - zielt auf Fragen, die Bestandteil der Implementations- und Begleitforschung sind - Aufdecken und Beseitigen von Problemen und Fehlentwicklungen, die aus der Durchführung des Programms unter Alltagsbedingungen entstehen und u.u. die Zielsetzung und Wirksamkeit des Programms gefährden könnten - auch Fragen und Hypothesen zum Verlauf der Wirksamkeit während der Programmdurchführung Evaluation der Programmwirksamkeit - 2 Aspekte: 1. Veränderungen auf Seiten der Zielpersonen im Verlauf der Intervention Prozessevaluation 2. Veränderungen nach der Durchführung des Programms Erfolgs- oder Ergebnisevaluation ( outcome evaluations ) - beide Aspekte: nicht nur Feststellung der Wirksamkeit, sonder auch die Art der Wirkungen hinsichtlich Intensität und Extensität sowie Neben- und Folgewirkungen - oft als summative Evaluation, kann aber auch zu formativen Zwecken durchgeführt werden Evaluation der Programmeffizienz - Programme werden unter Ökonomiegesichtspunkten betrachtet - Kosten und Wirkungen von Programmen werden gegenübergestellt und hinsichtlich ihrer Wirtschaftlichkeit bewertet - Voraussetzung ist der Nachweis der Programmwirksamkeit - 2 Grundformen der Kosten-Effizienz-Analyse können herangezogen werden: 1. Kosten-Nutzen-Analyse 2. Kosten-Effektivitäts-Analyse Welche Evaluationsart im konkreten Fall anzuwenden ist, hängt 1. von der Entwicklungsphase des Programms bzw. dem Zeitpunkt der Evaluation ab 2. von der Zielsetzung des Evaluationsvorhaben ab

7 Programmevaluation sollte alle fünf Evaluationsarten umfassen comprehensive evaluation Evaluation der Programmkonzeption Evaluation der Programmkonzeption dient der Analyse der Programmentwicklung vor der Erprobung. Fünf zentrale Arbeitsschritte und Aufgaben zur Evaluation der Programmkonzeption A1 Problembestimmung und Entscheidung über den Bereich der Intervention - Wahrnehmung eines Problems: Art, Ausmaß, Verteilung - implizite Wertvorstellungen Valenzproblematik (Ist-Soll- Diskrepanzen) A2 Zielbestimmung Überführung allgemeiner Zielvorstellungen in Operationsziele - Abstrakte Ziele = gewünschte Zielvorstellungen/ Ergebniszustände sind vage, meist nur Gefühl des Unbehagens richten sich auf nicht-beobachtbare Kompetenzen - Operationsziele = Operationalisierungen der zunächst abstrakten Ziele theoretische Modellvorstellungen hinzuziehen interne Ziele (werden dem Programm vorgegeben) externe Ziele (verbindliche Ziele an das Programm) Formulierung weiterer spezifischer Ziele - verbindliche oder obligatorische Ziele - betreffen längerfristig verfügbare Kompetenzen ggf. Festlegung einer spezifischen Zielgruppe - geeignete diagnostische Auswahlverfahren erforderlich (siehe unten) A3 Konzeption und Gestaltung des Programms, hinsichtlich

8 Art und Inhalt - Aufgaben & Übungen Ziel-Mittel-Bäume der Vermittlungsmethoden und -strategien - motivationale & kognitive Voraussetzungen der Zielpersonen berücksichtigen der Vermittlungspersonen - über welche Voraussetzungen & Erfahrungen sollten sie verfügen? - vorausgehende Schulung/ Supervision? A4 Auswahl geeigneter diagnostischer Methoden und Verfahren zur Ermittlung des angestrebten Programmerfolges - Zielindikatoren oder Kriteriumsmaße repräsentieren sie die Ziele/ den Lernerfolg angemessen? welche diagnostische Verfahren/ Instrumente? welche Transferwirkungen werden aufgrund des Programmes erwartet? zur Erfassung der spezifischen Zielgruppe - diagnostische Auswahlkriterien festlegen A5 Zusammenfassende Bewertung der Programmkonzeption, in Hinblick auf ihre theoretisch-wissenschaftliche Fundierung ihre Tragfähigkeit und Bewährtheit des zugrunde gelegten Wirkmodells - auf empirische Befunde und Annahmen des zugrundeliegenden Theorie- und Forschungsbereiches zurück greifen - evtl. Prüfung alternativer Wirkmodelle die Durchführbarkeit, Angemessenheit und Akzeptanz im vorgesehenen Praxisfeld Formative Evaluation Die formative Evaluation (fe) dient der Verbesserung und Optimierung des Programmes unter den vorgesehenen Praxisbedingungen zur Elaboration und (Weiter-)Entwicklung der zugrundeliegenden Programmkonzeption während der Erprobungsphase.

9 Sowohl das ganze Programm (globale fe) als auch Komponenten (analytisch-fe) werden in Hinblick auf potentielle Schwachstellen bewertet, die den angestrebten Erfolg erschweren/ verhindern könnten. fen sind in der Regel eher informell und intern ausgerichtet (vom Programmautor selbst). fen werden häufig mehr als einmal, relativ einfach angelegt mit wenigen Vps, meist mit qualitativen Verfahren & Analysen durchgeführt. Vier Arbeitsschritte zur formativen Evaluation, die dabei helfen sollen, Schwachstellen aufzudecken und zu beseitigen B1 Bewertung der Programmimplementation Durchführbarkeit der Interventionsmaßnahme (Anwendbarkeit) Akzeptanz seitens der Programmvermittler und Programmteilnehmer Treten hier Probleme auf, sollten geeignete Maßnahmen zur Verbesserung des Programmes und der Akzeptanz ergriffen werden! B2 Bewertung der Zielsetzung des Programmes Wirksamkeit - stimmt Wirksamkeit mit Zielsetzung überein? - inwieweit lassen sich die Wirkungen durch die Zielindikatoren & Kriteriumsmaße angemessen erfassen? eventuelle Neben- & Folgewirkungen Überlegen, ob das Programm durch kleinere Veränderungen verbessert werden kann oder ob weitreichende Modifikationen an der ursprünglichen Programmkonzeption erforderlich sind! B3 Bewertung der Effizienz des Programmes Aufwand des Programmes in Relation zur Wirksamkeit - Verhältnis zw. Programmaufwand und Programmzielen (Kosten- Effektivitäts-Relation) Überlegen, ob sich die Programmziele erreichen lassen oder ob das Programm aufwendiger gestaltet oder Komponenten eingespart werden müssen?

10 B4 Konsequenzen aus B1, B2, B3: Elaboration und Weiterentwicklung des Programmes ggf. Modifikation der ursprünglichen Programmkonzeption und weitere formative Evaluation Evaluation der Programmdurchführung Kontrolle und Bewertung der Implementation von Maßnahmen im alltagspraktischen Einsatz hinsichtlich der Programmvorgaben Dokumentation der notwendigen Ressourcen und anfallenden Kosten bei der Programmdurchführung 2 zentrale Aufgaben (Abb. 6.4) - Kontrolle der Programmausführung (Ausführungsintegrität) Überprüfung der Ausführung der Maßnahme in Übereinstimmung mit den Vorgaben und der Konzeption des Programmes - Prüfung der Programmreichweite Klärung, in welchem Umfang die intendierte Zielgruppe mit den Programmmaßnahmen erreicht wird - C1 Supervision und Überwachung der Programmausführung Form der Durchführungs- oder Manipulationskontrolle Nachweis der erfolgreichen Manipulation der unabhängigen Variablen Verhinderung, dass Maßnahmen unvollständig, uneinheitlich, falsch oder gar nicht ausgeführt werden relevant für Wirkungsanalyse - C2 Bewertung der Durchführbarkeit unter alltagspraktischen Bedingungen Anpassung der Programmmaßnahmen an die vorliegenden Rahmenbedingungen, oder Veränderung der Rahmenbedingungen - C3 Feststellung von Verzerrungen in der Programmreichweite Feststellung des Umfangs, in dem die intendierte Zielgruppe am Programm teilnimmt

11 mögliche Verzerrungen durch hohe Schwundquote der Zielgruppe, oder falsche Definition der Zielgruppe - C4 Vergleich von Programmteilnehmern und Abbrechern Maßnahmen zur Motivierung der Programmteilnehmer Prozessevaluation - die zwei zentralen Aufgaben (s.o.) sind dazugehörig - Beantwortung von Fragen nach dem Verlauf der Wirksamkeit während der Intervention - richtet sich auf die Variablen zwischen Input und Output eines Programmes Bsp. einer Variable: Akzeptanz der Zielpersonen bzgl. der Programminhalte Bsp. einer Inputvariable: Verhalten der Programmvermittler - Veränderung des angezielten Outputs eines Programmes während der Programmdurchführung bzgl. Inputvariablen Evaluation der Programmwirksamkeit Gegliedert in Wirkungsanalyse und Wirksamkeitsevaluation Von der Wirksamkeit kann nur bei Validität der Kriteriumsmaße und der experimentellen Untersuchung auf die Wirkung geschlossen werden Wirksamkeitsevaluation (Abb. 6.5) - Wirksamkeit eines Programmes nimmt Bezug auf den technologischpragmatischen Aspekt und erfordert globale Evaluation - Bestimmung der Nettowirkung eines Programmes Veränderungen, die lediglich auf die Maßnahme zurüchgehen - gegliedert in Prozessevaluation und Erfolgs- oder Ergebnisevaluation - Prozessevaluation diese Variante der P. unterscheidet sich von der P. der Implementationsforschung durch Fokussieren auf Veränderungen, die auf die Programmausführung zurückgehen Prüfung anders gearteter Hypothesen - Ergebnisevaluation

12 Vier-Felder-Schema (Abb. 6.1) - gegliedert in isolierte und vergleichende Wirsamkeitsevaluation - isolierte Wirksamkeitsevaluation Feststellung der Wirksamkeit eines einzelnen Programmes, möglichst im Vergleich zu einer zweiten Maßnahme mit anderen Programmzielen - vergleichende Wirksamkeitsevaluation Bewertung zweier oder mehrerer alternativer Programme mit gleicher Zielsetzung (Wirksamkeitsunterschiedshypothese) - gegliedert in Intendierte Programmwirkungen, Neben- und Folgewirkungen und Nicht-programmspezifische Veränderungen - Neben- und Folgewirkungen Klärung, ob sie positiv oder negativ bewertbar sind - Nicht-programmspezifische Veränderungen Veränderungen in den Kriteriumsmaßnahmen, die unabhängig von der Programmdurchführung sind gegliedert in interventionsunabhängige und abhängige Veränderungen - Interventionsunabhängige Veränderungen endogene oder exogene Einflüsse, historische Ereignisse oder Reifungs- und Entwicklungsprozesse - Interventionsabhängige Veränderungen programmunspezifisch, resultieren aber daraus, dass überhaupt eine Intervention stattfindet soziale Interaktion während der Programmausführung wiederholte Testdurchführungen und Erwartungen - Feststellung, ob und wie sehr ein Programm interne und/oder externe Operationsziele ( objectives ) erreicht - bei Veränderungen die Wirkungsintensität, die Dauer, und möglichst auch die Intensität der Dauerhaftigkeit einer Wirkung ermitteln - Neben- und Folgewirkungen Grundsätzlich ist zu fordern, dass Programme frei von negativen bzw. schädlichen Neben- bzw. Folgewirkungen sind. Treten doch welche auf ist zu klären ob diese tolerabel sind. - verschiedene Vorgehensweisen bei der Wirksamkeitsevaluation eine Evaluation kann anhand von drei Dimensionen klassifiziert werden:

13 formative vs. summative Evaluation analytische vs. Globale Evaluation isolierte vs. vergleichende Evaluation - Mittag und Hager schlagen 7 zentrale Aufgaben und Arbeitschritte zur Evaluation der Programmwirksamkeit vor. D1. D2. D3. D4. Steigerung von K-Kompetenz Isolierte Evaluation zur Ermittlung der nur kurzzeitig wirkenden Kompetenzsteigerung (K-Kompetenz). Zusätzliche isolierte Evaluation des Anforderungs- und/oder Situations-Transfers der K- Kompetenzen auf programmferne Kriteriumsmaße und/oder interventionsferne Kontexte sowie von kurzzeitig wirkenden Nebenoder Folgewirkungen. Dies geschieht im Anschluss an das Ende der Intervention. Unter diesem Schritt wird auch noch eine Isolierte Evaluation zur Prüfung der Wirksamkeit einzelner Komponenten des Programms durchgeführt, Verbesserung der L-Kompetenz Isolierte Evaluation zur Ermittlung der längerfristig wirkenden Kompetenzsteigerung (L-Kompetenz). Zusätzliche isolierte Evaluation des Anforderungs- und/oder Situations-Transfers der L- Kompetenzen auf programmferne Kriteriumsmaße und/oder interventionsferne Kontexte sowie von längerfristigen Nebenoder Folgewirkungen. Dies kann nur in einer Follow-up- oder einer katamnestischen Nachuntersuchung erfolgen. Unter diesem Schritt wird auch noch eine Isolierte Evaluation zur Prüfung spezieller Hypothesen über Wirkung, Transfer usw. durchgeführt. Transfer auf Alltagsbereiche Isolierte Evaluation zur Ermittlung des Ausmaßes von Transfer auf Programmzielrelevante Alltagssituationen und Probleme. Merkmale der Programmvermittler(innen) und der Zielperson Isolierte Evaluationen zur Feststellung der Unabhängigkeit des Programms gegenüber Vermittlungspersonen und Rahmenbedingungen, sowie Wirkung des Programms auf

14 D5. D6. D7. verschiedene Zielgruppen unter Berücksichtigung von Einzelpersonen. Art der Wirkung des Programms Isolierte Evaluation zur Prüfung der Art der Wirkung des gesamten Programms und der einzelnen Komponenten (analytische Komponentenanalyse), ohne Berücksichtigung des Wirkmodells das da hinter steckt. Weitere Fragestellungen und Hypothesen Fakultativer Arbeitsschritt der sich mit den Fragen und Hypothesen zum Programm beschäftigt welche in den Punkten D1 bis D5 nicht behandelt wurden. Metaevaluation bisheriger Evaluationen Zusammenfassende Übersicht aller bisheriger durchgeführten Evaluationen und Metaevaluationen. Mittag und Hager (2000) ordnen die Schritte D1 bis D6 der summativen Evaluation zu, sie sind aber prinzipiell auch unter formativen Bedingungen durchführbar. Die global-summative Evaluation erfolgt durch die Schritte D1, D2, D3 und D6. Die analytisch-summative Evaluation durch die Schritte D4, D5 und D6. Wenn bei der analytischen Evaluation die Wirksamkeit einzelner Komponenten eines Programms untersucht werden soll, finden auch die Schritte D1 bis D3 hier Anwendung. Schritt D7 stellt eine Sonderform der Evaluation dar, nämlich die zusammenfassende Bewertung Evaluation der Programmeffizienz Kosten-Effizienz-Analyse Auch kurz als Kosten- bzw. Effizienz-Analyse bezeichnet. Bewertung der Kosten-Nutzen-Perspektive -> Lohnt sich das Programm?

15 Zwei Grundformen Kosten-Effektivitäts-Analysen Programmkosten werden im Verhältnis zu den erzielten Veränderungen in den Zielindikatoren betrachtet. Ist nur dann aussagekräftig, wenn mindestens zwei Programme mit gleicher Zielsetzung und gleichen Kriteriumsmaßen verglichen werden. Programmwirkung wird nicht in Geldeinheiten bzw. monetäre Einheiten überführt. Vorgehen: 1. Erfassung aller Programmkosten und Programmwirkungen (aufgetretene und zu erwartende) 2. Bestimmung der Gesamtkosten in Geldeinheiten 3. Bestimmung der Gesamtwirkung in Zieleinheiten - in Maßeinheiten der untersuchten Zielvariablen oder vorher festgelegten Kriterien der Zielerreichung. 4. Bestimmung der Programmeffizienz Gesamtkosten = Programmkosten pro Wirkungseinheit durchschnittlicher Zuwachs in der Kriteriumsvariable Bzw. wenn es nur ein bestehen oder nicht bestehen (geheilt vs. nicht geheilt) in den Zielkriterien gibt, Gesamtkosten = Programmkosten pro Erfolgseinheit durchschnittliche Erfolgswahrscheinlichkeit Achtung: Nicht immer ist das effizienteste Programm pro Wirkungseinheit das günstigste. Wenn nur eine Verbesserung von 10 Wirkungseinheiten angestrebt wird und das Effizienteste Programm nur eine Verbesserung von 20 Wirkungseinheiten zulässt, kann es sein das ein anderes, das zwar pro Wirkungseinheit teurer ist aber die Verbesserung von nur 10 Wirkungseinheiten zulässt insgesamt günstiger ist, da die restlichen Einheiten hier nicht bezahlt werden müssen. Kosten-Nutzen-Analyse Vorgehen: Programmwirkungen müssen in Geldeinheiten oder andere monetäre Einheiten überführt werden. Können auch bei isolierten Evaluationen einzelner Programme durchgeführt werden 1. Erfassung aller Programmkosten und Programmwirkungen (aufgetretene und zu erwartende)

16 2. Bestimmung der Gesamtkosten in Geldeinheiten 3. Bestimmung der Gesamtwirkung in Geldeinheiten(bzw. in monetäre Einheiten). Bei der Berechnung des Gesamtnutzens wird der Nutzen durch Kosteneinsparungen oder der Zugewinn mit verrechnet. 4. Bestimmung der Programmeffizienz: Nettonutzen Nettonutzen = Nutzen - Kosten Netto-Nutzen-Quote bzw. Nutzen-Kosten-Quote Nutzen = Netto-Nutzen-Quote Kosten Profitrate Nettonutzen = Profitrate Gesamtkosten Profitrate > 0 Programm wirft Zinsen ab Profitrate <= 0 Programm lohnt sich nicht Problem: Der Nutzen eines Programms ist prinzipiell immer auch eine subjektive Größe, da auch subjektive Faktoren in die Bewertung mit Einfließen. Z.B. Wie will man eine Verbesserung im subjektiven erleben bewerten? Wie werden Nebenwirkungen bewertet? Die Umrechnung in monetäre Einheiten ist bei zwei Evaluatoren nie gleich!