Evaluation Kleines Handwerkszeug mit großen Wirkungen

Transkript

1 Evaluation Kleines Handwerkszeug mit großen Wirkungen Vortrag am 24. April 2014 im Haus der Braunschweigischen Stiftungen Dr. Olaf Lobermeier

2 Was heißt eigentlich Evaluation? Der Begriff Evaluation stammt von dem lateinischen Wort valor (= Wert) und der Vorsilbe e / ex (= aus) ab. Daraus ergibt sich die Bedeutung 'einen Wert aus etwas ziehen', eine Bewertung vornehmen (vgl. Stockmann 2002, S. 2). Kurz: Evaluieren bedeutet bewerten! Aber: Soll ein Wissenschaftler überhaupt bewerten?

3 Evaluation: Annäherung an eine Definition (Kromrey 2001, S. 108) Alltägliche Bewertung Evaluation Irgendetwas wird Programme, Projekte, Maßnahmen, Organisationen etc. werden - von irgend jemand nach durch Personen, die zur Bewertung besonders befähigt sind (z.b. Wissenschaftler, Berater, Betroffene) - in irgendeiner Weise - nach irgendwelchen Kriterien bewertet. in einem objektivierten Verfahren (z.b. qualitative / quantitative Forschungslogik) nach explizit auf den Sachverhalt bezogenen und begründeten Kriterien bewertet

4 Zwei Definitionen Evaluation ist die systematische Untersuchung des Nutzens oder Wertes eines Gegenstandes. Solche Evaluationsgegenstände können z. B. Programme, Projekte, Produkte, Maßnahmen, Leistungen, Organisationen, Politik, Technologien oder Forschung sein. Die erzielten Ergebnisse, Schlussfolgerungen oder Empfehlungen müssen nachvollziehbar auf empirisch gewonnenen qualitativen und/oder quantitativen Daten beruhen (DeGEval 2008, S. 15). Evaluation ist eine möglichst systematische und objektive Bewertung eines laufenden oder abgeschlossenen Programms oder Projekts, einschließlich dessen Konzept, Umsetzung und Ergebnissen (proval).

5 Geschichte der Evaluation Deutschland (vgl. Stockmann 2010, S. 30 ff.) Ende der 60er/Anfang der 70er Jahre des 20. Jh.: Evaluationsboom durch Reformeifer sowie Planungs- und Steuerungsoptimismus. Die Bundeshaushaltsordung von 1970 schreibt bereits Erfolgskontrollen vor. Ölkrise 1973 Auslaufen der Modernisierungswelle Bedeutung der Evaluation geht zurück. Weiterer Grund: Ernüchterung aufgrund bescheidener Reformerfolge. Auch die Evaluation konnte die in sie gesetzten Erwartungen oft nicht erfüllen. Neuer Evaluationsboom etwa seit Mitte der 90er Jahre. 1997: Gründung der (Deutschen) Gesellschaft für Evaluation (DeGEval) 2004: Standards für Evaluation werden von der DeGEval offiziell verabschiedet.

6 Jüngere Entwicklungen der Evaluationsforschung Nützlichkeit/Nutzung als wichtiges Thema Evaluation als eine Dienstleistung für Stakeholder (z.b. Fördermittelgeber, Projektleiter und Projektmitarbeiter, Teilnehmerinnen und Teilnehmer) Sollen sich Evaluationen allein an den expliziten Bedürfnissen der Beteiligten und Betroffenen orientieren? Oder sollen sie auch darüber hinausgehende Aspekte einbeziehen? Evaluationen wirken zum Teil indirekt und über längere Zeiträume (Einsickern von neuen Einsichten, Theorien, Erkenntnisse und Sichtweisen). Notwendige Bedingungen für die Nutzung von Evaluationsergebnissen: Orientierung an den Bedürfnissen der Stakeholder hinsichtlich der bearbeiteten Fragestellungen, der eingesetzten Methoden, der Zeitplanung und der sprachlichen Darstellung der Ergebnisse (vgl. Balthasar 2009).

7 Jüngere Entwicklungen der Evaluationsforschung Differenzierte Betrachtung der Wirksamkeit bottom-up approach for integrative validity (Chen 2010) Durchführbarkeit eines Programms (Kann das Programm von Praktikern umgesetzt werden? Ist es aus der Sicht der Entscheidungsträger bezahlbar? Erreicht es seine Zielgruppen? Wird es von den Teilnehmern als hilfreich angesehen? Gibt es einen nachvollziehbaren Zusammenhang zwischen den Maßnahmen und den erwarteten Wirkungen?) Stellen sich die erwarteten Wirkungen unter realen Bedingungen tatsächlich ein? Welche Kausalbeziehungen bestehen zwischen den einzelnen Maßnahmen und den Wirkungen?

8 Evaluation: Annäherung an das Thema 1. Was wird evaluiert? 2. Wann wird evaluiert? 3. Wozu wird evaluiert? 4. Nach welchen Kriterien wird evaluiert? 5. Wer evaluiert? 6. Wie wird evaluiert?

9 Was wird evaluiert? Gesetze Produkte und Dienstleistungen Organisationen und Personen Prozesse Soziale Tatbestände und Evaluationen usw. Besondere Bedeutung haben Reformmaßnahmen Projekte (Bündel von Einzelmaßnahmen) Programme (Anzahl aufeinander bezogener Projekte) Policies (Bestimmte Handlungsstrategien in Bezug auf ein Themenoder Problemfeld) (vgl. Stockmann 2010, S. 67 f.)

10 Was wird evaluiert? Aspekte der Evaluation eines Programms oder Projekts Konzept Resultate Evaluationsaspekte Kontext Prozesse Inputs

11 Resultate eines Projekts (vgl. Beywl/Speer/Kehr 2004) Impacts: Einwirkungen auf Kommune, Gesellschaft (z.b. Verringerung der Kriminalitätsbelastung in Stadtteil X) Outcomes 3: Lebenslage und Status (z.b. geregelte Berufsausbildung, Chancen auf einen Arbeitsplatz) Outcomes 2: Handeln und Verhalten Neue Handlungs- und Verhaltensweisen bei der Zielgruppe Outcomes 1: Wissen, Einstellungen, Werte, Fertigkeiten (z.b. Wissen über mögliche Berufe, veränderte Einstellungen) Outputs 3: Akzeptanz Einschätzung der Maßnahme durch die Zielgruppen Outputs 2: Teilnahme (z.b. Anzahl, Intensität, Art der Teilnahme, Merkmale der Zielgruppe) Outputs 1: Projektaktivitäten (z.b. vierwöchige Freizeit von mit delinquenten Jugendlichen) (Inputs: Geld, Personal, Zeit)

12 Wann wird evaluiert? Lebensverlaufsmodell eines Programms/Projekts nach Stockmann (2006, S. 111) Vor der Programmdurchführung - Evaluation der Programmkonzeption = formative Evaluation t 6 Während der Programm-/Projektdurchführung - Evaluation der Programm-durchführung (Prozessevaluation/Monitoring) = formativ oder summativ Nach der Programm-/Projektdurchführung - Evaluation der Programmwirksamkeit = Wirkungsevaluation (aber: 1. Erhebung oft vor der Programm-/Projektdurchführung notwendig)

13 Wozu wird evaluiert? Ziele und Aufgaben der Evaluation Erkenntnis Kontrolle Funktioniert der Projektablauf? Welche Bedarfe hat die Zielgruppe? Erreichen die Maßnahme die Zielgruppe? Wird das Projekt effizient und effektiv umgesetzt? Evaluation Wurden die festgelegten Ziele erreicht? Genügt das Projekt den Kriterien Effektivität, Effizienz, Akzeptanz und Nachhaltigkeit? Entwicklung Legitimation Wie erfolgreich verläuft die Zusammenarbeit zwischen den Beteiligten und Betroffenen? Was muss verändert und verbessert werden? Quelle: Stockmann 2007, S. 37 f. Mittelgeber und Durchführungsorganisationen können nachweisen, wie effizient sie mit Finanzmitteln umgegangen sind und welchen Wirkungsgrad ihre Projekte und Programme erreicht haben.

14 Nach welchen Kriterien wird evaluiert vgl. Stockmann 2010, S Häufiger Orientierungspunkt bei der Entwicklung von Bewertungskriterien: Nutzen für bestimmte Personen oder Gruppen Bezugspunkte für Bewertungen in Evaluationen: Historischer Vergleich Intranationaler Vergleich Internationaler Vergleich Benchmarking (Vergleich zur besten Praxis) Zielerreichung Zielgruppenerwartung (nur Adressaten) Interessentenerwartung (auch andere Stakeholder) Besondere Bedeutung haben folgende Evaluationskriterien Relevanz (Entsprechen die Maßnahmen die Bedürfnissen/Erfordernissen?) Effektivität (Werden die richtigen Dinge getan?) Effizienz (Werden die Dinge richtig getan?) Impacts (Wirkungen, die über die direkten Nutznießer hinausgehen) Nachhaltigkeit (Was bleibt?)

15 Wer evaluiert? Evaluationsformen A. Selbstevaluation Wird von den Projektmitarbeitern durchgeführt und hat folgende Zwecke: Steuerung des laufenden Projekts Rechenschaft ablegen über den Projekterfolg Rechenschaft ablegen über die Verwendung der eingesetzten Mittel Verbesserung künftiger Projekte B. Fremdevaluation Wird von externen Fachkräften durchgeführt und hat folgende Zwecke: Neutraler Nachweis der Wirksamkeit Entscheidungsgrundlage für die Weiterführung eines Projekts Entscheidungsgrundlage für die Verallgemeinerbarkeit der Ergebnisse Rechenschaft ablegen über die Verwendung der eingesetzten Mittel C. Mischformen Unterstützte Selbstevaluation Unterstützte Fremdevaluation

16 Formative Evaluation vs. summative Evaluation FORMATIV SUMMATIV Fortlaufende Verbesserung Ziel Abschließende Bewertung Programm-/ Zielgruppe Auftraggeber Projektdurchführende Während der Programm-/ Projektlaufzeit Erhebungen Vor und nach der Programm-/ Projektlaufzeit Qualitativ (und quantitativ) Methode Quantitativ (und qualitativ) Unterstützend, interaktiv Verhalten der Unabhängig Evaluatoren Schnell, häufig, eher informell Rückmeldungen Formaler Bericht Hoch durch Interaktionen und Praxisrelevanz Akzeptanz bei den Durchführenden Niedriger, weil weniger eingebunden Niedriger, weil weniger entscheidungsrelevant Akzeptanz bei den Auftraggebern Hoch, weil entscheidungsrelevant

17 Evaluationstypen Formative Evaluation Eine formative Evaluation ist eine Bewertung von Ergebnissen während der Laufzeit eines Programms oder Projekts. Ziel ist die Formung und Weiterentwicklung eines Projektes Ansätze im Rahmen der formativen Evaluation Konzeptevaluation (einschließlich Zielexplikation, Maßnahmenklärung und Bestimmung von Erfolgsindikatoren) Kontextevaluation Inputevaluation Prozessevaluation/Monitoring

18 Evaluationstypen Summative Evaluation Wird in der Regel nach Beendigung eines Programms oder Projekts durchgeführt Großer Nutzen für die Entscheidungsgremien Die Wirkungsevaluation ist der wichtigste Ansatz im Rahmen der summativen Evaluation. Wirkungsevaluation Bewertung von Wirkungen (Outcomes) Sind Wissen, Fertigkeiten, Einstellungen und Werte der Teilnehmer durch das Projekt verändert worden? Hat sich das Verhalten der Teilnehmer verändert? Haben sich die Lebenslagen der Teilnehmer verbessert? Gibt es darüber hinausreichende Gesamtwirkungen? Gibt es erwünschte oder unerwünschte Nebenwirkungen?

19 Evaluationstypen Prozessevaluation/Monitoring A. Arbeitet das Projekt so, wie es ursprünglich geplant war? Was wurde implementiert und was nicht? Welche Merkmale der Projektdurchführung haben das Erreichen der Projektziele erleichtert / verhindert? Erreicht das Projekt die beabsichtigte Zielgruppe? B. Beitrag einzelner Elemente zum Projekterfolg Welche Projektangebote funktionieren und welche nicht? Passen verschiedene Komponenten eines Projekts zusammen, um ein übergeordnetes Ziel zu erreichen? Ist die Organisationsstruktur angemessen, um die Projektziele zu erreichen? C. Umsetzung der einzelnen Maßnahmen Wurde Maßnahme X zur geplanten Zeit am geplanten Ort implementiert? Wurde Maßnahme X vollständig implementiert? Wurde Maßnahme X lange und intensiv genug durchgeführt? D. Leistungen (Outputs) der einzelnen Maßnahmen Wer hat wie häufig und wie intensiv an Maßnahme X teilgenommen? Erreicht Maßnahme X die beabsichtigte Zielgruppe? Wie schätzen die Teilnehmer Maßnahme X ein?

20 Evaluationsmethoden Stärken-Schwächen- Analyse Fragebogen Inhaltsanalyse Evaluationszielscheibe Leitfaden- Interviews Analyse von Statistiken Welches Verfahren eignet sich für unsere Zwecke am besten? Foto-Dokumentation Quiz Beobachtung Evaluationsspinne Kartenabfrage

21 Was bedeutet eine Wirkungszentrierung? Wirkungszentrierung bedeutet, dass bei den Maßnahmen und Aktivitäten einer Organisation oder eines Projektes die erwünschten Veränderungen bei den Zielgruppen im Vordergrund stehen. Wichtige Begriffe: Problem, Problemursache, Ziel, Maßnahme, Zielgruppe, Wirkung.

22 Sicherstellung der Wirksamkeit: Konzeptqualität Konzeptqualität + Prozessqualität = Ergebnisqualität Konzeptqualität - 5 Anforderungen an ein wirkungszentriertes Konzept Klare Beschreibung und Abgrenzung des Problems - Ausmaß, Qualität und Bedeutung des Problems - Belege für das Problem - Schwerpunktsetzung Zutreffende Analyse und Gewichtung der Problemursachen - Auflistung und Beschreibung der möglichen Ursachen - Bewertung der Bedeutung der verschiedenen Ursachen Plausibles Zielsystem, das auf Veränderungen bei der Zielgruppe ausgerichtet ist Klare Definition und eindeutige Abgrenzung der Zielgruppe Eignung der gewählten Maßnahmen zur Erreichung der erwünschten Veränderungen bei der Zielgruppe - Nachvollziehbare Beschreibung der Maßnahmen und der erwarteten Wirkungen - Prognose der Intensität und der Dauer des Einsatzes, um Wirkungen zu erreichen

23 Sicherstellung der Wirksamkeit: Exkurs Exkurs: Zielbestimmung Wir unterscheiden zwischen Leit-, Mittler- und Handlungszielen. Leitziele haben eine langfristige Geltung und sind relativ abstrakt. Sie geben die Grundausrichtung einer Organisation oder eines Projektes an. Mittlerziele benennen die wesentlichen Aspekte (Dimensionen, Bereiche) in dem Rahmen, der durch das Leitziel abgesteckt ist. Sie haben in der Regel einen direkten oder indirekten Bezug zu den Problemursachen. Handlungsziele dienen der unmittelbaren Orientierung für die Praxis. Sie sollen smart sein, Mittlerziele umsetzen, positiv formuliert sein, eine (nicht zu große!) Herausforderung darstellen, möglichst wenig Spielraum lassen, eindeutig formuliert sein, so dass ein Kollege/eine Kollegin dasselbe darunter versteht, auf die Zielgruppe ausgerichtet sein und auf Besonderheiten der Zielgruppe reagieren.

24 Sicherstellung der Wirksamkeit: Konzeptqualität Häufig anzutreffendes Konzept Maßnahmen... und dann geschieht ein Wunder... Zielerreichung

25 Sicherstellung der Wirksamkeit: Konzeptqualität Die Elemente eines wirkungszentrierten Konzeptes als Veränderungsmodell Problem / Ursachen des Problems Zielgruppe Veränderungsmodell Maßnahmen Beeinflussbare Wirkfaktoren (Handlungsziele) Wirkungen (Mittlerziele)

26 Sicherstellung der Wirksamkeit: Prozessqualität Konzeptqualität + Prozessqualität = Ergebnisqualität Prozessqualität - 7 Voraussetzungen für wirkungszentrierte Prozesse Möglichkeiten und Erfahrungen der durchführenden Organisation - Erfahrungen mit ähnlichen Aufgaben - Möglichkeiten der Supervision, sowie der der Fort- und Weiterbildung Erfahrungen, Kompetenzen und Motivation der durchführenden Akteure Strategisch geplante Zusammenarbeit mit anderen Organisationen und Akteuren Berücksichtigung von sozialen, kulturellen und materiellen Kontextbedingungen Genaue Planung der Maßnahmendurchführung im Hinblick auf die Zielgruppe - Reihenfolge die Durchführung, Intensität und Dauer der Durchführung - Art und Weise der Durchführung (in Gruppen oder in Interaktion zwischen einem Verantwortlichen und einem einzelnen Klienten?) - Ort der Durchführung - Medieneinsatz Erreichung der definierten Zielgruppe Große Akzeptanz der Maßnahmen in der Zielgruppe (Begeisterung)

27 Sicherstellung der Wirksamkeit: Prozessqualität Die Voraussetzungen wirkungszentrierter Prozesse als Umsetzungsmodell Umsetzungsmodell Maßnahmenpläne Veränderungsmodell Ressourcen Durchführende Organisation Partnerorganisationen und kooperierende Akteure (Vernetzung) Sozialer, kulturelle und materieller Kontext a) Für die Umsetzung der Maßnahmen (Inhalt, Ablauf, Intensität, Dauer usw.). b) Für die Durchführung der Maßnahmen (Ort, einzeln oder in Gruppen, Medieneinsatz usw.). Durchführende Akteure Zielgruppe

28 Sicherstellung der Wirksamkeit: Ergebnisqualität Konzeptqualität + Prozessqualität = Ergebnisqualität Ergebnisqualität - Möglichkeiten zur Identifikation von Wirkungen Sammlung von Wirkungsindikatoren, d.h. von Anzeichen, die auf eine Veränderung in die erwünschte Richtung und auf das Erreichen von Zielen hindeuten. - Identifikation von Anzeichen, an denen man Wirkungen erkennen kann. - Systematische Protokollierung solcher Anzeichen. Ausführlich Befragung nach bestimmten Kriterien ausgewählter Teilnehmerinnen und Teilnehmer im Rahmen eines qualitativen Interviews. Dieses Verfahren ist auch gut geeignet, um positive und negative Nebenwirkungen zu entdecken. Teilnehmende Beobachtung der Durchführung von Maßnahmen durch Kollegen. Standardisierte Vorher-nachher-Befragung. Professionelle Wirkungsanalyse durch ein externes Evaluationsinstitut.

29 Haben Sie hierzu Fragen?