Evaluierungen als Instrument des Performance Measurement

Transkript

1 Evaluierungen als Instrument des Performance Measurement Prof. (FH) Dr. Fritz Hemedinger linz.at 1

2 Übersicht Begriffsklärungen, Abgrenzungen Grundlagen (Evaluationsobjekte, Arten, Ziele, ) Anmerkungen zur Wirkungsmessung Praxisbeispiel Diskussion 2

3 Forschungstätigkeit (Auswahl) Mitwirkung bei Forschungsprojekten Vereinbarkeit von Beruf und Pflege Angehöriger (2004) Evaluierung Pilotprojekt Medizinische Koordinatoren in APH (2012) Evaluierung Betreutes Wohnen St. Marienkirchen b. Schärding (lfd.) Evaluierung Betreutes Wohnen Steyr (lfd.) Lehrforschungsprojekte Nahtstelle Krankenhaus Ambulante Pflege (2007) KundInnenzufriedenheit Mobile Dienste, Altenbetreuung Volkshilfe (2010) KundInnenzufriedenheit Mobile Dienste, Altenhilfe Caritas (2005 und 2012) Jugendcoaching und Jugendarbeitsassistenz der Volkshilfe (lfd.) 3

4 LVA Konzept im Masterstudium Grundlagen des Performance Measurement Kennzahlenorientiertes Performance Measurement Grundzüge der Evaluation Fallbeispiel und Gesamtschau 4

5 Performance Measurement Steuerungs- und Bewertungsinstrumente (vgl. Stockmann, 2007: 100) 5

6 Abgrenzung zu (Birnkraut, 2011: 18) 6

7 Begriffsklärungen Evaluation bedeutet den Prozess der Beurteilung des Wertes eines Produktes, Prozesses oder eines Programms. Evaluationsforschung bedeutet die explizite Verwendung wissenschaftlicher Forschungsmethoden für die Durchführung einer Bewertung. (vgl. Koch, U./Wittmann, W. (Hrsg.): Evaluationsforschung. Berlin 1990) Die Begriffe Evaluierung, Evaluationsforschung werden allerdings oftmals synonym verwendet. 7

8 Begriffsklärungen Evaluation heißt. Erfahrungen systematisch für die Praxis nutzen... beschreiben bewerten Daten erheben auswerten interpretieren Um zu stabilisieren zu verbessern Entscheidungen zu treffen Veränderungen einzuleiten Nach Beywl, Wolfgang: Qualitätsentwicklung durch Evaluierung. Impulsreferat Fachtagung Evaluation in der Weiterbildung. Koblenz Vallendar

9 Begriffsklärungen Effektivität: Effizienz: Wirksamkeit, Grad der Zielerreichung Tun wir die richtigen Dinge Wirtschaftlichkeit, Aufwandsoptimierung Tun wir die Dinge richtig Nachhaltigkeit: Fortbestand der intendierten Wirkungen 9

10 Vorbehalte gegen Evaluationen Evaluierungen kosten nur Geld, sind unnötig, schaffen nur Unruhe und bringen ohnehin nichts. Angst vor.. schlechtem Ergebnis Kritik Konsequenzen hohem Arbeitsaufwand Störung der Arbeitsabläufe unbekanntem Bewertungsmaßstab 10

11 Kritik an Evaluierungsergebnissen Typische Kritikpunkte: Alles schon bekannt Methodische Defizite Es kann nicht sein, was nicht sein darf Akribische Fehlersuche Durchführungsmängel (vgl. Stockmann, 2007, 180f.) 11

12 Evaluationsobjekte (i.a. an Wottawa & Thierau) Personen: z.b. Lernerfolge von SeminarteilnehmerInnen, Verhaltensänderung aufgrund der Einführung von Normen. Umwelt: Wirkung von baulichen Maßnahmen auf Straßenlärm oder architektonischen Lösungen auf den Verkehrsfluss. Produkte: Attraktivität von Produkten für KonsumentInnen. Techniken und Methoden: Vergleich unterschiedlicher Präsentationsoder Unterrichtsmethoden hinsichtlich der Vermittlungserfolge. Zielvorgaben: Auswirkung des Paradigmenwechsels in der Betreuung von Menschen mit Beeinträchtigungen (Empowerment und Fähigkeitsorientierung statt Betreuung und Defizitorientierung) auf die Alltagsbewältigung. 12

13 Evaluationsobjekte 2 (i.a. an Wottawa & Thierau) Projekte und Programme: Wirksamkeit eines Maßnahmenbündels zur Reduktion von Adipositas, Wirksamkeit von Aufklärungskampagnen zu Aidsrisiken. Systeme und Strukturen: Vergleich unterschiedlicher Bildungseinrichtungen hinsichtlich der Vermittlung beruflicher Qualifikationen, Wirkung von Organisationsstrukturen in Unternehmen. Forschung: Gutachten über wissenschaftliche Forschung, Metaanalysen. 13

14 Evaluationstypen Überblick Evaluationsform externe / interne ex ante / begleitend / ex post formative / summative quantitative / qualitative Metaevaluation Unterscheidungsmerkmal Evaluationsträger Evaluationszeitpunkt Evaluationszweck verwendete Methoden Evaluation von Evaluationen 14

15 Unterschiedliche Aufgabenstellungen Verbesserung der Planung eines Programms oder einer Maßnahme > ex ante Evaluierung Beobachtung von Durchführungsprozessen > on going Evaluierung, Begleitforschung Bewertung der Wirksamkeit und Nachhaltigkeit > ex post Evaluierung Evaluationen können formativ (aktiv gestaltend, prozessorientiert) oder summativ (zusammenfassend, ergebnisorientiert) konzipiert sein. 15

16 Unterscheidung: interne Eval. externe Eval. Vorteile: Rasch, geringer Aufwand Hohe Sachkenntnis Unmittelbare Umsetzung Vorteile: Hohe Unabhängigkeit Hohe Methodenkompetenz Unterstützen Reformkräfte Große Glaubwürdigkeit Nachteile: Geringe Methodenkompetenz Fehlende Unabhängigkeit und Distanz Betriebsblindheit Nachteile: Geringe Sachkenntnis Abwehrreaktionen Umsetzungsprobleme Ressourcenbedarf 16

17 Standards für Evaluation (der deut. Gesellschaft für Evaluation - DeGEval) Nützlichkeit Sicherstellung, dass die Evaluation sich an den geklärten Evaluationszwecken sowie am Informationsbedarf der vorgesehenen NutzerInnen ausrichtet. Durchführbarkeit Sicherstellung dass die Evaluierung realistisch, gut durchdacht, diplomatisch und kostenbewusst geplant und ausgeführt wird. Fairness Sicherstellung, dass respektvoll und fair mit betroffenen Personen und Gruppen umgegangen wird. Genauigkeit Sicherstellung, dass eine Evaluierung gültige Informationen und Ergebnisse zu dem jeweiligen Evaluationsgegenstand und den Evaluationsfragestellung hervorbringt und vermittelt. 17

18 Zentrale Fragen einer Evaluation Welche Funktion/welches Ziel hat sie? Welche Aufgaben soll sie erfüllen? Wie wird sie durchgeführt? Wer führt sie durch? Was wird von wem anhand welcher Kriterien wie evaluiert? (vgl. Stockmann, 2007, 39) 18

19 Ziele von Evaluation Erkenntnis Kontrolle Evaluation Entwicklung Legitimation Quelle: Stockmann, 2007, 37 19

20 Ziel oder Wirkungsorientierung Zielorientierte Evaluierungen überprüfen, ob die angestrebten Ziele erreichbar sind oder erreicht wurden. (Soll Ist Vergleich) Probleme: unklare Zielformulierungen, unterschiedl. Ziele,... Wirkungsorientierte Evaluierungen fokussieren neben den beabsichtigten auch auf ungeplante Wirkungen (positive und negative). Probleme: Definition Wirkungen, Messbarkeit, 20

21 Wirkungsmessung Definition von Zieldimensionen Adäquate Operationalisierung der Zieldimensionen Vorabmessung (Status quo vor Einführung der Maßnahme) Kontrollgruppen zur Abschätzung der exogenen Effekte > zum Teil sehr problematisch Anwendung etablierter sozialwissenschaftlicher bzw. statistischer Verfahren und Methoden (z.b. Regressionsmodelle) Spannungsfeld zwischen optimaler Konzeption (unter Einhaltung wissenschaftlicher Kriterien) und den realen Gestaltungsmöglichkeiten (Limitierungen bezüglich Zeit, finanziellen Ressourcen, ) 21

22 Wirkungen Mögliche Fragestellungen bei Wirkungsmessungen: Ist die beabsichtigte Veränderung tatsächlich eingetreten? In welchem Ausmaß ist die Veränderung tatsächlich auf die Maßnahme zurückzuführen? Gibt es neben den intendierten Effekten noch weitere Nebenwirkungen? Bruttowirkung: insgesamt beobachtbare Veränderungen Nettowirkung: Veränderungen, die ursächlich der Intervention zuzuschreiben sind Nettowirkung = Bruttowirkung Störfaktoren Designs für Wirkungsevaluationen beruhen auf Vergleichen 22

23 Mögliche Störfaktoren Zwischenzeitliches Geschehen Ereignisse zwischen erster und zweiter Messung Reifung zeitabhängige Veränderungen, z.b. Wissenszuwachs Testeffekte Auswirkung der Erstuntersuchung auf die Zweituntersuchung, Merk, Lern, Erinnerungseffekte Veränderungen der Messinstrumente Einsatz unterschiedlicher Instrumente bzw. Interviewer/innen bei erster und zweiter Messung Ungleiche Gruppen Vergleichsgruppen unterscheiden sich Ausfälle Programmabbrecher, 23

24 Wirkungen Wirkungen Output eines Programmes, Produkte (Leistungen) einer Non Profit Organisation Wirkungen = Veränderungen als Folge von Leistungen Wirkungen können Strukturen, Prozesse, Verhaltensweisen verändern Zu unterscheiden: geplante (intendierte) Wirkungen und ungeplante (nicht intendierte) Wirkungen positive/negative Wirkungsdimension geplant ungeplant Struktur + + Prozess + + Verhalten + + (Stockmann, 2006: 102f.) 24

25 Forschungsdesigns für Wirkungsevaluationen (Auswahl) Experiment Randomisierte Auswahl zweier Gruppen Experimentalgruppe / Kontrollgruppe Vorher/Nachher Messung (abhängige Variable) bei beiden Gruppen, Intervention (unabhängige Variable) nur bei Experimentalgruppe Quasi Experiment Orientiert an Experimentallogik, aber keine zufällige Aufteilung in Experimentalgruppe und Kontrollgruppe möglich Vergleichsgruppe durch verschiedene Merkmale (z.b. Alter, Geschlecht, ) konstruiert Vorexperimentelle Designs Vorher/Nachher Messung bei Interventionsteilnehmer/innen 25

26 Elemente der Zielformulierung Zielobjekte: Worauf bezieht sich das Ziel? Zielinhalt: Was soll erreicht werden? Zielwert: Wie viel soll erreicht werden? Ortsbezug: Wo soll das Ziel wirksam werden? Zeitbezug: Wann soll das Ziel erreicht werden? (vgl. Stockmann, 2007, 64) 26

27 Mögliche Bezugspunkte für Bewertungskriterien Historischer Vergleich Intra /internationaler Vergleich Ziele Zielgruppenerwartungen Interessentenerwartungen Professionelle Standards Minimum/Optimum (vgl. Stockmann 2006, 283) 27

28 Praxisbeispiel: Evaluierung Vitales Wohnen in St. Marienkirchen bei Schärding Das klassische Betreubare Wohnen wird zunehmend als ergänzungsbedürftige Wohn und Betreuungsform gesehen: eine Anwesenheit von Präsenzkräften tagsüber wird zunehmend als erforderlich und hilfreich erlebt. Tagesbetreuung in Tageszentren soll die Situation pflegender Angehöriger entlasten. Gemeinsam mit dem SHV Schärding und der ISG wurde in St. Marienkirchen das Pilot Projekt ViWo Vitales Wohnen errichtet. Träger sind die Gemeinden St. Marienkirchen bei Schärding, Suben, Eggerding und Mayrhof. Mit wurde die neue Einrichtung Vitales Wohnen (ViWo) in Betrieb genommen. Es stützt sich auf folgende drei Säulen: Betreubares Wohnen (BW mit 9 Wohnungen im Stock) Betreutes Betreubares Wohnen Wohnen in Gemeinschaft (BBW für 8 Personen); die Nachtbereitschaft wird von Freiwilligen abgedeckt. Tagesbetreuung für 5 10 Person (teilstationäres Angebot, d.h. Betreuung von Senior/innen von Montag bis Freitag in der Zeit von ca Uhr). 28

29 Einige Evaluierungsziele: Ziel des Evaluationsprojektes ist die vergleichende Analyse der Ausgangssituation im Herbst 2011 mit der Situation nach etwa zweieinhalb Jahren zur Feststellung und Beschreibung der Effektivität und Effizienz des BBW innerhalb des ViWo. Dabei soll erhoben werden, wie weit die Rahmenbedingungen geeignet sind, die definierten Ziele zu erreichen. Ein allenfalls erforderlicher Änderungsbedarf im Konzept hinsichtlich personeller und materieller Ressourcen soll aufgezeigt werden. Die Übertragbarkeit des Modells auf andere Regionen OÖ soll geprüft werden. Bekanntheitsgrad und Informationsstand in den Gemeinden Erwartungen unterschiedlicher Stakeholder Erfüllung? Situation bei steigendem Betreuungsbedarf? Erwartete Synergieeffekte eingetreten? Verbesserungspotential aufzeigen 29

30 Stakeholder - ViWo Bewohner/innen im Wohnen in Gemeinschaft Nutzer/innen der Tagesbetreuung Angehörige der Bewohner/innen im BBW und der Nutzer/innen des TZ Mitarbeiter/innen hauptberufliche, ehrenamtliche Expert/innen und Entscheidungsträger (Träger, SHV, Ärzt/innen, Leiter/innen von APH, ) Gemeindebewohner/innen des Einzugsgebietes (St. Marienkirchen bei Schärding, Suben, Eggerding und Mayrhof) 30

31 Forschungsthemen ViWo Sichtweise der Bewohner/innen (Zufriedenheit, Erwartungen, Individualität, Privatsphäre, Kostenfrage Leistbarkeit des Angebotes, ) Sichtweise der Angehörigen (Informationsstand über und Erwartungen an die Institution, Einbezug in das Gemeinschaftsleben, ) Sichtweise der Mitarbeiter/innen (Identifikation der Stärken und möglicher Problemfelder der Einrichtung, z.b. Umgang mit dementiell erkrankten Bewohner/innen, Synergien, Kommunikation und Zusammenarbeit der drei Angebotsfelder, ) Sichtweise der Ehrenamtlichen (Einschätzung der Attraktivität des Dienstes und des Angebots, mögliche Problemfelder im Nachtdienst, Motivation für ehrenamtliches Engagement, ) Sichtweise der Bevölkerung im Einzugsgebiet (Bekanntheitsgrad, Image, Erwartungen an die Einrichtung, ) Sichtweise von Entscheidungsträgern und Expert/innen (Erwartungen an das und Perspektiven des Angebotes, Ersatz für Alten und Pflegeheim (APH); bei zunehmendem Pflegebedarf Verbleib im BBW möglich? ) 31

32 Forschungsmethodik ViWo Die Datenerhebung wird zu zwei Zeitpunkten durchgeführt: Herbst 2011 (Projektbeginn) und Wiederholung nach ca. 2,5 Jahren (Frühjahr 2014) Leitfadengestützte Interviews mit Bewohner/innen, Expert/innen und Mitarbeiter/innen Standardisierte Befragung der Bevölkerung in den Gemeinden des Einzugsgebietes sowie der Angehörigen der Bewohner/innen im BBW und der Nutzer/innen des TZ und der Ehrenamtlichen Teilnehmende Beobachtung im BBW und TZ Dokumentenanalyse (Aufnahme, Entwicklung des Pflegebedarfs, Gründe für das Ausscheiden, ) 32

33 Literaturhinweise Balzer, L., 2005: Wie werden Evaluationsprojekte erfolgreich? Verlag Empirische Pädagogik, Landau Birnkraut, G., 2011: Evaluation im Kulturbetrieb. VS Verlag für Sozialwissenschaften, Wiesbaden Bortz, J./Döring, N., 2003: Forschungsmethoden und Evaluation für Human und Sozialwissenschaftler. 3. Aufl., Springer Verlag, Berlin, Heidelberg, New York Stake, R. 1976: Checkliste zur Aushandlung einer Evaluationsvereinbarung übersetzt von Beywl, W. Stockmann, R., 2006: Evaluation und Qualitätsentwicklung. Waxmann Verlag, Münster Stockmann, R., 2007: Handbuch zur Evaluation. Waxmann Verlag, Münster Wottawa, H./Thierau, H., 2003: Lehrbuch Evaluation. 3. korr. Aufl., Verlag Hans Huber, Bern, Göttingen, Toronto, Seattle Internetressourcen:

34 Abschließende Anmerkungen Exakte Zielvorgaben für Evaluation seitens der Auftraggeber eher nicht die Regel Festlegung der Zieldimensionen notwendig Die Transparenz der Ziele sowie gemeinsame Zielexplikation mit relevanten Stakeholdern empfehlenswert Genaue Abklärung der Erwartungen und Realisationsmöglichkeiten erforderlich (vgl. Checkliste Literaturhinweise) Eine Evaluation soll auch Bereiche aufgreifen, die relativ leicht und zeitnah verändert und umgestaltet werden können Akzeptanz einer Evaluation in der Organisation soll gewährleistet werden (durch ausreichende Kommunikation) Die Evaluationsnutzung muss konsequent vorbereitet und fortlaufend gesichert werden; begleitet durch Organisa onsentwicklung ( Evalua onskultur) und Personalentwicklung ( evalua ves Denken und Handeln) Evaluierung können einen wichtigen Beitrag zum Performance Measurement leisten. 34

35 Zur Diskussion: Zum Praxisbeispiel: Ist eine Wirkungsmessung erreichbar? Welche andere Forschungsdesigns wären möglich? Allgemein: Problematik der Messbarkeit Ist nur bedeutend was messbar ist? Erfahrungen mit Evaluierungen 35

36 36