REPORT NR. 63. Darstellung des integrativen Baukastensystems für Evaluationen im Präventionsbereich der AUVA.

REPORT NR. 63 Darstellung des integrativen Baukastensystems für Evaluationen im Präventionsbereich der AUVA www.auva.at

Darstellung des integrativen Baukastensystems für Evaluationen im Präventionsbereich der AUVA Univ.-Doz. Dr. Georg Spiel Dr. Monika Finsterwald Dr. Vera Popper Mag. Nina Hesse ECE: Evaluation Cooperation Education http://bild-psy.univie.ac.at/forschung/vereine/ Institut für Angewandte Psychologie: Arbeit, Bildung, Wirtschaft, Universität Wien, Universitätsstraße 7, 1010 Wien ZVR 158 542 264

Inhaltsverzeichnis Ausgangslage 4 Teil 1: Entwicklung des integrativen Baukastensystems 7 Kurzeinführung zu Evaluationen 7 Schritt 1: Präventionsmaßnahmen der AUVA fokussieren Person und Umwelt 7 Schritt 2: Dem integrativen Baukastensystem für Evaluationen liegt die Logik Input-Output-Outcome- Impact zu Grunde 9 Schritt 3: Im integrativen Baukastensystem für Evaluationen sind verschiedene Evaluationsansätze verankert 12 Schritt 4: Im integrativen Baukastensystem für Evaluationen sind Ziele auf verschiedenen Ebenen formulierbar 14 Schritt 5: Im integrativen Baukastensystem für Evaluationen sind Parameter der Umsetzungsgenauigkeit spezifiziert 17 Wirkmodelle 20 Teil 2: Möglichkeiten zur Bestimmung für die Eignung von EvaluatorInnen 29 1) Bezugnahme auf das integrativen Baukastensystem der AUVA 29 2) Qualitätsstandards für Evaluation 29 3) Kompetenzen und Kenntnisse 30 3

Ausgangslage Vor dem Hintergrund der Ressourcenknappheit und des damit ständig steigenden Kostendrucks im Gesundheitsbereich wird der Nachweis von Effektivität (Ausmaß der Zielerreichung) und Effizienz (Verhältnis von Kosten und Nutzen) immer bedeutsamer. So werden Evaluationen von Maßnahmen immer mehr gefordert und auch umgesetzt. Abgesehen davon erweisen sich Evaluation zur Absicherung, dass die intendierten Ziele von Maßnahmen tatsächlich auch erreicht werden bzw. wie diese noch besser erreicht werden können, als sinnvoll, um den Zielgruppen bestmögliche Angebote bieten zu können. Auch die AUVA stellt sich diesen Forderungen: Sie möchte sowohl die Wirksamkeit ihrer Präventionsmaßnahmen untersuchen (d.h. ob diese wirken) als auch die dahinterliegenden Wirkmodelle explizieren und prüfen (d.h. warum diese wirken). Die Evaluationsergebnisse sollen dann als Ausgangspunkt für die Konzeption weiterer (möglicherweise zielgruppenspezifischer) Projekte sein. Als Basis für künftige Evaluationen von Präventionsmaßnahmen hat der ECE in enger Abstimmung mit dem Auftraggeber (bzw. einer eigens eingerichteten Projektgruppe bestehend aus Hr. Dipl.-Ing. Bata, Hr. Dipl.-Ing. Effenberger, Fr. Dr. Hosemann, Fr. Mag. Libowitzky, Hr. Dr. Strobach, Hr. Dipl.-Ing. Wittig, Hr. Mag. Wratschko; Nennung in alphabetischer Reihenfolge) ein integratives Baukastensystem entwickelt, das als Standard gelten wird. Die Verwendung eines gemeinsamen Modells für alle Evaluationen ermöglicht eine Vergleichbarkeit der Ergebnisse von Interventionen. Sich um Aufträge bemühende EvaluatorInnen müssen auf dieses Modell in ihren Offerten Bezug nehmen und spezifizieren, wie sie es bei ihrer Evaluation berücksichtigen werden bzw. wo Schwerpunkte gesetzt werden sollen und warum. Im ersten Teil des vorliegenden Beitrags wird das integrative Baukastensystem, das als Standard für zukünftige Evaluationen der AUVA dienen soll, sukzessive entwickelt, um die einzelnen Bausteine nachvollziehbarer zu machen: Schritt 1: Im ersten Schritt werden durch den Bezug auf Verhaltens- und Verhältnisprävention Personen- und Umweltvariablen eingeführt, die den Bezugsrahmen für die Präventionsmaßnahmen der AUVA darstellen. Schritt 2: Es werden zugrunde liegende Logiken expliziert (Input, Output, Outcome, Impact), die bei Evaluationen anhand unterschiedlicher Indikatoren (=Messgrößen) berücksichtigt werden können (vgl. Beywl & Niestroj, 2009 1 ). Implizit sind hier auch Qualitätskriterien verankert, die Donabedian (1988) 2 speziell für den Gesundheitsbereich formuliert hat. 1 Beywl, W. & Niestroj, M. (2009). Der Programmbaum. Landmarke wirkungsorientierter Evaluation. In W. Beywl & M. Niestroj (Hrsg.), Das A-B-C der wirkungsorientierten Evaluation. Glossar Deutsch / Englisch der wirkungsorientierten Evaluation (2. Aufl., S. 137-149). Köln: Institut für Evaluation. 2 Donabedian, A. (1988). The quality of care. How can it be assessed? The Journal of the American Medical Association, 260, 1743-1748. 4

Schritt 3: In einem dritten Schritt werden verschiedene Evaluationsansätze eingeführt. Schritt 4: Im vierten Schritt wird das Vierebenenmodell nach Kirkpatrick und Kirkpatrick (2006) 3 integriert, anhand dessen Ziele von Evaluationen klassifiziert werden können. Schritt 5: In einem letzten Schritt wird die Umsetzungsgenauigkeit (Fidelity) von Maßnahmen mit einbezogen (Century et al., 2010 4 ). Zum Abschluss wird auf spezifische Wirkmodelle (z.b. wie kommt es zur Einstellungsänderung bzw. zur Änderung von Verhalten) eingegangen, die im Baukastensystem implizit verankert sind. Idealerweise werden die Evaluationsgegenstände der AUVA so konzipiert, dass sie einen Bezug zur aktuellen Forschung und zu darin spezifizierten Wirkmodellen darstellen. Ein solches Vorgehen erleichtert die Evaluation, da Zielgruppen sowie Ziele und deren Indikatoren bei einer wissenschaftlich gut fundierten Maßnahme in der Regel einfacher abzuleiten sind. Die AuftraggeberInnen können dann auch einen erhöhten Nutzen aus der Evaluation ziehen, da das eigens erstellte Wirkmodell überprüft und somit auch modifiziert werden kann bzw. hieraus ein Lerngewinn für weitere Interventionsmaßnahmen gezogen werden kann. Um vorab einen Eindruck zu bekommen, was unter dem integrativen Baukastensystem für Evaluationen der AUVA im Präventionsbereich überhaupt gemeint ist, wird das Modell an dieser Stelle schon eingefügt (Abb. 1), die genauen Ausführungen folgen. Im zweiten Teil des Beitrags werden Eignungs- und Zuschlagskriterien für künftige EvaluatorInnen der AUVA vorgestellt. Neben der Bezugnahme auf das integrative Baukastensystem dient die Einhaltung der Standards der Gesellschaft für Evaluation hinsichtlich der Qualität von Evaluation (DeGEval, 2008 5 ) als Leitlinie. Zudem werden notwendige Kompetenzen von EvaluatorInnen spezifiziert. Abschließend wird eine Checkliste präsentiert anhand derer die Bewertung der Offerte dann stattfinden kann. 3 Kirkpatrick, D. L. & Kirkpatrick, J. D. (2006). Evaluating Training Programs: The Four Levels (3. Aufl.). San Francisco: Berrett-Koehler. 4 Century, J., Rudnick, M. &Freeman, C., (2010). A Framework for Measuring Fidelity of Implementation: A Foundation for Shared Language and Accumulation of Knowledge. American Journal of Evaluation, 31(2), 199-218. 5 DeGEval - Deutsche Gesellschaft für Evaluation (2008). Standards für Evaluation. Köln: Deutsche Gesellschaft für Evaluation. 5

Abb.1. Integratives Baukastensystem für Evaluationen im Präventionsbereich der AUVA 6

Teil 1: Entwicklung des integrativen Baukastensystems Kurzeinführung zu Evaluationen Evaluation wird als angewandte Wissenschaft aufgefasst, die eine Entscheidungsgrundlage für konkrete Problemstellungen liefern soll (z.b. Ditton, 2009 6 ). Es geht darum aufzuzeigen, was wertvoll ist bzw. wobei es Verbesserungspotentiale gibt, um durch Lernprozesse eine Optimierung zu gewährleisten (s. Thierau & Wottawa, 2003 7 ). Evaluation ist die systematische Untersuchung des Nutzens oder Wertes eines Gegenstandes. Solche Evaluationsgegenstände können z.b. Programme, Projekte, Produkte, Maßnahmen, Leistungen, Organisationen, Politik, Technologien oder Forschung sein. Die erzielten Ergebnisse, Schlussfolgerungen oder Empfehlungen müssen nachvollziehbar auf empirisch gewonnenen qualitativen und/oder quantitativen Daten beruhen. (DeGEval, 2008; S. 15 8 ). Dies bedeutet zunächst spezifische Ziele für einzelne Zielgruppen zu formulieren und Indikatoren (Messgrößen) zu bestimmen mittels derer die Zielerreichung überprüft werden kann. Dann wird die Zielerreichung mit aktuellen wissenschaftlichen Methoden überprüft, um so den Wert feststellen zu können und Implikationen abzuleiten. Das integrative Baukastensystem soll EvaluatorInnen einen Rahmen geben, innerhalb dessen Ziele für bestimmte Zielgruppen verortet werden können. Auch werden Indikatoren auf verschiedenen Ebenen spezifiziert. Schritt 1: Präventionsmaßnahmen der AUVA fokussieren Person und Umwelt Durch Präventionsmaßnahmen der AUVA soll das Gesundheitsverhalten von Personen beeinflusst werden, welches sehr breit definiert wird: Gesundheitsverhalten ist jegliches Verhalten, das die Gesundheit fördert und langfristig erhält, Schäden und Einschränkungen fernhält und die Lebenserwartung verlängert. Gesundheitsverhalten kann auch die Unterlassung eines Risikoverhaltens sein, also wenn Verhaltensweisen, die die Gesundheit gefährden, aufgegeben oder reduziert werden. (Renneberg & Hammelstein, 2006, S. 36 9 ) Die AUVA zielt bei ihren Präventionsprogrammen auf eine langfristige Reduktion von Unfällen und eine Steigerung der Gesundheit auf der Basis einer Verminderung von Risikoverhalten bei unterschiedlichen Zielgruppen (v.a. generell alle ArbeitnehmerInnen sowie spezielle Risikogruppen) ab. Wie auch weiter unten (s. Kapitel zu den Wirkmodellen) beschrieben wird, ist es von Interesse Variablen zu identifizieren, die dieses Verhalten beeinflussen können und an denen Präventionsprogramme ansetzen können. 6 Ditton, H. (2009). Evaluation und Qualitätssicherung. In R. Tippelt & B. Schmidt (Hrsg.), Handbuch Bildungsforschung (2. Aufl., S. 607-623). Wiesbaden: VS Verlag für Sozialwissenschaften. 7 Thierau, H. & Wottawa, H. (2003). Lehrbuch Evaluation (3. Aufl.). Bern: Huber Verlag. 8 DeGEval - Deutsche Gesellschaft für Evaluation (2008). Standards für Evaluation. Köln: Deutsche Gesellschaft für Evaluation. 9 Lippke, S., & Renneberg, B. (2006 9 ). Theorien und Modelle des Gesundheitsverhaltens. In Renneberg, B., & Hammelstein, P. (Hrsg.), Gesundheitspsychologie (S. 35 60). Heidelberg: Springer. 7

Der Ansatz der AUVA ist es also, Maßnahmen zur Risikominderung und zur Ressourcenstärkung zu setzen. Es werden somit sowohl Maßnahmen der Verhaltens- als auch Verhältnisprävention gesetzt: Verhaltensprävention zielt darauf ab, die im persönlichen Lebensstil verankerten gesundheitlichen Risikofaktoren und Verhaltensweisen zu beeinflussen. Verhältnisprävention bezieht auch die Umgebung von Personen und ihre Lebensverhältnisse mit ein. Dahinter steht die Vorstellung, dass Menschen sich nur dann wirklich wohl fühlen können, wenn auch das Umfeld, in dem sie leben, arbeiten, lernen, wohnen und lieben gesundheitsförderlich und nicht krank machend ist. (Fonds Gesundes Österreich, 2005 10 ) Maßnahmen zur Verhältnisprävention sind gesetzlich geregelt und im ArbeitnehmerInnenschutzgesetz (ASchG, überarbeitete Ausgabe 2013) definiert. Für Evaluationen, die verhältnispräventive Maßnahmen zur Verhältnisprävention untersuchen, sind hier insbesondere die Grundsätze der Gefahrenverhütung interessant (ASchG 7): Arbeitgebende haben bei der Gestaltung der Arbeitsstätten, Arbeitsplätze und Arbeitsvorgänge, bei der Auswahl und Verwendung von Arbeitsmitteln und Arbeitsstoffen, beim Einsatz der Arbeitnehmenden sowie bei allen Maßnahmen zum Schutz der Arbeitnehmenden Grundsätze der Gefahrenverhütung umzusetzen (z.b. Gefahrenbekämpfung an der Quelle; Vorrang des kollektiven Gefahrenschutzes vor individuellem Gefahrenschutz; etc.). Neben den gesetzlichen Grundlagen hat sich besonders das Thema organisationale Sicherheitskultur als relevant für die Unfallvermeidung erwiesen, auf das im Kapitel Wirkmodell noch näher eingegangen wird. Der Fokus der Präventionsmaßnahmen fällt somit auf das Verhalten von Personen als auch auf ihre Umwelt. Für das integrative Baukastensystem heißt dies im ersten Schritt Personenund Umweltvariablen einzufügen. 10 Fonds Gesundes Österreich (2005). Verhältnis- und Verhaltensprävention. Abgerufen am 10. Februar 2013 unter http://www.fgoe.org/gesundheitsfoerderung/glossar/verhaltenspravention-und-verhaltnispravention 8

Abb. 2.1. Integratives Baukastensystem für Evaluationen im Präventionsbereich der AUVA: Fokus Person/ Umwelt Schritt 2: Dem integrativen Baukastensystem für Evaluationen liegt die Logik Input-Output-Outcome-Impact zu Grunde Bei Evaluationen ist es wichtig, relevante Logiken des Programms zu erkennen, diese in Zusammenhang zu stellen und evaluierbar zu machen (vgl. Bewyl & Niestroy, 2009 11 ). Eine einfache Logik ist beispielsweise folgende: Input (z.b. investierte Ressourcen) -> Output (z.b. erstellte Produkte) -> Resultate (z.b. Zielerreichung) Dieses Modell lässt jedoch außer Acht, dass auch die Ausgangs- und Rahmenbedingungen mit bedacht werden müssen und auch die Resultate ausdifferenziert werden können. Bewyl (o.j.) 12 schlägt deshalb folgende Klassifikationen vor: 11 Beywl, W. & Niestroj, M. (2009). Der Programmbaum. Landmarke wirkungsorientierter Evaluation. In W. Beywl & M. Niestroj (Hrsg.), Das A-B-C der wirkungsorientierten Evaluation. Glossar Deutsch / Englisch der wirkungsorientierten Evaluation (2. Aufl, S. 137-149). Köln: Institut für Evaluation. 12 Beywl, W. (o.j.). Werkzeuge für die Evaluation Der Programmbaum und seine Elemente. Abgerufen am 10. Februar 2013 unter http://www.univation.org/index.php?class=calimero_article&id=13275 9

Bedingungen: Kontext: Systemumwelt des Programms auf lokaler bis internationaler Ebene; inkl. rechtlicher, politischer, sozialer, kultureller u. a. Aspekte, die sich langfristig und unabhängig vom Programm selbst ändern Struktur: Mittelfristig stabile Aufbau- und Ablauforganisation der das Programm tragenden Organisation, des Verbundes/Netzwerks, Verbands (...) Input: Finanzielle, personale oder andere Ressourcen, die in ein Programm investiert werden, teils als monetäre Kosten erfassbar Income: Voraussetzungen, mit denen die Mitglieder der Zielgruppen in das Programm hinein kommen, insb. Wissen, Einstellungen, Verhaltensweisen, Bedürfnisse, Werte [ ] Resultate: Output: Erfassung der mit Hilfe der Inputs von einer Organisation (o.ä.) erstellten Produkte/ Dienstleistungen etc. Outcome: Intendierte Resultate von Aktivitäten/Interventionen des Programms bei Mitgliedern der Zielgruppe bzw. Vorteile für diese [ ] Impact: Resultierende Merkmale sozialer Systeme, insb. von Organisationen (Unternehmen, sozialen Dienstleistern, Schulen...), von Sozialräumen (Nachbarschaften, Kommunen, Regionen...) oder eines Netzwerks im Politikfeld (Weiterbildungssystem eines Bundeslandes...) Neben Effekten hinsichtlich intendierter Ziele können auch nichtintendierte Resultate (bei Mitgliedern der Zielgruppe, bei anderen Personen, im Kontext oder in der Struktur des Programms etc.) als Nebenwirkung des Programms auftreten. Diese sind nicht voraussehbar und können somit erst nachträglich als positiv/ negativ bewertet werden. Mittels sogenannter Indikatoren können die Resultate messbar gemacht werden, d.h. es kann bestimmt werden, ob bzw. in welchem Ausmaß die Ziele erreicht wurden. Im Normalfall werden mehrere Indikatoren spezifiziert, um der Komplexität des Evaluationsgegenstands gerecht zu werden. Eine Übersicht über mögliche Indikatoren sowie Beispiele hierfür findet sich in folgender Tabelle (Tab. 1): Tabelle 1. Überblick über mögliche Indikatoren und deren Anwendbarkeit auf die AUVA Indikatorbezeichnung Beschreibung Kontext-Indikator Erfassung der Systemumwelt eines Programms Struktur-Indikator Erfassung von Rahmenbedingungen, die für eine Organisation vorliegen Input-Indikator Erfassung von finanziellen, personalen oder anderen Ressourcen und Aktivitäten, die investiert werden 10 Anwendung auf die AUVA z.b. Gesundheitskultur in einer Region z.b. Rechtsform und Kapitalausstattung der AUVA z.b. Personal- und Sachaufwendungen, die die AUVA zur Verfügung hat, um ihre Leistungen zu erstellen

Income-Indikator Output-Indikator Outcome-Indikator Impact-Indikator Erfassung von eingebrachten Ressourcen einer Zielgruppe Erfassung der mit Hilfe der Inputs von einer Organisation (o.ä.) erstellten Produkte/ Dienstleistungen etc. Erfassung des Nutzens, den die erstellten Produkte/ Dienstleistungen etc. für die Zielgruppe/n haben Erfassung der Wirkung einer Maßnahme etc., die über die bei Zielgruppen auftretenden Outcomes hinausgehen, beruht in der Regel auf mehreren Outcomes z.b. Lerneingangsbedingungen (Wissen, Motivation, Einstellung etc.) von Führungskräften zum Thema Sicherheit z.b. verschiedene Leistungen der AUVA (z.b. Broschüren, Schulungsangebote, etc.), die diese den Versicherten anbietet z.b. Wissen über Auswirkungen von Chemikalien bei direktem Hautkontakt, das Frisör-Lehrlinge nach der Teilnahme an einer Schulung haben z.b. Reduktion der Arbeitsunfälle in einer Branche, die die von der AUVA angebotenen Maßnahmen in Anspruch genommen hat Dies bedeutet im integrativen Baukastensystem auch Input-, Output-, Outcome und Impactvariablen einzufügen. Abb. 2.2. Integratives Baukastensystem für Evaluationen im Präventionsbereich der AUVA: Berücksichtigung unterschiedlicher Indikator-Stufen 11

Implizit sind im Baukastenmodell somit auch die bekannten Dimensionen von Qualität im Gesundheitsbereich nach Donabedian (1988) 13 berücksichtigt: Laut Donabedian gilt es neben der generellen Frage, was Qualität überhaupt ist, zu klären, wer im Zentrum der Qualitätsbeurteilung stehen sollte. Um dies beurteilen zu können, werden Informationen (1) über strukturelle Bedingungen benötigt (z.b. Human Ressources, materiellen Ressourcen), innerhalb derer die Behandlung stattfindet, (2) über den Verlauf des Behandlungsprozesses (z.b. durchgeführte Aktivitäten) und (3) über den Behandlungserfolg an sich (Differenz zwischen dem Eingangs- und Ausgangszustand). Für die AUVA bedeutet dies, dass nicht nur Erfolge bezogen auf Outcome und Impact gemessen werden, sondern auch die Durchführung der Maßnahme und die zur Verfügung stehenden Ressourcen bei der Umsetzung betrachtet werden soll (s. auch Kapitel zur Umsetzungsgenauigkeit ). Schritt 3: Im integrativen Baukastensystem für Evaluationen sind verschiedene Evaluationsansätze verankert Möchte man eine Maßnahme bzw. ein Programm evaluieren, ist es zunächst wichtig zu prüfen, ob diese Maßnahmen überhaupt wirksam ist (=Wirksamkeitsprüfung). D.h. es wird gemessen, ob bzw. in welchem Ausmaß die intendierten Ziele erreicht wurden und ob die Veränderungen tatsächlich auf die Intervention zurückzuführen sind (vgl. z.b. Gollwitzer & Jäger, 2009 14 ). Hierfür sind die zuvor spezifizierten Indikatoren heranzuziehen. Auch sollten positive und negative Nebenwirkungen mitbewertet werden, die zu Beginn zwar nicht vorhersehbar waren, aber aufgetreten sind. Grundsätzlich gilt, dass in jedem Evaluationsprojekt zwei Arten von Zielen unterschieden werden müssen: die Ziele der Maßnahme (Was soll durch die Maßnahme erreicht werden?) und die Ziele der Evaluation (Was soll durch die Evaluation bewertet werden?). Es würde nämlich den Rahmen jeder Evaluation sprengen, alle Maßnahmenziele auch zu evaluieren. (Wie eine Zielexplikation konkret erfolgen kann, wird unter Schritt 4 beschrieben.) Als Basis einer Wirksamkeitsprüfung ist es (1) notwendig über den Ausgangszustand Bescheid zu wissen (= eine Messung zu haben, wie die Situation vor dem Beginn der Maßnahme war; im Fachjargon mit Prätest bezeichnet), um über die tatsächlichen Veränderungen genauere Aussagen machen zu können. Dazu werden sogenannte Posttest- Messungen vorgenommen (am Ende der Maßnahme) bzw. Follow-up Messungen (2 bis 6 Monate nach Abschluss einer Maßnahme). (2) Wenn möglich sollte auch eine (Warte)Kontrollgruppe rekrutiert werden, d.h. Personen, die nicht in diese Maßnahme involviert war. So kann noch besser bestimmt werden, ob sich gezeigte Veränderungen tatsächlich auf die Maßnahme zurückführen lassen. 15 Meist wird am Ende eines Programms Bilanz über dessen Wirksamkeit gezogen (Ex-Post Evaluationen; summative Messungen). 13 Donabedian, A. (1988). The quality of care. How can it be assessed? The Journal of the American Medical Association, 260, 1743-1748. 14 Gollwitzer, M., & Jäger, R. S. (2009). Evaluation: workbook. Beltz: PVU. 15 Ideal wäre eine randomisierte (zufällige) Zuordnung zur Interventions- und Kontrollgruppe, da damit die Wahrscheinlichkeit verringert wird, dass ein erzielter Effekt durch eine stichprobenbedingte Verzerrung zustande kommt (d.h. randomisierte Vergleichsstichproben gewährleisten, dass sich die Gruppen nur hinsichtlich der Intervention (=erhalten oder nicht) unterscheiden. Somit können erzielte Effekte auch dieser zugeschrieben werden und kommen nicht aufgrund von personengebundenen Variablen zustande). In der Praxis ist eine randomisierte Zuordnung jedoch schwer realisierbar. 12

Doch macht es gerade bei großangelegten Projekten Sinn, auch ex-ante Evaluationen durchzuführen: Diese werden im Vorfeld der Implementierung durchgeführt und dienen u.a. der Bedarfserhebung und Zielgruppenbewertung. Dies ist insbesondere in Hinblick auf die Frage des sinnvollen Investments von finanziellen Ressourcen unterstützend. Generell gilt, dass Vortestungen von Produkten/ Maßnahmen (aber auch Evaluationsinstrumenten) in jedes Evaluationsprojekt integriert sein sollten, um diese bestmöglich auf die Bedürfnisse des Umfelds abzustimmen bzw. um zu testen, ob ein großflächiges, kostenintensives roll-out überhaupt die intendierte Wirksamkeit hat. Evaluationen, die parallel zur Implementierung durchgeführt werden, werden begleitende Evaluationen genannt. Sie ermöglichen es durch sog. begleitende/ formative Messungen zu überprüfen, inwieweit man den Zielen des Programms schon näher gekommen ist bzw. wie diese verbessert werden können. Fließen diese Erkenntnisse in die weitere Programmumsetzung ein, können sie als Methode der Wirksamkeitssteuerung eingesetzt werden. (Eine Ausführung weiterer Evaluationsansätze ist beispielsweise bei ProEval 16 zu finden.) Basierend auf diesen Ausführungen gilt es in das integrative Baukastensystem auch diese unterschiedlichen Evaluationsarten und Messungen einzufügen. Abb. 2.3. Integratives Baukastensystem für Evaluationen im Präventionsbereich der AUVA: Integration von Evaluationsansätzen 16 http://www.proeval.com/downloads/fachbegriffe-der-evaluation.pdf 13

Schritt 4: Im integrativen Baukastensystem für Evaluationen sind Ziele auf verschiedenen Ebenen formulierbar Bei Evaluationen gilt es zu Beginn stets Ziele zu präzisieren, die durch die Evaluation beantwortet werden sollen. Ziele können dabei auf unterschiedlichen Ebenen angesiedelt sein. Am weitesten akzeptiert und verbreitet ist der praxisnahe Ansatz von Kirkpatrick und Kirkpatrick (2006) 17. Bei diesem werden vier Ebenen unterschieden, die hierarchisch zu verstehen sind (d.h. Fragen zu einer höheren Ebene setzen sinnvollerweise die Beantwortung von Fragen auf darunter liegenden Ebenen voraus). Mit höherer Ebene steigen Aufwand, Komplexität aber auch Informations- und Lerngewinn. Kirkpatrick unterscheidet folgende vier Ebenen: (1) Reaktion: Eine Evaluation auf der ersten Ebene untersucht, wie die TeilnehmerInnen auf das Programm reagieren, es geht also um ihre Zufriedenheit mit dem Angebot. Selbstverständlich ist eine positive Reaktion noch keine Garantie für einen tatsächlichen Lernerfolg seitens der TeilnehmerInnen (diese Einschränkung sollte AuftraggeberInnen von Evaluationen bewusst sein), immerhin ist sie aber wesentliche Voraussetzung für diesen, entscheidet sie doch über ihre Offenheit dem Angebot gegenüber, über ihre Motivation, daraus zu lernen, und über ihre Bereitschaft, das Angebot weiterhin wahrzunehmen. (2) Lernen: Auf der nächsten Ebene wird das Lernen der Teilnehmenden untersucht. Lernen bezeichnet dabei das Ausmaß, in welchem die TeilnehmerInnen als direkte Folge der Teilnahme am Programm ihre Einstellungen verändern, ihr Wissen erweitern und/oder ihre Fertigkeiten steigern. (3) Verhalten: Die meisten Interventionen zielen im Grunde auf eine Verhaltensänderung ab, also auf den Transfer des im Programm Gelernten auf Alltagssituationen. EvaluatorInnen könnten daher dazu verleitet sein, sich ausschließlich auf Veränderungen auf der Verhaltensebene zu konzentrieren. Kirkpatrick bezeichnet jedoch ein solches Vorgehen als Fehler, da verschiedene Voraussetzungen für eine tatsächliche Veränderung gegeben sein müssen, die bei der ausschließlichen Konzentration auf die dritte Ebene nicht überprüft würden. Dazu gehört u. a. der Wunsch, das eigene Verhalten zu ändern und ein Wissen darüber, was geändert werden soll und wie dies zu bewerkstelligen ist. Diese beiden Voraussetzungen werden auf der ersten und zweiten Ebene erst geschaffen. Somit ist die Berücksichtigung der ersten beiden Ebenen für eine richtige Interpretation v. a. dann unumgänglich, wenn sich keine Verhaltensänderung abzeichnet. Eine besondere Rolle spielt dabei zusätzlich noch der Kontext ( Umwelt ), da die Programmteilnehmenden möglicherweise zwar motiviert und befähigt für Verhaltensänderungen sind, diese sich jedoch z.b. in ihrer Arbeitsumgebung aufgrund fehlender oder mangelhafter Rahmenbedingungen nicht umsetzen lassen. 17 Kirkpatrick, D. L. & Kirkpatrick, J. D. (2006). Evaluating Training Programs: The Four Levels (3. Aufl.). San Francisco: Berrett-Koehler. 14

(4) Systemergebnisse: Diese Ebene bezieht sich auf jene Veränderungen, die auf einer "höheren" Ebene (der Organisation bzw. des Systems) durch das Programm erzielt werden. Die Erfassung dieser vierten Ebene ist aber ohne eine eingehende Analyse der drei vorangegangenen Ebenen nicht möglich. In Abhängigkeit vom Interventionsbereich können Systemergebnisse sehr unterschiedlich sein und sind meist erst mittel- bis längerfristig beobachtbar. Veränderungen auf Systemebene sind oftmals auch relevant, damit Personen ein neues Verhalten auch zeigen können (Umwelt-/Kontextbedingungen). Im Idealfall werden bei Evaluationen alle vier Ebenen berücksichtigt, da so die meisten Informationen über die Wirksamkeit von Maßnahmen gewonnen werden können. Es ist aber durchaus legitim nur die unteren Ebenen zu untersuchen, wenn z. B. eingeschränkte Ressourcen vorhanden sind. Um diese unterschiedlichen Zielebenen präsent zu machen, wird das Vierebenen-Modell in das integrative Baukastensystem aufgenommen. Für jede Ebene müssen in weiterer Folge Outcome-Indikatoren definiert und zur Feststellung der Zielerreichung (Wirksamkeit der Maßnahme) gemessen werden. Um die Detail-Ziele zu explizieren und Indikatoren zu definieren, hat sich die Durchführung eines Workshops mit den relevanten Personen bewährt: Die teilnehmenden Personen sollen an der Maßnahme Beteiligte sein, Expertenwissen für die Maßnahme haben und sind betroffen von den Ergebnissen der Evaluation (man könnte sie auch als NutzerInnen der Evaluation bezeichnen). Im Rahmen des Workshops gibt es die Möglichkeit des aktiven Aushandelns und Detaillierens und somit eine Beeinflussung bzw. Gestaltung der Evaluation. Somit entspricht dieses Vorgehen dem Gedanken einer partizipativen Evaluation (vgl. Guba & Lincoln, 1989 18 ), die Evaluation als sozialen Prozess begreift. Durch das Einbeziehen unterschiedlicher Perspektiven werden verschiedene Felder des Evaluationsgegenstandes beleuchtet und es kommt zu einer umfassenden und gemeinsam getragenen Analyse des gesamten Kontextes. Die Einbeziehung der Beteiligten und Betroffenen ist auch im Hinblick auf die spätere Nutzung der Evaluationsergebnisse von zentraler Bedeutung. Häufig werden Evaluationsberichte von den intendierten NutzerInnen nicht als Informationsquelle verwendet, da die Inhalte nicht ihren Bedürfnissen entsprechen, Ergebnisse zu aggregiert sind, um nützlich zu sein oder weil ihre spezifischen Fragestellungen durch die Evaluation überhaupt nicht untersucht wurden (vgl. Patton, 2008 19 ). Folgende Punkte können für die Workshopplanung und durchführung empfohlen werden: Die Zusammensetzung des Workshops sollte ein Abbild der Programmrealität sein. Es sollte ausreichend Zeit eingeplant werden (je nach Anzahl der Teilnehmenden und der Komplexität der Maßnahme mindestens ein halber Tag). Die Leitung des Workshops erfolgt durch den/die EvaluatorIn oder eine/n mit der Materie vertraute/n ModeratorIn (Die Projektleitung sollte sich in den meisten Fällen selbst inhaltlich einbringen können und daher eher nicht mit der Leitung des Workshops betraut werden). 18 Guba, E. G. & Lincoln, Y. S. (1989). Fourth Generation Evaluation. Newbury Park, CA: SAGE Publications. 19 Patton, M. (2008). Utilization-Focused Evaluation (4. Aufl.). Thousand Oaks: SAGE Publications. 15

Den Teilnehmenden sollten zu Beginn des Workshops das allgemeine Baukastenmodell vorgestellt und ein paar Basisinformationen zu Evaluation gegeben werden. Die Verwendung von kreativen und interaktiven Methoden (Kärtchenmethode, Szenariotechnik, etc.) hilft dabei, geeignete Indikatoren zu definieren (z.b. auf die Frage: Woran kann man bei Zielgruppe X erkennen, dass die Maßnahme Y auf der Ebene Lernen ihr Ziel Z erreicht hat? ). Alle Ergebnisse werden visualisiert und später als Ergebnisprotokoll allen TeilnehmerInnen zur Verfügung gestellt. Abb. 2.4 Integratives Baukastensystem für Evaluationen im Präventionsbereich der AUVA: Integration des Vierebenen-Modells zur Zielklassifikation und Spezifizierung der Outcome-Indikatoren Ziele und die dazugehörigen Outcome-Indikatoren können auf einem Kontinuum zwischen sehr programmnah (im Fachjargon: proximale Ziele) und sehr programmfern (im Fachjargon: distale Ziele) liegen. Beispielsweise wird sich der Effekt einer Schulung zur richtigen Handhabung der persönlichen Schutzausrüstung zuerst in der Veränderung von Einstellungen und Wissen in der jeweiligen Teilnehmendengruppe zeigen, dann möglicherweise in deren veränderten Risikoverhalten, bevor letztendlich Veränderungen in den entsprechenden Unfallzahlen zu bemerken sind. Bei Evaluationen von Programmen, die erstmalig durchgeführt bzw. evaluiert werden, ist es besonders wichtig, nicht auf die Messung von proximalen Zielen zu verzichten: Wenn diese nicht erreicht werden, können auch distale Ziele schwer erreicht werden. Letztere geben 16

jedoch Auskunft über die Reichweite von Programmen und sind somit ebenfalls wichtig zu erheben. Was proximale und distale Ziele sind, gilt es für jedes Evaluationsprojekt neu zu bestimmen eine allgemeingültige Zuordnung ist nicht möglich (s. auch unten die Ausführungen zu den Wirkmodellen). Ein Beispiel zur Veranschaulichung: Ein proximales Ziel könnte sein, das Verhalten der Mitarbeitenden zu verändern dies ist als proximal zu bezeichnen, wenn direkt mit den MitarbeiterInnen gearbeitet wird. Setzt die Maßnahme aber bei den Führungskräften an, ist es das proximale Ziel, deren Wissen, Einstellungen, Verhalten etc. zu ändern. Distales Ziel wäre dann der Wissenszuwachs und die Einstellungs- bzw. Verhaltensänderung der MitarbeiterInnen. Schritt 5: Im integrativen Baukastensystem für Evaluationen sind Parameter der Umsetzungsgenauigkeit spezifiziert In der Evaluationsforschung wurde in den letzten Jahren vermehrt darauf hingewiesen, dass auch die Erfassung von Informationen über die Implementation ein wichtiger Bestandteil von Programmevaluation sein muss. Informationen über die Umsetzungsgenauigkeit bzw.-treue ( fidelity of implementation ) eines Programms ermöglichen es, den sogenannten Typ-III-Fehler zu reduzieren: man nimmt aufgrund ausbleibender Effekte an, dass ein Programm/ eine Maßnahme keine Wirkung zeigt. Dieser ausbleibende Effekt kommt jedoch zustande, da das Programm nicht so umgesetzt wurde wie es intendiert war. Besonders anfällig für Typ-III-Fehler sind komplexe Programme und/ oder Programme mit vielen Multiplikationsebenen. Dies ist bei allen Präventionsprojekten der AUVA der Fall. Somit wird in das Baukastenmodell die Umsetzungsgenauigkeit aufgenommen, d.h. das Ausmaß, in dem zentrale Komponenten der umgesetzten Präventionsmaßnahme konsistent mit der ursprünglich vorgesehenen/ geplanten Präventionsmaßnahme ist. Fidelity of Implementation: The extent to which the critical components of an intended program are present when that program is enacted (Century et al., 2010, S. 202 20 ) Mit der Frage, was zentrale bzw. kritische" Komponenten eines Programms sind, haben sich einige ForscherInnen bereits auseinandergesetzt und Klassifikationen erstellt (z.b. Century et al., 2010; Dane & Schneider, 1998 21 ; Lynch & O Donell, 2005 22 ; Mowbray et al., 2003 23 ). Wir lehnen uns am Modell von Century et al. (2010) an, da ihr Modell an vorgegangenen Klassifikationen aufbaut und diese sogar noch erweitert. 20 Century, J., Rudnick, M. &Freeman, C., (2010). A Framework for Measuring Fidelity of Implementation: A Foundation for Shared Language and Accumulation of Knowledge American. Journal of Evaluation, 31(2), 199-218. 21 Dane, A. V., & Schneider, B. H. (1998). Program integrity in primary and early secondary prevention: Are implementation effects out of control? Clinical Psychology Review, 18, 23-45. 22 Lynch, S., & O Donnell, C. (2005). The evolving definition, measurement, and conceptualization of fidelity of implementation in scale-up of highly rated science curriculum units in diverse middle schools. Paper presented at the Annual Meeting of the American Educational Research Association, Montreal, Canada. 23 Mowbray, C. T., Holter, M. C., Teague, G. B., & Bybee, D. (2003). Fidelity criteria: Development, measurement, and validation. The American Journal of Evaluation, 24, 315-340. 17

Auf der ersten Ebene werden in diesem Modell Strukturkomponenten (Rahmenbedingung des Programms) von Prozesskomponenten (Durchführung des Programms) unterschieden. Diese lassen sich noch einmal unterteilen: Strukturkomponenten (Rahmenbedingung): o Prozedurale Aspekte (procedural): Diese Komponente fokussiert auf strukturelle bzw. formale Aspekte des Programms (z.b. Quantität des Programms: Gesamtdauer, Häufigkeit und Dosierung über die Zeit der Einzelmaßnahmen; zur Verfügungstellung von notwendigen Ressourcen, Beschreibungen der genauen Abläufe und zu vermittelnden Inhalte). o Didaktisches Konzept (educative): Diese Komponente fokussiert didaktische/ pädagogische Aspekte des Programms: bei der Vermittlung eines Programms an MultiplikatorInnen, TrainerInnen etc. muss nicht nur bedacht werden, arbeitstechnische Informationen zur Verfügung zu stellen, sondern auch den Vermittlungsaspekt einzubeziehen: Was müssen die MultiplikatorInnen inhaltlich wissen? Was über Didaktik? etc. Prozesskomponenten (Durchführung): Didaktische Umsetzung (pedagogical): Diese Komponente fokussiert die MultiplikatorInnen (o.ä.). Hierunter fallen nicht nur deren Vermittlungsverhalten bei der Umsetzung und die angewandten Methoden, sondern auch ihre Einstellungen und Kompetenzen. Partizipation der Teilnehmenden (Participants participation respectively responsiveness; Engagement): Diese Komponente fokussiert die am Programm Teilnehmenden. Es wird z.b. die Anwesenheit der TeilnehmerInnen erfasst, ihre Beteiligung, ihr Commitment zum Programm, ihre Motivation ihr Verhalten zu ändern. 18

Abb. 2.5. Integratives Baukastensystem für Evaluationen im Präventionsbereich der AUVA: Integration der Umsetzungsgenauigkeit 19

Wirkmodelle Neben der Prüfung der Programmwirksamkeit mit Hilfe des Baukastensystems sollte auch das dahinterliegende Wirkmodell des Programms überprüft werden. Hierbei wird zu beantworten versucht, warum die Maßnahme wirkt (vgl. Modell von Patry & Perrez im Anhang 1). Die zugrunde liegende Theorie bzw. das Theoriegefüge und die angenommenen Wirkprozesse werden überprüft. Es wird untersucht, welche Programmbausteine (welchen) Einfluss haben und/ oder ob die Maßnahmen auf verschiedene Populationen (Alter, Geschlecht, Lernbedürfnisse etc.) gleich wirkt. Neben den Personenmerkmalen gilt es mögliche weitere situationale Einflussvariablen zu bedenken (Programminhalte, Interventionsmethode, durchführende Personen). Kurz gesagt, gilt es bei Prüfungen von Wirkmodellen Antworten auf die Frage zu bekommen, für welche Personen sich durch welche Durchführung welche Programmziele unter welchen Interventionsbedingungen mit welchen Interventionsmethoden am besten erreichen lassen. Bei einer Evaluation gilt es also zuerst zu entscheiden, ob die globale Wirksamkeit einer Maßnahme untersucht wird oder ob differentielle Wirkungen von Interesse sind. Danach können entsprechende Wirkmodelle expliziert werden. Wie bereits erwähnt, zielen die Maßnahmen der AUVA auf die Änderung von Gesundheitsverhalten ab. Ideale Maßnahmenkonzeptionen verfolgen einen evidenzbasierten Zugang, d.h. aktuelle Befunde über die Wirksamkeit werden einbezogen. Verhaltensänderungen, die bei Kirkpatrick in der dritten Ebene zu verorten sind, stellen meist den zentralsten, aber auch den herausforderndsten Teil einer Maßnahme dar. So kann es sein, dass man auf Ebene der Reaktionen als auch auf der Ebene des Lernens Veränderungen feststellt, diese jedoch auf Ebene des Verhaltens ausbleiben. Die Intention, ein Verhalten zu ändern, kann dabei durchaus schon vorhanden sein, zur tatsächlichen Ausführung des Zielverhaltens kommt es jedoch nicht dies wird auch als intentionbehavior gap bezeichnet. Diese Diskrepanz zwischen Intention und Verhalten kann dadurch verursacht sein, dass in der Konzeption der Präventionsmaßnahme ein Wirkmodell antizipiert wurde, das relevante Komponenten zur Verhaltensänderung nicht berücksichtigt hatte. Für die Ergründung dieser - für die Veränderung von Gesundheitsverhalten - zentralen Komponenten empfiehlt sich deshalb zu vorerst eine Durchsicht der aktuellen Literatur. Ob diese in der Maßnahme fokussierten Komponenten dann tatsächlich verändert werden konnten, kann dann in der Evaluation erhoben werden. Somit kann die Aufklärung über die tatsächliche Wirkung der einzelnen Komponenten enormen Nutzen für die AuftraggeberInnen liefern: In weiteren Maßnahmen kann die Information über die Wirksamkeit der einzelnen Komponenten zur Verbesserung des Outputs, Outcomes und somit auch des Impacts beitragen. Im Folgenden wird deshalb näher auf Komponenten eingegangen, die im Zuge von Maßnahmenkonzeptionen wichtig sind und die deshalb auch im Blickfeld einer Evaluation im Gesundheitsbereich stehen können, da sie Aufschluss über die Frage geben können, wieso eine Maßnahme wirksam ist/war. 20

Zentrale Komponenten zur Erklärung von Gesundheitsverhalten Bei der Ergründung der Frage wieso eine Maßnahme Wirksamkeit zeigt, wäre es am einfachsten ein bereits vorhandenes Modell heranzuziehen, das alle relevanten Variablen beinhaltet, an denen es zur Änderung von Gesundheitsverhalten zu arbeiten gilt. Tatsächlich existiert eine Reihe an Modellen zur Erklärung von Gesundheitsverhalten. Obwohl bereits viel Forschung in diesem Feld passiert ist, lässt sich auch in der aktuellen Literatur kein Modell finden, das Gesundheitsverhalten in einem befriedigenden Ausmaß erklären kann. Es herrscht keine Einigkeit über eine bestimmte Theorie bzw. über ein bestimmtes Modell (vgl. Noar & Zimmerman, 2005 24 ), jedoch weisen die in den verschiedenen Modellen verwendeten Komponenten teilweise Überschneidungen auf (MacMillan & Connor, 2007 25, zit. nach Baumeister, Krämer, & Brockhaus, 2008 26 ). Im Folgenden werden wichtige Komponenten vorgestellt, die für eine Änderung des Gesundheitsverhaltens von Bedeutung sein können. Für das jeweilige zu evaluierende Präventionsprojekt gilt es wie bereits erwähnt diejenigen Komponenten zu explizieren, die für dieses von besonderer Relevanz sein könnten. Die zentralen Komponenten zur Beschreibung von Gesundheitsverhaltensweisen lassen sich grob unterteilen in (1) unterschiedliche Phasen der Verhaltensänderung, (2) relevante motivationale und affektive Komponenten, die sich in den einzelnen Phasen auch unterschiedlich bedeutsam sein können, und (3) die Art des Gesundheitsverhaltens sowie die anzusprechende Population. Neben diesen für die Verhaltensprävention relevanten Komponenten können im Wirkmodell auch Komponenten der Verhältnisprävention beschrieben werden. Diese werden unter (4) Sicherheitskultur als bedingungsbezogene Komponente von Prävention dargestellt. (1) Phasen der Verhaltensänderung Der Transfer des Gelernten auf Alltagssituationen (=Ebene des Verhaltens bei Kirpatrick) gilt oft als zentrales Ziel von Maßnahmen. Dabei ist zu beachten, dass eine Verhaltensänderung nicht nach dem Ganz oder gar nicht -Prinzip verläuft, sondern verschiedene Stadien durchlaufen kann. Personen, die eine bestimmte Verhaltensänderung durchlaufen sollten, können sich auch in unterschiedlichen Ausgangsstadien befinden. Das transtheoretische Modell (Prochaska & Velicer, 1997 27 ) unterteilt hierbei fünf Stadien: Das erste Stadium wird als Präkontemplation bezeichnet. Hier beabsichtigt eine Person noch nicht ein Verhalten zu ändern. Im darauf folgenden Stadium der Kontemplation befinden sich Personen, die über eine Verhaltensänderung reflektieren. 24 Noar, S. M., & Zimmerman, R. S. (2005). Health behavior theory and cumulative knowledge regarding health behaviors: are we moving in the right direction? Health Education Research, 20(3), 275 290. 25 McMillan, B. & Conner, M. (2007). Motivierung zur persönlichen Verhaltensänderung. In J. Kerr, R. Weitkunat & M. H. Moretti (Hrsg.), ABC der Verhaltensänderung. Der Leitfaden für erfolgreiche Prävention und Gesundheitsförderung (1. Aufl., S. 237-252). München: Urban & Fischer. 26 Baumeister, H., Krämer, L., & Brockhaus, B. (2008). Grundlagen psychologischer Interventionen zur Änderung des Gesundheitsverhaltens. Klinische Verhaltensmedizin und Rehabilitation, 82, 254 264. 27 Prochaska, J. O., & Velicer, W. F. (1997). The transtheoretical model of health behavior change. American journal of health promotion, 12(1), 38 48. 21

Im Stadium der Präparation plant die Person das auszuführende Zielverhalten im nächsten Monat auszuführen. Hier werden Vorbereitungen getroffen. Darauf folgt das Stadium der Aufnahme, in der die Person ihr Verhalten über einen längeren Zeitraum verändert. Das Stadium der Aufrechterhaltung tritt ein, wenn das Verhalten über einen längeren Zeitraum ausgeführt wird. Im abschließenden Stadium der Stabilisierung ist die Ausführung des Zielverhaltens bereits automatisiert. Das Transtheoretische Modell wurde zwar von vielen AutorInnen kritisiert, da die Stadienzuordnung nicht eindeutig ist und die einzelnen Stadien ungenügend operationalisiert sind (Lippke & Renneberg, 2006 28 ), es beinhaltet jedoch einen zentralen Gedanken in Hinblick auf die Planung von Maßnahmen: Es ist wichtig zu berücksichtigen, in welcher Phase sich die einzelnen Personen gerade befinden. Dies ist deshalb von Bedeutung, da in jedem einzelnen Stadium unterschiedliche motivationale und affektive Komponenten handlungsrelevant sein können. Ein Beispiel: RaucherInnen, die für sich persönlich noch kein gesundheitliches Risiko wahrnehmen, müssen primär dazu motiviert werden das gewünschte Verhalten auszuführen (z.b. indem die Vorteile des Nichtrauchens vermittelt werden). Ist jemand bereits zum/zur NichtraucherIn geworden und hat demnach das Zielverhalten aufgenommen, ist es wichtig eine Aufrechterhaltung zu unterstützen (z.b. durch eine Stärkung der Selbstwirksamkeit zum Durchhalten). Mittels einer Evaluation kann differenziert gemessen werden, ob Personen auch wenn sie ihr Zielverhalten noch nicht umgesetzt haben zumindest bereits Schritte zur Verhaltensänderung vollzogen haben: In der Unfallprävention könnte es sein, dass die Zielgruppe einer Maßnahme das Gesundheitsverhalten Tragen eines Schutzhandschuhs zur Vorbeugung von Handverletzung aufgenommen haben (Stadium Aufnahme ), dieses jedoch noch nicht aufrechterhalten haben (Phase Aufrechterhaltung ). Hier könnte im Zuge weiterer Maßnahmen an der Aufrechterhaltung und der Stabilisierung des Zielverhaltens gearbeitet werden. (2) Relevante motivationale und affektive Komponenten In den einzelnen Stadien der Verhaltensänderung können unterschiedliche motivationale und affektive Komponenten (unterschiedlich) handlungsrelevant sein. Diese werden im Folgenden ausgeführt. Risikowahrnehmung Das Modell gesundheitlicher Überzeugungen ( Health Belief Model ; Becker, 1974 29 zur näheren Beschreibung siehe Anhang 2) ist eines der ersten Modelle zur Erklärung von Gesundheits- und Risikoverhalten (Renneberg & Hammelstein, 2006 30 ): Personen schätzen demnach ihre eigene Bedrohung ein und ziehen eine Kosten-Nutzen-Bilanz, die dann die Wahrscheinlichkeit einer Verhaltensänderung bestimmt. Dieses Modell besagt auch, dass 28 Lippke, S., & Renneberg, B. (2006). Theorien und Modelle des Gesundheitsverhaltens. In Renneberg, B., & Hammelstein, P. (Hrsg.), Gesundheitspsychologie (S. 35 60). Heidelberg: Springer. 29 Becker, M. H. (1974). The health belief model and personal health behavior. Thorofare, NJ: Slack. 30 Renneberg, B., & Hammelstein, P. (2006). Gesundheitspsychologie. Heidelberg: Springer. 22

Personen nicht nur ein Risiko wahrnehmen müssen, um ihr Gesundheitsverhalten zu ändern, sondern dass sie sich persönlich verwundbar fühlen und einen bestimmten Schweregrad wahrnehmen müssen. Beispielsweise zeigte eine Studie von Reuter und Renner (2011 31 ), dass Personen zur Zeit des H1N1-Virus ( Schweinegrippe ) eher eine gesundheitspräventive Verhaltensweise ausführten (Verwendung einer Handseife), wenn sie eine verstärkte Wahrnehmung der eigenen Bedrohung und eine größere Besorgnis über den Schweregrad des Virus empfanden. Dies resultierte aus der Einschätzung einer hohen Wahrscheinlichkeit einer Infektion, also aus einer erhöhten Risikowahrnehmung. Ähnliche Befunde konnten auch für den Zusammenhang zwischen der Wahrnehmung des Schweregrads sowie der Bedrohung einer Erkrankung und der Wahrscheinlichkeit sich impfen zu lassen, festgestellt werden (Brewer u. a., 2007 32 ). Die Provokation von Furcht gilt in vielen Präventionskampagnen als beliebtes Mittel, um von Risikoverhaltensverweisen abzuschrecken. Es stellt sich jedoch die Frage, ob diese Methode tatsächlich in einer höheren Risikowahrnehmung eines Individuums resultiert. Furchtappelle können auch einen unerwünschten Effekt auslösen. So ist wiederum die Zielgruppe stark zu berücksichtigen: Gilt es zum Beispiel bei Jugendlichen als sozial anerkannt, Risikoverhaltensweisen auszuüben, so wird ein Furchtappel nicht die intendierte Wirkung hervorbringen. D.h. es ist wichtig im Vorfeld genaue Informationen über die Zielgruppe einzuholen (dies kann ebenfalls Teil der Ex-Ante-Evaluation sein). Darüber hinaus verlieren Furchtappelle mit der Zeit an Effektivität. Sie können auch zu Ablehnung, zur Vermeidung der Information oder zu Abstumpfung führen (Naidoo & Wills, 2003 33 ). Wenn das Risikothema sehr neu ist (z.b. HIV-Gefahr in den 80er Jahren) kann eine Risikokommunikation wirksam sein - auch bei Personen, die sich noch keine ausreichenden Gedanken über das mit einem Verhalten einhergehenden Risiko gemacht haben (Baumeistern, Krämer, Brockhaus, 2008 34 ). Außerdem hat es sich als vorteilhaft erwiesen, gleichzeitig mit den Furchtappellen Informationen zu Präventionsmaßnahmen zu übermitteln, die die Bewältigungskompetenzen stärken (Witte & Allen, 2000 35 ). Sollte eine Präventionsmaßnahme der AUVA am Health Belief Model ansetzen, könnte im Zuge einer Evaluation beispielsweise überprüft werden, ob der Einsatz von Risikokommunikation sinnvoll war bzw. welche Wirkung dieser erzielt hat. Selbstwirksamkeit Zu beachten ist, dass die Risikowahrnehmung nur eine von vielen Komponenten ist, die in Zusammenhang mit Gesundheitsverhalten stehen. Zentral ist beispielsweise auch die Selbstwirksamkeitserwartung einer Person. 31 Reuter, T., & Renner, B. (2011). Who Takes Precautionary Action in the Face of the New H1N1 Influenza? Prediction of Who Collects a Free Hand Sanitizer Using a Health Behavior Model. PLoS ONE, 6(7), e22130. 32 Brewer, N. T., Chapman, G. B., Gibbons, F. X., Gerrard, M., McCaul, K. D., & Weinstein, N. D. (2007). Metaanalysis of the relationship between risk perception and health behavior: the example of vaccination. Health Psychology, 26(2), 136-145. 33 Naidoo, J., & Wills, J. (2003). Lehrbuch der Gesundheitsförderung: Umfassend und anschaulich mit vielen Beispielen und Projekten aus der Praxis der Gesundheitsförderung. Gamburg: Verlag für Gesundheitsförderung. 34 Baumeister, H., Krämer, L., & Brockhaus, B. (2008). Grundlagen psychologischer Interventionen zur Änderung des Gesundheitsverhaltens. Klinische Verhaltensmedizin und Rehabilitation, 82, 254 264. 35 Witte, K., & Allen, M. (2000). A meta-analysis of fear appeals: Implications for effective public health campaigns. Health Education and Behavior, 27, 591 615. 23

Sie wird definiert als subjektive Gewissheit, neue oder schwierige Anforderungssituationen aufgrund eigener Kompetenzen bewältigen zu können (Schwarzer, 2004 36 ). Das Modell der gesundheitlichen Überzeugungen wurde bald von Modellen abgelöst, die die Selbstwirksamkeitserwartung zur Vorhersage von Verhalten integrieren. Zum Beispiel integriert die Theorie des geplanten Verhaltens (Ajzen, 1985 37 Zur näheren Beschreibung siehe Anhang 3) neben den Einstellungen zum Zielverhalten (positive und negative Einstellungen), der subjektiven Norm (erlebter sozialer Druck das Zielverhalten auszuüben) die wahrgenommene Verhaltenskontrolle (diese ist der Selbstwirksamkeitserwartung sehr ähnlich). Die Selbstwirksamkeitserwartung beeinflusst, ob Personen die Herausforderung der Verhaltensänderung annehmen und wie hoch sie ihre Ziele setzen (Schwarzer, 2011 38 ). In einem der aktuellsten Modelle zur Erklärung von Gesundheitsverhalten, dem Health Action Process Approach (Schwarzer, 2008 39 zur näheren Beschreibung siehe Anhang 4), wird eine phasenspezifische Selbstwirksamkeitserwartung beschrieben. Die Selbstwirksamkeit wird unter anderem durch externe Variablen beeinflusst wie z.b. Persönlichkeits- oder Umweltfaktoren (z.b. Verfügbarkeit). Bandura (1997 40 ) sieht verschiedene Quellen der Selbstwirksamkeitserwartung: Die eigenen Erfolgserfahrungen, stellvertretende Erfahrungen, verbale Verstärkung sowie physiologische und affektive Zustände. Diese Quellen können als Ansatzpunkte einer Präventionsmaßnahme herangezogen werden, die Verhalten ändern möchte. Die Stärkung der Selbstwirksamkeit gilt bei Maßnahmen zur Änderung des Gesundheitsverhaltens also als zentral. Bei der Frage nach dem Warum bezogen auf die Wirksamkeit einer Maßnahme, kann die Ausprägung der Selbstwirksamkeit wichtige Informationen liefern. Im Rahmen einer Evaluation könnte es somit interessant sein zu bestimmen, inwiefern die Selbstwirksamkeit der Zielgruppe beeinflusst werden konnte und in welchem Ausmaß diese Veränderung Einfluss auf eine Verhaltensänderung hatte. Ergebniserwartung Bei der Ergebniserwartung handelt es sich um ein Abwägen zwischen positiven und negativen Aspekten, die mit der Durchführung des Zielverhaltens einhergehen. Dies kann sich beispielsweise auf die soziale Norm beziehen (z.b. Wenn ich das Rauchen bleiben lasse, dann werden mich meine FreundInnen mehr mögen ) oder auch ein Abwägen von Gewinnen und Verlusten (z.b. Ich werde mich heute vor der Sonne schützen, aber nicht gebräunt sein ) (Schwarzer, 2011 41 ). 36 Schwarzer, R. (2004). Psychologie des Gesundheitsverhaltens: Einführung in die Gesundheitspsychologie (3. Aufl.). Göttingen: Hogrefe. 37 Ajzen, I. (1985). From intentions to actions: A theory of planned behavior. In J. Kuhl & J. Beckmann (Hrsg.), Action control: From cognition to behavior (S. 11-39). Heidelberg: Springer. 38 Schwarzer, R. (2011). Health behavior change. In H. S. Friedman, Oxford handbook of health psychology (S. 591-611). New York: Oxford University Press. 39 Schwarzer, R. (2008). Modeling Health Behavior Change: How to Predict and Modify the Adoption and Maintenance of Health Behaviors. Applied Psychology, 57(1), 1 29. 40 Bandura, A. (1997). Self-efficacy: The exercise of control. New York: Freeman. 41 Schwarzer, R. (2011). Health behavior change. In H. S. Friedman, Oxford handbook of health psychology (S. 591-611). New York: Oxford University Press. 24

Wurde ein intendiertes Zielverhalten nach einer Präventionsmaßnahme nicht durchgeführt, könnte es beispielsweise daran liegen, dass die Personen eine negative Gewinn-Verlust- Bilanz gezogen haben: Zum Beispiel könnte das Tragen eines Schutzhandschuhs als unangenehm auf der Haut erlebt werden (Verlust) und gleichzeitig die verringerte Verletzungsgefahr (Gewinn) als zu unwichtig eingeschätzt werden. Soziale Normen und wichtige Bezugspersonen Die soziale Bezugsnorm bzw. soziokulturelle Bedingungen spielen in Bezug auf Gesundheitsverhalten eine große Rolle. Denkt man beispielsweise an das Thema Gewichtsabnahme, so besteht eine bestimmte kulturelle Normvorstellung über ein Idealgewicht. Auch in der Theorie des geplanten Verhaltens gelten die normativen Überzeugungen als zentral. Sie wirken auf die subjektive Norm, die durch den erlebten sozialen Druck dazu beitragen, ob ein Verhalten geändert wird. Auch der Einfluss von einzelnen wichtigen Bezugspersonen auf das eigene Verhalten kann stark sein und wird im Zuge von Interventionen oft nicht mitberücksichtigt. Zum Beispiel können EhepartnerInnen einen Einfluss auf das Essverhalten ausüben (Aiken, 2011 42 ). Präventionsmaßnahmen dürfen das soziale Umfeld der Personen nicht außer Acht lassen. Mittels Evaluationen kann eine konkretere Aussage darüber getroffen werden, wie die konkreten Wirkmechanismen sind. Emotionen Aiken (2011) betont die Wichtigkeit von Emotionen bei der Veränderung von Verhalten. Sie haben oft einen erheblichen Einfluss auf Entscheidungen bezüglich des Gesundheitsverhaltens. So konnte beispielsweise gezeigt werden, dass Frauen mit einer sehr großen Angst vor einer Brustuntersuchung nicht zur Vorsorgeuntersuchung gingen (Aiken, 2011). Eine relevante Emotion ist auch das Bereuen (Schwarzer, 2011 43 ): Zum Beispiel kann sich eine Ex-Raucherin denken: Wenn ich heute Abend eine Zigarette rauche, dann werde ich es morgen bereuen. Emotionen werden in den ursprünglichen, stark kognitiv orientierten Modellen vernachlässigt. Sie sollten aber auf jeden Fall mitgedacht werden, wenn es um die Änderung von Gesundheitsverhalten geht. Beispielsweise könnte die Teilnahme an Schutzimpfungen deshalb gering ausfallen, da viele Personen Angst vor Spritzen empfinden und durch diese negative Emotion das Zielverhalten nicht ausführen möchten. Sollte dies im Zuge einer Evaluation festgestellt werden, so kann im Zuge der nächsten Schutzimpfungen versucht werden, den Personen die Angst zu nehmen. (3) Art des Gesundheitsverhaltens & Population Art des Gesundheitsverhaltens: Bei Durchsicht der Literatur wird deutlich, dass eine Vielzahl an Gesundheitsverhaltensweisen existieren, die Gegenstand von Präventions- und Interventionsmaßnahmen darstellen. Wie bereits die Definition des Begriffs 42 Aiken, L. S. (2011). Advancing Health Behavior Theory: The Interplay Among Theories of Health Behavior, Empirical Modeling of Health Behavior, and Behavioral Interventions. In H. S. Friedman (Hrsg.), The Oxford Handbook of Health Psychology (S. 612 637). New York: Oxford University Press. 43 Schwarzer, R. (2011). Health behavior change. In H. S. Friedman, Oxford handbook of health psychology (S. 591-611). New York: Oxford University Press. 25

Gesundheitsverhalten gezeigt hat, ist darin ein breites Spektrum an Verhaltensweisen inbegriffen. Je nach Gegenstand des Gesundheitsverhaltens gilt es unterschiedliche Komponenten zu berücksichtigen. Möchte zum Beispiel ein Raucher nicht mehr zur Zigarette greifen, da er bereits unter starker gesundheitlicher Gefährdung steht, so unterscheidet sich diese Verhaltensweise (Unterlassung des Rauchens) vom Verhalten einer Bauarbeiterin, das Unfällen durch einen Sturz vorbeugen soll: Im Fall des Rauchers handelt sich primär um die Unterlassung einer gesundheitsgefährdeten Verhaltensweise, wohingegen bei der Sturz- Prävention der Bauarbeiterin nicht nur die Unterlassung von gefährdendem Verhalten eine Rolle spielt, sondern auch Verhaltensweisen hinzukommen, die vor Unfällen schützen können (wie z.b. das Tragen eines Sicherheitsgurtes, Leitern sicher zu benützen oder sichere Gerüste zu bauen). Möglicherweise ist auch die Motivation des Rauchers, das gesundheitsgefährdende Verhalten zu unterlassen größer, weil er unter einer akuten gesundheitlichen Bedrohung steht. Dahingegen könnte es sein, dass die Bauarbeiterin sich selbst als nicht bedroht von Stürzen wahrnimmt, da sie das Gefühl hat, ihr könne so etwas nicht passieren, weil sie sehr achtsam sei. Anhand dieses Beispiels wird deutlich, wie unterschiedlich die einzelnen Aspekte von Gesundheitsverhaltensweisen miteinander in Verbindung stehen können. Bei der Konzeption von Präventionsmaßnahmen empfiehlt es sich daher immer aktuelle Fachliteratur heranziehen. Dadurch kann ausfindig gemacht werden, welche Variablen in Zusammenhang mit dem Zielverhalten stehen. Somit weiß man darüber Bescheid an welchen Variablen angesetzt werden muss, um die Wahrscheinlichkeit zu erhöhen, durch die Maßnahme zu einer Änderung des Zielverhaltens zu gelangen. Ob dies gelungen ist und ob die antizipierten Wirkmechanismen tatsächlich nachweisbar sind, kann mittels Evaluationen überprüft werden. Population: Faktoren wie das Alter oder das Geschlecht einer Person können mit dem Gesundheitsverhalten in Zusammenhang stehen. Das Alter kann die Anfälligkeit für Krankheiten oder Dysfunktionalitäten erhöhen, als auch die Widerstandsfähigkeit gegenüber bestimmten Belastungen einschränken (Schulte, Pandalai, Wulsin, & Chun, 2012 44 ). Zum Beispiel hängen Erkrankungen des Bewegungsapparates mit dem Alter zusammen. Auch das Geschlecht kann hier eine Rolle spielen: Für Frauen gilt eine höhere Prävalenz von Depression als für Männer, was wiederum ein Risikofaktor für Erkrankungen des Bewegungsapparats darstellen kann. Die Interaktion zwischen Depression und Erkrankungen des Bewegungsapparats kann demnach je nach Geschlecht variieren (Schulte u. a., 2012). Ein weiterer Aspekt, der die unterschiedlichen Bedürfnisse einer Zielgruppe beeinflussen kann, ist der kulturelle Hintergrund der Personen (Brach & Fraserirector, 2000 45 ). So können Themen, wie zum Beispiel die Hygienevorstellung oder die Ernährung je nach kulturellem 44 Schulte, P. A., Pandalai, S., Wulsin, V., & Chun, H. (2012). Interaction of Occupational and Personal Risk Factors in Workforce Health and Safety. American Journal of Public Health, 102(3), 434 448. 45 Brach, C., & Fraserirector, I. (2000). Can cultural competency reduce racial and ethnic health disparities? A review and conceptual model. Medical Care Research and Review, 57, 181 217. 26

bzw. religiösem Hintergrund variieren. Diese Aspekte gilt es immer mitzudenken (Brzoska & Razum, 2009 46 ). Alter, Geschlecht und Kultur bilden klarerweise nur Teilaspekte eines breiten Diversitätsspektrums ab: Jede Population besitzt unterschiedliche Bedürfnisse. Ein Beispiel hierfür findet sich in der Literatur zu Maßnahmen zur Prävention von Stürzen auf Baustellen: Auch Lernbedürfnisse, die einen relevanten Faktor für den Erfolg einer Trainingsmaßnahme darstellen, müssen ausfindig gemacht werden. So gibt es Evidenz dafür, dass Trainingsmaßnahmen zur Prävention von Stürzen auf Baustellen von BauarbeiterInnen als brauchbarer wahrgenommen werden, wenn diese von ExpertInnen durchgeführt werden, an den bereits vorhandenen Kompetenzen anknüpfen, einen hohen Praxisbezug aufweisen und leicht auf die jeweiligen Umstände umzusetzen sind (vgl. Kaskutas et al., 2010 47 ). Diese Informationen sind wichtig für die Konzeption einer Präventionsmaßnahme. Die Zielgruppe mit ihren speziellen Ressourcen, aber auch mit ihren speziellen Risiken und ihrer Widerstandsfähigkeit sollte demnach in die Planung einer Präventionsmaßnahme einbezogen werden. Um auf das zu verändernde Gesundheitsverhalten und die Population einer jeden Präventions- bzw. Interventionsmaßnahme einzugehen, empfiehlt sich im Rahmen einer Ex-Ante Evaluation eine einschlägige Literaturrecherche zu aktuellen Studien des Themas (Art des zu verändernden Gesundheitsverhaltens) und eine Befragung von Fokusgruppen durchzuführen, um sich ein Bild der Zielgruppe der Präventions- bzw. Interventionsmaßnahme zu machen. (4) Sicherheitskultur als bedingungsbezogene Komponente Neben den beschriebenen Komponenten der Verhaltensprävention sind in vielen Präventionsmaßnahmen auch die Handlungsbedingungen miteinzubeziehen, da Gesundheitsverhalten immer in einem bestimmten Umfeld bzw. Kontext stattfindet (Bamberg, Mohr & Busch, 2012 48 ). Zur Analyse dieser Kontextbedingungen können verschiedene arbeitspsychologische Modelle herangezogen werden, für die teilweise auch Diagnoseinstrumente zur Verfügung stehen. Exemplarisch sollen hier zwei Modelle vorgestellt werden. Das Modell der organisationalen Sicherheitskultur (Reason, 1997 49 ) beschreibt vier Merkmale, die für die Etablierung einer Sicherheitskultur erforderlich sind: 1) Berichtskultur (Fehlhandlungen können ohne Angst vor Sanktionen berichtet werden), 2) gerechte Vertrauenskultur (Transparenz über erwünschtes und unerwünschtes Verhalten), 3) flexible Kultur (situationsabhängiges Reagieren in sicherheitskritischen Situationen) und 4) Lernkultur (Lernen aus früheren Erfahrungen und Fehlhandlungen). 46 Brzoska, P., & Razum, O. (2009). Krankheitsbewältigung bei Menschen mit Migrationshintergrund im Kontext von Kultur und Religion. Coping with illness among migrants the role of culture and religion. Zeitschrift für Medizinische Psychologie, 18, 151-161. 47 Kaskutas, V., Dale, A. M., Lipscomb, H., Gaal, J., Fuchs, M., & Evanoff, B. (2010). Changes in fall prevention training for apprentice carpenters based on a comprehensive needs assessment. Journal of safety research, 41(3), 221 227. 48 Bamberg, E., Mohr, G., & Busch, C. (2012). Arbeitspsychologie. Göttingen: Hogrefe. 49 Reason, J. (1997). Managing the risks of organizational accidents. Burlington, VT: Ashgate. 27

Da Unfällen zumeist eine Kette an Ereignissen vorangehen, also multikausal sind, soll hier auch noch das DEPOSE-Modell (Wenninger, 1991 50 ) erwähnt werden: D(esign)-E(quipment)- P(rocedures)-O(perators)-S(upplies/Material)-E(nvironment. Da verschiedene empirische Studien den Zusammenhang zwischen Sicherheitskultur und Unfallhäufigkeit zeigen, können diese Modelle für das Aufstellen von Wirkmodellen im Bereich der Verhältnisprävention empfohlen werden. In diesem Kapitel wurde verdeutlicht, welche hohe Komplexität einer Veränderung von Gesundheitsverhalten zugrunde liegt. Bei der Konzeption einer Präventionsmaßnahme empfiehlt es sich daher, sich in einem ersten Schritt immer mit der aktuellen Literatur zum betreffenden Gesundheitsverhalten auseinander zu setzen, um sich mit relevanten Komponenten vertraut zu machen, die damit in Zusammenhang stehen und somit bei der intendierten Verhaltensänderung eine Rolle spielen. Auch das Kennenlernen der Zielgruppe gilt als unabdingbar, um spezifische Bedürfnisse ausfindig zu machen. Die motivationalen und emotionalen Aspekte sind immer in einem zeitlichen Kontext zu betrachten. Neben diesen Komponenten der Verhaltensprävention können auch Komponenten der Verhältnisprävention als handlungsrelevanter Kontext für die Veränderung von Gesundheitsverhalten betrachtet werden. Im Idealfall findet sich in der Literatur ein Wirkmodell, das für die Konzeption der speziellen Präventionsmaßnahme herangezogen werden kann. Im Normalfall werden jedoch verschiedene Wirkmodelle miteinander verbunden werden müssen bzw. relevante Komponenten identifiziert und deren mögliche Zusammenhänge dargestellt werden müssen. Evaluationen können einerseits einen Beitrag leisten, im Vorfeld die antizipierten Wirkmechanismen zusammenzutragen und mehr Informationen über Zielgruppen zu generieren. Anderseits können durch die Ergebnisse von Evaluationen Aufschluss über Wirkung von Präventionsmaßnahmen und die Ursachen der Wirkung gewonnen werden. Diese liefern damit einen enormen Lerngewinn für die Erstellung von künftigen Präventionsmaßnahmen. 50 Wenninger, G. (1991). Arbeitssicherheit und Gesundheit. Psychologisches Grundwissen für betriebliche Sicherheitsexperten und Führungskräfte. Heidelberg: Asanger. 28

Teil 2: Eignung von EvaluatorInnen Es ist bei der AUVA geplant, Evaluationen projektspezifisch zu vergeben. Um die Eignung der Offerte für die Beantwortung der jeweiligen Evaluationsfragestellungen bestimmen zu können, ist es hilfreich hierfür allgemeine Kriterien zu bestimmen. Diese lassen sich in drei Teilbereiche gliedern: 1) Bezugnahme auf das integrative Baukastensystem der AUVA 2) Berücksichtigung von Evaluationsstandards 3) Notwendigen Kompetenzen der EvaluatorInnen, die die Evaluation tatsächlich durchführen. 1) Bezugnahme auf das integrativen Baukastensystem der AUVA Das Offert soll eindeutig Bezug auf die einzelnen Bausteine des integrativen Baukastensystems der AUVA nehmen. Es soll klar hervorgehen, 1) wie der Bezug zur Verhalts- und Verhältnisprävention ist und welche Zielgruppen fokussiert werden, 2) welche übergreifenden Ziele mit der Evaluation erreicht werden sollen und welche Indikatoren hierfür herangezogen werden, 3) welche Arten von Evaluation eingesetzt werden sollen (Ex-Post Evaluation; summative/ formative Messungen) und wann welche Messungen stattfinden sollen), 4) auf welchen Ebenen die Ziele der Evaluation angesiedelt sind (Zufriedenheit, Lernen, Verhalten, System) sowie 5) in welcher Form die Umsetzungsgenauigkeit der gesetzten Maßnahme in der Evaluation berücksichtigt wird. 6) Das dahinterstehende Wirkmodell soll ebenfalls expliziert werden. 2) Qualitätsstandards für Evaluation Evaluationen sollen gewissen Qualitätsansprüchen genügen und international auf vergleichbarem Niveau durchgeführt werden. Um hierfür einen Rahmen zu bieten, wurden Prinzipien für die Evaluationspraxis in Form von Standards formuliert (vgl. DeGEval, 2008 51 ; JCSEE, 1994, 1999 52 ). Laut der DeGEval zeichnen sich qualitätsvolle Evaluationen durch die Berücksichtigung folgender vier grundlegender Standards aus: (1) Nützlichkeit (Utility): Diese Standards sind erfüllt, wenn eine Evaluation sich am Informationsbedarf der NutzerInnen ausrichtet. Dies erfordert eine Auseinandersetzung der EvaluatorInnen mit den betroffenen/ beteiligten Personen 51 DeGEval - Deutsche Gesellschaft für Evaluation (2008). Standards für Evaluation. Köln: Deutsche Gesellschaft für Evaluation. 52 JCSEE- Joint Committee on Standards for Educational Evaluation. (1994). The program evaluation standards (2. Aufl.). Thousand Oaks, CA: SAGE Publications. JCSEE- Joint Committee on Standards for Educational Evaluation (1999). Handbuch der Evaluationsstandards. Opladen: Leske und Budrich. 29

und ihren Bedürfnissen, eine Planung der Evaluation gemäß dieser Bedürfnisse und eine Aufbereitung der Ergebnisse in einer Art und Weise, dass die potentiellen NutznießerInnen auch davon profitieren können. (2) Durchführbarkeit (Feasibility): Diese Standards beziehen sich darauf, dass die meisten Evaluationen nicht im Labor, sondern im Feld (=natürliche Umgebung) stattfinden. Evaluationen sollen daher unter möglichst ökonomischer Verwendung von Ressourcen (Material, Personal und Zeit) durchführbar sein. (3) Fairness (Propriety): Diese Standards umfassen die Garantie des Schutzes der individuellen Rechte und die Sensitivität gegenüber unethischem und ungesetzlichem Verhalten. (4) Genauigkeit (Accuracy): Diese Standards sollen sicherstellen, dass die Evaluation fundierte und verwertbare Informationen liefert. Hierzu ist eine "saubere" und wissenschaftlich korrekte Methodik unabdingbar. Dargestellt werden hier im Besonderen die Gütekriterien Objektivität, Reliabilität und Validität. Diesen Standards sollen sich EvaluatorInnen, die Präventionsprojekte der AUVA bewerten wollen, verpflichtet fühlen und deren geplante Erfüllung auch in ihrem Offert beschreiben. Zur Einhaltung der Nützlichkeitsstandards sollte aus dem Offert insbesondere hervorgehen, wie sie die relevanten NutzerInnen der Evaluation beteiligen wollen (z.b. Partizipation in Form von Workshops). 3) Kompetenzen und Kenntnisse Zur Erfüllung der Qualitätsstandards muss das EvaluatorInnen-Team, das dann vor Ort arbeiten wird, über die dafür erforderlichen methodischen Kompetenzen verfügen (wie z.b. Methoden quantitativer und qualitativer Sozialforschung). Die durchführenden Personen müssen Referenzen und Know-how im Gesundheitsbereich vorweisen können (Organisations- und Feldkenntnisse) und sollten bereits einige Evaluationsprojekte in diesem Feld durchgeführt haben (Evaluationspraxis). Die Beschreibung der Qualifikationen der einzelnen an der Evaluation beteiligten EvaluatorInnen soll somit folgende Punkte enthalten: Angaben zu den Methoden: Welche statistischen Kenntnisse bringen die EvaluatorInnen hinsichtlich quantitativer und qualitativer Datenanalyse mit? (z.b. Kompetenzen zur Durchführung uni- bzw. multivariater Verfahren, ggf. auch hinsichtlich der Durchführung von Strukturgleichungsmodellen bzw. Mehrebenenanalysen; Kompetenzen zur Durchführung von qualitativen Inhaltsanalysen)? Wie soll das Reporting stattfinden (Transparenz über die einzelnen Schritte während der Durchführung und zum Projektabschluss; Nutzens- bzw. Anwendungsorientierung der Ergebnisse)? Angaben zu Organisations- und Feldkenntnissen: 30

Bringen die EvaluatorInnen spezifisches Organisations und Feldwissen mit, d.h. welche Vorerfahrungen haben sie mit Evaluationen im Gesundheitsbereich, im Präventionsbereich, in der betrieblichen Gesundheitsförderung etc.? Angaben zur Evaluationspraxis: Bringen die EvaluatorInnen eine mehrjährige Evaluationserfahrung mit? Verfügen sie über ein hohes theoretisches und praktisches Wissen im Evaluationsbereich? Enthält die vorgelegte Beschreibung der Organisation der Evaluation einen angemessenen und realistischen Zeit- und kostenplan? Sind auch Angaben zu Maßnahmen der Kontrolle des Projektfortschritts zu finden sowie Zwischenberichte an die Auftraggebende? Betont sei hier nochmals, dass nicht die Organisation, in der die EvaluatorInnen arbeiten, diese Kompetenzen aufweisen sollen, sondern die Personen, die dann tatsächlich diese ausführen werden. 31

Anhang 1 Abbildung A1: Fragestellungen in Evaluationsuntersuchungen (P: Programm) Original zu finden in: Patry, J.-L. & Perrez, M. (2000). Theorie-Praxis-Probleme und die Evaluation von Interventionsprogrammen. In W. Hager, J.-L. Patry & H. Brezing (Hrsg.): Evaluation psychologischer Interventionsmaßnahmen (S. 19-40). Bern: Huber. 32

Anhang 2 Abbildung A2: Das Modell gesundheitlicher Überzeugungen ( Health Belief Model nach Becker, 1974) Original zu finden in: Schwarzer, R. (2004). Psychologie des Gesundheitsverhaltens: Einführung in die Gesundheitspsychologie (3. Aufl.). Göttingen: Hogrefe. 33

Anhang 3 Abbildung A3: Theorie des geplanten Verhaltens ( Theory of Planned Behavior nach Ajzen, 1985 53 ) Original zu finden in: Schwarzer, R. (2004). Psychologie des Gesundheitsverhaltens: Einführung in die Gesundheitspsychologie (3. Aufl.). Göttingen: Hogrefe. In der Theorie des geplanten Verhaltens wurde erstmals die Intention berücksichtigt: Die Intention stellt ein Produkt von Einstellung, subjektiver Norm und wahrgenommener Verhaltenskontrolle dar. Es gehen dabei sowohl affektive Bewertungsprozesse auf der Ebene der Einstellungen ein (bezüglich der Verhaltenskonsequenzen) als auch die subjektive Überzeugung davon, was andere Personen von dem Individuum erwarten. Der vom Individuum wahrgenommenen Verhaltenskontrolle (die subjektiv wahrgenommene Schwierigkeit ein Verhalten auszuführen) wird in diesem Modell für die Realisierung von Verhalten eine zentrale Bedeutung zugeschrieben. (Schneider, 2006, S. 428 54 ) 53 Ajzen, I. (1985). From intentions to actions: A theory of planned behavior. In J. Kuhl & J. Beckmann (Hrsg.), Action control: From cognition to behavior (S. 11-39). Heidelberg: Springer. 54 Schneider, W. (2006). Gesundheitsverhalten und präventive Interventionen. Psychotherapeut, 51(6), 421 432. 34

Anhang 4 Abbildung A4: Health Action Process Approcach Original zu finden in: Lippke, S., & Renneberg, B. (2006 55 ). Theorien und Modelle des Gesundheitsverhaltens. In Renneberg, B., & Hammelstein, P. (Hrsg.), Gesundheitspsychologie (S. 35 60). Heidelberg: Springer. Das HAPA-Modell integriert viele Komponenten des Gesundheitsverhaltens, und wird als dynamisches Stadienmodell bezeichnet, da es Stadienannahmen als auch lineare Annahmen miteinander vereint. Es wird zwischen präintentionalen Prozessen der Motivation und postintentionalen Volitionsprozessen unterschieden (Schneider, 2006 56 ). In den beiden Phasen sind unterschiedliche Kognitionen und somit unterschiedliche personale und soziale Ressourcen von Bedeutung (Lippke & Renneberg, 2006). Für eine detaillierte Beschreibung der einzelnen Komponenten siehe Schwarzer (2008 57 ). 55 Lippke, S., & Renneberg, B. (2006). Theorien und Modelle des Gesundheitsverhaltens. In Renneberg, B., & Hammelstein, P. (Hrsg.), Gesundheitspsychologie (S. 35 60). Heidelberg: Springer. 56 Schneider, W. (2006). Gesundheitsverhalten und präventive Interventionen. Psychotherapeut, 51(6), 421 432. 57 Schwarzer, R. (2008). Modeling Health Behavior Change: How to Predict and Modify the Adoption and Maintenance of Health Behaviors. Applied Psychology, 57(1), 1 29. 35

Raum für Ihre Notizen

Darstellung des integrativen Baukastensystems für Evaluationen im Präventionsbereich der AUVA Medieninhaber und Hersteller: Allgemeine Unfallversicherungsanstalt Verlags- und Herstellungsort: Adalbert-Stifter-Straße 65 1200 Wien DVR: 0024163 Abbildung: ag visuell - fotolia.com www.auva.at