Evaluation von Projekten der (beruflichen) Rehabilitation von Jugendlichen mit Mental Health Problemen: Ergebnisse einer 3-Jahresevaluation

Transkript

1 Evaluation von Projekten der (beruflichen) Rehabilitation von Jugendlichen mit Mental Health Problemen: Ergebnisse einer 3-Jahresevaluation Monika Finsterwald & Georg Spiel Unter Mitwirkung von Petra Schurian und den Teams der REHA Vortrag auf der DeGEval 2014, Zürich Vortragszeit: ca Min. 1

2 Anliegen Im Gesundheitsbereich: immer stärker werdende Forderung Maßnahmen zur Evaluation, Qualitätssicherung und Qualitätsentwicklung zu ergreifen Besonders herausfordernd: Im Bereich der psychischen Gesundheit von Kindern/Jugendlichen Erfolge eingeschränkt bzw. zum Teil nur langfristig nachweisbar sind Vorgestellt und diskutiert wird anhand eines Beispiels wie Evaluation hier durchgeführt werden kann. welche Problembereiche sich in der Durchführung und Auswertung ergeben.

3 Gliederung 1. Der Fachbereich (berufliche) REHA im Kontext des Gesamtunternehmens pmkijufa 2. Zielgruppe des Fachbereichs 3. Evaluation Outcomes Ziele der (beruflichen) Reha Herausforderungen, Problemfelder, Lösungsansätze Nächste Schritte 4. Schlussfolgerungen / offene Fragen 3

4 Verein pro mente: kinder jugend familie Advisory Board Stabstelle Evaluation & Innovation pro mente: kinder jugend familie GmbH Fachbereich Prävention Fachbereich Ambulanz Fachbereich Krisenintervention Fachbereich Soziotherapie Fachbereich Rehabilitation Youth Point Jugendzentrum Mini-Ambulatorium St. Veit/Glan KIZ Spittal/Drau WOGE Viktring WORKS/LEHRE Klagenfurt Gesundheitsförderung Mini-Ambulatorium Wolfsberg KIZ Klagenfurt MWG Möllbrücke WORKS/LEHRE Villach Laufend: Mentoringprojekt Ich und Du Außenstelle Klagenfurt Prozessbegleitung SOWIESO Wolfsberg WORKS/LEHRE Wolfsberg Abgeschl. Projekte: Gehsteig Peer Helper Feelok It s my life Außenstelle Völkermarkt KINDERBURG Strassburg JUGENDBURG Strassburg SALUTO Klagenfurt SALUTO Villach Betreutes Wohnen Vereinsinitiative Transitbeschäftigung Prozessbegleitung Pilotprojekt Ausbildungsfit Stand: Mai 2014

5 2. Zielgruppe Jugendliche (ab 15) / junge Erwachsene mit (neurologischen) psychiatrischen Erkrankungen/ Störungen/ Symptomen => Mental Health Problematik Störung des Sozialverhaltens, Kombinierte Störungen: Sozialverhalten & Emotionen, Anpassungsstörungen hoher Anteil an komorbiden/ koexistierenden Störungen Problem-/Konfliktbehafteten Familienhintergrund Sozialer Benachteiligung Passungsproblemen im gesellschaftlichen/ beruflichen Kontext Basis-Bildungsprobleme Perspektivenlosigkeit Meist Mehr-Ebenen-Problematik 5

6 3. Evaluation Erhebungszeitraum von 3,5 Jahren (Juli 2010 bis Dezember 2013) a. Outcomes Herausforderungen, Problemfelder, Lösungsansätze b. Ziele Herausforderungen, Problemfelder, Lösungsansätze 6

7 Evaluation - Outcomes Zu erreichende Outcomes bei den KlientInnen = maßgeblich für Fördergeber: Soziale Teilhabe (v.a. bei SALUTO, WORKS) Indikator: Anwesenheit Heranführung an den 1. Arbeitsmarkt (v.a. bei WORKS/ LEHRE) Vermittlung in den allgemeinen Arbeitsmarkt (nur bei WORKS/ LEHRE) 7

8 Outcomes Beispiel: WORKS In Summe N=193 Jugendliche von Juli 2010 bis Dez 2013 bei Works. 18 davon sind noch bei Works (9%) 50% wurden vermittelt: Am häufigsten: Vermittlung von Lehrstellen (44%), Lehrstellen bei pmkijufa (12%), sonstige integrative Maßnahmen (15%) 50% haben das Projekt nicht erfolgreich beendet: 46% haben WORKS selbst abgebrochen bei 35% wurde Maßnahme aufgrund des Zeitablaufs beendet Weitere Gründe: Abbruch durch zwingende Gründe wie Umzug, Schwangerschaft; Abbruch durch Projekt etc. 51% Jugendliche (N=89) haben Nachbetreuung in Anspruch genommen => 12% davon wurden vermittelt 8

9 Evaluation - Outcomes Problemfeld: Outcomes sind harte Kriterien Genügend arbeitslose Jugendliche ohne Mental-Health Problematik! Herausforderung: Sichtbarmachen, was Maßnahme leistet / leisten kann Lösungsansatz: Partizipative Entwicklung eines Evaluationskonzepts 9

10 3. Evaluation Erhebungszeitraum von 3,5 Jahren (Juli 2010 bis Dezember 2013) a. Outcomes Herausforderungen, Problemfelder, Lösungsansätze b. Ziele Partizipative Erstellung eines Evaluationskonzepts Design und Messinstrumente Ergebnisse Nächste Schritte Herausforderungen, Problemfelder, Lösungsansätze 10

11 Evaluation - Ziele Entwicklung eines Evaluationskonzepts (alle) Schritt 1: Bildung Evaluations -team Schritt 2: Entwicklung Evaluationskonzept in Workshops Schritt 3: Multiplikation des Konzepts Schritt 4: Probelauf Schritt 6: Datenanalyse (Mitarbeiter- Innen) Schritt 5: Durchführung zur Datengewinnung (Stabstelle Evaluation) (alle) Schritt 7: Reflexion

12 Evaluation - Ziele Herausforderungen bei der partizipativen Entwicklung des Evaluationskonzepts: Ziele bestimmen/ Clustern/ Fokussieren Maßnahmen zur Zielerreichung diskutieren Indikatoren und Messinstrumente bestimmen v.a. Verständlichkeit der Instrumente Design bestimmen unter Berücksichtigung von Machbarkeit (Zeit, Integration in den Arbeitsablauf) Nutzbarkeit für die Interventionsplanung 12

13 Entwicklungsaufgaben Lebensqualität/ (psychische) Gesundheit Fähigkeiten/ Fertigkeiten/ Kompetenzen allgemein berufs(bild)- spezifisch Projekt - MitarbeiterInnen Projekt - TeilnehmerInnen Eltern/ Angehörige Andere Helfersysteme Entwicklung beruflicher Perspektiven Schaffung von Grundvoraussetzungen für Vermittlung am Arbeitsmarkt Arbeitsplatz Bedingungen am Arbeitsmarkt

14 Entwicklungsaufgaben Lebensqualität/ (psychische) Gesundheit Hauptfokus bei Saluto Fähigkeiten/ Fertigkeiten/ Kompetenzen allgemein berufs(bild)- spezifisch Projekt - MitarbeiterInnen Projekt - TeilnehmerInnen Eltern/ Angehörige Andere Helfersysteme Entwicklung beruflicher Perspektiven Schaffung von Grundvoraussetzungen für Vermittlung am Arbeitsmarkt Arbeitsplatz Bedingungen am Arbeitsmarkt

15 Entwicklungsaufgaben Lebensqualität/ (psychische) Gesundheit Hauptfokus bei WORKS Fähigkeiten/ Fertigkeiten/ Kompetenzen allgemein berufsspezifisch Projekt - MitarbeiterInnen Projekt - TeilnehmerInnen Eltern/ Angehörige Andere Helfersysteme Entwicklung beruflicher Perspektiven Schaffung von Grundvoraussetzungen für Vermittlung am Arbeitsmarkt Arbeitsplatz Bedingungen am Arbeitsmarkt

16 Entwicklungsaufgaben Lebensqualität/ (psychische) Gesundheit Hauptfokus bei LEHRE Fähigkeiten/ Fertigkeiten/ Kompetenzen allgemein berufsbildspezifisch Projekt - MitarbeiterInnen Projekt - TeilnehmerInnen Eltern/ Angehörige Andere Helfersysteme Entwicklung beruflicher Perspektiven Schaffung von Grundvoraussetzungen für Vermittlung am Arbeitsmarkt Arbeitsplatz Bedingungen am Arbeitsmarkt

17 Design und Messinstrumente Eintritt in REHA Befragung Befragung Befragung Befragung Befragung MZP1 6 Monate 6 Monate usw. 6 Monate 6 Monate MZP2 MZP3 MZP4 MZP5 IP 1 3 Monate IP 2 6 Monate IIP 3 12 Monate IP 4 18 Monate Bei SALUTO/ LEHRE: innerhalb des 1. Monats; bei WORKS: bis zum 3. Monat Hinweis: Verweildauer WORKS: ca. 12 Monate (bis MZP3) Verweildauer LEHRE: abhängig vom Berufsfeld, ca. 3 Jahre (bis MZP7) Verweildauer SALUTO: ca. 24 Monate (bis MZP5) 17

18 Design und Messinstrumente Spezifika der Messinstrumente: Verwendung von (standardisierten) Fragebögen soweit möglich Selbst- und Fremdeinschätzungen Jugendliche/ junge Erwachsene BetreuerInnen und PsychologInnen Direkte und indirekte Veränderungsmessungen Indikatoren für alle Zielvariablen zusätzlich: Zufriedenheit mit dem Projekt (Jgdl.) 18

19 3. Evaluation Erhebungszeitraum von 3,5 Jahren (Juli 2010 bis Dezember 2013) a. Outcomes b. Ziele Partizipative Erstellung eines Evaluationskonzepts Design und Messinstrumente Ergebnisse Datenlage Veränderungsmessung: - Direkte Veränderungsmessungen - Indirekte Veränderungsmessungen - Individuelle Veränderungen Orientierung an Verlaufs- und Prozessforschung von Therapien Herausforderungen, Problemfelder, Lösungsansätze 19

20 Datenlage - TeilnehmerInnen Verwendbare Fragebögen für die Evaluation: Problemfeld: Trotz langer Datenerhebungszeit ist das N klein! 20

21 Evaluation - Ziele Problemfeld Datenlage : lange Dauer, bis Ergebnisse sichtbar sind Herausforderung: langer Atem notwendig => Commitment der Projekte aufrecht erhalten! Lösungsansatz: Nützlichkeit des Evaluationsinstruments auch für die Interventionsplanung! 21

22 Veränderungen MZP1 MZP3 (Projekteintritt/ ein Jahr später = Projektende) WORKS Stimmt Stimmt nicht Problemfeld: sehr hohe Varianzen! Herausforderung für Auswertung! 22

23 Veränderungen MZP1 - MZP2 MZP3 (Projekteintritt/ ein halbes Jahr/ ein Jahr) WORKS: Indirekte Veränderungsmessung Entwicklungsaufgaben (gelingen) Lebensqualität/ psy. Gesundheit Allgemeine Kompetenzen Arbeits- und Lernverhalten MZP12: Selbst MZP12: Fremd MZP123: Selbst MZP123: Fremd Problemfeld: keine nennenswerten Veränderungen bei Mittelwertsvergleichen! Motivation Sozial kompetentes Verhalten Coping (aktiv) Soziale Unterstützung 23

24 Lösungsansatz: Fokus auf intraindiv. Veränderungen Dazu: Definition von Erfolgskriterien: (1) Wie viele der untersuchten Merkmale sollten bei einer Person verändert worden sein, um von einem Erfolg sprechen zu können? Eine positive Veränderung und: es sollte sich nichts verschlechtern (Stabilität ist auch ein Erfolg bei dieser Zielgruppe!) (2) Wie groß sollen diese Veränderungen sein? Woran macht man die Größe fest? Klinisch signifikante Differenzen! Reliable Change Index (RCI) (nach Jacobson and Truax, 1991): 25

25 Veränderungen MZP1 - MZP2 MZP3 (Projekteintritt/ ein halbes Jahr/ Jahr später) WORKS keine Verschlechterungen! Immerhin bei 61% ein Kriterium verbessert! 26

26 Lösungsansatz 2: Fokus auf individuellen Veränderungen 27

27 Nächste Schritte Rückmeldung der Ergebnisse an die Projekte Weitere Daten sammeln! Evaluation von Subgruppen/ Latent Class Analysis Evaluation des Zusammenhangs der Ziele mit den Outcomes (Vermittlung in den/ Annäherung an den1ten Arbeitsmarkt) Evaluation aller Reha-Bereiche (auch Saluto & Lehre) Sichtbarmachen der Betreuungspfade (Wechsel, Wiedereintritte, Abbrüche etc.) Nähere Analyse der Abbrüche notwendig bzw. der Fälle, bei denen Outcome nicht erreicht wurde! In Diskussion: Ergänzender qualitativer Zugang!?! 28

28 Gliederung 1. Der Fachbereich (berufliche) REHA im Kontext des Gesamtunternehmens pmkijufa 2. Zielgruppe des Fachbereichs 3. Evaluation Outcomes Ziele der (beruflichen) Reha Herausforderungen, Problemfelder, Lösungsansätze Nächste Schritte 4. Schlussfolgerungen / offene Fragen 29

29 Schlussfolgerungen/ Offene Fragen Evaluationen in diesen Projekten sind herausfordernd! Langer Atem notwendig, Commitment muss aufrecht erhalten werden Kombination von direkten & indirekten & individuellen Veränderungsmessungen wichtig (Orientierung an Therapieforschung) Anwenden vieler Auswertungsansätze/-methoden ist notwendig Noch optimierbar: Wie kann man bei diesen Jugendlichen Erfolge gut sichtbar machen? (hohe Schwankungen der psych. Befindlichkeit)? v.a. Hintergrund der eingeschränkten zeitlichen Ressourcen für Auswertungen 30

30 Schlussfolgerungen/ Offene Fragen Rückkoppelung mit MitarbeiterInnen aus Projekten zentral für Interpretation und Lernen aus den Ergebnisse Ohne zu demotivieren! Was bedeutet Erfolg in diesen Settings? Diskussion, warum keine Effekte bei indirekten Messungen sichtbar werden: liegt es an Maßnahme oder an Herangehensweise in der Evaluation? Dilemma bei interner Evaluation (kann man Maßnahme ganz in Frage stellen? Evaluationsvorgehen in Frage stellen ohne eigene Profession/ Professionalität damit in Frage zu stellen?) 31

31 Schlussfolgerungen/ Offene Fragen Möglicherweise verschiedene Sicht von Lernen aus dieser Evaluation zwischen MitarbeiterInnen/ Leitung & EvaluatorIn? => Arbeit an der Evaluationskultur innerhalb der Organisation Nutzens-Anspruch der Evaluatorin: gemeinsames Herausarbeiten, was der Nutzen von Evaluationen für Projekte sein kann 32

32 Zum Schluss: Herzlichen Dank an das Team der (beruflichen) Reha! 33