RehaFuturReal Wissenschaftliche Evaluation der Umsetzungsphase Viktoria Arling
Evaluationsforschung Irgendetwas wird von irgend jemandem in irgendeiner Weise nach irgendwelchen Kriterien bewertet. Kromney(2001)
Evaluationskonzept Strukturqualität (SQ) Prozessqualität (PQ) Ergebnisqualität (EQ) Konzeption Umsetzung Maßnahmeerfolg - Donabedian(1966) prä summativer post Evaluationsansatz formativer Evaluationsansatz Mittag & Hager (2000)
Evaluationskonzept prä summativer post Evaluationsansatz formativer Evaluationsansatz Mittag & Hager (2000) Formative Evaluation oder auch Handlungsforschung definiert Evaluation nicht in erster Linie als empirisches Kontrollverfahren zur Steigerung der Rationalität vorgegebener Organisationsprogramme, sondern vielmehr als gezielte Mitwirkung bei der Veränderung solcher Programme im Dialog mit Betroffenen, wobei sich die Mitwirkung des Forschers in der Regel auf das periodische Rückfließen von Analyse- und Beratungsleistungen beschränkt (Bandura& Siegrist, 2002). Über eine reine Identifikation von Erfolgs- bzw. Misserfolgskriterien hinaus ist auf diese Weise gewährleistet, dass mögliche Schwächen in Konzept und Umsetzung identifiziert und mit Fortschreiten des Projektes revidiert werden können.
Evaluationsperspektive I. Die erste Perspektive (formal) der Evaluation bezieht sich auf die Implementierung des RehaFuturReal-Vorgehens in die bestehenden Organisationsstrukturen bzw. die Schulung der Reha-Berater bzgl. des spezifischen RehaFuturReal-Vorgehens. Evaluationsperspektive II. Die zweite Perspektive (inhaltlich) der Evaluation bezieht sich auch die Bewertung der Verbesserungen durch spezifisches RehaFuturReal-Vorgehen im Vergleich zum herkömmlichen Beratungsverfahren durch die Reha-Berater.
Evaluationsperspektive I. Formale Evaluation Implementierung des RehaFuturReal-Vorgehens Strukturqualität (SQ) Prozessqualität (PQ) Ergebnisqualität (EQ) Konzeption der Implementierung RehaFuturReal Gibt es ein Konzept / Fahrplanwie RehaFuturReal in die bestehende DRV- Struktur integriert werden soll? Umsetzung der Implementierung Was wird in welcher Form überhaupt unternommen, um denrb RehaFuturReal kompetent zu machen? Zufriedenheit Können die RB etwas mit dem Vorgehen der Implementierung anfangen, fühlen sie sich informiert, mitgenommen und unterstützt? Evaluationsperspektive II. Inhaltlich Evaluation konkretes RehaFuturReal-Vorgehen Strukturqualität (SQ) Prozessqualität (PQ) Ergebnisqualität (EQ) Konzeption RehaFuturReal Gibt es ein Konzept für RehaFuturReal? Zielsetzung - Zielgruppe Umsetzung der Konzeption Wie setzten die RB RehaFuturReal aktiv um? Maßnahmeerfolg Macht das RehaFuturReal-Vorgehendie RB erfolgreicher bzw. wird nach den vorgegeben Kriterien gearbeitet?
Evaluationsperspektive I. Formale Evaluation Implementierung des RehaFuturReal-Vorgehens Strukturqualität (SQ) Prozessqualität (PQ) Ergebnisqualität (EQ) Konzeption der Implementierung RehaFuturReal Gibt es ein Konzept / Fahrplanwie RehaFuturReal in die bestehende DRV-Struktur integriert werden soll? Umsetzung der Implementierung Was wird in welcher Form überhaupt unternommen, um den RB RehaFuturReal kompetent zu machen? Zufriedenheit Können die RB etwas mit dem Vorgehen der Implementierung anfangen, fühlen sie sich informiert, mitgenommen und unterstützt? Inhalt / Gegenstand - Dokumente - Workshop (DRV Westfalen & RWTH Aachen, 2011) - RB-Analyse & Hospitation (Was tut und kann der herkömmlicherb? Was soll der RB können? Welcher zusätzlich Informations-und Schulungsbedarf existiert?) Methode / Instrumente: - Sichtung & Auswertung von Konzepten & Dokumenten - Interview/ Befragung Reha-Berater (Anforderungs-& Fähigkeitsprofil) Inhalt / Gegenstand - Info-Veranstaltung / Auftakt-Veranstaltung - regelmäßige Info-Veranstaltungen im Haus(Info über Projekt, Verankerung in die DRV- Struktur Westfalen) - RB-Reflexionsmeetings(Feedback & Schulung) - Informieren & Einbindung von BFW & Arbeitsgebern Methode / Instrumente: - Fragebogen, der gegenstandsspezifischabfragt, wie gut die entsprechende Maßnahme (Schulung oder Feedback) durchgeführt (PQ) wurde und ob die Inhalte für den RB brauchbar sind (EQ: Lernerfolg u. Transfer) - Protokollierung der Sitzung (Rückmeldung von RB) - Interviews mit RB (Erfahrungsberichte, Bedürfniserfassung) - Fragebogen BFW & Arbeitgeber (Information, Zufriedenheit etc.) - Denkbar sind Lernerfolgsabfragen bzgl. spez. Schulungsthemen - Schulungskonzept für RB Frequenz & Zeitpunkt der Datenerhebung 1 2 3-6 7 8 - - 28 29 30 Mit Beginn und während Projektlaufzeit Wiederholt, jeweils zum aktuell gegeben Anlass. Bzw. Prä-PostMessungen
Evaluationsperspektive II. Inhaltlich Evaluation konkretes RehaFuturReal-Vorgehen Strukturqualität (SQ) Prozessqualität (PQ) Ergebnisqualität (EQ) Konzeption RehaFuturReal Gibt es ein Konzept für RehaFuturReal? Zielsetzung - Zielgruppe Umsetzung der Konzeption Wie setzten die RB RehaFuturReal aktiv um? Maßnahmeerfolg Macht das RehaFuturReal-Vorgehendie RB erfolgreicher bzw. wird nach den vorgegeben Kriterien gearbeitet? Inhalt / Gegenstand - Dokumente - Pilotstudie - Zielgruppendefinition TN - Zielgruppendefinition RB Methode / Instrumente: -Sichtung & Auswertung von Konzepten & Dokumenten - Fragebogen für TN: Erwartungshaltung, SPE, FREM-8 (Reha-bez. Erwartungen & Motivation; B- Selbstwirksamkeit) - Inhalt / Gegenstand - TN-Kontakte - BFW-Kontakte - AG-Kontakte - Beratung (standardisiert, transparent, individuell, flexibel, den TN aktiv einbindend Selbstbestimmung) - Berichtswesen Methode / Instrumente: - Feldbeobachtung durch Evaluation - Protokollierung durch RB - Aktenauswertung - VFS-LTA zu Beratungsbeginn - Fragebogen (Selbst-& Fremdeinschätzung) TN, BFW & AG Inhalt / Gegenstand - Reintegrationsquoten - Laufzeiten - Berichtswesen (Standardisierung, Transparenz) - RB (Zufriedenheit mit seinem Tun bzw. Ablauf) - TN (Zufriedenheit mit dem RB bzw. Ablauf, vgl. Erwartungshaltung) - AG - BFW Methode / Instrumente: - Abgreifen von Daten / Zeiten - Sichtung der Berichte - Fragebogen (Selbst-& Fremdeinschätzung) RB, TN, BFW & AG TN: Erwartungshaltung, SPE, FREM-8 (Rehabez. Erwartungen & Motivation; Berufliche Selbstwirksamkeit) Frequenz & Zeitpunkt der Datenerhebung 1 2 3-6 7 8 - - 28 29 30 Mit Beginn und während Projektlaufzeit Während der Projektlaufzeit (ggf. Anpassung) Wiederholt, jeweils zum aktuell gegeben Anlass bzw. Prä-Post-Messungen
Evaluiert wirdkeine Strukturveränderung Kdie Umsetzung und Implementierung neuer bzw. modifizierter Prozesse in eine gegeben Organisationsstruktur.