Selbstevaluation als ein Instrument der partizipativen Qualitätsentwicklung

Transkript

1 Selbstevaluation als ein Instrument der partizipativen Qualitätsentwicklung Niedersächsische Regionalkonferenz Gute Arbeit sichtbar machen Gesundheitsförderung in Lebenswelten Entwicklung und Sicherung von Qualität Susanne Mäder Univation - Institut für Evaluation - Dr. Beywl & Associates, Köln

2 Gliederung Einordnung der Selbstevaluation in das Feld der Qualitätssicherung Definition von Selbstevaluation Theoretische Zugänge/konzeptionelle Grundlagen Konstitutive Elemente von Selbstevaluation Erfolgsfaktoren Überblick über die Hauptphasen einer Selbstevaluation am Beispiel Stärken und Herausforderungen Univation - Institut für Evaluation - Dr. Beywl & Associates, Köln

3 Selbstevaluation im Feld der Qualitätssicherung Einordnung Selbstevaluation ist ein settingübergreifender Ansatz der Qualitätssicherung Selbstevaluation verbindet Praxisplanung und -durchführung mit der Bewertung und Überprüfung ist ein offenes Verfahren, nutzt keine fertigen Instrumente mit festgelegten Inhalten Praxisakteure entscheiden über die zu betrachtenden Praxis- und Qualitätsaspekte bietet ein strukturiertes Verfahren mit ausgearbeiteten Schritten, die jedoch in Abhängigkeit vom theoretischen Bezug variieren Univation - Institut für Evaluation - Dr. Beywl & Associates, Köln

4 Was ist Selbstevaluation? Selbstevaluation liegt dann vor, wenn...beide Füße zusammengehören.. Praxissteuerung Evaluationssteuerung Unter Selbstevaluation werden systematische, datenbasierte Verfahren der Beschreibung und Bewertung verstanden, bei denen die praxisgestaltenden Akteure identisch sind mit den evaluierenden Akteuren. (DeGEval, Empfehlungen, S. 5) Univation - Institut für Evaluation - Dr. Beywl & Associates, Köln

5 Theoretische Zugänge/ konzeptionelle Grundlagen seit den 1980 er Jahren stark durch Theorie und Methodik der sozialen Arbeit beeinflusst (vgl. Maja Heiner 1998, Joachim König 2007, 2012, Hiltrud von Spiegel) seit den 1990er Jahren ist Selbstevaluation stärker im Bildungsbereich, insbesondere im schulischen Bereich, und seit einiger Zeit auch im Hochschulbereich verbreitet (vgl. Wolfgang Beywl 2011, Hense und Mandl 2003) Einfluss der nordamerikanischen Evaluationsdiskussion erkennbar: bspw. die Empowerment Evaluation von David Fetterman (1996, 2001) Mittlerweile vielfältige Leitfäden und Anleitungen für verschiedene Handlungsfelder (Gesundheitsförderung, Jugendsozialarbeit, Schule, Gewaltprävention etc.) Univation - Institut für Evaluation - Dr. Beywl & Associates, Köln

6 Konstitutive Elemente von Selbstevaluation Bottom-up-Verfahren Praxisakteure haben Verantwortung für die Evaluation sie konzentrieren sich auf einen für ihre berufliche Praxis relevanten Ausschnitt sie wählen praxisnahe und praxisintegrierte Instrumente, die eine augenscheinliche Gültigkeit haben eine Weiterentwicklung des gewählten Praxisausschnitts ist möglich und gewünscht Univation - Institut für Evaluation - Dr. Beywl & Associates, Köln

7 Schritte der Selbstevaluation Ergebnisse darstellen und nutzen Daten analysieren und auswerten Daten erheben Datenerhebungsinstrumente entwickeln und testen Fragestellungen bestimmen Praxisziele und Interventionen bestimmen Praxisbereich auswählen Univation - Institut für Evaluation - Dr. Beywl & Associates, Köln

8 Beispiel eines Selbstevaluationsprojekts Praxisplanung Sozialräumliche Vernetzung einer gesundheitsfördernden Schule Praxisziele Praxisausschnitt Interventionen Geeignete außerschulische Partner sind identifiziert und für eine Kooperation gewonnen worden Bewertungskriterien: 4 Partner gewonnen, mit x Kooperationsvereinbarungen geschlossen, Zielsetzung der Kooperation geklärt Kontaktaufnahme mit potenziell geeigneten Kooperationspartnern, Einladung zu einem Kooperationstreffen, Durchführen des Treffens Bewertungskriterien: Anzahl der TN, Anzahl der interessierten TN, Passung der eingeladenen TN Univation - Institut für Evaluation - Dr. Beywl & Associates, Köln

9 Beispiel eines Selbstevaluationsprojekts Evaluationsplanung und -durchführung Fragestellungen Datenerhebung Datenauswertung Ergebnisse darstellen und nutzen Welche Kompetenzen bringen die Partner mit ein? Welche Bedarfe/Wünsche haben die Partner? Wie viele Partner sind für eine Kooperation geeignet und können gewonnen werden? Welche Ziele lassen sich für die Kooperation benennen? Karten-Abfrage zu Kompetenzen und Bedarfen der Partner, Raster zur Dokumentation der Vereinbarungen zu Zielen der Kooperation, geeigneten und interessierten Partnern, Ausfüllen im Nachgang auf Basis der Visualisierungen, Mitschriften oder digitalen Aufnahme, Dokumentation der geschlossenen Vereinbarungen thematische Sortierung der Karten und schriftliche Zusammenfassung Nutzung der Verschriftlichungen entlang des Rasters sowie der Dokumentation der Vereinbarungen Kurzbericht entlang der Fragestellungen erstellen Ergebnisse ggf. ausgehend von den Bewertungskriterien bewerten in Evaluationsgruppe Schlussfolgerungen ziehen, wie der Stand zur sozialräumlichen Vernetzung zu bewerten ist Univation - Institut für Evaluation - Dr. Beywl & Associates, Köln

10 Empirisch ermittelte Erfolgsfaktoren Nach Jan Hense 2005 Individuelle Input-Faktoren: hohe Nutzenerwartungen, Kenntnis der Ziele und Verfahren von Selbstevaluation, Haltungen wie Neugier, Offenheit, Verbesserungsorientierung Überindividuelle Input-Faktoren: entwicklungsund verbesserungsorientierte, konkrete, relevante und nicht zu umfängliche Fragestellungen, Vorabinformationen über Regeln und Abläufe, Einbindung in etablierte institutionelle Abläufe, möglichst Einbezug aller Akteursgruppen Individuelle Prozess-Faktoren: Selbstbestimmung (kein Druck etc.), hohes Engagement Überindividuelle Prozessfaktoren: kooperatives Vorgehen, Expertise, zeitnahe Auswertung und Rückmeldung von Ergebnissen, angepasste, nicht zu komplexe Instrumente Univation - Institut für Evaluation - Dr. Beywl & Associates, Köln

11 Stärken und Herausforderungen - I Gegenstandsbestimmung Perspektiven Stärken Praxisausschnitte und Fragestellungen sind durch die Praxisakteure ausgehend von eigenen Informationsbedarfen und Interessen zu wählen Insider-Wissen, Blick hilft die wirklichen Knacknüsse der Praxis in den Blick zu nehmen und zu untersuchen Herausforderungen Erfordert hohe intrinsische Motivation, Bereitschaft, eigene Praxis im Hinblick auf kritische und interessante Aspekte zu reflektieren kein externer Blick, Betriebsblindheit berücksichtigen Rahmen Kompetenzentwicklung der Mitarbeitenden: insb. auch durch Qualifizierungen der Mitarbeitenden Herstellen der notwendigen Voraussetzungen: Freistellungen, ggf. ergänzende externe Prozessberatung oder Qualifizierungen Univation - Institut für Evaluation - Dr. Beywl & Associates, Köln

12 Stärken und Herausforderungen - II Datenerhebungsinstrumente Güte der Instrumente Stärken Instrumente sind durch die Akteure selbst zu entwickeln und so gut auf die eigenen Interessen, Fähigkeiten und Arbeitsabläufe zuzuschneiden Instrumente können genau auf die Fragestellungen der Praxisakteure zugeschnitten werden Herausforderungen Bereitschaft, sich in grundlegende Techniken der Datenerhebung und -auswertung einzuarbeiten und diese anzuwenden Güte der Instrumente selbständig erarbeiten Partizipation Möglichkeit die Selbstevaluationsprojekte mit Geldgebern/Leitungen und Zielgruppen partizipativ zu entwickeln Sich gegenüber Leitungsinteressen behaupten, Möglichkeiten zur Einbindung der Zielgruppe ausloten Univation - Institut für Evaluation - Dr. Beywl & Associates, Köln

13 Literaturhinweise - I Beywl, Wolfgang, Bestvater, Hanne, Friedrich, Verena (2011): Selbstevaluation in der Lehre. Münster: Waxmann Fetterman, David.M. (2001). Foundations of Empowerment Evaluation. Thousand Oaks, CA: Sage Fetterman, David.M., Kaftarian, Shakeh J., Wandersman, Abraham (Hrsg.) (1996). Empowerment Evaluation: Knowledge and Tools for Self-assessment and Accountability. Newbury Park, CA: Sage Heiner, Maja (1998): Experimentierende Evaluation: Ansätze zur Entwicklung lernender Organisationen. Weinheim: Juventa Hense, Jan und Mandl, Heinz (2003): Selbstevaluation. Ein Ansatz zur Qualitätsverbesserung pädagogischer Praxis und seine Umsetzung am Beispiel des Modellversuchsprogramms SEMIK. Forschungsbericht Nr. 162: Ludwig-Maximilian-Universität (LMU) Hense, Jan (2005): Selbstevaluation. Frankfurt am Main: Lang Univation - Institut für Evaluation - Dr. Beywl & Associates, Köln

14 Literaturhinweise - II König, Joachim (2012): Evaluation und Selbstevaluation in der Jugendsozialarbeit. AWO Bundesverband (AWO) Verlag König, J. (2007, 2. Auflage): Einführung in die Selbstevaluation. Ein Leitfaden zur Bewertung der Praxis Sozialer Arbeit. Freiburg: Lambertus Spiegel, Hiltrud von (1993), Aus Erfahrung Lernen. Qualifizierung durch Selbstevaluation, Münster: Votum. Portal mit Hinweisen zu Grundlagen, Materialien und Literatur (betreut von Univation und socialnet) Univation - Institut für Evaluation - Dr. Beywl & Associates, Köln