WISSENSCHAFTLICHE BEGLEITUNG DES PROJEKTS. Evaluationskonzept

Transkript

1 WISSENSCHAFTLICHE BEGLEITUNG DES PROJEKTS Evaluationskonzept

2 Kurze allgemeine Einführung

3 Was ist Evaluation? Evaluation dient als Planungs- und Entscheidungshilfe. Sie hat primär das Ziel, praktische Maßnahmen zu überprüfen, zu verbessern oder über sie zu entscheiden. (Wottawa, H.; Thierau, H. 1998)

4 Warum Evaluation? Bei den meisten Evaluationsvorhaben geht es darum, Veränderungen oder die Wirksamkeit einer konkreten Maßnahme abzuschätzen Dabei stellen sich i.d.r. zwei primäre Fragen: Sind die erwarteten Veränderungen tatsächlich eingetreten? Sind die Veränderungen tatsächlich auf eine Wirkung der Maßnahme zurückzuführen? Zudem können weitere Fragen formuliert werden: Halten die Effekte einer Maßnahme über eine gewisse Zeit an (Persistenz und Nachhaltigkeit)? Können gewünschte Effekte auf andere Situationen übertragen und dort wirksam werden? Gibt es neben den beabsichtigten Effekten noch weitere Effekte?

5 Wirksamkeit und Wirkung Wirksamkeit Frage, ob eine Maßnahme etwas bewirkt hat Wirkung Frage, wie eine Maßnahme gewirkt hat, d. h. welche Prozesse zur beobachteten Wirksamkeit einer Maßnahme geführt haben

6 Wie sollte Evaluation sein? Evaluationsstandards Nützlichkeit: Sie muss für verschiedene Zielgruppen einen erkennbaren Sinn ergeben. Durchführbarkeit: Sie muss für alle Beteiligten gut durchführbar und aushaltbar sein. Genauigkeit: Sie muss möglichst genaue und unverzerrte Ergebnisse liefern. Fairness: Sie darf eine bestimmte Gruppe nicht systematisch begünstigen oder benachteiligen.

7 Warum so ein Aufwand? Merkmale wissenschaftlicher Erkenntnisse Genaue Definition von Begriffen systematische Dokumentation des Vorgehens systematische Durchführung und Auswertung Einhaltung von bestimmten Standards zur Sicherung der Belastbarkeit der Ergebnisse Überprüfung der Gültigkeit von Aussagen

8 Was wir vorhaben...

9 Ziele der Maßnahme Fachkraftebene: Die pädagogischen Fachkräfte gestalten auch in herausfordernden Situationen entwicklungsförderliche Interaktionen mit Kindern - auf dem Hintergrund einer systemischen Perspektive und mit einem ressourcenorientierten Blick. Leitungsebene: Die Leitungen koordinieren und steuern gemeinsam mit der Projektbeauftragten den Projektverlauf in der Einrichtung und motivieren ihr Team, die Ziele des Projekts umzusetzen und zu erfüllen.

10 Ziele der Maßnahme Kinderebene: Die Kinder werden in ihrer Entwicklung entsprechend ihrer Bedürfnisse individuell unterstützt und gestärkt. Diese Bedürfnisse werden wahrgenommen und adäquat beantwortet. Elternebene: Die Eltern nehmen das Klima in der Einrichtung und die Zusammenarbeit mit den Fachkräften zunehmend positiv wahr.

11 Welche Daten werden erhoben? Ebene der Prozessbegleitung Beurteilung des Fortbildungsprozesses durch Protokolle Beurteilung des Umsetzungsindex durch Fragebogen/Interviews

12 Welche Daten werden erhoben? Ebene der Fachkräfte Erfassung der Zufriedenheit, Akzeptanz und Motivation Erfassung der Kompetenzentwicklung (Wissen, Erleben, Haltung) Identifikation von Stärken und Schwierigkeiten in der Umsetzung Erfassung der beruflichen Belastung Erfassung der Wahrnehmung des kindlichen Verhaltens und der eigenen Beziehung zum Kind

13 Welche Daten werden erhoben? Ebene der Leitung Beurteilung des Umsetzungsprozesses, Umsetzungsindex, Identifikation von Stärken und Schwächen Selbsteinschätzung der Rolle im Umsetzungsprozess

14 Welche Daten werden erhoben? Ebene der Kinder (Fremd)Einschätzung des seelischen Wohlbefindens (Fremd)Einschätzung von Verhaltens auffälligkeiten in der Gesamtgruppe Selbsteinschätzung des Erlebens der Kinder (Selbstkonzept)

15 Welche Daten werden erhoben? Ebene der Eltern Einschätzung der Gestaltung der Fachkraft-Kind- Beziehung Einschätzung der Veränderungen auf Ebene der Kinder Wahrnehmung des Klimas in der Einrichtung und der Zusammenarbeit mit den Fachkräften

16 Welche Daten werden erhoben? Ebene der Institution Analyse der Konzeption und des Umsetzungsindexes Ebene der Träger Erfassung von Unterstützungsmaßnahmen und der Intensität der Begleitung der teilnehmenden Kindertageseinrichtung

17 Wie werden die Daten erhoben? Protokolle, Fragebögen Interviews Gruppendiskussionen Video-Fall-Analysen mehrere Zugänge als Qualitätssicherung (um die schwächen einzelner Erhebungsmethoden bestmöglich auszugleichen)

18 Ebene vor Beginn (Herbst 16) nach der Hälfte am Ende (Frühjahr 18) Prozessbegleitung Fachkräfte Fragebögen und Videofallanalysen zur Kompetenzentwicklung und zum Kompetenzerleben Fragebögen zur Belastung Interviews zur Orientierung Fragebogen/ Interview zur Umsetzung Gruppendiskussion zu Stärken und Schwierigkeiten bei der Umsetzung Leitungen Interview zur eigenen Rolle im Prozess Fragebögen zur Umsetzung Fragebogen/ Interview zur Umsetzung Fragebögen und Videofallanalysen zur Kompetenzentwicklung und zum Kompetenzerleben Fragebögen zur Belastung Interviews zur Orientierung Gruppendiskussion zu Stärken und Schwierigkeiten bei der Umsetzung Interview zur eigenen Rolle im Prozess Fragebögen zur Umsetzung Kinder Eltern Fragebögen zur (Fremd)Einschätzung des seelischen Wohlbefindens und zu Verhaltens -auffälligkeiten Fragebogen zum Selbstkonzept Fragebogen zur Einschätzung der Fachkraft-Kind-Beziehung, Veränderungen auf Ebene der Kinder und Wahrnehmung des Klimas in der Einrichtung und der Zusammenarbeit mit den Fachkräften Fragebögen zur (Fremd)Einschätzung des seelischen Wohlbefindens und zu Verhaltens -auffälligkeiten Fragebogen zum Selbstkonzept Fragebogen zur Einschätzung der Fachkraft-Kind-Beziehung, Veränderungen auf Ebene der Kinder und Wahrnehmung des Klimas in der Einrichtung und der Zusammenarbeit mit den Fachkräften zudem nach jeder Einheit bei Prozessbegleitung und FK: Protokolle und Fragebögen zur Zufriedenheit und Akzeptanz

19 Unsere forschungsethischen Ansprüche Informierte Einwilligung genaue Erläuterungen und Absicherung des Verstehens Freiwilligkeit Schutz der Teilnehmenden Schutz der Privatsphäre und Schutz vor Stigmatisierung bei der Datenerhebung und -auswertung Kenntnisse der Ergebnisse für alle Beteiligten, in anonymisierter Form und verständlicher Sprache

20 Vielen Dank für Ihre Aufmerksamkeit! Bei Rückfragen: