Wie wissenschaftlich sollte Wirkungsevaluation sein?

Transkript

1 Wie wissenschaftlich sollte Wirkungsevaluation sein? Evaluation Forschung Zufall oder Effekt? Effektstärke Wirkfaktoren - Zusammenhänge

2 Evaluation und Forschung - Unterschiede Wirkungsforschung Erkenntnisinteresse Modellbildung Wirkungsevaluation Praxisinteresse Reflexion von Praxis Kausalbeziehungen generalisierbar genau Hinweise spezifisch ungefähr e/l/s Jul-08 2

3 Evaluation und Forschung - Gemeinsamkeiten Der Wahrheit verpflichtet (im Gegensatz zu Bullshit oder Täuschung) Kritische Haltung auch sich selbst gegenüber Grundlagen darlegen (Annahmen, Rahmenbedingungen) Klare, verständliche Definitionen und Sprache Nachvollziehbarkeit der Argumentation (bei Forschung: prinzipielle Wiederholbarkeit) empirische Basis Logik Rechenwege e/l/s Jul-08 3

4 Zufall oder Effekte Zufall oder Notwendigkeit eine philosophische Frage ( gibt es einen Plan oder eine bestimmende Kausalität ) Zufall = Chance der Realisierung bei prinzipiell ungewisser Zukunft ( die Wechselfälle des Lebens ) Zufall als Frage der Kombinatorik ( die Wahrscheinlichkeit, 6 richtige im Lotto zu haben ) Zufall als Chance, bei einem Ausschnitt von Beobachtungen, richtig oder falsch auf das Ganze zu schließen (α-fehler, β-fehler) e/l/s Jul-08 4

5 Zufall oder Effekte ungewisse Zukunft Entscheidungen aufgrund von Chancen Modelle, Hypothesen Beobachtungen Aussagen über relative Häufigkeiten e/l/s Jul-08 5

6 Zufall oder Effekte Wie groß muss eine Stichprobe von Beobachtungen sein, damit ich die Chance einer wahren Aussage oder richtigen Entscheidung verbessere? Simulation e/l/s Jul-08 6

7 Effektstärke Zu kleine Stichproben hohe Unsicherheit der Aussagen und Entscheidungen zu große Stichproben auch sehr kleine und unbedeutende Effekte sind signifikant (sehr wahrscheinlich größer Null) Vorschlag von Cohen: Nicht nur auf Signifikanz testen, sondern auch auf Effektstärke = eine bestimmte Differenz zwischen den Anfangs- und Ausgangswerte tolerierte falsch-negativ-rate (Beta-Fehler) = 80% tolerierte Falsch-positiv-Rate (Alpha-Fehler) = 5% e/l/s Jul-08 7

8 Effektstärke WIMES Sicherheit vor Verletzung Materielle Lebensgrundlage Bindung, Zugehörigkeit und Anerkennung Lernen und Selbstverwirklichung Werte und Orientierung Erziehungskompetenz der Eltern Kommunikation im Familiensystem Sozialräumliche Integration der Familie Verantwortungsübernahme der Eltern Umgang mit Körper und Gesundheit Psychische Stabilität Entwicklungsstand Soziale Anpassung Soziale Kontakte Lern- und Leistungsverhalten Freizeitverhalten Alltagskompetenz Eigenverantwortlichkeit 1 1,5 2 2,5 3 3,5 4 Die Grafik zeigt die Veränderungen der Problemlagen zwischen Beginn und Ende der Maßnahme. Der Wert für die Problembelastung am Ende der Maßnahme ist als schwarzer Kasten dargestellt. Bei dem Wert für die Problembelastung am Beginn der Maßnahme ist die Streuung der Werte angegeben. Der dunkle Bereich markiert eine Abweichung von +- 0,5 Standardabweichungen vom Mittelwert (senkrechter Strich), der helle Bereich eine Abweichung von +-0,8 der Standardabweichung. Nach Cohen lassen sich so die Effekte klassifizieren (klein, mittel, groß). Ein großer Effekt (d=0,8) ist signifikant ab einer Stichprobengröße von (ca.) n=20, ein mittlerer Effekt (d=0,5) ab einer Stichprobengröße von n=50. Beginn Ende Bereiche großer, mittlerer und kleiner Effektstärke (Cohens d) e/l/s Jul-08 8

9 Effektstärke wie man es nicht machen darf Trotz der äußerst ungünstigen Ausgangssituation der Heimklientel weisen ca. 60% der evaluierten Hilfen einen positiven Effektindex und somit positive Entwicklung auf. Erfreulicherweise konnten davon ca. 60% bei mehr als der Hälfte große Effektstärken ( Cohens d ) erreicht werden. Macsenaere und Schemenau in unsere Jugend 2008 Heft 1 (S. 29) Effekte der Heimerziehung neg groß neg mittel neg klein keine pos klein pos mittel pos groß e/l/s Jul-08 9

10 Effektstärke wie man es nicht machen darf 1. Frage: Bei welchem Anteil (%) der Klienten der Heimerziehung wird eine große Veränderung beobachtet? 2. Frage: Bei welchem Anteil (%) der Klienten hat Heimerziehung eine große Wirkung? 3. Frage: Wie wirksam ist Heimerziehung nach Cohen s d e/l/s Jul-08 10

11 Effektstärke wie man es nicht machen darf Wenn Heimerziehung keinen Effekt hätte, würden sich die Effektindizes um den Mittelwert Null mit der Streuung x verteilen Es wurde ein Effektivität von Heimerziehung festgestellt: die Effektindizes verteilen sich um einen positiven Wert Y mit der Streuung x2 100 Klienten erfolgloser HE 100 Klienten erfolgreicher HE 79 nicht große Indizes 21 große Indizes 67,5 nicht große Indizes 32,5 große Indizes 11,5 Klienten mehr weisen große Veränderungen aus als wenn keine Effekte vorliegen würden. e/l/s Jul-08 11

12 Effektstärke wie man es nicht machen darf Effektstärken nach Cohens d Wenn der Unterschied zwischen den Mittelwerten am Anfang und am Ende signifikant ist und wenn die Differenz zum neuen Mittelwert mehr als 0,5 Standardabweichungen beträgt mittlerer Effekt einer Maßnahme Bei mehr als 0,8 Standardabweichungen großer Effekt einer Maßnahme Häufigkeiten e/l/s Jul-08 12

13 Effektstärke wie man es nicht machen darf Wie groß ist nun die Effektstärke nach Cohen bei dieser empirischen Ausgangslage? Effekte der Heimerziehung neg groß neg mittel neg klein keine pos klein pos mittel pos groß e/l/s Jul-08 13

14 Effektstärke wie man es nicht machen darf Wenn es keine Effekt gäbe, würden auf beiden Seiten 50% der Fälle stehen. Da es einen Effekt gibt, stehen in der gefundenen Verteilung 62% auf der positiven Seite, das sind 12% mehr als sich aus dem Zufall ergeben. Fazit: Heimerziehung nach Cohen s d hat einen kleinen positiven Effekt. Test für die Abweichung eines Anteilswertes P von п = 0,5 klein mittel groß 0,05 0,15 0,25 e/l/s Jul-08 14

15 Effektstärke wie man es nicht machen darf bei einem kleinen Effekt: Problemlagen / Ressourcen Verteilung am Anfang (rot) und am Ende (blau) Problemlagen Ressourcen e/l/s Jul-08 15

16 Die Fragen, die sich stellen: Messen wir die richtigen Dinge, wenn Aussagen über die Effektivität von Hilfen zur Erziehung gestellt werden? Ist der Test gegen Null richtig oder wäre bereits das Ergebnis keine Veränderung positiv, weil im Fall keine Heimerziehung eine Verschlechterung eingetreten wäre. Diese Frage lässt sich zur Zeit nicht beantworten. Ist die Messqualität ausreichend? Eingangstatus? Ziele am Anfang richtig? Ausgangsstatus? Ziele vom Anfang noch im Blick? überlagert die allgemeine Entwicklung junger Menschen mögliche Effekte? e/l/s Jul-08 16

17 Problembeurteilung direkter Vergleich ASD-Einr stationär Anfang 1 Sicherheit vor Verletzung 2 Materielle Lebensgrundlage 3 Bindung, Zugehörigkeit und Anerkennung 4 Lernen und Selbstverwirklichung 5 Werte und Orientierung 6 Erziehungskompetenz der Eltern 7 Kommunikation im Familiensystem 8 Sozialräumliche Integration der Familie 9 Verantwortungsübernahme der Eltern 10 Umgang mit Körper und Gesundheit 11 Psychische Stabilität 12 Entwicklungsstand 13 Soziale Anpassung 14 Soziale Kontakte 15 Lern- und Leistungsverhalten 16 Freizeitverhalten 17 Alltagskompetenz 18 Eigenverantwortlichkeit Mittelwert Zufall e/l/s Jul-08 17

18 Übereinstimmung der Hilferelevanz stationär 1 Sicherheit vor Verletzung 2 Materielle Lebensgrundlage 3 Bindung, Zugehörigkeit und Anerkennung 4 Lernen und Selbstverwirklichung 5 Werte und Orientierung 6 Erziehungskompetenz der Eltern 7 Kommunikation im Familiensystem 8 Sozialräumliche Integration der Familie 9 Verantwortungsübernahme der Eltern 10 Umgang mit Körper und Gesundheit 11 Psychische Stabilität 12 Entwicklungsstand 13 Soziale Anpassung 14 Soziale Kontakte 15 Lern- und Leistungsverhalten 16 Freizeitverhalten Alltagskompetenz 18 Eigenverantwortlichkeit zu Beginn Am Ende Mittelwert e/l/s Jul-08 18