10 Designfragen: Planung von Evaluationsuntersuchungen

Transkript

1 1 Designfragen: Planung von Evaluationsuntersuchungen / K16*8a6*15( B8&6.'1 Kb&567%&.,'1, +'1 +,. / 1 3 5,+,,,.,/,,1,,3,,5.+.,.../ /+ Sa(& Abbildung 1.1. Durchschnittlich registrierte Anzahl der Überstunden vor und nach dem Motivations-Event der Firma SuperSoft 1

2 1 Abbildung 1.. Vergleich zweier unabhängiger Variablen: Eine neue und eine alte form (UV1) werden sowohl im Sommer als auch im (UV ) miteinander verglichen. Man erkennt zum einen einen Effekt der UV1: Die alte kann die depressive Verstimmtheit weniger gut lindern als die neue. Zum anderen erkennt man einen Effekt der UV: Im Sommer ist die depressive Verstimmtheit bei beiden formen generell niedriger ist als im Sommer 8 depressive Verstimmtheit 6 x = 7 x1 = 6 neue alte

3 1 Sommer depressive Verstimmtheit 8 6 x = 7 x1 = 5 neue alte Abbildung 1.3. Ordinale Interaktion zwischen unabhängiger und Störvariable. Interaktion zwischen der UV ansatz (alt/ neu) und der Störvariable Jahreszeit (/Sommer) auf die AV depressive Verstimmtheit: Die neue wirkt generell besser als die alte (niedrigerer Wert depressiver Verstimmtheit), aber dieser Effekt ist im Sommer stärker als im 3

4 1 Sommer 8 Abbildung 1.. Disordinale Interaktion zwischen unabhängiger und Störvariable. Interaktion zwischen der UV ansatz (neu/alt) und der Störvariable Jahreszeit (/ Sommer): Die neue wirkt nur im Sommer, die alte wirkt nur im. Würde man die UV Jahreszeit nicht beachten, würde man gar keinen Unterschied zwischen den beiden formen beobachten können depressive Verstimmtheit 6 x = 5 x = 5 neue alte

5 K16*8a6*15(B8&6 / ac))& ;. :,'.3 81)& ;, : +'3 %7c)5c)*66-*c)& >=a)- A +'1 > +,. / 1 3 5,+,,,.,/,,1,,3,,5.+.,.../ /+ Sa( Abbildung 1.5. Abhängige Variable und Störvariablen. Vergleich der ÜberstundenMittelwerte zwischen den sechs Tagen vor und nach dem Motivations-Event der Firma SuperSoft: Vorher werden durchschnittlich,87 Überstunden geleistet, nachher durchschnittlich 1,7 Stunden. Allerdings sind die Störvariablen ungleichmäßig verteilt: Vor dem Event war das Wetter ungewöhnlich schön (A) und der Chef hatte Geburtstag und gab den Nachmittag frei (D). Nachher sorgten ein Unwetter (B) und ein Projektabschluss (C) für mehr Überstunden. Diese Störvariablen beeinflussen die Überstundenwerte an den jeweiligen Tagen und sorgen für vorher-nachher-unterschiede in der erwarteten Richtung, haben aber mit dem MotivationsEvent überhaupt nichts zu tun 5

6 perfekte positive Korrelation zwi- Null-Korrelation zwischen - schen ansatz und Jahreszeit 1 Sommer ansatz und Jahreszeit Sommer neue n = n= neue n = 1 n=8 alte n= n = alte n = 1 n=8 (Φ = 1) (Φ = ) Abbildung 1.6. Verteilung von Personen auf vier Kombinationen aus den UV en ansatz (neu/alt) und Jahreszeit (Sommer/ ): Die linke Tabelle zeigt eine unbalancierte, die rechte eine balancierte Verteilung. Links 1 ist die Korrelation zwischen ansatz und Jahreszeit ausgedrückt über den Phi-Koeffizienten perfekt positiv (Φ = 1); rechts ist diese Korrelation Null (Φ = ) 6

7 Motivation A 3 B + C +1 D 3 E F + G + H I + J A B s x1,86 x1 =, A B E G D F H I s x,86 x =,5 Abbildung 1.7. Parellelisierung einer Störvariable. Zehn Klienten (A J) werden gemäß ihrer Ausprägung auf der (zuvor gemessenen) Störvariablen motivation entweder der bedingung A oder der Bedingung B zugeordnet. Ziel der Zuordnung ist eine Gleichverteilung der Motivationswerte (d. h. gleicher Mittelwert, gleiche Streuungen) in beiden bedingungen 7

8 1-wöchiges Soziale Kompetenz-Training Sommerferien x Abbildung 1.8. Selektiver Drop-out der schlimmsten Schüler: Beim Post-Test nach den Sommerferien fehlen die drei Schüler mit den niedrigsten Werten im Sozialverhalten, weil sie sitzen geblieben sind. Wenn dies nicht beachtet wird, sieht es so aus, als habe sich das Training ausgezahlt, weil der Mittelwert des Post-Tests ( x ) höher liegt als der Mittelwert des Prä-Tests ( x1 ). Dabei haben sich die Werte des Sozialverhaltens der anderen Schüler nicht verbessert; es sind nur die drei schlechtesten Werte aus dem Mittelwert des Post-Tests heraus gefallen x1 sitzen gebliebene Schüler Sozialverhalten Post-Test Sozialverhalten Prä-Test 8

9 Abbildung 1.9. Solomon--Gruppen-Plan (Solomon, 199): Gruppen A und B sind in der Interventions-, die Gruppen C und D in der Kontrollgruppe. Die AV ist der Post-Test. Ein Prä-Test wird nur in den Gruppen A und C durchgeführt. Mit diesem Versuchsplan können drei Effekte ermittelt werden: (1) ein Haupteffekt der UV Bedingung, () ein Haupteffekt der UV Prä-Test, (3) die Wechselwirkung zwischen Bedingung und Prä-Test Prä-Test ja nein Interventionsgruppe A B Kontrollgruppe C D 9

10 Kontrollgruppe 3 3,8 Interventionsgruppe 3,67 3 5, erfolg erfolg 5 Kontrollgruppe Interventionsgruppe 7,35, , n = 39 n = 11 n = 53 n = 9 n = 197 Männer Frauen nn == 8 39 Männer und Frauen 3 UV Bedingung Kontrollgruppe UV Geschlecht N = 5 Interventionsgruppe % n xk Männer 81,8 39 3,8 Frauen 18, 53 Gesamt 1 9 % n xi ,67 11, ,1 7,35 1 8,68 Abbildung 1.1. Simpson-Paradox: Jeweils 5 Männer und Frauen werden entweder einer Interventions- oder einer Kontrollgruppe zugewiesen, wobei die Zuweisung sehr unbalanciert ist. Betrachtet man Männer und Frauen getrennt ( 1 ), scheint die wirksam gewesen zu sein: Sowohl Männer als auch Frauen haben in der Interventionsgruppe höhere Werte in der AV erfolg ( xi ) als Personen der Kontrollgruppe ( xk ; siehe auch ). Betrachtet man Männer und Frauen jedoch gemeinsam ( 3 ), kehrt sich dieser Effekt um: Plötzlich sind die erfolgswerte in der gruppe niedriger als in der Kontrollgruppe 1

11 soziale Kompetenz Follow-Test Abbildung Selektives Kohortendesign für drei Jahrgänge (Kohorten A, 9 Kohorte C B & C) und drei MesszeitPost-Test punkte (September 5, 8 Kohorte B 6 & 7). Kohorte A ist im September 5 in 7 Kohorte A Klasse 5, im September 6 in Klasse 6 und im SeptemPrä-Test Zwei-Jahres-Effekt ber 7 in Klasse 7. Kurzder Kohorte A fristige (oder Ein-Jahres -) Effekte des Sozialen KompeKlasse 7 Ein-Jahres-Effekt tenz-trainings in der Koder Kohorte A horte A lassen sich testen, Klasse 6 wenn man den Post-Test der Kohorte A mit dem PräTest der Kohorte B verklasse 5 gleicht. Langfristige (oder Soziale Kompetenz-Training Zwei-Jahres -)Effekte in der Kohorte A kann man September 5 September 6 September 7 messen, indem man das Follow-Up der Kohorte A mit dem Prä-Test der Kohorte C vergleicht. Reifungs- oder Alterseffekte kommen als Alternativerklärungen nicht in Frage, weil man zwei Kohorten vergleicht, die hinsichtlich Alter, Erfahrung und Entwicklungsstand ähnlich sind 11