10 Designfragen: Planung von Evaluationsuntersuchungen

Transkript

1 10 Designfragen: Panung von Evauationsuntersuchungen 1 Sie soen die Wirksamkeit eines Peer-Mediationsprogramms evauieren, das an einer Hauptschue eingeführt werden so. Das Mediationsprogramm so das Schukima verbessern und die Gewat an der Schue reduzieren. Beide Variaben werden anhand von Lehrereinschätzungen erhoben, und zwar einma vor der Einführung und einma ein Jahr später. 1.1 Weche Art von Kontrogruppe müssten Sie reaisieren, um die Nettowirkungen der Maßnahme zu identifizieren? 1.2 Mit wechen Messwiederhoungsartefakten können Sie rechnen? 1.3 Würde in diesem Fa ein seektives Kohortendesign Sinn machen? Begründen Sie Ihre Antwort. 2 Der eitende Psychooge einer psychosomatischen Kinik so den Therapieerfog einer Gruppenintervention für stationäre Patienten mit Suchtprobemen evauieren. Das Wirksamkeitskriterium ist der Leidensdruck der Patienten, der einma vor der Therapie erfasst wird und einma hinterher. Eine Kontrogruppe gibt es nicht. Der Psychooge rechnet bei der Erfassung des Leidensdrucks mit fogenden Störvariaben: Therapiemotivation, akute (situative) Stärke der physioogischen Abhängigkeit von der Substanz, Tendenz, sich as Opfer der Umstände darzusteen, Art der Sucht (Medikamente, Zigaretten, Gücksspie usw.). 2.1 Entscheiden Sie für jede dieser Störvariaben, ob sie woh eher einen geichsinnigen oder einen gegensinnigen Konfundierungseffekt haben wird. 2.2 Entscheiden Sie für jede Störvariabe, mit wecher Kontrotechnik sie am ehesten kontroierbar sein dürfte. 3 Sie möchten eine freiwiige Lehrerfortbidung zum Thema Spiee im Unterricht evauieren. Beschreiben Sie eine Mögichkeit, ein Kontrogruppendesign zu reaisieren, ohne Probeme mit der Sebstseektion zu bekommen. 1

2 4 Seektiver Drop-out (s. Workbook S. 167: Beispie Frau Kosowskis schimmste Schüer beiben sitzen ): Wie würden Sie die Daten dieses Evauationsdesigns auswerten, um das Probem des beschriebenen seektiven Drop-outs zu umgehen? Könnte in diesem Beispie abgesehen von dem seektiven Drop-out noch eine andere Störvariabe existieren, die das Soziaverhaten der Schüer im Post-Test verbessert, ohne dass dieser Effekt auf eine Wirkung des durchgeführten Soziatrainings zurückgeht? 5 Eine Maßnahme zur Therapie von Angststörungen so evauiert werden. Wie geht man vor, wenn man bei der Zuweisung einer Interventionsstichprobe auf drei Gruppen (Kontrogruppe, neue Therapie, ate Therapie) nach Prä-Testwerten paraeisieren wi? 6 Ein Werbepsychooge möchte die Werbewirksamkeit eines neuen Werbefims für eine Bierfirma mit Hife eines Experiments nachweisen. Versuchspersonen in der Experimentabedingung sehen den neuen Werbefim mit dem Sogan Ein Bier für echte Kere, Versuchspersonen in der Kontrobedingung sehen einen kurzen Naturfim. Anschießend soen die Versuchspersonen angeben, wie vie Faschen von dem Bier sie gerne mit nach Hause nehmen würden. Dummerweise sind in der Experimentagruppe mehr Männer (80 %), in der Kontrogruppe mehr Frauen (75 %). 6.1 Konstruieren Sie einen Fa, in dem ein erwartungskonformer Effekt der UV Fimbedingung auf die Anzah gewünschter Biere voständig auf einen Einfuss des Geschechts zurückzuführen ist (geichsinnige Konfundierung). Tragen Sie hierzu fiktive Mittewertsbaken in die fogende Grafik ein. 2

3 Werbefim Anzah der gewünschten Biere Naturfim Männer Frauen Abbidung Tragen Sie hier bitte die entsprechenden Baken so ein, dass die Anzah der gewünschten Biere voständig auf den Einfuss des Geschechts zurückzuführen ist (geichsinnige Konfundierung) 6.2 Konstruieren Sie einen Fa, in dem der Effekt der UV auf die AV innerhab von Männern und innerhab von Frauen zwar erwartungskonform ist, über beide Geschechter hinweg jedoch nicht (Simpson-Paradox). Tragen Sie wie bei (6.1) fiktive Mittewertsbaken in die fogende Grafik ein. Werbefim Naturfim Anzah der gewünschten Biere Männer Frauen Abbidung Konstruieren Sie ein Simpson-Paradox, d. h. zeichnen Sie die Baken, weche die Mittewerte repräsentieren, so ein, dass innerhab der Männer und innerhab der Frauen der Effekt erwartungskonform ist, über Männer und Frauen hinweg jedoch nicht 3

4 7 Entscheiden Sie, ob die fogenden Aussagen jeweis sind oder nicht. (1) Quasi-experimente bedeutet, dass der Forscher keine voständige Kontroe über mögiche Konfundierungen hat. (2) Quasi-Experimente sind meist weniger intern vaide as echte Experimente. (3) Randomisierung heißt, dass die Einfüsse von Störvariaben in aen experimenteen en geich Nu sind (4) Quasi-experimente bedeutet, dass es immer personbezogene Störvariaben gibt. (5) Man kann die interne Vaidität eines QuasiExperiments erhöhen, wenn man die Störvariabe(n) misst und statistisch kontroiert (Auspartiaisierung). (6) Das Simpson-Paradox ist dadurch gekennzeichnet, dass sich ein Ergebnismuster für zwei (oder mehrere) Subgruppen dann umkehrt, wenn man das Ergebnis über die Subgruppen hinweg betrachtet. (7) Das Simpson-Paradox kommt immer durch Geschechtseffekte zustande. (8) Beim Simpson-Paradox stet die Zugehörigkeit zu einer der Subgruppen die konfundierte Variabe dar. (9) Bei einem voständig baancierten Design ist das Auftreten eines Simpson-Paradoxes unwahrscheinich. (10) Ein Simpson-Paradox entsteht nur dann, wenn sich die abhängige Variabe zwischen den Subgruppen nicht unterscheidet. 4

5 10 Designfragen: Panung von Evauationsuntersuchungen Antworten 1 Sie soen die Wirksamkeit eines Peer-Mediationsprogramms evauieren, das an einer Hauptschue eingeführt werden so. Das Mediationsprogramm so das Schukima verbessern und die Gewat an der Schue reduzieren. Beide Variaben werden anhand von Lehrereinschätzungen erhoben, und zwar einma vor der Einführung und einma ein Jahr später. 1.1 Weche Art von Kontrogruppe müssten Sie reaisieren, um die Nettowirkungen der Maßnahme zu identifizieren? Man müsste eine unspezifisch behandete Kontrogruppe reaisieren. Mit dieser so sichergestet werden, dass ein Unterschied zwischen Trainingsund Kontrogruppe auf einen echten maßnahmenspezifischen Effekt des Trainings zurückzuführen ist und nicht auf maßnahmenunspezifische Effekte, bspw. darauf, dass aeine schon das Thematisieren von Konfikten das Schukima verbessert. Bei der unspezifisch behandeten Kontrogruppe könnte es sich um Schukassen handen, die anstatt eines Mediationstrainings eine Verfügungsstunde erhaten, in der ganz agemein über Konfikte gesprochen wird. Sote sich dann dennoch ein Unterschied zwischen dieser Kontrogruppe und der Trainingsgruppe zeigen, dann iegt ein echter maßnahmenspezifischer Effekt vor. 1.2 Mit wechen Messwiederhoungsartefakten können Sie rechnen? Erinnerungseffekte. Die Lehrer, von denen Einschätzungen über das Schukima sowie die Gewatbeastung an der Schue erhoben werden, können sich zum zweiten Messzeitpunkt daran erinnern, was sie zum ersten angegeben haben. Dies verfäscht die Messwerte zum zweiten Zeitpunkt. Sensibiisierung für die Fragesteung. Die Lehrer ahnen beim zweiten Ma, weche Veränderung erwartet wird. Zwischenzeitiches Geschehen. Zwischen den Messzeitpunkten agen Ereignisse, die nichts mit dem erfassten Merkma zu tun haben und das Antwortverhaten beeinfussen. Response Shift. Es könnte sein, dass die Lehrer ein bestimmtes Verhaten zum ersten Messzeitpunkt as aggressiv bezeichnen, zum zweiten Messzeitpunkt jedoch nicht mehr (oder umgekehrt!). 5

6 1.3 Würde in diesem Fa ein seektives Kohortendesign Sinn machen? Begründen Sie Ihre Antwort. Ein seektives Kohortendesign macht vor aem dann Sinn, wenn mit Reifungseffekten zu rechnen ist, d. h. wenn es sich bei dem Wirksamkeitskriterium um eine Personvariabe handet, die sich mit der Zeit (oder mit dem Ater) verändert. Hier jedoch sind zwei Wirksamkeitskriterien definiert, die auf der Schuebene variieren (Schukima, Gewatbeastung der Schue) und nicht auf der Ebene von Personen. Das Durchschnittsater an der Schue beibt aber konstant und kommt insofern auch nicht as Störvariabe in Frage. Ein seektives Kohortendesign hätte in diesem Fa aso keine nennenswerten Vorteie. 2 Der eitende Psychooge einer psychosomatischen Kinik so den Therapieerfog einer Gruppenintervention für stationäre Patienten mit Suchtprobemen evauieren. Das Wirksamkeitskriterium ist der Leidensdruck der Patienten, der einma vor der Therapie erfasst wird und einma hinterher. Eine Kontrogruppe gibt es nicht. Der Psychooge rechnet bei der Erfassung des Leidensdrucks mit fogenden Störvariaben: Therapiemotivation, akute (situative) Stärke der physioogischen Abhängigkeit von der Substanz, Tendenz, sich as Opfer der Umstände darzusteen, Art der Sucht (Medikamente, Zigaretten, Gücksspie usw.). 2.1 Entscheiden Sie für jede dieser Störvariaben, ob sie woh eher einen geichsinnigen oder einen gegensinnigen Konfundierungseffekt haben wird. Therapiemotivation: geichsinniger Effekt je höher, desto wirksamer akute (situative) Stärke der physioogischen Abhängigkeit von der Substanz: wahrscheinich eher geichsinnig je stärker die Abhängigkeit, desto stärker der Prä-Leidensdruck, desto geringer der Post-Leidensdruck schon aein aufgrund von Regressionseffekten Tendenz, sich as Opfer der Umstände darzusteen: Hier wird sich eine geichsinnige Konfundierung zeigen, wenn (a) diese Tendenz positiv mit dem Leidensdruck korreiert ist und (b) wenn es geingt, diese Tendenz durch die Therapie abzumidern. Denn dann ist die Tendenz zum PräTest stärker as zum Post-Test. Art der Sucht (Medikamente, Zigaretten, Gücksspie usw.): Hierzu haben wir keine eindeutige Hypothese... 6

7 2.2 Entscheiden Sie für jede Störvariabe, mit wecher Kontrotechnik sie am ehesten kontroierbar sein dürfte. Therapiemotivation: messen und auspartiaisieren akute (situative) Stärke der physioogischen Abhängigkeit von der Substanz: konstant haten Tendenz, sich as Opfer der Umstände darzusteen: messen und auspartiaisieren Art der Sucht (Medikamente, Zigaretten, Gücksspie usw.): konstant haten 3 Sie möchten eine freiwiige Lehrerfortbidung zum Thema Spiee im Unterricht evauieren. Beschreiben Sie eine Mögichkeit, ein Kontrogruppendesign zu reaisieren, ohne Probeme mit der Sebstseektion zu bekommen. Man schreibt die Lehrerfortbidung aus, wartet auf Anmedungen und weist diese dann randomisiert entweder der Fortbidungsgruppe oder einer Wartekontrogruppe zu, die die Fortbidung erst im kommenden Habjahr erhät. 4 Seektiver Drop-out (s. Workbook S. 167: Beispie Frau Kosowskis schimmste Schüer beiben sitzen ): Wie würden Sie die Daten dieses Evauationsdesigns auswerten, um das Probem des beschriebenen seektiven Drop-outs zu umgehen? Könnte in diesem Beispie abgesehen von dem seektiven Drop-out noch eine andere Störvariabe existieren, die das Soziaverhaten der Schüer im Post-Test verbessert, ohne dass dieser Effekt auf eine Wirkung des durchgeführten Soziatrainings zurückgeht? Sofern genügend Fäe voriegen, ist es am besten, man ässt die Daten derjenigen Schüer, die am Post-Test nicht mehr teinehmen, ganz aus der Anayse heraus. Weitere Störvariaben könnten sein: Zwischenzeitiches Geschehen (während der Sommerferien), eine höhere Schubesuchsmotivation zu Beginn des Schujahres usw. 5 Eine Maßnahme zur Therapie von Angststörungen so evauiert werden. Wie geht man vor, wenn man bei der Zuweisung einer Interventionsstichprobe auf drei Gruppen (Kontrogruppe, neue Therapie, ate Therapie) nach Prä-Testwerten paraeisieren wi? Man sucht nach Wertedriingen, d. h. Personen, die zum Prä-Test identische Werte aufweisen, und weist jeden Driing dann einer der drei Therapiebedingungen zu. 7

8 6 Ein Werbepsychooge möchte die Werbewirksamkeit eines neuen Werbefims für eine Bierfirma mit Hife eines Experiments nachweisen. Versuchspersonen in der Experimentabedingung sehen den neuen Werbefim mit dem Sogan Ein Bier für echte Kere, Versuchspersonen in der Kontrobedingung sehen einen kurzen Naturfim. Anschießend soen die Versuchspersonen angeben, wie vie Faschen von dem Bier sie gerne mit nach Hause nehmen würden. Dummerweise sind in der Experimentagruppe mehr Männer (80 %), in der Kontrogruppe mehr Frauen (75 %). 6.1 Konstruieren Sie einen Fa, in dem ein erwartungskonformer Effekt der UV Fimbedingung auf die Anzah gewünschter Biere voständig auf einen Einfuss des Geschechts zurückzuführen ist (geichsinnige Konfundierung). Tragen Sie hierzu fiktive Mittewertsbaken in die fogende Grafik ein. Werbefim Anzah der gewünschten Biere Naturfim Männer Frauen Abbidung Lösung. Geichsinnige Konfundierung. So könnten die entsprechenden Baken aussehen, wenn die Anzah der gewünschten Biere voständig auf den Einfuss des Geschechts zurückzuführen wäre 6.2 Konstruieren Sie einen Fa, in dem der Effekt der UV auf die AV innerhab von Männern und innerhab von Frauen zwar erwartungskonform ist, über beide Geschechter hinweg jedoch nicht (Simpson-Paradox). Tragen Sie wie bei (6.1) fiktive Mittewertsbaken in die fogende Grafik ein. 8

9 Werbefim Anzah der gewünschten Biere Naturfim Männer Frauen Abbidung Lösung. Simpson-Paradox. So könnten die Baken im Fae eines Simpson-Paradoxes aussehen. Die Baken repräsentieren die Mittewerte so, dass innerhab der Männer und innerhab der Frauen der Effekt erwartungskonform ist, über Männer und Frauen hinweg jedoch nicht 7 Entscheiden Sie, ob die fogenden Aussagen jeweis sind oder nicht. So sehen die Musterösungen für die fogenden Fragen aus: (1) Quasi-experimente bedeutet, dass der Forscher keine voständige Kontroe über mögiche Konfundierungen hat. " (2) Quasi-Experimente sind meist weniger intern vaide as echte Experimente. " (3) Randomisierung heißt, dass die Einfüsse von Störvariaben in aen experimenteen en geich Nu sind " (4) Quasi-experimente bedeutet, dass es immer personbezogene Störvariaben gibt. " (5) Man kann die interne Vaidität eines Quasi-Experiments erhöhen, wenn man die Störvariabe(n) misst und statistisch kontroiert (Auspartiaisierung). " (6) Das Simpson-Paradox ist dadurch gekennzeichnet, dass sich ein Ergebnismuster für zwei (oder mehrere) Subgruppen dann umkehrt, wenn man das Ergebnis über die Subgruppen hinweg betrachtet. " " (8) Beim Simpson-Paradox stet die Zugehörigkeit zu einer der Subgruppen die konfundierte Variabe dar. " (9) Bei einem voständig baancierten Design ist das Auftreten eines Simpson-Paradoxes unwahrscheinich. " (10) Ein Simpson-Paradox entsteht nur dann, wenn sich die abhängige Variabe zwischen den Subgruppen nicht unterscheidet. " (7) Das Simpson-Paradox kommt immer durch Geschechtseffekte zustande. 9