VIII Experimentelle und quasi-experimentelle Designs Varianzkontrolle für die abhängige Variable Bestimmung von Vergleichsgruppen Modus für die Aufteilung der Versuchspersonen Vergleichsgruppen bestimmen durch die unabhängige Variable Aufteilung vor nach Erhebung Zufall ex post factum Experimentelles Design - Survey 1
1 Vorexperimentelle Designs Bsp: Klatscht fortwährend in die Hände Ich vertreibe die Elefanten Es sind doch keine da Eben! Fehlende Kontrollgruppe XO Beobachtung nur für X - ohne Kontrollgruppe X O experimenteller Stimulus Observation - abhängige Variable Frage der Wirksamkeit des Stimulus nicht beantwortbar Bsp.: Skiunfälle - Churer Zeitung: Deutsche Skifahrer rasen, sie sind zu 55% an den Unfällen beteiligt - so die Statistik des Kantonsspitals Fiktiv Skiunfall D FL andere Summe ja 4950 40 3960 8950 nein 550 10 440 1000 5500 50 4440 9950 Die Tabelle erklärt, wie die Daten vollständig aussehen könnten Zusätzliches Problem: Selektionsfehler 2
Etwa könnten deutsche Risikofahrer besonders gerne nach F fahren. Design falscher Vergleichswerte Bsp: Tempolimit verringert Unfallgefährdung? Unfälle Tempo 100 Tempo 200 nein?? ja 100 10 Vergleich mit der Manchester-Diskussion: Zusammenhang Bildung und Kriminalität XO Varianz der unabhängigen Variable = 0 falsche Vergleichswerte... der abhängigen Variablen = 0 3
Vorher-Nachher-Design 0 1 X 0 2 In der Physik gut in SoWi: Reifungsprozesse! Wie hätte sich die untersuchte Gruppe ohne X entwickelt Bsp: 0 1 Leistung vor einem Programm 0 2 nachher dazwischen Stimulus X Etwa: Spezielles Förderprogramm für schwächer Begabte im Alter von 5; zweite Messung im Alter von 6 Reifungsprozeß: Das Kind hätte sich vielleicht sowieso entwickelt 4
2 Experimentelle Designs Eigenschaften Mindestens 2 experimentelle Gruppen Vp nach Zufall zugeteilt Unabhängige Variable vom Forscher festgelegt (Stimulus) Design mit Randomisierung R R X 0 1 VG R 0 2 KG Blind - doppelblind Manchmal: KG = andere Behandlung Denkmuster: Unterschied 0 1-0 2 ist Meßkriterium für Erfolg signifikant : dieser Unterschied liegt über der Schwelle der Zufallsschwankungen Randomisieren der Vpn neutralisiert Drittvariablen Insgesamt: Der beobachtete Unterschied kann durch Zufall nicht erklärt werden kann durch Drittvariable nicht erklärt werden ist auf die Behandlung - die unabhängige Variable - zurückzuführen. 5
Bsp: Effekt eines Berufsfortbildungsprogramms auf die Beschäftigungschance von Arbeitslosen Ohne R X 0 1 VG (Kurs) 0 2 KG Höhere Wiederbeschäftigung 0 1 in VG zeigt Erfolg des Programms? Selektionsfaktoren Z! Etwa: Motivation etc. + X Z Korrelation (X, O) groß! + O Mit R - Randomisierung zur Kontrolle von Drittvariablen R X 0 1 VG R 0 2 KG Bsp: 80 Anmeldungen für den Kurs, zufällige Auswahl für die 50 vorhandenen Plätze 6
Fehlerquellen - durch Randomisierung nicht beseitigbar 1) Mit Kurs X eine Variable Y konfundiert, die nicht durch R neutralisierbar Bsp: Y die Regelmäßigkeit des Tagesablaufs, die durch X bestimmt wird 2) 3) Reaktivität der Auswahl bzw. der Messung Bewußtsein ausgewählt, wiss. Erforscht Entmutigt durch Nicht-Auswahl 4) Schlechte Aufteilung durch Zufall Zufall spielt auch verrückt 7
Vermeidung spezieller Fehlerquellen R 0 1 X 0 2 vorher-nachher; VG R 0 3 0 4 KG Lerneffekte durch Vorher-Messung? Design nach Solomon: R 0 1 X 0 2 R 0 3 0 4 R X 0 5 R 0 6 bei positivem kausalem Einfluß: zu erwarten: 0 2 >0 1 0 2 >0 4 0 5 >0 6 0 5 >0 3 8
Simultane Wirkung mehrerer Faktoren Bsp: Frontalunterricht gegen Gruppenunterricht; bei 3 verschiedenen Klassengrößen 2 x 3 Versuchsgruppen Gibt es Unterschiede in der Art des Unterrichts Gibt es Zusammenhänge: Etwa wirkt Gruppenunterricht nur in kleinen Klassen? k x l - faktorielles Design Untersuchung der Wirkung verschiedener Programme Interaktionen 9
Vor- und Nachteile experimenteller Designs Vorteile: Stimulus wird VOR Wirkung produziert Randomisierung neutralisiert Drittvariable Nachteile: Generalisierbarkeit experimenteller Effekte Labor - soziales Leben? Reaktivität Aufwand Leistung von experim. Designs: Kontrolle von Störfaktoren 10
4 Quasi-Experimente und Evaluationsforschung Quasi-Experimente. Experimente ohne Randomisierung Bei Evaluation von sozialen Maßnahmen oft Zufallsaufteilung nicht möglich Drittvariablen daher nicht neutralisiert Typen: Designs mit nicht gleichartiger KG Zeitreihenexperimente 11
Quasi-Experimente mit nicht gleichartiger KG 0 1 X 0 2 Maßnahmengruppe 0 3 0 4 KG Kriterium Im R-Design: 0 2 gegen 0 4 hier: 0 2-0 1 gegen 0 4-0 3 Kontrolliert: Reifungseffekte zwischenzeitliches Geschehen Größerer Zuwachs in VG deutet auf Erfolg des Programms? Bsp: Einfluß schulischen Förderprogramms Leistungszuwachs 0 2-0 1 VG 0 4-0 3 KG (Reifung etc.) 12
Probleme Nicht-Vergleichbarkeit der Gruppen etwa Selbstselektion Systematischer Ausfall von Probanden Bsp: es melden sich motivierte Kinder eher für das Förderprogramm Leistungsschwächere in VG brechen das Programm eher ab verzerren 0 2 nach oben Abhilfe Matching (gruppen- oder paarweise) Kontrolle von Drittvariablen nachher durch statistische Verfahren Einflußvariablen durch Design oder durch Rechnung gleich gesetzt Herstellen von vergleichbaren Zwillingen Keine Hilfe: für Variable, die beim Matching Bei der Datenerhebung nicht erfaßt Bsp: Matching nach Geschlecht, Leistung und Sozialstatus Was ist mit Motivation? 13
Regressionseffekt Vorher-Messungen: 0 1 < 0 3 starke Unterschiede dann ist ein Regressionseffekt zu erwarten: VG 0 geht hinauf KG 0 geht hinunter Regression zur Mitte Bsp: Schulische Fördermaßnahme X Schüler vorher Programm nachher VG schlechtesten 5 X 5,4,3 KG besten 1 1,2,3 Es kann nur besser bzw. schlechter werden! 0 2-0 1 < Null Verbesserung 0 4-0 3 > Null Verschlechterung Kontrolle von Regressionseffekten mit Zeitreihendesign 0 1 0 2 0 3 0 4 X 0 5 0 6 0 7 0 8 orientiert über Trend und Fluktuation vor und nach Behandlung kontrolliert Regressionseffekt und Reifung 14
Zeitreihen-Experimente 0 1 0 2 0 3 0 4 X 0 5 0 6 0 7 0 8 Problem: Trennen von langfristigem Trend und kurzfristigem Effekt von Maßnahmen Bsp: Schwarzfahren in Hamburg Maßnahme Erhöhung des Bußgeldes von DM 20 auf DM 40" 4/97 März 98 X 4/98 1,12 0,84 % Schwarzfahrer Rückgang von 0,28%-Punkten bedeutet bei 400 Mio Beförderungen eine Verringerung von 1,12 Mio. Maßnahme erfolgreich? Aber: 75 76 77 78 79 0,96 0,88 1,12 0,84 0,96 Abhilfe: KG Im Peak der natürlichen Fluktuation wäre vielleicht jede andere Maßnahme genauso wirksam gewesen. 15