LV2 Quantitative Methoden VIII. Experimentelle und quasi-experimentelle Designs Cordula Rechberger Stefan Oberhauser SS 2006
Agenda Vorexperimentelle Designs Experimentelle Designs Experimentelle Spieltheorie Quasi-experientelle Designs und Evaluationsforschung Folie 2
Zentrale Begriffe Varianzkontrolle Bestimmung von Vergleichsgruppen und des Modus der Aufteilung der Probanten auf Vergleichsgruppen Zuweisung vor Erhebung (Zufallsaufteilung) Zuweisung nach Erhebung (Ex-post-facto-Designs) Randomisierung zufällige Aufteilung der Probanten auf Vergleichsgruppen (experimentelle Designs) Münzwurf, Lose, Zufallszahlen Folie 3
Drei Klassen von Designs Experimentelle Designs Varianzkontrolle vor Datenerhebung Randomisierung Quasi-experimentelle Designs Varianzkontrolle vor Datenerhebung Randomisierung Ex-post-facto-Designs Varianzkontrolle nach Datenerhebung Randomisierung Folie 4
Vorexperimentelle Designs Genügen nicht wissenschaftlichen Anforderungen (Hypothesenprüfung) Unzureichender Designtyp Reihe von Fehlerquellen XO-Design Bsp.: Elefantenvertreiber X= Klatschen O= Abwesenheit von Elefanten Fehlerquelle: ohne Klatschen? Fehlen von Vergleichs- bzw. Kontrollgruppen X= experimenteller Stimulus O= Beobachtung Folie 5
Vorexperimentelle Designs Bsp.: Rasende Deutsche auf Schweizer Pisten Laut Spiegel Artikel kommen über 50% der Verunglückten aus Deutschland. Schiunfall Deutschland Lichtenstein Andere Ja 550 55% 10% 1% 20% 44% 10% 10 440 Nein 4.950?? 40 3.960? XO Design werden nur Werte einer Spalte registriert Design falscher Vergleichswerte Folie 6
Vorexperimentelle Designs OXO Design Versuchsplan O 1 XO 2 Vergleich durch Vorher-nacher-Messung Physik üblich Sozialwissenschaften nicht ausreichen wegen Reifungsprozess Bsp.: vorschulische Förderung Reifungsprozesse identifizierbar mit experimentellen oder quasiexperimentellen Kontrollgruppendesigns Folie 7
Experimentelle Designs Bedingungen mindestens zwei experimentelle Gruppen Zuweisung der Gruppen nach Zufallsverfahren (R) Forscher präsentiert experimentellen Stimulus (oder mehrere) Präsenz Stimulus Versuchsgruppe vs. Fehlen Kontrollgruppe Form R X O Versuchsgruppe R O Kontrollgruppe oder R X 1 O 1 Versuchsgruppe 1 R X 2 O 2 Versuchsgruppe 2 : : R X m O m Versuchsgruppe m X= experimenteller Stimulus O= Beobachtung R= Randomisierung Folie 8
Experimentelle Designs Bsp.: Berufsfortbildungsprogramm Arbeitslose R X (Teilnahme Kurs) O (Beschäftigungschancen) R O (Beschäftigungschancen) Mögliche Gefahr ohne Randomisierung? Auftreten von Drittfaktor Z Scheinkorrelation Vorqualifikation Umgang mit Störvariablen? Konstanthalten Kombination mehrerer Stufen der Störvariablen mit uv X= experimenteller Stimulus O= Beobachtung R= Randomisierung Folie 9
Experimentelle Designs Fehlerquellen für falsche Schlüsse kausal relevant ist nicht X, sondern eine mit X konfundierte Variable Y Weitere Experimente Hawthorne-Effekt (Reaktivität) Einstellung- und Verhaltensänderung durch z.b. wissenschaftliche Aufmerksamkeit Blindversuch oder Doppelblindversuch Verzerrender Einfluss von Randomisierung weiteres Verhalten der Kontrollgruppe Ausnahme/ quasi-experimentelle Designs Mißglücken der Randomisierung Kombination Randomisierung und Matching Folie 10
Experimentelle Designs Gruppenmatching Gleiche Verteilung einer bekannten Drittvariablen z.b. 12 Männer und 8 Frauen Verlosung mit zwei Hüten Paarweises Matching Berücksichtigung von Kombinationen von Merkmalen z.b. IQ 123/120, 119/116, 113/110 Versuchsgruppe: 123/116/113 Kontrollgruppe: 120/119/110 Folie 11
Experimentelle Designs Weiteres Design zur Ausschaltung weiterer Fehlerquellen Vorher-nacher-Messung R O 1 X 1 O 2 Versuchsgruppe R O 3 O 4 Kontrollgruppe Faktorielles Design Untersuchung der simultanen Wirkung von zwei oder mehreren Experimentvariablen z.b. Effekt von 2 Unterrichtmethoden bei 3 unterschiedlich großen Schulklasse (2x3= 6 Versuchsgruppen) X= experimenteller Stimulus O= Beobachtung R= Randomisierung Folie 12
Experimentelle Designs Interne Validität (alles außer uv gleich) Ausblendung von Störvariablen Kontrolle störender Variablen und Randomisierung 8 Gefahrenquellen (z.b. Reifung, Selektionsfehler) Standarddesign Vorher-nachher-Design Externe Validität Generalisierbarkeit experimenteller Effekte Generalisierbarkeit auf natürliche Situationen/ auf Personen Versuchspersonen aus unterschiedlichen sozialen Gruppen Feldexperimente Wiederholung der Experimente Folie 13
Experimentelle Designs Grenzen experimenteller Designs Randomisierung zur Prüfung vieler sozialer Zusammenhänge nicht möglich z.b. Schüler können nicht per Random auf ein Gymnasium oder Hauptschule geschickt werden. Eine Notenbank kann nicht unterschiedliche Zinssätze für randomisierte Zielgruppen festlegen. Folie 14
Experimentelle Designs Vorteile Der experimentelle Stimulus wird im Experiment produziert und geht der vermuteten Wirkung zeitlich voraus. Randomisierung neutralisiert Verzerrungseffekte von Drittvariablen Ideal zum Test von Kausalhypothesen Probleme Externe Validität der geprüften Zusammenhänge Reaktivität Hoher Aufwand bei der simultanen Prüfung komplexer Zusammenhänge Bei der Untersuchung vieler sozialer Zusammenhänge keine Randomisierung möglich Folie 15
Experimentelle Designs (BEISPIEL) Fahrschulprüfung Lernen mit/ohne Pausen Erfolg 8 Männer Alter 2x17, 3x18, 3x19 und 6 Frauen Alter 2x17, 3x18, 19 R mit Matching w 17/17, 18/18, 18/19 m 17/17, 18/18, 18/19, 19/19 Versuchsgruppe: 17w120/18w90/19w130 17w/18w/19w 17m119/18m95/19m100/19m129 17m/18m/19m/19m Kontrollgruppe: 17w119/18w95/18w129 17w/18w/18w 17m120/18m90/18m102/19m130 17m/18m/18m/19m Stimulus (uv) (X) Pause Beobachtung 6 bestanden 1 nicht bestanden 2 bestanden 5 nicht bestanden Störvariablen Interesse am Stoff, Intelligenz, etc. 1) Konstant halten z.b. alle Fahrschüler haben IQ zw. 125 u 130 2) Kombination z.b. möglichst breites Spektrum IQ Folie 16
Experimentelle Spieltheorie Hypothese Verantwortungsdiffusion Je größer die Zahl der Zuschauer (n) in einer Hilfeleistungssituation, desto geringer die individuelle Wahrscheinlichkeit (p), daß eine bestimmte Person Hilfe leistet Design Gruppengröße n Fallzahl N Reaktion in % Reaktionszeit R X 1 O 1 13 85 52 R X 2 O 2 26 62 93 R X 3 O 3 13 31 166 Kollektives Gut (Hilfeleistung) Nutzen (U) > Kosten (K) > 0 Die Wahrscheinlichkeit steigt mit dem Wert des kollektiven Gut (U) und sinkt mit den Kosten (K) p= 1-1 n-1 K / U Folie 17
Quasi-Experimente und Evaluationsforschung Quasi-Experimente? Experimente OHNE Randomisierung Warum? Zufallsaufteilung oft nicht möglich z.b. Untersuchung von Effekten rechtlicher, wirtschaftlicher oder sozialer Maßnahmen Zentrales Problem? Einfluss von Drittvariablen Folie 18
Zwei Quasi-experimentelle Designs 1. Versuchsanordnungen mit nicht gleichartiger Kontrollgruppe = Experiment mit Vorher-nachher-Messung ohne Zufallsaufteilung O 1 X O 2 O 3 O 4 O 1 und O 3 unterschiedlich Vergleich der Veränderung Störgrößenkontrolle Reifungseffekte zwischenzeitliches Geschehen Probleme Nicht-Vergleichbarkeit der Gruppen systematischer Ausfall von Probanden Folie 19
Zwei Quasi-experimentelle Designs 1. Versuchsanordnungen mit nicht gleichartiger Kontrollgruppe O 1 X O 2 O 3 O 4 Bsp. 1: Evaluation eines schulisches Förderprogramms Probleme Nicht-Vergleichbarkeit der Gruppen: Selbstselektion, da sich nur motivierte Schüler anmelden systematischer Ausfall von Probanden: leistungsschwächere Schüler brechen Förderunterricht eher ab Verzerrung von O 2 nach oben und Überschätzung der Maßnahme X Folie 20
Zwei Quasi-experimentelle Designs 1. Versuchsanordnungen mit nicht gleichartiger Kontrollgruppe O 1 X O 2 O 3 O 4 Bsp. 2: Starb John Wayne durch Atomtests? 220 Personen an Dreharbeiten beteiligt, 150 Krankengeschichte bekannt, davon 91 (61%) an Krebs erkrankt (Ø-Krebsrisiko: 20%) Probleme: Nicht-Vergleichbarkeit der Gruppen: Drittvariable(n)? z.b. Filmleute vermehrt Raucher systematischer Ausfall von Probanden: von 70 Personen Krankengeschichte nicht bekannt ( Absenkung auf 41%) Folie 21
Zwei Quasi-experimentelle Designs 1. Versuchsanordnungen mit nicht gleichartiger Kontrollgruppe Probleme Nicht-Vergleichbarkeit der Gruppen systematischer Ausfall von Probanden Behebung Gruppen-Matching / paarweises Matching Nachträgliche Kontrolle von Drittevariablen mit multivariaten statistischen Verfahren Offen: Drittvariable übersehen? Folie 22
Zwei Quasi-experimentelle Designs 1. Versuchsanordnungen mit nicht gleichartiger Kontrollgruppe Probleme Nicht-Vergleichbarkeit der Gruppen systematischer Ausfall von Probanden Regressionseffekt: statistische Tendenz zur Mitte Behebung Zeitreihen-Design Folie 23
Zwei Quasi-experimentelle Designs 2. Zeitreihen-Experimente O 1 O 2 O 3 O 4 X O 5 O 6 O 7 O 8 Vergleich des Trends vor mit dem Trend nach X Störgrößenkontrolle Reifungseffekte Regressionseffekte Probleme zwischenzeitliches Geschehen Folie 24
Zwei Quasi-experimentelle Designs 2. Zeitreihen-Experimente Bsp.: Schwarzfahrer O 1 X O 2 O 1 Schwarzfahrerquote 1977: 1,12% X..Maßnahme: Verdopplung der Strafe O 2 Schwarzfahrerquote 1978: 0,84% -25% (ca. 1,12 Mio. weniger Schwarzfahrer) Maßnahme erfolgreich? Folie 25
Zwei Quasi-experimentelle Designs 2. Zeitreihen-Experimente Bsp.: Schwarzfahrer O 1 O 2 O 3 X O 4 O 5 Maßnahme nicht erfolgreich? Zeitreihe der Schwarzfahrerquoten in Hamburg vor und nach Verschärfung der Sanktionsdrohung Folie 26
Zwei Quasi-experimentelle Designs 2. Multiple Zeitreihen-Experimente Bsp.: Schwarzfahrer O 1 O 2 O 3 XO 4 O 5 O 6 O 7 O 8 O 9 O 10 Schwarzfahrerquoten in Hamburg (HH) und Bremen (HB) Folie 27
Evaluationsforschung Experimente z.b. Mindesteinkommensexperimente in USA nicht-experimentelle Designs z.b. Coleman-Report Quasi-Experimente typische Design einer Evaluationsstudie zur Erfolgskontrolle von gesetzten Maßnahmen Probleme 1. Festlegung von Erfolgskriterien und deren Messung 2. Berücksichtigung eventueller Nebenwirkungen 3. Kosten-Nutzen-Analyse (Bewertung von Wirkung/Nebenwirkung) Folie 28
Evaluationsforschung Bsp.: mengenabhängige Abfallgebühr in CH ( Sackgebühr ) 1. Erfolgskriterium: Reduktion der Abfallmenge -25% nach 1 Jahr 2. Nebenwirkungen: - Hausbrand - wilde Deponien - überquellende öffentliche Abfallbehälter - Verunreinigung von Recyclingbehältern 3. Kosten-Nutzen-Analyse? Folie 29
Evaluationsforschung Zu Beachten! - Zeitlicher Rahmen: Strohfeuereffekt vs. Anlaufschwierigkeiten - Anhaltspunkte zur Abmilderung von Nebenwirkungen - Interkulturelle Unterschiede (z.b. Mülltrennung in Jerusalem) - Definition des Zielkriteriums (z.b. Evaluation von Fahrradhelmen) - Spannungsfeld divergierender Interessen Folie 30