Experimentelle und quasi-experimentelle Designs

Transkript

1 Experimentelle und quasi-experimentelle Designs Zentrale Begriffe Varianzkontrolle Hierbei werden die Vergleichsgruppe und der Modus der Aufteilung der Versuchspersonen auf die Kontrollgruppe bestimmt. Es kann zwischen einer zufälligen Aufteilung vor und nach der Erhebung (Ex-post-facto-Designs) unterschieden werden. Die Varianz der unabhängigen Variablen wird bei Ex-ante-Bestimmung von Vergleichgruppen schon vor der Datenerhebung kontrolliert. Randomisierung Es handelt sich hierbei um die Zufallsaufteilung von Versuchspersonen auf die Vergleichsgruppe. Durch die zufällige Aufteilung (Münzwurf, Los, etc.) werden verzerrende Einflüsse von Drittvariablen neutralisiert. Drei Klassen von Designs Varianzkontrolle Randomisierung Experimentelle Designs Quasi-experimentelle Designs Ex-post-facto-Designs Zusätzlich sind noch die vorexperimentellen zu erwähnen, welche jedoch hinsichtlich der Methodik der Hypothesenprüfung den wissenschaftlichen Anforderungen nicht genügen. X= experimenteller Stimulus O= Beobachtung R= Randomisierung Cordula Rechberger, Stefan Oberhauser Seite 1 / 10

2 Vorexperimentelle Designs Es handelt sich bei vorexperimentellen Designs um ein XO-Design ohne Kontrolloder Vergleichsgruppe. Bsp.: Elefantenvertreiber; rasende deutsche Schifahrer; schnelles Autofahren nicht gefährlich (bei Tempo 400 noch kein Unfall registriert) Bei XO-Design werden nur die Werte einer Spalte werden registriert. Es informiert nicht über die Werte einer Vergleichsgruppe. Daher sind Aussagen zu Effekten nicht aussagekräftig. Weiters gibt es die Möglichkeit, dass das XO-Design falsche Vergleichswerte liefert, weil nur die Werte einer Zeile werden registriert d.h. die Tabelleninformation unvollständig ist. Bei einem O 1 XO 2 Versuchsplan erfolgt eine Vorher-nachher-Messung, welche jedoch in den Sozialwissenschaften nicht ausreicht, da Reifungsprozesse stattfinden können. Experimentelle Designs Drei Bedingungen 1. Mindestens zwei experimentelle Gruppen 2. Versuchspersonen werden den experimentellen Gruppen nach Zufallsverfahren zugewiesen (Randomisierung) 3. Die unabhängige Variable wird vom Forscher manipuliert (experimenteller Stimulus) Der Stimulus X ist z.b. ein neues Medikament, welches die Versuchsgruppe einnimmt, während in der Kontrollgruppe ein Placebo verabreicht wird. Form Experimentelle Designs können in folgender klassischen Form dargestellt werden: R X O Versuchsgruppe R O Kontrollgruppe Der experimentelle Faktor nimmt zwei Ausprägungen an: Anwesenheit (X) und Abwesenheit des experimentellen Stimulus. Cordula Rechberger, Stefan Oberhauser Seite 2 / 10

3 Weiters gibt es die Möglichkeit unterschiedliche Stimuli (X 1, X 2, X m ) zu untersuchen. Die Versuchsgruppen (1, 2,..., m) korrespondieren dann mit den Kategorien X 1, X 2,..., X m eines experimentellen Faktors X (Bsp. Unterrichtsmethode). Gemessen werden die Werte der Versuchsgruppen O 1, O 2,..., O m. Jene, die über der Schwelle der Zufallsvarianz liegen, sind auf den Stimulus zurückzuführen. Ein Drittfaktor Z ist sowohl mit X als auch mit O korreliert und führt zu einer Scheinkorrelation. Bsp. Z= Vorqualifikation, X= Kursteilnahme, O= Beschäftigungschancen Umgang mit Drittvaraiblen (Störvariablen) 1) Man sorgt dafür, dass die Störvariable während des gesamten Experimentes den gleichen Wert hat, hält die Störvariable also konstant. 2) Die Wirkung einer Störvariablen kann man auch dadurch neutralisieren, dass man nicht eine einzige Stufe der Störvariablen konstant hält, sondern mehrere verschiedene Stufen der Störvariablen zufällig mit den Stufen der UV kombiniert. Fehlerquellen Folgende Fehlerquellen können zu falschen Schlüssen verleiten: kausal relevant ist nicht X, sondern eine mit X konfundierte Variable Y Bsp. Nicht die erhöhte Qualifikation (X), sondern andere Faktoren (Y), wie Regelmäßigkeit, die der Entmutigung durch die Arbeitslosigkeit entgegenwirkt, beeinflussen O. Dies kann mittels weitere Experimente kontrolliert werden. Hawthorne-Effekt (Reaktivität) Einstellung- und Verhaltensänderung durch wissenschaftliche Aufmerksamkeit Blindversuch oder Doppelblindversuch Blindversuch ist gegeben, wenn den Probanden nicht bekannt ist, ob sie in der Kontroll- oder der Versuchsgruppe sind bzw. wenn ihnen die Hypothese nicht bekannt ist. Selbstsuggestion oder Verhaltensveränderungen sollen ausgeschlossen werden. Doppelblindversuch ist gegeben, wenn dem Versuchsleiter die Kontroll-, Versuchsgruppe und Hypothese ebenso nicht bekannt. Selbstsuggestion, Verhaltensveränderungen sowie unbewusste Beeinflussungsmechanismen seitens des Versuchsleiters sollen ausgeschlossen werden. Cordula Rechberger, Stefan Oberhauser Seite 3 / 10

4 Verzerrender Einfluss von Randomisierung, weiteres Verhalten der Kontrollgruppe Bsp. Die Kontrollgruppe fühlt sich entmutigt, was die Arbeitsuche/Beschäftigungschance beeinflusst. Ausnahme/ quasiexperimentelle Designs Missglücken der Randomisierung Die relevante Merkmalsausprägung ist zufällig bei einer Gruppe häufiger. Kombination Randomisierung und Matching Matching: wird angewendet, damit eine Zufallsaufteilung nicht missglückt. Versuchspersonen werden durchnumeriert, die Zahlen werden auf Zettel geschrieben und die Zettel in einen Zylinderhut geworfen, vermischt und eine bestimmte Anzahl an Nummern gezogen und die Personen mit diesen Nummern der Versuchsgruppe zugeordnet. Gruppenmatching liegt vor, wenn die Verteilung bekannter Drittvariablen in den Versuchsgruppen gleich ist. Bsp. Die weiblichen und männlichen Versuchspersonen separat randomisieren (2 Zylinderhüte). Paarweises Matching ist gegeben, wenn auch Kombinationen von Merkmalen z.b. Altersklasse, Geschlecht, Bildung, berücksichtigt werden. Jede Person mit einer best. Merkmalskombination in der Versuchsgruppe hat dann genau einen Zwilling in der Kontrollgruppe. Randomisierung ist besser als Matching ohne Randomisierung. Empfehlenswert ist eine Kombination von Randomisierung und Matching. Weitere experimentelle Designs, mit denen zusätzliche Fehlerquellen kontrollierbar sind: Vorher-Nachher-Messung bei der Versuchs- und Kontrollgruppe R O 1 X O 2 Versuchsgruppe R O 3 O 4 Kontrollgruppe Es werden hierbei noch die Ausgangsniveaus der Versuchsgruppe O1 und der Kontrollgruppe O3 kontrolliert. Cordula Rechberger, Stefan Oberhauser Seite 4 / 10

5 Faktorielles Design: Es wird die simultane Wirkung von zwei oder mehr Experimentalvariablen erforscht. Bsp. Untersuchung des Effekts von zwei Unterrichtsmethoden bei drei Größen von Schulklassen. Es können durch die Kombination mit Standarddesigns oder Vorhernacher-Design Wechselwirkungen zwischen den Faktoren untersucht werden. Beispielsweise liegt eine Wechselwirkung oder ein Interaktionseffekt vor, wenn der Gruppenunterricht nur in kleinen Klassen günstige Lernergebnisse hervorbringt. Interne und externe Validität Hinsichtlich der Vor- und Nachteile unterscheiden Campbell und Stanley (1963) zwischen interner und externer Validität von Versuchsplänen: Interne Validität: Ausblendung von Störvariablen; kann durch 8 Fehlerquellen (Reifung, Selektionsfehler,...) beeinträchtigt werden. Eine hohe interne Validität kann als ein Sicherstellen, dass die unabhängige Variable, und nur diese, die abhängige Variable beeinflusst. Dies erfolgt durch die Kontrolle aller störenden Variablen und einer zufälligen Stichprobenauswahl der Teilnehmer für die verschiedenen Versuchsbedingungen des Experimentes. Wenn die interne Validität hoch ist, kann der Versuchsleiter beurteilen, ob die unabhängige die abhängige Variable bedingt. Standarddesigns und Vorher-nachher-Designs mit Randomisierung können bei sorgfältiger Anwendung den acht Gefahrenquellen Rechnung tragen. Die Kontrolle der Störfaktoren ist die wesentliche Leistung experimenteller Versuchspläne mit Zufallsaufteilung. Externe Validität: Generalisierbarkeit experimenteller Effekte; kann durch 4 Fehlerquellen beeinträchtigt werden. Externe Validität ist das Ausmaß, in welchem die Ergebnisse einer Studie auf andere Situationen oder Menschen verallgemeinert bzw. generalisiert werden können. Zwei Arten von Generalisierbarkeit sind zu betrachten: (1) Das Ausmaß, mit dem wir von der vom Versuchsleiter konstruierten Situation auf Situationen des wirklichen Lebens verallgemeinern können (Generalisierbarkeit auf natürliche Situationen) und (2) das Cordula Rechberger, Stefan Oberhauser Seite 5 / 10

6 Ausmaß, mit dem wir von den Versuchspersonen auf alle Menschen verallgemeinern können (Generalisierbarkeit auf Personen). Lösungsmöglichkeiten für das Problem der externen Validität: Versuchspersonen aus unterschiedlichen sozialen Gruppen auswählen Feldexperimente in natürlichen sozialen Situationen arrangieren Experimentelle Befunde mit anderen Designs und Methoden reproduzieren Sind Effekte auch mit unterschiedlichen Methoden reproduzierbar (Triangulation), so erhöht sich die Wahrscheinlichkeit, dass es sich nicht um bloße Artefakte künstlicher und reaktiver Laborexperimente handelt. Grenzen experimenteller Designs Eine Randomisierung zur Prüfung vieler sozialer Zusammenhänge ist nicht möglich. Bsp. Schüler können nicht per Random auf ein Gymnasium oder Hauptschule geschickt werden. ODER Eine Notenbank kann nicht unterschiedliche Zinssätze für randomisierte Zielgruppen festlegen. Vorteile und Probleme Vorteile experimenteller Designs: 1. Der experimentelle Stimulus wird im Experiment produziert und geht der vermuteten Wirkung zeitlich voraus. 2. Durch die Randomisierung werden verzerrende Effekte durch Drittvariablen neutralisiert. Aus diesen Gründen ist das experimentelle Design ideal zum Test von Kausalhypothesen. Probleme experimenteller Designs: 1. Externe Validität der geprüften Zusammenhänge 2. Reaktivität 3. Hoher Aufwand bei der simultanen Prüfung komplexer Zusammenhänge 4. Bei der Untersuchung vieler sozialer Zusammenhänge keine Randomisierung möglich Cordula Rechberger, Stefan Oberhauser Seite 6 / 10

7 Experimentelle Spieltheorie am Beispiel der Verantwortungsdiffusion Den Versuchspersonen wurde vorgespielt, dass sie an einer Diskussion über das College-Leben teilnehmen. Jede Person war in einem eigenen Raum und wurde gebeten sich über Mikrofon mit einer suggerierten Zwei-Personen-, Drei-Personenoder Sechs-Personen-Gruppe zu unterhalten. Nach vorgetäuschtem epileptischem Anfall eines der Gruppenmitglieder wurde die Reaktion in einem Zeitraum von 6min aufgezeichnet. Als Hilfeleistung wurde das Verlassen des Raumes um den Versuchsleiter zu informieren gewertet. Design Gruppengröße n Fallzahl N Reaktion in % Reaktionszeit R X 1 O R X 2 O R X 3 O In der Annahme, dass die Teilnehmer nicht gefühlskalt sind und an einer Hilfeleistung interessiert sind, kann der Wert der Hilfeleistung für die beteiligten Personen als kollektives Gut mit dem Nutzen U gesehen werden. Mit der Hilfeleistung sind neben dem erwähnten Nutzen auch Kosten K verbunden, welche geringer als U sind (U>K>0). Demnach haben Personen die Hilfe leisten einen persönlichen Gewinn von U-K, währenddessen Trittbrettfahrer U erzielen. Wenn nun jeder sich auf den anderen verlässt unterbleibt die Herstellung des kollektiven Gutes der Hilfeleistung d.h. alle Akteure gehen leer aus. Daraus ergibt sich folgende Formel: p= 1- n-1 K/U Die Wahrscheinlichkeit p der Kooperation steigt mit dem Wert des kollektiven Gutes und laut der Hypothese der Verantwortungsdiffusion mit der Gruppengröße n. Die unabhängigen Variablen n, U, und K können variiert werden. Dadurch können die Effekte dieser auf die Kooperationswahrscheinlichkeit p untersucht werden. Soziale Interaktionsstrukturen (wie Entscheidungsverhalten) können mit der experimentellen Spieltheorie zunächst abstrakt analysiert werden. Der Vorteil liegt hierbei bei der großen Allgemeinheit und Konzentration auf die wesentlichen Aspekte einer Situation. Das Experiment garantiert ein hohes Maß an interner Validität bei korrekter Durchführung. Hinsichtlich der möglichen Verallgemeinerung können Cordula Rechberger, Stefan Oberhauser Seite 7 / 10

8 Laborexperimente nicht weiterhelfen. Feldexperimente bieten die Möglichkeit der externen Validierung. Grundsätzlich wächst das Vertrauen in wissenschaftliche Befunde, wenn diese mitunterschiedlichen Untersuchungsmethoden repliziert werden können. Quasi-Experimentelle Designs Dabei handelt es sich um Experimente ohne Randomisierung. Dies ist dadurch bedingt, dass oft eine Zufallsaufteilung nicht möglich ist. So z.b. bei Untersuchungen von Effekten rechtlicher, wirtschaftlicher oder sozialer Maßnahmen. Das zentrale Problem bei Quasi-Experimenten ist somit den Einfluss von Drittvariablen zu kontrollieren. Es gibt 2 Arten von quasi-experimentellen Designs: - Versuchsanordnungen mit nicht gleichartiger Kontrollgruppe - Zeitreihen-Experimente Versuchsanordnungen mit nicht gleichartiger Kontrollgruppe Dieses Design entspricht einem Experiment mit Vorher-nachher-Messung ohne Zufallsaufteilung: O 1 X O 2 Versuchsgruppe O 3 O 4 Kontrollgruppe D.h. die Ausgangspunkt O 1 und O 3 sind unterschiedlich, es wird lediglich die Veränderung verglichen. Somit lassen sich Reifungseffekte und zwischenzeitliches Geschehen kontrollieren, es bleiben jedoch die Probleme bestehen: die Nicht-Vergleichbarkeit der Gruppen (z.b. durch Selbstselektion, unbekannte Drittvariablen) sowie der systemische Ausfall von Probanden (z.b. Daten nicht für alle Personen bekannt). Cordula Rechberger, Stefan Oberhauser Seite 8 / 10

9 Die beiden Probleme lassen sich im Vorhinein durch Gruppen- oder paarweises Matching beheben. Im Nachhinein kann man mit multivariaten statistischen Verfahren versuchen den Einfluss von Drittvariable (soweit bekannt) kontrollieren. Schwierig wird es dann, wenn man nicht alle relevanten Drittvariablen berücksichtigt hat. Ein weiteres Problem besteht im so genannten Regressionseffekt: es gibt eine Tendenz zur Mitte (Bsp.: Kinder großer Eltern sind größer als Kinder kleiner Eltern. Jedoch sind die Eltern großer Eltern meist kleiner als ihre Eltern und die Kinder kleiner Eltern meist größer als ihre Eltern). Dies lässt sich jedoch gut durch Zeitreihen-Designs berücksichtigen. Zeitreihen-Experimente Hier wird der Trend vor mit dem Trend nach einem Treatment X gemessen: O 1 O 2 O 3 O 4 X O 5 O 6 O 7 O 8 Mit einem solchen Design lassen sich Reifungs- sowie Regressionseffekte sehr gut kontrollieren. Schwierigkeit bereitet hingegen der Einfluss von zwischenzeitlichem Geschehen. Wenn man sich z.b. die Entwicklung der Schwarzfahrer-Quote in einer Stadt nach Verdopplung der Strafen ansieht, so ist es zu wenig. Nur das Jahr vor und das Jahr nach der Maßnahme anzusehen. Wenn man mehrere Jahre als Beobachtungszeitraum wählt, lässt sich die Maßnahme in einem genaueren Licht betrachten. Aber erst mittels multiplen Zeitreihen-Experiments lässt sich anhand einer Kontrollgruppe (z.b. die Entwicklung der Schwarzfahrerquote in einer anderen Stadt, welche die Strafen nicht verdoppelt hat) die Wirkung der Maßnahme spezifizieren. Cordula Rechberger, Stefan Oberhauser Seite 9 / 10

10 Evaluationsforschung Hier spielen Quasi-Experimente eine große Rolle. Es werden zwar auch Experimente (z.b. Mindesteinkommensexperimente in USA) oder nicht-experimentelle Designs (z.b. Coleman-Report) durchgeführt, aber quasi-experimentelle Designs sind die typische Form zur Erfolgskontrolle von gesetzten Maßnahmen bei einer Evaluationsforschung. Dabei sind 3 Probleme zu berücksichtigen: 1. Festlegung von Erfolgskriterien und deren Messung 2. Berücksichtigung eventueller Nebenwirkungen 3. Kosten-Nutzen-Analyse (Bewertung von Wirkung/Nebenwirkung) Zusätzlich sind noch folgende Punkte zu beachten: - der zeitliche Rahmen der Untersuchung (Strohfeuereffekt vs. Anlaufschwierigkeiten) - ob sich während der Untersuchung bereits Anhaltspunkte der Abmilderung der Nebenwirkungen ergeben - interkulturelle Unterschiede (Bsp.: Mülltrennung in Basel vs. Jerusalem) - Definition des Zielkriteriums (Bsp.: nicht die Bruchsicherheit der Kopfbedeckung, sondern der Schutz des Kopfes sollte bei der Evaluierung von Fahrradhelmen herangezogen werden) - Evaluationsforschung befindet sich immer im Spannungsfeld divergierender Interessen (Forscher vs. Auftraggeber vs. Öffentlichkeit) Cordula Rechberger, Stefan Oberhauser Seite 10 / 10