Does design trump analysis? Forschungsdesigns und Versuchspläne

Transkript

1 Does design trump analysis? Forschungsdesigns und Versuchspläne Dipl.-Psych. Christiane Fiege Forschungsdesigns & Versuchspläne (Christiane Fiege) 1

2 Agenda 1 Motivation: Warum dieses Thema? Die wissenschaftliche Methode (Forschungsprozess) Bewertungskriterien für Designs: Validitätsarten 2 Beispiel: Evaluation in der Bildungsforschung 3 Forschungsdesigns Übersicht Verschiedene Forschungsdesgins Kontrolltechniken (allgemeine Prinzipien) 4 Zusammenfassung 5 Literatur Forschungsdesigns & Versuchspläne (Christiane Fiege) 2

3 Motivation Die wichtigste Aufgabe der Wissenschaft ist es... originelle und fruchtbare Gedanken zu entwerfen und Theorien zu entwickeln, die sich nachzuprüfen lohnen. Versuchsplanung ist das Zweitwichtigste in einer empirischen Wissenschaft! Versuchsplanung befaßt sich im Wesentlichen mit der Frage: Wie müssen Versuche geplant sein, damit das Ergebnis des Versuchs aussagekräftig und interpretierbar ist? Forschungsdesigns & Versuchspläne (Christiane Fiege) 3

4 Motivation Kausale Analysen sind besonders wichtig... besonders schwierig Kausale Aussagen dürfen nur gemacht werden, wenn Alternativerklärungen ausgeschlossen werden können! Kontrolle von Störvariablen im Rahmen von Untersuchungsplanung Forschungsdesigns & Versuchspläne (Christiane Fiege) 4

5 Der Forschungsprozess Versuchsplanung ist Teil des empirischen Forschungsprozesses... 1 Theorie 2 Forschungshypothese 3 Präzisierung der Hypothese 4 Design der Studie 5 Datenanalyse 6 Interpretation der Daten 7 Implikationen für die Theorie Forschungsdesigns & Versuchspläne (Christiane Fiege) 5

6 Motivation Versuchsplanung als Bindeglied zw. Theorie und statistischer Auswertung. Liegt dem Forschungsvorgehen keine vernünftige Idee zugrunde, dann kann der beste Versuch nichts bewirken. Forschungsdesigns & Versuchspläne (Christiane Fiege) 6

7 Beispiel: Der Barfußphilosoph Symmer (1758) nach Schneider: Ich hatte während einiger Zeit beobachtet, dass meine Strümpfe beim Ausziehen am Abend häufig ein knisterndes Geräusch von sich gaben. [...] Durch die Einfachheit des Untersuchungsgegenstandes und die große Leichtigkeit Experimente zu machen stand es in meiner Macht, meine Untersuchung zu jeder beliebigen Zeit zu machen. [...] Nachdem ich es als unangenehm empfunden hatte, die Strümpfe zu elektrisieren, indem ich sie so oft an- und auszog, wie es für die Experimente erforderlich war, habe ich diese Methode völlig aufgegeben; ich gebe mich jetzt zufrieden mit der Elektrizität, die entsteht, wenn ich die Strümpfe über die Hand ziehe [...] denn wie jeder andere elektrische Apparat müssen auch sie sauber gehalten werden. Forschungsdesigns & Versuchspläne (Christiane Fiege) 7

8 Beispiel: Der Barfußphilosoph Ergebnisse 1 Der Effekt (die Socken blähen sich auf, ziehen sich gegenseitig an) und seine Stärke sind unabhängig von der Tageszeit des Sockenausziehens. 2 Woll- und Seidensocken bringen die besten Effekte, Baumwolle geht nicht so gut. 3 Der Effekt ist von der Sockenfarbe unabhängig. 4 Der Effekt ist unabhängig davon, welcher Socken außen ist. Forschungsdesigns & Versuchspläne (Christiane Fiege) 8

9 Motivation Versuchsplanung als Bindeglied zw. Theorie und statistischer Auswertung. Liegt dem Forschungsvorgehen keine vernünftige Idee zugrunde, dann kann der beste Versuch nichts bewirken. Ist ein Versuch schlecht geplant worden, dann hilft die beste Statistik nichts mehr. Forschungsdesigns & Versuchspläne (Christiane Fiege) 9

10 Motivation You can t fix by analysis what you bungled by design. Light, Singer and Willett (1990) Forschungsdesigns & Versuchspläne (Christiane Fiege) 10

11 Validitätsarten in der Versuchsplanung Campbell & Stanley (1963); Cook & Campbell (1979); Shadish, Cook & Campbell (2002) Interne Validität Statistische Validität (Conclusion Validity) Externe Validität (Generalisierbarkeit) Konstruktvalidität Forschungsdesigns & Versuchspläne (Christiane Fiege) 11

12 Validitätsarten in der Versuchsplanung Campbell & Stanley (1963); Cook & Campbell (1979); Shadish, Cook & Campbell (2002) Interne Validität: Läßt sich in der vorliegenden Studie die Variation in der AV auf die Variation der UV zurückführen? Ist nur die UV und nicht sonstige Störfaktoren für die Variation der AV verantwortlich? Statistische Validität (Conclusion Validity): Ist die Untersuchung so aufgebaut, dass in der vorliegenden Studie entsprechend der Hypothese ein statistisch nachweisbarer Zusammenhang zwischen UV & AV ermittelt werden kann? (z.b.: Besteht eine relativ gute Chance, einen tatsächlichen Unterschied als sign. Unterschied zwischen EG & KG nachweisen zu können?) Externe Validität (Generalisierbarkeit): Wie weit läßt sich das Ergebnis der durchgeführten Studie generalisieren auf Personen, Situationen & Zeiten? Konstruktvalidität: Repräsentieren die konkreten Realisationen von UV & AV tatsächlich die theoretisch zugrundeliegenden Variablen? Sind UV & AV in der Untersuchung zuverlässig & valide operationalisiert worden? Forschungsdesigns & Versuchspläne (Christiane Fiege) 12

13 Validitätsarten in der Versuchsplanung Was stört die interne Validität? externe zeitliche Einflüsse (history) Reifungsprozesse (maturation) Testübung (testing) mangelnde instrumentelle Reliabilität (instrumentation) statistische Regressionseffekte (statistical regression) Selektionseffekte (selection) experimentelle Mortalität (experimental mortality) Interaktionen zw. diesen Faktoren (bspw. Selektion & Reifung etc.) weitere Faktoren im Between-Group-Design (nach Cook & Campbell, 1979): empörte Demoralisierung, kompensatorischer Wettstreit, kompensatorischer Ausgleich Forschungsdesigns & Versuchspläne (Christiane Fiege) 13

14 Validitätsarten in der Versuchsplanung Was stört die statistische Validität? Statistische Validität als spezieller Aspekt der internen Validität. zu kleine Stichproben unreliable Messinstrumente Fehler bei der Anwendung statistischer Verfahren Die statistische Validität gehört zur Inferenzstatistik! Forschungsdesigns & Versuchspläne (Christiane Fiege) 14

15 Validitätsarten in der Versuchsplanung Was stört die externe Validität? mangelnde instrumentelle Validität Stichprobenfehler experimentelle Reaktivität Pretest-Effekte Hawthorne-Effekt Die externe Validität beinhaltet neben Stichprobentheorie auch viele theoretische Bezüge. Forschungsdesigns & Versuchspläne (Christiane Fiege) 15

16 Externe Validität Beispiel: Der Barfußphilosoph Forschungsdesigns & Versuchspläne (Christiane Fiege) 16

17 Validitätsarten in der Versuchsplanung Was stört die Konstruktvalidität? Konstruktvalidität als spezieller Aspekt der externen Validität. unzureichende Explikation der verwendeten Konstrukte ungenaue Operationalisierung der aus den Konstrukten abgeleiteten Variablen Die Konstruktvalidität ist ohne inhaltliche Theorie nicht umzusetzen! Forschungsdesigns & Versuchspläne (Christiane Fiege) 17

18 Versuchsplanformalisierung Die wichtigsten Bestandteile der Versuchsplanformalisierung sind: die am Versuch beteiligten Gruppen die Art der Zuordnung der Versuchspersonen zu den Gruppen die experimentellen Bedingungen (die Stufen der UV) sowie die Messung der AV der Untersuchungsabfolge: die Realisierungszeitpunkte der UV sowie die Erhebungszeitpunkte der abhängigen Variablen Versuchsplanformalisierung O = Messung der AV X = Treatment (nichts ist Kontrollgruppe) R = randomisierte Zuweisung der Vpn zu den Gruppen Forschungsdesigns & Versuchspläne (Christiane Fiege) 18

19 Ein Beispiel im Kontext der Bildungsforschung Die Lehrer in Thüringen sind frustriert: Überall zeigt sich das gleiche Bild von unmotivierten, lethargischen Schülern! Ein neues Programm zur Motivationsförderung von Schülern der 5. Klasse soll thüringenweit in den Schulen implementiert werden. Da dieses jedoch recht zeitund kostenintensiv ist, bittet uns das TKM zuvor um eine Evaluation, um weitere Motivationsverluste seitens Lehrer- & Schülerschaft zu verhindern. Insgesamt 10 Schulen stehen für die Pilotierung zur Verfügung... Mögliche Versuchspläne??? Forschungsdesigns & Versuchspläne (Christiane Fiege) 19

20 Versuchsplanung: Übersicht Forschungsdesign = Konkrete Gestaltung der Datenerhebung entsprechend den Anforderungen der zu prüfenden Hypothesen Festzulegen sind hierbei: Ebene der Untersuchung: Individual-/Aggregatebene Zeitdimension der Untersuchung: Querschnitts- vs. Längsschnittdesign Strukturierung der Untersuchung: Experimente vs. Quasi-Experimente vs. Beobachtungsstudie Ort der Untersuchung: Feld- vs. Laboruntersuchung Methode der Datenerhebung: Ein-/Mehrmethodendesign Anzahl der betrachteten Faktoren bzw. Faktorstufen und deren Kombination Forschungsdesigns & Versuchspläne (Christiane Fiege) 20

21 Versuchsplanung: Übersicht Forschungsdesigns & Versuchspläne (Christiane Fiege) 21

22 Verschiedene Forschungsdesigns Kategorisierung 1 Vorexperimentelle Versuchspläne 2 Quasi-experimentelle Versuchspläne 3 Experimentelle Versuchpläne Forschungsdesigns & Versuchspläne (Christiane Fiege) 22

23 Verschiedene Forschungsdesigns Vorexperimentelle Versuchspläne 1) Ein-Gruppen-Plan (One-Shot Case Study) X O Vorteil: einfache Durchführbarkeit Nachteil: fehlende Vergleichswerte; geringe interne Validität (Alternativerklärungen) Forschungsdesigns & Versuchspläne (Christiane Fiege) 23

24 Verschiedene Forschungsdesigns Vorexperimentelle Versuchspläne 2) Ein-Gruppen Vortest-Nachtest Design O X O Nachteil: geringe interne Validität (Alternativerklärungen); mögliche Effekte des Vortests (instrumentelle Reaktivität bzw. Testübung) Forschungsdesigns & Versuchspläne (Christiane Fiege) 24

25 Verschiedene Forschungsdesigns Quasi-experimentelle Versuchspläne 3) Vortest-Nachtest Design mit nicht-äquivalenter KG O X O O O Nachteil: mangelnde Vergleichbarkeit der Gruppen bspw. durch Selektionseffekte (zusätzliche Kontrolltechniken nötig, sonst geringe interne Validität); mögliche Effekte des Vortests Forschungsdesigns & Versuchspläne (Christiane Fiege) 25

26 Verschiedene Forschungsdesigns Quasi-experimentelle Versuchspläne 4) Regression-Discontinuity Design O A C X O 2 O A C O 2 Beispiele: Evaluation spezieller Förderprogramme an Schulen (Mathematik, Lesen, Motivation etc.) [Trochim (1984), Lesik (2006)] Evaluation von Veränderungen eines Bildungssystems (bspw. Verkürzung der Schulpflicht) [Oreopoulos (2006)] Forschungsdesigns & Versuchspläne (Christiane Fiege) 26

27 Verschiedene Forschungsdesigns Quasi-experimentelle Versuchspläne 4) Regression-Discontinuity Design O A C X O 2 O A C O 2 Vorteil: einfache Durchführbarkeit; Forschungsethik berücksichtigt; Nachteil: mögliche Effekte des Vortests Forschungsdesigns & Versuchspläne (Christiane Fiege) 27

28 Verschiedene Forschungsdesigns Experimentelle Versuchspläne 5) Vortest-Nachtest Kontrollengruppen-Design R O X O R O O Vorteil: hohe interne Validität Nachteil: nicht immer realisierbar (Forschungsethik); mögliche Effekte des Vortests Forschungsdesigns & Versuchspläne (Christiane Fiege) 28

29 Verschiedene Forschungsdesigns Experimentelle Versuchspläne 6) Solomon-Vier-Gruppen-Plan R O 1 X O 2 R O 3 O 4 R X O 5 R O 6 Frage: Welche Störvariablen können auf welche Weise kontrolliert werden? Forschungsdesigns & Versuchspläne (Christiane Fiege) 29

30 Verschiedene Forschungsdesigns Experimentelle Versuchspläne 6) Solomon-Vier-Gruppen-Plan R O 1 X O 2 R O 3 O 4 R X O 5 R O 6 Bsp.: Evaluation einer Software zum Lernen von Grammatikregeln einer Fremdsprache Treatment-Effekte: (O 2 O 1 ) = (O 4 O 3 ) = (O 5 O 6 ) Vortest-Effekte: O 4 = O 6 / O 3 = O 4 / O 1 = O 3 / O 1 = O 4 Effekte der Zeit: O 3 = O 6 / O 1 = O 6 Forschungsdesigns & Versuchspläne (Christiane Fiege) 30

31 Verschiedene Forschungsdesigns Experimentelle Versuchspläne 6) Solomon-Vier-Gruppen-Plan R O 1 X O 2 R O 3 O 4 R X O 5 R O 6 Vorteil: hohe interne Validität; Prüfung von Vortest-Effekten, Zeit-Effekten (Reifung etc.) möglich Nachteil: nicht immer realisierbar (Forschungsethik, Ökonomie); α-fehler Forschungsdesigns & Versuchspläne (Christiane Fiege) 31

32 Kontrolltechniken Allgemeine Prinzipien zur Kontrolle von Störvariablen sind... Randomisierung und bedingte Randomisierung Konstanthalten (standardisierte Untersuchungsbedingungen) Parallelisieren (Matching) Ausbalancieren Registrieren & anschließend berücksichtigen (mehrfaktorielle Pläne oder kovarianzanalytische Kontrolle von Störvariablen (bspw. ANCOVA, EffectLite)) Forschungsdesigns & Versuchspläne (Christiane Fiege) 32

33 Conclusio Design trumps analysis! Versuchsplanung bzw. Design als zentraler Aspekt des empirischen Forschungsprozesses... ist immer abhängig von der konkreten Fragestellung (inhaltliche Theorie) und natürlich von der Durchführbarkeit (bspw. Ökonomie, Forschungsethik) legt fest, welche statistische Analysen möglich sind Forschungsdesigns & Versuchspläne (Christiane Fiege) 33

34 Design-Empfehlungen für die Bildungsforschung Forschungsdesigns, die hinreichend Informationen bereitstellen, um kausale Zusammenhänge abzubilden (Crowley & Hauser, 2007): (Randomisierte) Experimente Quasi-experimentelle Vortest-Nachtest Design mit nicht-äquivalenter KG Quasi-experimentelle Regression-Discontinuity Designs Quasi-experimentelle Kohorten-Designs Quasi-experimentelle Ein-Gruppen-Messwiederholungs-Designs (Time-Series Designs) Forschungsdesigns & Versuchspläne (Christiane Fiege) 34

35 Literatur Campbell, D.T. & Stanley, J.C.(1963). Experimental an quasi-experimental designs for research on teaching. In N. L. Gage (Ed.), Handbook of research on teaching. Chicago: Rand McNally. Cook, T.D. & Campbell, D.T.(1979). Quasi-experimentation. Design & analysis issues for field settings. Chicago: Rand McNally. Crowley J.J. & Hauser, A.G. (2007). Evaluation whole school improvement models: Creating meaningful and reasonable standards of review. Journal of Education for Students Placed at Risk, 12, Bortz, J. & Döring, N. (2006). Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. Berlin: Springer. Huber, O.(2005). Das psychologische Experiment. Eine Einführung. Bern: Huber. Jacobs, B. (2000). Einführung in die Versuchsplanung. jakobs/seminar/vpl/index.htm Lesik, S.A. (2006). Applying the Regression-Discontinuity Design to Infer Causality with Non-Random Assignment. The Review of Higher Education, 30, Forschungsdesigns & Versuchspläne (Christiane Fiege) 35

36 Literatur Maxwell, S.E. & Delaney, H.D.(2004). Designing experiments and analyzing data: A model comparison perspective. Mahwah, New Jersey: Lawrence Erlbaum Associates. Oreopoulos, P. (2006). Estimating average and local average treatment effects of education when compulsory schooling laws really matter. The American Economic Review, 96, Schneider, R.U. (2006). Das Buch der verrückten Experimente. München: Goldmann. [ Shadish, W.R, Cook, T.D. & Campbell, D.T. (2002). Experimental and Quasi-Experimental Design for Generalized Causal Inference. Boston: Houghton-Mifflin. Trochim, W. (1984). Research Design for Program Evaluation: The Regression-Discontinuity Approach. Beverly Hills, CA: Sage Publications. Trochim, W. (1994). The Regression-Discontinuity Design: An Introduction. Research Methods Paper Series, Number 1, Thresholds National Research and Training Center on Rehabilitation and Mental Illness, Chicago, IL. Forschungsdesigns & Versuchspläne (Christiane Fiege) 36