Wie schreibe ich ein wissenschaftliches Experiment?

Transkript

1 Methodenlehre Vorlesung 5 Prof. Dr., Cognitive Biopsychology and Methods University of Fribourg 1

2 Methodenlehre II Woche Datum Thema 1 FQ Einführung, Verteilung der Termine Psychologie als Wissenschaft Hypothesen und Variablen Operationalisieren und Messen Objektivität, Reliabilität, Validität Das Experiment I Das Experiment II Störvariablen und ihre Kontrolle Forschungsethik Durchführung und Berichten eines Experiments Stichprobe und Population Statistische Bedeutsamkeit (Signifikanz) Inhaltliche Bedeutsamkeit Teststärke und Stichprobenumfangsplanung Wiederholung und Fragen 2

3 Aufgabe Geschlechtereffekte bei Mathematik-Ängstlichkeit? Text / Einleitung lesen Was ist die theoretisch-inhaltliche Hypothese? Wie ist sie inhaltlich begründet? Deduktives oder induktives Vorgehen? Wie wird sie operationalisiert? Was ist die empirisch-inhaltliche Hypothese? Erfüllen die verwendeten Messinstrumente die Gütekriterien? Objektivität, Reliabilität, Validität? Vollständiger Text /08/27/ full.pdf+html 3

4 Lösung induktiv / deduktiv 4

5 Lösung Hypothesen 5

6 Lösung Operationalisierung 6

7 Lösung Gütekriterien 7

8 Beispielaufgabe 8

9 Reliabilität Reliabilität 9 Gibt den Grad der Messgenauigkeit (Präzision) eines Messinstruments an Zuverlässigkeit eines Tests Reliable Messinstrument liefert stabile / reproduzierbare Daten Perfekte Reliabilität Test in der Lage, den wahren Wert ohne Messfehler zu messen Kommt in der Praxis nicht vor Immer Störeinflüsse vorhanden z.b. situative Störungen, Müdigkeit der Probanden, Missverständnisse, Raten etc. Quantifizierung der Reliabilität Basierend auf der klassischen Testtheorie Ein vollständig reliabler Test sollte nach wiederholter Anwendung bei derselben Person denselben Wert ergeben Bedingung: Wert muss stabil / unverändert sein Z.B. zeitstabile Persönlichkeitseigenschaften Angabe der Reliabilität meist zwischen 0 (keine Rel.) und 1 (perfekte Rel.) Messinstrument sollte mindestens eine Reliabilität von > 0.8 haben

10 Reliabilität Methoden der Reliabilitätsbestimmung Paralleltest-Reliabilität Ein vergleichbarer Test / Paralleltest liefert vergleichbare Daten Korrelation zwischen Test 1 und 2, geeignet auch für nicht zeitstabile Merkmale (z.b. Stimmung) Retest-Reliabilität Eine Wiederholung des Tests liefert vergleichbare Daten Korrelation zwischen Messung 1 und 2 Testhalbierungsreliabilität (Split-Half-Reliabilität) Testhälften ergeben denselben Testwert (Problem: Abhängig von Art der Halbierung) Korrelation zischen Hälfte 1 und 2 Interne Konsistenz (Erweiterung der Testhalbierungsreliabilität) Wie gut stimmen die einzelnen Items eines Tests überein? Cronbachs Alpha (α): Homogenität eines Messinstruments, sollte bei jedem Test gegeben sein Interrater-Reliabilität Übereinstimmung zwischen mehreren Beobachtern / Ratern Korrelation zwischen Rater 1 und 2 10

11 Reliabilität Retest Reliabilität Wiederholungsmessungen ergeben meist nicht den exakt gleichen Wert Gründe Probanden befinden sich in verschiedenen körperlichen / mentalen Zuständen Motivation, Müdigkeit, Aufmerksamkeit etc. Messinstrument kann verschiedene Daten liefern Messfehler, z.b. beim Ablesen einer Stoppuhr Auswertung Kann Fehler beinhalten Stabilität der gemessenen Variable State vs. Trait Variablen Vorteile der Mehrmalmessung / Mittelwertsbildung 11

12 Objektivität Objektivität Unabhängigkeit eines Sachverhaltes vom Beobachter Durchführungsobjektivität Die Durchführung eines Tests ist standardisiert Unabhängig vom Versuchsleiter und den räumlichen Bedingungen Auswertungsobjektivität Die Auswertung des Tests ist unabhängig von der auswertenden Person Unterschiedliche Auswerter kommen zu dem gleichen Ergebnis Interpretationsobjektivität Es existieren klare Regeln zur Interpretation der Messwerte Schlussfolgerungen sind definiert 12

13 Gütekriterien von Messinstrumenten Objektivität Die Datenerfassung / Auswertung / Interpretation ist unabhängig vom Versuchsleiter Reliabilität Das Messinstrument liefert stabile / reproduzierbare Messwerte Validität Das Messinstrument misst das Konstrukt, was es messen soll Gütekriterien bauen aufeinander auf Ohne Objektivität keine Reliabilität Ohne Reliabilität keine Validität Bsp.: Kriteriumsvalidität kann bei einem perfekt reliablen Kriterium nicht höher sein als die Wurzel aus der Reliabilität des Messinstruments. 13

14 Take-Home Messages Wissenschaftliche Hypothesen Präzise, widerlegbare, operationalisierbare und begründbare Vermutungen Erfordert wissenschaftliche Prüfung durch Empirie Variablen sind Merkmale mit zwei oder mehr Ausprägungen Quantitative vs. qualitative Variablen, UV vs. AV Abstrakte/ nicht-bobachtbare vs. konkrete/ beobachtbare Variablen Operationalisierung wandelt theoretisch-inhaltliche Hypothesen in empirisch-inhaltliche H. um Valide Operationalisierung wichtig Häufig verschiedene Arten der Operationalisierung möglich Messinstrumente müssen Gütekriterien erfüllen Objektivität, Reliabilität, Validität 14

15 Das Experiment 15

16 Experiment Definition Systematische Beobachtung einer abhängigen Variable bei verschiedenen Bedingungen einer unabhängigen Variable Zufällige Zuordnung von Probanden zu den experimentellen Bedingungen Das Experiment erlaubt kausale Interpretationen!! Veränderung der UV bewirkt Veränderung der AV Beispiel: Hypothese: Pausen fördern das Problemlösen UV: Pausen AV: Problemlösen Operationalisierung 15 min Pause vs. ohne Pausen Problemlösen in einer mathematischen Aufgabe 16

17 Experimentelle Variablen Unabhängige Variable Wird systematisch variiert / manipuliert experimentelle Manipulation Abhängige Variable (AV) Wird gemessen / analysiert Enthält Wirkung der UV Fehlervariablen Konfundierende Fehlervariablen: Störvariablen Stören die Interpretation des Experiments Nicht-konfundierende Fehlervariablen: Rauschvariablen Z.B. individuelle Unterschiede zwischen Versuchspersonen Kontrollvariablen Systematische Variation von potentiellen Fehlervariablen 17

18 Varianten des Experiments (Labor-)experiment Systematische Variation einer oder mehrerer UVs Kontrolle von Störvariablen Randomisierte Zuteilung der Vps zu den experimentellen Bedingungen Ziel: Optimale Kausalinterpretation zwischen UV und AV Intern valide Hypothesenprüfung Feldexperiment Systematische Variation einer oder mehrerer UVs Durchführung in natürlicher Umgebung ( im Feld ) Nur geringe Kontrolle von Störvariablen möglich Randomisierte Zuteilung von Vps zu den exp. Bedingungen Ziel: Optimale Übertragbarkeit der Ergebnisse Extern valide Hypothesenprüfung 18

19 Varianten des Experiments Quasiexperiment Systematische Variation einer oder mehrerer UVs Kontrolle von Störvariablen Keine randomisierte Zuteilung der Vps. zu den exp. Bedingungen Beispiele UV ist eine organismische Variable Geschlecht, genetischer Unterschied, etc. Randomisierte Zuordnung nicht möglich Nachteil Mitarbeiter verschiedener Betriebsfilialen, Schüler verschiedener Schulklassen Keine uneingeschränkte Kausalinterpretation möglich Feldstudie Gruppen können sich auch auf Grund anderer Merkmale als der UV unterscheiden Geringere interne Validität Wie Quasiexperiment, nur in natürlicher Umgebung ( im Feld ) 19

20 Varianten des Experiments Ex-post-facto-Studie Nachträgliche Bestimmung von UV und AV Zeitliche Sequenz von UV-AV wird nicht experimentell hergestellt Kausalinterpretation nicht möglich Nur Zusammenhangsinterpretation möglich Bsp.: Bestehenden Datensatz analysieren Im Nachhinein zwischen Rauchern / Nichtrauchern unterscheiden (UV) AV: Häufigkeit von Lungenkrebs Vorexperimentelle Anordnung Pilotstudie ohne experimentelle Manipulation Erkundungsexperiment / Explorationsexperiment Experiment ohne klare Hypothese Dient der Hypothesengenerierung 20

21 Varianten des Experiments 21

22 Experiment Definition Systematische Beobachtung einer abhängigen Variable bei verschiedenen Bedingungen einer unabhängigen Variable Zufällige Zuordnung von Probanden zu den experimentellen Bedingungen Das Experiment erlaubt kausale Interpretationen!! Veränderung der UV bewirkt Veränderung der AV 22

23 Versuchsplan Versuchsplan (anlage) Schema zur Anordnung von unabhängigen Variablen (Faktoren) und ihren Ausprägungen (Stufen) Auch experimentelles Design genannt Begriffe Faktoren haben Stufen Faktor Pausenlänge mit zwei Stufen (15 Minuten vs. ohne Pausen) Alternative: Faktor Pausenlänge mit vier Stufen (keine, 5, 10, 15 Minuten) Einfaktorieller Versuchsplan Im Experiment wird nur eine UV / ein Faktor untersucht Mehrfaktorieller Versuchsplan Im Experiment wird ein UV und ein / mehrere Kontrollvariablen untersucht Im Experiment werden mehrere UVs untersucht Kombination von Stufen verschiedener Faktoren ( Zelle ) 23

24 Versuchsplan Einfaktorieller Versuchsplan (allgemein) Versuchsplananlage 24

25 Versuchsplan Versuchsplan (konkret) Schema zur Anordnung von Faktoren und ihren Stufen + Realisierung der angelegten Zellen Angabe der Anzahl an Versuchspersonen / Beobachtungen pro Zelle Interindividuelle / Intraindividuelle Variation Randomisierte / nicht-randomisierte Zuordnung 25

26 Versuchsplan Einfaktorieller Versuchsplan (konkret) Angabe der realisierten Stufen des Faktors Angaben der Vp-Anzahl pro Zelle 26

27 Versuchsplan Einfaktorieller Versuchsplan mit Mittelwerten der Stufen 27

28 Versuchsplan Zweifaktorieller Versuchsplan (allgemein) Versuchsplananlage 28

29 Versuchsplan Haupteffekt (HE) Vergleich der Mittelwerte der Stufen eines Faktors Ein Haupteffekt liegt vor, wenn sich die Mittelwerte unterscheiden Signifikanz (Bedeutsamkeit) muss statistisch überprüft werden Zufällige vs. überzufällige Variation der Mittelwerte Unabhängig von anderen Faktoren im Versuchsplan Einfache Haupteffekte (EHE) Vergleich der Mittelwerte eines Faktors innerhalb einer Stufe eines anderen Faktors Interaktion / Wechselwirkung (WW) Erfasst die kombinierte Wirkung der untersuchten Faktoren auf die AV Umfasst alle einfachen Haupteffekte 29

30 Versuchsplan Zweifaktorieller Versuchsplan (konkret) Faktor A: Pausen (15 min vs. keine) Faktor B: Tageszeit (vormittags vs. nachmittags) 30

31 Interaktion 31

32 Interaktion 32

33 Messwiederholung Eine Person wird in mehreren experimentellen Bedingungen gemessen Eine Person gibt mehrere Datenpunkte ab Die Daten sind voneinander abhängig Messwiederholter Faktor Vorteile: Weniger Versuchspersonen benötigt Personenunterschiede werden kontrolliert Erhöhte Präzision des Experiments Nachteile Sequenzeffekte Kontrolle durch ausbalancieren der Reihenfolge der experimentellen Bedingungen 33

34 Gütekriterien des Experiments Interne Validität Veränderungen in der AV sind ausschliesslich auf die Variation der UV zurückführbar Kontrolle von Störvariablen Externe Validität Ergebnisse der Untersuchung sind übertragbar Populationsvalidität Adäquate Stichprobenauswahl (Repräsentativität) Situationsvalidität Generalisierbarkeit auf andere Situationen Im Laborexperiment stark eingeschränkt, im Feldexperiment besser Variablenvalidität Übertragbarkeit auf andere Formen der Operationalisierung Replikationsstudien können die Generalisierbarkeit verbessern. 34

35 Teststärke Wahrscheinlichkeit einen Effekt zu finden, falls er wirklich existiert Auch Präzision oder statistical power genannt Ziel: Wirkung der experimentellen Variable maximieren Einfluss der Störvariablen minimieren Max-Kon-Min Prinzip Zerlegung der Gesamtvarianz Unterschiede in der AV sind erklärbar durch Systematische Varianz des Effekts (Primärvarianz, Effektvarianz) Wirkung der experimentellen Variablen (der Uvs) Residualvarianz (Sekundärvarianz) Häufig auch Fehlervarianz genannt Wirkungen aller anderen Einflüsse 35

36 Gesamtvarianz Zerlegung der Gesamtvarianz in einem Experiment 36

37 Take-Home Messages Das Experiment ist eine systematische Beobachtung einer AV bei verschiedenen Ausprägungen einer UV Experimentelle Manipulation der UV, randomisierte Zuweisung der Vps Kontrolle von Störvariablen (hohe interne Validität) Erlaubt Kausalinterpretation Varianten des Experiments Feldexperiment, Quasiexperiment, Feldstudie, Ex-post-facto Studie, Pilotstudie Versuchspläne / experimentelles Design schematische Darstellung der Faktoren und Faktorstufen Haupteffekt, einfacher Haupteffekt, Interaktion Testtärke Die Wahrscheinlichkeit einen Effekt zu finden, falls er wirklich existiert Konstruktion eines Experiments (Max-Kon-Min Prinzip) 37 Maximierung der Effektvarianz, Kontrolle von Störvariablen, Minimierung der Fehlervarianz

38 Vielen Dank für Ihre Aufmerksamkeit 38