Methodenlehre. Vorlesung 4. Prof. Dr. Björn Rasch, Cognitive Biopsychology and Methods University of Fribourg

Transkript

1 Methodenlehre Vorlesung 4 Prof. Dr., Cognitive Biopsychology and Methods University of Fribourg 1

2 Methodenlehre II Woche Datum Thema 1 FQ Einführung, Verteilung der Termine Psychologie als Wissenschaft Hypothesen und Variablen Operationalisieren und Messen Objektivität, Reliabilität, Validität Das Experiment I Das Experiment II Störvariablen und ihre Kontrolle Forschungsethik Durchführung und Berichten eines Experiments Stichprobe und Population Statistische Bedeutsamkeit (Signifikanz) Inhaltliche Bedeutsamkeit Teststärke und Stichprobenumfangsplanung Wiederholung und Fragen 2

3 Beispielaufgabe Geschlechtereffekte bei Mathematik-Ängstlichkeit? Text / Einleitung lesen Was ist die theoretisch-inhaltliche Hypothese? Wie ist sie inhaltlich begründet? Deduktives oder induktives Vorgehen? Wie wird sie operationalisiert? Was ist die empirisch-inhaltliche Hypthese? Erfüllen die verwendeten Messinstrumte die Gütekriterien? Objektivität, Reliabilität, Validität? Vollständiger Text /08/27/ full.pdf+html 3

4 Operationalisierung Definition Abstrakte Konstrukte werden der Beobachtung / Erfassung zugänglich gemacht Empirische Prüfung erfordert Operationalisierung Es gibt häufig mehrere Möglichkeiten der Operationalisierung Beispiel: Hypothese: Zusammenhang Intelligenz Ängstlichkeit Operationalisierung: Intelligenz: Intelligenztest Raven Matrices Test Hamburg Wechsler Intelligenz Test für Erwachsene (WIE, früher HAWIE) Ängstlichkeit Fragebögen und / oder physiologische Masse (Hautleitfähigkeit, fmri) 4

5 Operationalisierung Theoretisch-inhaltliche Hypothesen Hypothese mit abstrakten theoretischen Konstrukten / Variablen Bsp.: Zusammenhang zwischen Intelligenz und Ängstlichkeit Empirisch-inhaltliche Hypothese Hypothese mit beobachtbaren / messbaren Variablen Erstellung durch Operationalisierung Bsp. 1: Der IQ Wert im WIE korreliert positiv mit dem Score des Fragebogens STAI-trait Bsp. 2: Personen mit hohem Schulabschluss haben eine höhere Hautleitfähigkeit bei der Betrachtung angstauslösender Bilder Statistische Hypothese Hypothese mit statistischen Kenwerten r(wie, STAI-trait) > 0 5

6 Operationalisierung Das Intelligenzkonzept nach D. Wechsler Intelligenz ist die zusammengesetzte oder globale Fähigkeit des Individuums, zweckvoll zu handeln, vernünftig zu denken und sich mit seiner Umgebung wirkungsvoll auseinander zu setzen Die Bewertung der Intelligenz, folgt durch die Messung der Fähigkeiten Aber: Intelligenz, ist nicht die Summe dieser Fähigkeiten Bsp: Zweifaktorentheorie nach Spearman: Allgemeine Intelligenz (g-faktor) Weitere, spezifische Intelligenzfaktoren 6

7 Operationalisierung Hamburg-Wechsler Intelligenztest (WIE) 7

8 Operationalisierung Raven s Progressive Matrices Test Messung der Fähigkeit, klar und strukturiert zu denken und komplexen Sachverhalten und Dingen Sinn zu verleihen Deduktive Fähigkeiten 8

9 Operationalisierung Ängstlichkeit Fragebogen bd931882a98711d4af890000e87f89ec/hb.htm webcatalog.htm Physiologische Masse Hautleitfähigkeit Amygdala Aktivierungn Tye et al., 2011 Nature 9

10 Validität Validität Die Validität eines Tests gibt an, wie gut der Test in der Lage ist, genau das zu messen, was er zu messen vorgibt. Gültigkeit eines Messinstruments Das Messinstrument misst, was es messen soll Die Operationalisierung erfasst, was sie erfassen soll Bsp.: Intelligenz Intelligenztest Hauptarten der Validität Aussagen über die Qualität von Messinstrumenten Aufbauend auf der klassischen Testtheorie Inhaltsvalidität Kriteriumsvalidität Konstruktvalidität 10

11 Validität Inhaltsvalidität Face Validity, Augenscheinvalidität, logische Validität Inhalt der Testitems erfassen den Inhalt des zu messenden Konstrukts Z.B. Erfassung der Grundrechenarten sollte auch Multiplikationsaufgaben enthalten Inhaltsvalidität nicht numerisch bestimmbar Beruht allein auf subjektiven Einschätzungen von Experten Kriteriumsvalidität Messung eines theoretischen Konstrukts hängt mit einem beobachtbaren Merkmal (Kriterium) zusammen Zusammenhang zwischen Messergebnissen und empirischem Kriterium Angabe als Korrelation Übereinstimmungsvalidität: Bsp.: Test trennt zwischen Gesunden und Patienten Technik der bekannten Gruppen Prognostische Validität: Bsp.: Testergebnis zur Berufseignung sagt messbaren Berufserfolg vorher Problem: In einigen Fällen keine adäquates Aussenkriterium bekannt 11

12 Validität Konstruktvalidität Messinstrument umfasst das theoretische Konstrukt vollständig, präzise und nachvollziehbar Konvergenzvalidität Messdaten, die dasselbe Konstrukt abbilden, korrelieren hoch miteinander Diskriminanzvalidität Messdaten, die verschiedene Konstrukte abbilden, korrelieren nicht miteinander Quantifizierung der Validität Meist als Korrelationskoeffizient angegeben (0 1) Ausnahme: Inhaltsvalidität Mittlere Validität: , hohe Validität: über

13 Reliabilität Reliabilität 13 Gibt den Grad der Messgenauigkeit (Präzision) eines Messinstruments an Zuverlässigkeit eines Tests Reliable Messinstrument liefert stabile / reproduzierbare Daten Perfekte Reliabilität Test in der Lage, den wahren Wert ohne Messfehler zu messen Kommt in der Praxis nicht vor Immer Störeinflüsse vorhanden z.b. situative Störungen, Müdigkeit der Probanden, Missverständnisse, Raten etc. Quantifizierung der Reliabilität Basierend auf der klassischen Testtheorie Ein vollständig reliabler Test sollte nach wiederholter Anwendung bei derselben Person denselben Wert ergeben Bedingung: Wert muss stabil / unverändert sein Z.B. zeitstabile Persönlichkeitseigenschaften Angabe der Reliabilität meist zwischen 0 (keine Rel.) und 1 (perfekte Rel.) Messinstrument sollte mindestens eine Reliabilität von > 0.8 haben

14 Reliabilität Methoden der Reliabilitätsbestimmung Paralleltest-Reliabilität Ein vergleichbarer Test / Paralleltest liefert vergleichbare Daten Korrelation zwischen Test 1 und 2, geeignet auch für nicht zeitstabile Merkmale (z.b. Stimmung) Retest-Reliabilität Eine Wiederholung des Tests liefert vergleichbare Daten Korrelation zwischen Messung 1 und 2 Testhalbierungsreliabilität (Split-Half-Reliabilität) Testhälften ergeben denselben Testwert (Problem: Abhängig von Art der Halbierung) Korrelation zischen Hälfte 1 und 2 Interne Konsistenz (Erweiterung der Testhalbierungsreliabilität) Wie gut stimmen die einzelnen Items eines Tests überein? Cronbachs Alpha (α): Homogenität eines Messinstruments, sollte bei jedem Test gegeben sein Interrater-Reliabilität Übereinstimmung zwischen mehreren Beobachtern / Ratern Korrelation zwischen Rater 1 und 2 14

15 Reliabilität Retest Reliabilität Wiederholungsmessungen ergeben meist nicht den exakt gleichen Wert Gründe Probanden befinden sich in verschiedenen körperlichen / mentalen Zuständen Motivation, Müdigkeit, Aufmerksamkeit etc. Messinstrument kann verschiedene Daten liefern Messfehler, z.b. beim Ablesen einer Stoppuhr Auswertung Kann Fehler beinhalten Stabilität der gemessenen Variable State vs. Trait Variablen Vorteile der Mehrmalmessung / Mittelwertsbildung 15

16 Objektivität Objektivität Unabhängigkeit eines Sachverhaltes vom Beobachter Durchführungsobjektivität Die Durchführung eines Tests ist standardisiert Unabhängig vom Versuchsleiter und den räumlichen Bedingungen Auswertungsobjektivität Die Auswertung des Tests ist unabhängig von der auswertenden Person Unterschiedliche Auswerter kommen zu dem gleichen Ergebnis Interpretationsobjektivität Es existieren klare Regeln zur Interpretation der Messwerte Schlussfolgerungen sind definiert 16

17 Gütekriterien von Messinstrumenten Objektivität Die Datenerfassung / Auswertung / Interpretation ist unabhängig vom Versuchsleiter Reliabilität Das Messinstrument liefert stabile / reproduzierbare Messwerte Validität Das Messinstrument misst das Konstrukt, was es messen soll Gütekriterien bauen aufeinander auf Ohne Objektivität keine Reliabilität Ohne Reliabilität keine Validität Bsp.: Kriteriumsvalidität kann bei einem perfekt reliablen Kriterium nicht höher sein als die Wurzel aus der Reliabilität des Messinstruments. 17

18 Take-Home Messages Wissenschaftliche Hypothesen Präzise, widerlegbare, operationalisierbare und begründbare Vermutungen Erfordert wissenschaftliche Prüfung durch Empirie Variablen sind Merkmale mit zwei oder mehr Ausprägungen Quantitative vs. qualitative Variablen, UV vs. AV Abstrakte/ nicht-bobachtbare vs. konkrete/ beobachtbare Variablen Operationalisierung wandelt theoretisch-inhaltliche Hypothesen in empirisch-inhaltliche H. um Valide Operationalisierung wichtig Häufig verschiedene Arten der Operationalisierung möglich Messinstrumente müssen Gütekriterien erfüllen Objektivität, Reliabilität, Validität 18

19 Vielen Dank für Ihre Aufmerksamkeit 19