Methodenlehre. Vorlesung 13. Prof. Dr. Björn Rasch, Cognitive Biopsychology and Methods University of Fribourg

Transkript

1 Methodenlehre Vorlesung 13 Prof. Dr., Cognitive Biopsychology and Methods University of Fribourg 1

2 Methodenlehre I Woche Datum Thema 1 FQ Einführung, Verteilung der Termine Psychologie als Wissenschaft Hypothesen und Variablen Operationalisieren und Messen Objektivität, Reliabilität, Validität Das Experiment Störvariablen und ihre Kontrolle Forschungsethik Durchführung und Berichten eines Experiments Stichprobe und Population Statistische Bedeutsamkeit (Signifikanz) Inhaltliche Bedeutsamkeit Teststärke und Stichprobenumfangsplanung 13 Wiederholung und Fragen 2

3 Take-Home Messages Psychologie ist eine empirische Wissenschaft Theorie vs. Empirie Methode der Induktion und Deduktion Die vier Basisziele der wissenschaftlichen Psychologie sind Beschreiben, Erklären, Vorhersagen und Verändern Quantitative Methoden dienen der objektive Datenerhebung zur Testung von Theorien und Hypothesen Meist auf Gruppenebene in kontrollierten Umgebungen Qualitative Methoden versuchen den einzelnen Menschen umfassend zu erfassen Subjektiv, meist in natürlicher Umgebung 3

4 Wissenschaftliches Vorgehen 4

5 Quantitative vs. qualitative Methoden Qualitative Forschung Forschungsaspekt Quantitative Forschung Ideen / Zusammenhänge entdecken, verallgemeinern Allgemeines Ziel Hypothese / Forschungsfragen testen Beobachten und Interpretieren Methode Messen und Testen Unstrukturiert / frei Form der Datengewinnung Strukturiert / standardisiert Forschung ist involviert, Ergebnisse sind subjektiv Kleine Stichproben, häufig in natürlicher Umgebung Situation des Forschers Stichproben Forchung als unabhängige Beobachtung, Ergebnisse sind objektiv Grosse Stichproben, Kontrollierte Umgebung, Ergebnisse verallgemeinerbar 5

6 Forschungsmethoden Aus Hussy et al., 2013, Forschungsmethoden, S. 27 6

7 Mögliche Prüfungsfragen Welche Aussagen treffen zu? Induktion ist die Ableitung einer Hypothese aus einer Theorie. Deduktion leitet aus einem empirischen Befund einen allgemeinen Zusammenhang ab. Deduktion beschreibt die Ableitung einer empirisch-testbaren Hypothese aus einer allgemeinen Theorie. Daten werden auf der allgemeinen Ebene gewonnen, um besser generalisieren zu können. Welche Aussagen beschreiben das Vorgehen in den quantitativen Methoden? Das Ziel einer Untersuchung ist es Hypothesen zu testen. Die Ergebnisse werden interpretiert und sind subjektiv. Der Forscher ist ein nicht-unabhängiger Beobachter der Untersuchung. Es sollen neue Ideen und Zusammenhänge entdeckt werden. 7

8 Take-Home Messages Psychologie ist eine empirische Wissenschaft Die vier Basisziele der wissenschaftlichen Psychologie sind Beschreiben, Erklären, Vorhersagen und Verändern Quantitative vs. qualitative Methoden Quantitativ: Empirische Überprüfung von Hypothesen Qualitativ: Erfassung des einzelnen Menschen in seiner natürlichen Umgebung Wissenschaftliche Hypothesen Präzise, widerlegbare, operationalisierbare und begründbare Vermutungen Erfordert wissenschaftliche Prüfung durch Empirie Universelle Hypothesen können nur falsifiziert werden Quasiuniverselle Hypothesen in der psychologischen Forschung Wahrscheinlichkeitsaussagen, Annahme / Ablehnung möglich Variablen sind Merkmale mit zwei oder mehr Ausprägungen Quantitative vs. qualitative Variablen, UV vs. AV 8

9 Take-Home Messages Wissenschaftliche Hypothesen Präzise, widerlegbare, operationalisierbare und begründbare Vermutungen Erfordert wissenschaftliche Prüfung durch Empirie Variablen sind Merkmale mit zwei oder mehr Ausprägungen Quantitative vs. qualitative Variablen, UV vs. AV Abstrakte/ nicht-bobachtbare vs. konkrete/ beobachtbare Variablen Operationalisierung wandelt theoretisch-inhaltliche Hypothesen in empirisch-inhaltliche H. um Valide Operationalisierung wichtig Häufig verschiedene Arten der Operationalisierung möglich Messinstrumente müssen Gütekriterien erfüllen Objektivität, Reliabilität, Validität 9

10 Variablen Menschen unterscheiden sich Vor allem in Bezug auf Erleben, Verhalten, Handeln Psychologischer Untersuchungsgegenstand Merkmale variieren Merkmale haben eine Variabilität Merkmale haben eine Varianz Definition Variable Variablen sind Merkmale, die in verschiedenen Ausprägungen vorkommen Jede Variable hat mindestens zwei oder mehrere Ausprägungen Definition Konstante Konstante sind Merkmale mit nur einer Ausprägung Kommen in der Psychologie sehr selten vor 10

11 Häufigkeitsverteilung (Histogramm) Variable: Schlafdauer Variable: Lernleistung Variable: Schlafdauer in Minuten 11 Variable: Anzahl erinnerte Bilder

12 Arten von Variablen Experiment Unabhängige Variable (UV) Wird experimentell manipuliert Abhängige Variable (AV) Wird gemessen Bsp.: Lärm (Laut vs. Leise) und Lernleistung Vorhersage Prädiktor Was sagt vorher? Kriterium Was wird vorher gesagt? Bsp.: Schlafdauer und Lernleistung 12

13 Arten von Variablen Quantitative Variablen Merkmalsausprägung ist messbar auf einer Skala Z.B. Anzahl erinnerter Bilder, Schlafdauer, Intelligenz etc. Qualitative Variablen Merkmalsausprägung unterscheidet sich in ihrer Qualität Bsp.: Augenfarbe, Geschlecht 13

14 Arten von Variablen Beobachtbare (konkrete) Variablen Konkret messbar (Bsp. Anzahl erinnerter Bilder, Reaktionszeit etc.) Nicht-beobachtbare (abstrakte)variablen Theoretische Konstrukte Latente Variablen Nicht direkt beobachtbar / messbar Bsp.: Intelligenz, Gedächtnisleistung Operationalisierung notwendig 14

15 Gütekriterien von Messinstrumenten Objektivität Die Datenerfassung / Auswertung / Interpretation ist unabhängig vom Versuchsleiter Reliabilität Das Messinstrument liefert stabile / reproduzierbare Messwerte Validität Das Messinstrument misst das Konstrukt, was es messen soll Gütekriterien bauen aufeinander auf Ohne Objektivität keine Reliabilität Ohne Reliabilität keine Validität 15

16 Take-Home Messages Variablen sind Merkmale mit zwei oder mehr Ausprägungen Quantitative vs. qualitative Variablen, UV vs. AV, abstrakt vs. beobachtbar Operationalisierung wandelt theoretisch-inhaltliche Hypothesen in empirisch-inhaltliche H. um Messinstrumente müssen Gütekriterien erfüllen Objektivität, Reliabilität, Validität Das Experiment ist eine systematische Beobachtung einer AV bei verschiedenen Ausprägungen einer UV Experimentelle Manipulation der UV, randomisierte Zuweisung der Vps Kontrolle von Störvariablen (hohe interne Validität) Erlaubt Kausalinterpretation Es gibt Varianten des Experiments Feldexperiment, Quasiexperiment, Feldstudie, Ex-post-facto Studie, Pilotstudie Versuchspläne: schematische Darstellung der Faktoren und Faktorstufen 16

17 Varianten des Experiments 17

18 Versuchsplan Zweifaktorieller Versuchsplan (konkret) Faktor A: Pausen (15 min vs. keine) Faktor B: Tageszeit (vormittags vs. nachmittags) 18

19 Interaktion Mögliche Prüfungsfrage: Welche Effekte liegen vor? 19 Haupteffekt des Faktors A Haupteffekt des Faktors B Interaktion Keiner der obengenannten Optionen

20 Gesamtvarianz Zerlegung der Gesamtvarianz in einem Experiment Mögliche Prüfungsfrage: Beschriftung in Grafik eintragen 20

21 Take-Home Messages Das Experiment ist eine systematische Beobachtung einer AV bei verschiedenen Ausprägungen einer UV Experimentelle Manipulation der UV, randomisierte Zuweisung der Vps Kontrolle von Störvariablen (hohe interne Validität) Erlaubt Kausalinterpretation Varianten des Experiments Feldexperiment, Quasiexperiment, Feldstudie, Ex-post-facto Studie, Pilotstudie Versuchspläne / experimentelles Design schematische Darstellung der Faktoren und Faktorstufen Haupteffekt, einfacher Haupteffekt, Interaktion Testtärke Die Wahrscheinlichkeit einen Effekt zu finden, falls er wirklich existiert Konstruktion eines Experiments (Max-Kon-Min Prinzip) 21 Maximierung der Effektvarianz, Kontrolle von Störvariablen, Minimierung der Fehlervarianz

22 Take-Home Messages Konfundierung Systematische Variation einer Einflussgrösse (Fehlervariable) auf die AV mit den Stufen der UV Bei Konfundierung keine eindeutige Kausalinterpretation mehr möglich Klassifikation von Störvariablen Situationsmerkmale, Personenmerkmale, Versuchsleitermerkmale Methoden der Kontrolle von Störvariablen Konstanthaltung; Elimination; Systematische Variation; Zufällige Variation; Randomisierung; Parallelisieren; Blindversuche Sequenzeffekte bei Messwiederholung Positionseffekte, Übertragungseffekte, zwischenzeitliches Geschehen Kontrolle durch vollständiges inter-individuelles Ausbalancieren Stärken und Schwächen des Experiments Hohe Kontrolle; erlaubt Kausalinterpretation Eingeschränkte externe Validität; hoher Aufwand / Kosten 22

23 Take Home Messages Sequenzeffekte bei Messwiederholung Positionseffekte, Übertragungseffekte, zwischenzeitliches Geschehen Kontrolle durch vollständiges inter-individuelles Ausbalancieren Forschungsethik Alle psychologischen Experimente werden nach ethischen Prinzipien durchgeführt. Ethische Prinzipien Psychische / physische Integrität der Versuchsteilnehmer Transparenz der Untersuchung / Vermeidung von Täuschung Freiwilligkeit der Teilnahme / Möglichkeit des Abbruchs Vertraulichkeit der Ergebnisse Aufklärung der Teilnehmer nach Abschluss Vollständige Probandeninformation und Einverständniserklärung Ethikkomission prüft die Einhaltung der ethischen Prinzipien 23 Antrag vor Durchführung der Untersuchung einreichen

24 Take Home Messages Ethikkomission prüft die Einhaltung der ethischen Prinzipien Antrag vor Durchführung der Untersuchung einreichen Wenn ethische Prinzipien verletzt sind Experimentelle Paradigmen können insgesamt geprüft werden Verpflichtung der Einhaltung der ethischen / wissenschaftlichen Prinzipien Gilt für PsychologInnen und Studierende der Psychologie Ethische Richtlinien der Schweizer Gesellschaft für Psychologie Durchführung einer Untersuchung Wahl einer Forschungsfragestellung Theoretische Einbettung und Ableitung von Hypothesen Operationalisierung und Untersuchungsplanung (Exposé) Durchführung der Untersuchung und Datenerhebung Datenaufbereitung und Datenanalyse Interpretation und Diskussion Publikation und / oder Präsentation Richtlinien beachten (z.b. Literaturverzeichnis nach APA) 24

25 Take Home Messages Population Annahme: Merkmale sind in der Population normalverteilt Kombination mehrerer Zufallsfaktoren Populationsmittelwert μund Populationsstreuung σ Stichprobe Problem: Erhebung der gesamten Population meist nicht möglich Ziehen einer Stichproben mit einer bestimmten Grösse N aus der Population Schätzung des Populationsmittelwerts durch den Stichprobenmittelwert: Genauigkeit der Schätzung abhängig von Stichprobengrösse N und Populationsstreuuung σ Standardfehlers des Mittelwerts Standard error of the mean (SEM oder s.e.m) Je kleiner der SEM, des genauer schätzt der Stichprobenmittelwert den Populationsmittelwert Daumenregel: Innerhalb von ± 2 SEM um einen Stichprobenmittelwert liegen mehr als 95% aller möglichen (wahren) Populationsmittelwerte Daumenregel: Überschneiden sich die SEMs zweier Mittelwerte zweier Gruppen, dann ist der Gruppenunterschied wahrscheinlich nicht statistisch bedeutsam (nicht signifikant) 25

26 Mittelwert und Streuung Normalverteilung Innerhalb ± 1 Streuung um den Mittelwert befinden sich ca. 68% aller Werte der Verteilung Innerhalb ± 2 Streuung um den Mittelwert befinden sich ca. 95% aller Werte der Verteilung 26

27 Balkengraphen Mögliche Prüfungsfrage: Welche Gruppenmittelwerte unterscheiden sich signifikant? 27

28 Take Home Messages Forschungsfrage Gibt es einen Unterschied zwischen zwei Bedingungen / Gruppen? Oder ist der beobachtete Unterschied zufällig? Annahme der Nullhypothese Die Populationsmittelwerte der zwei Bedingungen unterscheiden sich nicht Die Differenz der Populationsmittelwerte ist Null Die Differenzen der beobachteten Stichprobenmittelwerte verteilen sich um Null. Zufällige Variation auf Grund der begrenzten Stichprobengrösse Je grösser die Stichproben, desto kleiner die Variation um Null Definiert durch den Standardfehler der Mittelwertsdifferenz Statistische Signifikanz 28 Wie wahrscheinlich ist eine beobachtete (empirische) Mittelwertsdifferenz unter der Annahme der Nullhypothese? Entscheidungsregel: Ist diese Wahrscheinlichkeit kleiner als die (vordefinierte) Signifikanzschwelle, dann lehnen wir die Nullhypothese ab. Signifikanzschwelle ist (meist) P < 0.05 (5% Fehlerwahrscheinlichkeit)

29 Take Home Messages Statistische Signifikanz Wie wahrscheinlich ist eine beobachtete (empirische) Mittelwertsdifferenz unter der Annahme der Nullhypothese? Entscheidungsregel: Ist diese Wahrscheinlichkeit kleiner als die (vordefinierte) Signifikanzschwelle, dann lehnen wir die Nullhypothese ab. Signifikanzschwelle ist (meist) P < 0.05 (5% Fehlerwahrscheinlichkeit) Statistische Signifikanz ist abhängig von der Stichprobengrösse Je grösser die Stichprobe, desto eher wird ein Ergebnis signifikant Effektstärke 29 Jeder noch so kleine Unterscheid kann signifikant gemacht werden Angabe der Grösse des Effekts unabhängig von der Stichprobengrösse Distanzmass d, Mass für die Varianzaufklärung η2 Bei signifikantem Ergebnis Effektstärke mit angeben Erlaubt den Vergleich von Ergebnissen mit unterschiedlichen Stichprobengrössen Erlaubt eine Abschätzung der inhaltlichen Bedeutsamkeit des Ergebnisses Z.B. anhand der Konventionen von Cohen (1988)

30 Take-Home Messages Entscheidungsregel Ist die Wahrscheinlichkeit eines empirischen Ergebnisses kleiner als das Signifikanzniveau α, dann lehne ich die H0 ab Teststärke Fehler 1. Art (α-fehler): Ablehnung der H0, obwohl H0 gilt (false positive) Fehler 2. Art (β-fehler): Ablehnung der H1, obwohl H1 gilt (false negative) Wahrscheinlichkeit, dass ein bestimmter Effekt gefunden (signifikant) wird, falls er wirklich existiert (Teststärke = 1-β) Teststärke abhängig von Grösse des Effekts, Stichprobengrösse und Signifikanzniveaus α Teststärke für inhaltlich relevanten Effekt sollte mindestens 80% (besser 90%) betragen A priori Teststärkenbestimmung Festlegung inhaltlich relevanter Effekt, gewünschte Teststärke und Signifikanzniveaus α Berechnung des optimalen Stichprobenumfangs (Stichprobenumfangsplanung) Ergebnisse eindeutig interpretierbar A posteriori Teststärkenbestimmung Bei Studien ohne Stichprobenumfangsplanung notwendig, wenn das Ergebnis nicht signifikant wurde Ablehnung der H1 nur bei ausreichender Teststärke möglich. 30

31 Statistische Signifikanz und Teststärke Statistische Signifikanz Wahrscheinlichkeit eines empirischen Ergebnisses unter der Annahme der Nullhypothese (H 0 ) Teststärke Wahrscheinlichkeit für ein signifikantes Ergebnis unter der Annahme einer (spezifischen) Alternativhypothese (H 1 ) Teststärke 31 Signifikanz

32 Frohe Weihnachten 32