Methodenlehre. Überblick. Ringvorlesung: Einführung in die Psychologie. Zur Abteilung. Zur Person. Methodenlehre Teilbereiche im B. Sc.

Transkript

1 Überblick Methodenlehre Ringvorlesung: Einführung in die Psychologie Dr. Rainer Leonhart Universität Freiburg, Abteilung Sozialpsychologie und Methodenlehre 1. Zur Person 2. Zur Abteilung 3. Methodenlehre und ihre Teilbereiche im B. Sc. / M. Sc. 4. Relevanz von Methodenkenntnissen 5. Kriterien guter Wissenschaft 6. Kausalität und die Probleme kausaler Aussagen 7. Probleme bei der Darstellung wissenschaftlicher Ergebnisse 8. Zusammenfassung Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 2 Zur Person Dr. Rainer Leonhart Wissenschaftlicher Mitarbeiter in der Abteilung für Sozialpsychologie und Methodenlehre Raum: leonhart@psychologie.uni-freiburg.de Telefon: Fax: Sprechstunde: dienstags Uhr, in der vorlesungsfreien Zeit nach Vereinbarung Zur Abteilung Abteilung für Sozialpsychologie und Methodenlehre Verantwortlich für die Vermittlung der Grundlagen im Bereich Methodik mit den Schwerpunkten Statistik Computergestützte Datenanalyse Versuchsplanung Experimentelle Praktika Testkonstruktion Multivariate Verfahren Mathematische Modellierung Strukturgleichungsmodelle Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 3 Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 4 Methodenlehre - Definition Die Methodenlehre / Methodologie ist die Lehre von den wissenschaftlichen Methoden und dem korrekten wissenschaftlichen Vorgehen. Definiert werden hierbei Kriterien zur Eignung und zu den Voraussetzungen für bestimmte wissenschaftliche Methoden. Dabei soll die Frage nach dem besten methodischen Weg geklärt werden. Die Methodenlehre basiert auf der Wissenschaftstheorie. Diese beschreibt die wissenschaftliche Praxis und versucht den Prozess des Wissensgewinns zu erfassen. Unter Methodologie wird auch eine Sammlung von verschiedenen Methoden verstanden. Methodenlehre Teilbereiche im B. Sc. M1 Ringvorlesung: Einführung in die Psychologie Vorlesung: Wissenschaftstheorie Praktikum Datenerhebung M2 Deskriptive Statistik und Wahrscheinlichkeitstheorie Inferenzstatistik M3 Computergestützte Datenanalyse Versuchsplanung Qualitative Methoden Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 5 Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 6

2 Methodenlehre Teilbereiche im B. Sc. M4 Empirisch-experimentelles Praktikum M5 Grundlagen psychologischer Diagnostik Grundlagen der Testtheorie M6 Diagnostische Verfahren: Leistungs- und Persönlichkeitsmessung Diagnostische Verfahren: Interview und Beobachtung 30 Versuchspersonenstunden Summe: 52 ECTS in Methoden (ohne Praktikum, im Gegensatz zu 48 ECTS in Grundlagen und 40 ECTS in Anwendung) Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 7 Methodenlehre Teilbereiche im M. Sc. Multivariate Verfahren Vertiefung Testkonstruktion Evaluation und Forschungsmethoden Computergestützte Modellierung (z.b. Diffusionsmodell, Strukturgleichungsmodell, hierarchisch lineare Modelle, ) Studienplan des M. Sc. wird noch diskutiert. Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 8 Relevanz von Methodenfächer Jede Wissenschaft bedarf der Mathematik, die Mathematik bedarf keiner. (Jakob Bernoulli) Dieses Zitat kann für die Psychologie umgewandelt werden in: Jeder Teilbereich der Psychologie (Sozialpsychologie, Allgemeine Psychologie, klinische Psychologie etc.) bedarf grundlegender Methodenkenntnisse, die Methodenlehre bedarf keines anderen Teilbereichs. (Leonhart, in press) Relevanz von Methodenfächer Meist erst nach dem Studium klar. Oft werden die Teilbereiche, in denen Methodenkenntnisse benötigt werden, nicht früh genug erkannt. Primär gilt: Der Werkzeugkasten der Methoden wird von allen Psychologen gebraucht. Manche benötigen hierbei nur Hammer und Säge für den Alltag. Andere benötigen Spezialwerkzeug für filigrane Feinarbeiten und spezielle Analysen. Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 9 Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 10 Methodenlehre als Schlüsselkompetenz Grundlagenforschung Angewandte Forschung Jeweils in: Klinischer Psychologie Psychotherapie / therapeutischem Alltag Rehabilitationspsychologie Neuropsychologie / Biologischer Psychologie Persönlichkeitspsychologie / Differentieller Psychologie Sozialpsychologie Arbeits- und Organisationspsychologie Pädagogischer Psychologie Aber auch in der sogenannten Praxis, beispielsweise zur Qualitätssicherung etc. Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 11 Kriterien für gutes wissenschaftliches Arbeiten Wissenschaft will Erkennen und Verstehen, wobei die wissenschaftlichen Methoden je nach Disziplin verschieden sind. Es gilt aber allgemein: Intersubjektivität: Beobachtung sollte unabhängig von Zeit, Ort und Beobachtenden sein. Replikationen: Studien müssen durch andere Wissenschaftler wiederholt werden können. Kritik: Wissenschaftliche Ergebnisse sollten skeptisch und kritisch hinterfragt werden, wobei die zugrundegelegte Theorie auch kritisierbar sein muss (Überprüfbarkeit und Transparenz, sowie Klarheit und logische Konsistenz). Eine Theorie kann nur kritisiert werden, wenn es eine klare Definition und Verwendung von Begriffen gibt. (Leonhart, in press) Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 12

3 Durchführung einer wissenschaftlichen Studie 1. Formulierung und Präzisierung der Untersuchungsfragestellung 2. Aufarbeitung des theoretischen Hintergrunds (z. B. vorliegende Erkenntnisse, frühere Untersuchungen, Recherche des aktuellen Forschungsstands zum Thema) 3. Erhebungs- und Versuchsplanung mit der Planung bzw. Auswahl des Erhebungsinstruments (z. B. welcher Fragebogen verwendet werden soll), des Forschungsdesigns (z. B. ein- oder mehrmalige Messung), der Stichprobenziehung (z. B. zufällige Auswahl oder vollständige Erhebung der Population). 4. Datenerhebung 5. Datenaufbereitung (Dateneingabe in den Computer und Plausibilitätsprüfung) 6. Statistische Auswertung (deskriptive Statistik und Hypothesenprüfung) Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 13 Kausalität und die Probleme kausaler Aussagen Definition: Wenn A, dann folgt B. Wirkung von A wird als Effekt von A bezeichnet Kontrafaktisches Denken (David Hume) Unterschiede zwischen vorhandenem und nicht vorhandenem Treatment bei Probanden Treatment = Untersuchungsbedingung (z.b. Therapiemethode) Was passiert, wenn Versuchspersonen einem Treatment ausgesetzt sind? Was passiert, wenn Versuchspersonen keinem Treatment ausgesetzt sind? Differenz = Effekt der Bedingung Problem: Geht nicht bei derselben Versuchsperson zur selben Zeit Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 14 Kausale Zusammenhänge zwischen Ursache und Wirkung Nach John Stuart Mill sind kausale Zusammenhänge gegeben, wenn 1. eine Ursache einem Effekt vorausgeht, 2. Ursache und Effekt in Beziehung zueinander stehen und 3. es keine alternative Erklärung für den gefunden Effekt gibt. Kausale Zusammenhänge können überprüft werden: 1. durch die Manipulation einer vermuteten Ursache und der anschließenden Beobachtung des Ergebnisses. 2. Variationen der Ursache sollten im Zusammenhang mit Variation des Ergebnisses stehen. 3. alternative Erklärungen für den Effekt müssen plausibel ausgeschlossen werden können. Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 15 Probleme mit Kausalität Probleme bei der Interpretation von Kausalitäten: Vieles ist offensichtlich selbstverständlich : Der Mond macht, dass es dunkel wird. (Georg Leonhart, 2 Jahre und 6 Monate) Beobachtung: Wenn der Mond zu sehen ist, folgt, dass es dunkel ist. Wenn A, dann folgt B. Trotzdem würden wir den Stand der Sonne und die Drehung der Erde als Ursache annehmen. In der Wissenschaft hingegen, wird oft das Offensichtliche als gegeben angenommen, weil es in die jeweilige Theorie passt. Die Validität (= Gültigkeit) einer wissenschaftlichen Behauptung muss immer belegt werden. Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 16 Standardbeispiele für falsche Interpretation Wenn A, dann B. Wenn es viele Weißstörche gibt, dann liegt auch eine hohe Geburtenrate vor. Wenn viele Kirchen in einem Ort vorhanden sind, dann gibt es auch eine hohe Verbrechensrate. Wenn viel Speiseeis konsumiert wird, dann ertrinken viele Personen im Baggersee. Wenn Patienten lange im Krankenhaus sind, dann wird ihre Erkrankung schlimmer. Korrelationen Correlation does not prove causation Korrelationen beweisen nicht kausale Zusammenhänge A B? B A? C A oder B? (C = Confounder-Variable) Reziproke (gegenseitige) Beziehungen sind auch möglich: A B Bsp.: Schulbildung IQ Eventuell sind gefundene Zusammenhänge aber auch nur zufällig entstanden! Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 17 Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 18

4 Probleme bei Kausalitäten anhand eines einfachen Experimentes Fiktives Ergebnis ein Messzeitpunkt Auswirkung von Psychotherapie auf das subjektive Wohlbefinden bei kardiologischen Rehabilitationspatienten Messung nach 3 Wochen Rehabilitation mittels Fragebogen Vergleich der Skalenwerte (Summe aus mehreren Items) Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 19 Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 20 Ergebnisinterpretation Fiktives Ergebnis gewünschter Verlauf Mittelwertdifferenz von 40-20=20 Punkte auf der Skala -> Effekt der Psychotherapie bei 20 Punkten -> Therapie erfolgreich, diese sollte unbedingt beibehalten werden Auswertung über t-test für unabhängige Stichproben Frage: Gibt es alternative Erklärungsansätze? Hat das Treatment einen Effekt oder haben sich die Gruppen schon vor der Treatmentgabe unterschieden? Lösungsansatz: Randomisierung und / oder Prä- Messungen vor dem Treatment durchführen Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 21 Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 22 Gewünschter Verlauf Fiktives Ergebnis möglicher Ausgang Keine Veränderung in der Kontrollgruppe Veränderung in der Experimentalgruppe Veränderung ist mit hoher Wahrscheinlichkeit mit dem Treatment begründbar Im Idealfall experimentelle Untersuchung mit randomisierter (zufälliger) Zuweisung der Patienten auf die beiden Bedingungen Auswertung durch Varianzanalyse mit Messwiederholung Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 23 Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 24

5 Validität der Ergebnisinterpretation Zwei Prä-Messzeitpunkte Keine Veränderung in der Kontrollgruppe Veränderung in der Experimentalgruppe Aber: Unterschiedlicher Ausgangswert in beiden Gruppen Effekt nur bei den besseren Patienten? Effekt eventuell nur aufgrund der Ausgangsdaten? Verbesserung der Studie durch zwei Prä-Messzeitpunkte Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 25 Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 26 Zwei Prä-Messzeitpunkte Effekt des Treatments ist besser nachvollziehbar Trotzdem bleibt die Frage offen, ob das Treatment auch in der Gruppe mit dem geringeren Ausgangswert wirken würde. Positive Veränderungen in Experimental- und Kontrollgruppe Effekt? Experimental- und Kontrollgruppe sollten vor dem Treatment möglichst vergleichbar / ähnlich sein. Damit dies erreicht wird, gibt es eine Reihe von versuchsplanerischen und statistischen Möglichkeiten: Matching (statistische Zwillinge) Stratifizierung (Stichproben mit vergleichbaren Mittelwerten) Statistische Kontrolle über Kovarianzanalysen Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 27 Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 28 Erklärungsansätze Konstante Veränderung in beiden Gruppen Veränderung um +5 in der Kontrollgruppe Somit ist in der Experimentalgruppe eine Veränderung von 15-5=10 als Effekt zu erwarten. Allerdings nur unter der Voraussetzung, dass die Veränderung über die Zeit in Experimental- und Kontrollgruppe gleich ist. Auf jeden Fall notwendig: Zusätzlicher (zweiter) Prä- Messzeitpunkt, da zwei Erklärungsansätze möglich sind (siehe folgende Grafiken). Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 29 Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 30

6 Erklärungsansätze Ventilatorverteilung Auch hier gilt die Rechnung: Da zwischen jeweils zwei Messzeitpunkten eine Veränderung um +5 sowohl in der Kontroll- wie in der Experimentalgruppe vorliegt gilt. Somit ist in der Experimentalgruppe eine Veränderung von 15-5=10 als Effekt zu erwarten Allerdings nur unter der Voraussetzung, dass die Veränderung über die Zeit in Experimental- und Kontrollgruppe gleich ist. Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 31 Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 32 Problem Es liegen zwei Gruppen mit unterschiedlichen Wachstumskurven vor. Da in der Experimentalgruppe die Zunahme zwischen den beiden Prä-Messzeitpunkten der Zunahme über das Treatment hinweg entspricht, liegt kein Einfluss des Treatments vor. Das Treatment ist somit nicht effektiv. Generelle Probleme Jede Messung ist schon ein Treatment (Einfluss von Testing). Wer an vielen Intelligenzmessungen teilnimmt, wird selbstverständlich intelligenter. Ausschluss von alternativen Erklärungen ist oft schwierig. Auf jeden Fall sollte randomisiert zu Experimental- und Kontrollgruppe zugewiesen werden. Randomisierung ist, oft mit höherem Aufwand verbunden, aber in den meisten Fällen möglich. Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 33 Besseres Vorgehen wird in der Übung Versuchsplanung besprochen. Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 34 Unzuverlässige Darstellung von Studienergebnissen Neben dem Versuchsplan gibt es auch weiter kritische Punkte bei der Darstellung von Studienergebnisse. Hierbei sollte immer eine transparente und vollständige Darstellung der Ergebnisse gewählt werden. Diese sollte für jeden Leser nachvollziehbar sein. Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 35 Der Hund, der Eier legt Experimentelle Studie Ein geschlossener Raum mit einem lebenden Hund und einem Tisch mit vier Eier und sechs Fischen. Somit kann beschrieben werden, dass auf dem Tisch 40% Eier und 60% Fische liegen. Wenn nun der Hund fünf Fische frisst: 80% Eier und 20% Fische. Kann die Zunahme der Eier dadurch erklärt werden, dass der Hund wohl Eier legen kann? Sicherlich nicht! Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 36

7 Fehlinterpretationen durch ungeeignete Darstellung Grafiken im Alltag Nicht nur im Text, sondern auch durch Grafiken können suggestive Darstellungen Veränderungen stärker betonen, als diese in Realität sind. Kleine Unterschiede, große Wirkung? Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 37 Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 38 Fazit In der Psychologie wird versucht Zusammenhänge zwischen Variablen, beziehungsweise Unterschiede zwischen Gruppen / Personen zu erklären. Diese Zusammenhänge sind meist sehr komplex und es existieren oft mehrere, einander ausschließende Erklärungsmodelle. Diese Modelle werden getestet, wobei jeweils die verschiedenen Validitätsgefährdungen ausgeschlossen werden müssen. In den meisten Fällen genügt hierbei kein einfacher Versuchsplan / kein einfaches Erklärungsmodell. Fazit Beim Lesen von Studien und auch bei der Interpretation eigener Studienergebnisse sollte immer möglichst kritisch mit den möglichen und den erlaubten Interpretationen der Ergebnisse umgegangen werden. Interpretationen, welche schlüssig oder logisch erscheinen, müssen hierbei aber nicht wahr sein. Auch sollten Studienergebnisse immer durch Replikationen (Wiederholungen von Studien) bestätigt werden. Seien Sie immer kritisch, primär bei Offensichtlichem! Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 39 Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 40 Mögliche Prüfungsfragen Nennen Sie Nachteile einer Untersuchung ohne Prä- Messzeitpunkt. Geben Sie ein Beispiel, welches belegt, dass aus einer Korrelation keine Kausalität abgeleitet werden kann. Was muss nach J.S. Mill gegeben sein, damit von einem kausalen Zusammenhang ausgegangen werden kann? Welchen Einfluss kann eine Messung auf nachfolgende Messungen haben? Vielen Dank für Ihre Aufmerksamkeit! leonhart@psychologie.uni-freiburg.de Dr. Rainer Leonhart, Institut für Psychologie, Universität Freiburg 41