Empirische Methoden der. Hypothesengenerierende. Untersuchungsformen. Voruntersuchung und Vortestung. Theoriebasierte Explorationsstudien

Transkript

1 1 2 3 Empirische Methoden der 4 Psychologie Grundlagen empirischer Forschung Methoden der Datenerhebung Empirisches Arbeiten als Entscheidungsprozess Evaluationsforschung Hypothesengenerierende Untersuchungsformen Populationsbeschreibende Untersuchungsformen Hypothesenprüfende Untersuchungsformen Einzelfallstudien und Small-n- Designs Methoden, Methodologie, Empirie Empirische Daten und Variablen Empirische Fragestellung und Hypothese Theorien, Gesetze, Paradigmen Grenzen empirischer Forschung Untersuchungsidee, Thema Wissenschaftliche und ethische Kriterien Definition von Begriffen Messen und Skalieren Festlegung von Untersuchungsart und -objekten Technologische vs. wissenschaftliche Theorien Begleitforschung Arten systematischer Erfolgskontrollen Interventionsforschung Studienarten Auszählen und Bilden von Indizes Ratings, Rangbildung, Paarvergleich Testmodelle, Testitems, Testskalen Befragung Beobachtung Indikatoren und Operationalisierung Psychophysiologische Messung Interviews Problempräzisierung Voruntersuchung und Vortestung Theoriebasierte Explorationsstudien Methodenbasierte Explorationsstudien Empiriebasierte Explorationsstudien Zufallsstichprobe und Repräsentativität Zusammenhangs- Unterschieds-, Veränderungshypothesen Parameterschätzung Stichprobenziehungstechniken Signifikanztests und damit verbundene Probleme Punkt- und Intervallschätzung Prognostische Hypothesen Poweranalyse Schätzung optimaler Stichprobenumfänge Effektgrößen und deren Vereinheitlichung Problematik von Einzelfallstudien und kleinen Stichproben Exakte Tests/ Permutationstests/Randomisierungstest Einzelfalldiagnostik Planung, Durchführung, Auswertung Multimethodale Methode Gesondert behandelte Themen: Empirischer Bericht, Gutachten Agglutinationstests Alphafehler- Adjustierung Bootstrap- Methode Exakte Tests Road-Map Markus Pospeschill: Empirische Methoden in der Psychologie 2013 by Ernst Reinhardt, GmbH & Co KG, Verlag, München 1

2 Grundlagen empirischer Forschung Methoden, Methodologie, Empirie Empirische Daten und Variablen Empirische Fragestellung und Hypothese Theorien, Gesetze, Paradigmen Grenzen empirischer Forschung - Eine wissenschaftliche Methode ist ein System von Regeln. - Regeln müssen kommunizierbar, lehrbar und intersubjektiv nachprüfbar sein. - Methodologie als allgemeine und spezielle sowie deskriptive und wertende Methodologie. - Variablen erfassen Merkmalsunterschiede. - Werden Merkmalsausprägungen Zahlen zugeordnet, entstehen Daten (Operationalisierung). - Variablen besitzen verschiedene funktionale Bedeutungen. - Hypothesen müssen sich durch empirischen Gehalt, Generalisierbarkeit und spezifische Formulierung (Konditionalsätze, Falsifizierbarkeit) auszeichnen. - Wissenschaftliche Hypothesen werden in statistische Hypothesen übersetzt. - Kausalität von Hypothesen ist abhängig vom Untersuchungsdesign und inhaltlichen Erwägungen. - Kritischer Rationalismus ist die Basis für empirische Forschung. - Begriffe und Aussagen müssen einen empirischen Bezug aufweisen und so formuliert sein, das sie prinzipiell widerlegbar sind. - Typisch für empirische Forschung sind Aussagen mittlerer Reichweite, aber keine Gesetzesaussagen. - Deduktiv-nomologische Erklärungen besitzen den Charakter empirisch abgesicherter Theorien. - Dabei stellt sich grundsätzlich ein Korrespondenzproblem, ein Problem der Messgenauigkeit und die Möglichkeit, Theorien durch Modifikation vor einer Falsifikation zu bewahren. Thesenhafte Zusammenfassung des 1. Kapitels Markus Pospeschill: Empirische Methoden in der Psychologie 2013 by Ernst Reinhardt, GmbH & Co KG, Verlag, München 2

3 Empirisches Arbeiten als Entscheidungsprozess Untersuchungsidee, Thema Wissenschaftliche und ethische Kriterien Problempräzisierung - Planungsphasen zeigen eine wechselseitige Abhängigkeit und sind daher simultan zu betrachten. - In der Planung werden Entscheidungen getroffen, die später ggf. nicht mehr korrigiert werden können. - Grundgesetz und berufsethische Verpflichtungen schränken Untersuchungsvorhaben ein. - Vor- und Nachteile wissenschaftlichen Fortschritts sind daher gründlich abzuwägen. - Dimensionale und semantische Analyse dienen der Problempräzisierung. - Über Korrespondenzregeln wird entschieden, ob Sachverhalte dem theoretischen Begriff entsprechen. Definition von Begriffen - Es werden Nominal- und Realdefinitionen unterschieden. - Daneben erfordert die wissenschaftliche Verwendung analytische und operationale Definitionen. Indikatoren und Operationalisierung - Es werden definitorische, (interne und externe) korrelative und schlussfolgernde Indikatoren unterschieden. - Operationalisierungen führen zu Messwerten unterschiedlichen Skalenniveaus. - Bei der Operationalisierung sind logische und empirische Validität zu betrachten. Messen und Skalieren Festlegung von Untersuchungsart und -objekten Planung, Durchführung, Auswertung, Dokumentation - Messen in den Humanwissenschaften ist die homomorphe Zuordnung von Zahlen zu Objekten. - Beim Messen werden das Repräsentations-, Eindeutigkeits- und Bedeutsamkeitsproblem unterschieden. - Es werden explorative, populationsbeschreibende und hypothesenprüfende Untersuchungen unterschieden. Dabei sind Aspekte der internen und externen Validität zu berücksichtigen. - Ferner werden quasiexperimentelle von experimentellen Untersuchungen unterschieden. - Schließlich gibt es Feld- von Laboruntersuchungen zu differenzieren. - In der Planungsphase sind Aspekte der Durchführung, Auswertung und Interpretation zu berücksichtigen. - Dazu werden vorbereitend ein Exposé und ein Übersichtsplan erstellt. Thesenhafte Zusammenfassung des 2. Kapitels Markus Pospeschill: Empirische Methoden in der Psychologie 2013 by Ernst Reinhardt, GmbH & Co KG, Verlag, München 3

4 beginnt mit Empirischer Forschungsprozess endet mit Planungsphase beginnt liefert Grundlagen wird fortgesetzt mit liefert Grundlagen Untersuchungsphase Entscheidungsphase Wissenschaftliche Fragestellung erwartet Theorie wird abgeleitet Hypothesen folgt Phasen erfordert ist die Grundlage nehmen Einfluss auf erfordert Angaben zur erfordert Angaben zur wird abgeleitet dient der Präzisierung der Fragestellung Stichprobenziehung Planung der Datenanalyse liefern (bei indirektem empirischem Bezug) erfordern entscheidet über Zusammensetzung erfordert eine Festlegung zum wird festgelegt wird festgelegt (Multiple) Indikatoren erfordern Literaturstudium Begriffsdefinition Operationalisierung Auswahlverfahren (Stichprobe) Stichprobenumfang (Effektgröße) Rückschlüsse entscheiden über entscheiden über erfordert Angabe Messinstrument entscheiden über entscheiden über Explorative Untersuchung bedient sich Dimensionale Analyse kann sein Art der Untersuchung bedient sich entscheidet über kann sein Untersuchungsplanung Populationsbeschreibende Untersuchung bedingen sich kann sein kann sein entscheidet über Interventions-/ Evaluationsforschung Erkenntnisinteresse Hypothesengeleitete Untersuchung bedient sich Semantische Analyse Bedeutung / Sinn von Begriffen Festlegungen zur Untersuchungsart Aufgaben Analysemodell Verwertungsinteresse Korrespondenzregeln Planungsphasen eines empirischen Forschungsprozesses und die damit verbundenen Aufgaben und Entscheidungen (Abbildung 2.1 im Buch) Markus Pospeschill: Empirische Methoden in der Psychologie 2013 by Ernst Reinhardt, GmbH & Co KG, Verlag, München 4

5 Axiom 1 Axiom 2 Axiom 5 Axiom 3 Axiom 4 Axiom 6 Beobachtung Theorie KONSTRUKT A Korrespondenzregel 1 MESSWERT X A KONSTRUKT B KONSTRUKT C KONSTRUKT D Korrespondenzregel 2 Korrespondenzregel 3 Korrespondenzregel 4 MESSWERT X B MESSWERT X C MESSWERT X D Empirisches Gesetz 3 Empirisches Gesetz 4 Empirisches Gesetz 6 Empirisches Gesetz 2 Empirisches Gesetz 5 Empirisches Gesetz 1 Nomologisches Netzwerk mit den Bestandteilen theoretischer Konstrukte und beobachtbarer Variablen (Abbildung 2.2 im Buch) Markus Pospeschill: Empirische Methoden in der Psychologie 2013 by Ernst Reinhardt, GmbH & Co KG, Verlag, München 5

6 besteht aus besteht aus Definiendum Definiens ist der zu beinhaltet Definierende Begriff Nominaldefinition Bedeutungsgleiche Begriffe Intensionale Seite kennzeichnet die Menge der Eigenschaften kennzeichnet die Menge der Objekte Extensionale Seite Realdefinition bezeichnen das Wesen eines Begriffs wird belegt durch Beispiele bestimmen Eigenschaften eines Gegenstands oder Sachverhaltes Zentrale Merkmale einer Nominal- vs. einer Realdefinition (Abbildung 2.3 im Buch) Markus Pospeschill: Empirische Methoden in der Psychologie 2013 by Ernst Reinhardt, GmbH & Co KG, Verlag, München 6

7 Semantik Analytische Definition entscheidet über entscheidet über dienen dienen Verwendung Transparenz Empirischer Gehalt Messoperation Operationale Definition entscheidet über entscheidet über dienen dienen Reliabilität Validität Indikatoren Charakteristika der insbesondere im wissenschaftlichen Kontext wichtigen analytischen und operationalen Definition von Begriffen (Abbildung 2.4 im Buch) Markus Pospeschill: Empirische Methoden in der Psychologie 2013 by Ernst Reinhardt, GmbH & Co KG, Verlag, München 7

8 Begriffe Messvariablen werden angezeigt als werden indirekt beobachtet durch werden umgesetzt in Indikandum beschreiben (Multiple) Indikator(en) erfordert die Angabe geeigneter sind Bestandteil der sind wenn identisch mit dem Definiens sind wenn teilweise identisch mit dem Definiens sind wenn nicht identisch mit dem Definiens definitorisch intern korreliert extern korreliert führt zu hoher führt zu partieller führt zu unsicherer führt zu schwer zu beurteilender Validität Messvorschrift erfordert die Angabe der Operationalisierung schlussfolgernd erfordert Überlegungen zur (logischen und empirischen) Arten von Indikatoren und ihr Ausmaß an Validität (Abbildung 2.5 im Buch) Markus Pospeschill: Empirische Methoden in der Psychologie 2013 by Ernst Reinhardt, GmbH & Co KG, Verlag, München 8

9 randomisierte Zuordnung Evaluationsstichprobe randomisierte Zuordnung Experimentalgruppe Kontrollgruppe Prätest Vortest- Vergleich (preresponse measure) Prätest Vor-/Nach- test- Vergleich (pre-/postresponse measure) Intervention (Treatment) Posttest (cross-sectional) Vor-/Nach- test- Vergleich Nachtest- Vergleich (postresponse measure) Posttest Vor-/Nach- test- Vergleich (pre-/postresponse measure) Nach-/Follow-up Vergleich Follow-up Follow-up- Vergleich Follow-up Nach-/Follow-up Vergleich Darstellung eines Pretest-Posttest-Follow-up-Kontrollgruppen-Designs und den Möglichkeiten statistischer Vergleiche zu den drei Messzeitpunkten (Abbildung 3.1 im Buch) Markus Pospeschill: Empirische Methoden in der Psychologie 2013 by Ernst Reinhardt, GmbH & Co KG, Verlag, München 9

10 Evaluationsforschung Technologische vs. wissenschaftliche Theorien Begleitforschung Arten systematischer Erfolgskontrollen Interventionsforschung Studienarten - Evaluationsstudien sind eine Form bewertender Begleitforschung von Programmen, Maßnahmen oder Interventionen sowie von Strategien ihrer Erfolgs- und Wirkungskontrolle. - Wissenschaftliche Theorien stellen die Basis der Grundlagenforschung dar. - Technologische Theorien stellen die Basis der Evaluationsforschung dar. - Der Evaluationsforschung vorgeschaltet ist eine Interventionsforschung. - Die Interventionsforschung hat die Entwicklung einer Maßnahme oder einer Intervention zum Ziel. - Es werden summative von formativen Evaluationen unterschieden. - Formative Evaluationen verwenden auf Stichproben basierende Populationsbeschreibungen. - Summative Evaluationen verwenden hypothesenprüfende Untersuchungsarten. Thesenhafte Zusammenfassung des 3. Kapitels Markus Pospeschill: Empirische Methoden in der Psychologie 2013 by Ernst Reinhardt, GmbH & Co KG, Verlag, München 10

11 VALIDITÄT Ist ein Test nicht valide, dann können auf seiner Grundlage keine angemessenen Aussagen und sinnvolle Entscheidungen getroffen oder Generalisierungen vorgenommen werden. sind partiell inkompatibel (Verdünnungsparadoxon) ist notwendig aber nicht hinreichend für RELIABILITÄT entbindet vom Nachweis Ist ein Test nicht reliabel, dann erfassen die Items unterschiedliche Sachverhalte, sind ungenau und/oder messfehlerbehaftet. ist notwendig aber nicht hinreichend für entbindet vom Nachweis OBJEKTIVITÄT Ist ein Test nicht objektiv, dann sind seine Ergebnisse hauptsächlich auf Fehler bei der Durchführung, Auswertung oder Interpretation zurückzuführen. Beziehungen zwischen den Hauptgütekriterien nach der Klassischen Testtheorie. Das Verdünnungsparadoxon (Reliabilitäts-Validitäts-Dilemma) benennt einen umgekehrt-u-förmigen Zusammenhang zwischen der Reliabilität und der Validität. Obwohl die Reliabilität eine Voraussetzung für Validität ist, wird eine perfekte Reliabilität nur auf Kosten der Validität erreicht. (Abbildung 4.6 im Buch) Markus Pospeschill: Empirische Methoden in der Psychologie 2013 by Ernst Reinhardt, GmbH & Co KG, Verlag, München 11

12 Methoden der Datenerhebung Auszählen und Bilden von Indizes Ratings, Rangbildung, Paarvergleich Testmodelle, Testitems, Testskalen Schriftliche vs. mündliche Befragung - Qualitative und quantitative Merkmale werden unterschieden. - Durch Zusammenfassung von Messwerten (un/gewichtet, multiplikativ) entstehen Indizes. - Rangordnungen entstehen durch die Vergabe von Rangplätzen für Merkmalsausprägungen. - Beim Dominanz-Paarvergleich sind Objekte in eine Rangreihe zu bringen. Problematisch sind hier intransitive Urteile. - Beim Ähnlichkeits-Paarvergleich sind Ähnlichkeitsurteile zwischen Objekten abzugeben. Problematisch kann hier die Schwere des Urteils sein. - Ratingskalen sind graduelle Beurteilungsskalen mit unterschiedlicher Skalierung. - Testskalen sind Itemsätze, die nach spezifischen Skalierungseigenschaften zusammengestellt werden. - Beispiele sind die Thurstone-, die Guttman-, die Rasch-, die Coombs- und die Likert-Skala. - Mündliche Befragungen dienen eher der Erhebung stärker individualisierter Information. - Schriftliche Befragungen eignen sich eher bei homogenen Untersuchungsgruppen und strukturierten Befragungsinhalten. - Befragungen unterliegen generell zahlreichen Tendenzen zur Antwortverfälschung und Urteilsverzerrung. Formen wissenschaftlicher Beobachtung Psychophysiologische Messung Qualitative Interviews und Beobachtung - Systematische Beobachtungen können offen, verdeckt, teilnehmend oder nicht teilnehmend erfolgen. - Über einen Beobachtungsplan sind Festlegungen zur Standardisierung und Durchführung festzulegen. - Hier werden Biosignale und Biopotentiale unterschieden. - Messungen können sich auf das periphere Nervensystem, das zentrale Nervensystem oder das endrokrine System/Immunsystem beziehen. - Grundlage ist hier verbales (nicht-numerisches) Datenmaterial, das nach Strukturen und Mustern durchsucht wird. - Dabei werden Techniken der offenen/halb-strukturierten Befragung, der qualitativen Beobachtung und nonreaktive Verfahren unterschieden. Thesenhafte Zusammenfassung des 4. Kapitels (Abbildung 4.8 im Buch) Markus Pospeschill: Empirische Methoden in der Psychologie 2013 by Ernst Reinhardt, GmbH & Co KG, Verlag, München 12

13 Hypothesengenerierende Untersuchungsformen Voruntersuchung und Vortestung - Explorative Studien bedienen sich heuristischer Strategien, um Hypothesen und Theorien zu generieren. - Explorative Studien sind explanativen Untersuchungen vorgeschaltet. - Hier werden aus Alltags- oder wissenschaftlichen Theorien neue Hypothesen abgeleitet. - Auch Vergleiche oder Formalisierungen von Theorien können als Strategie eingesetzt werden. Theoriebasierte Explorationsstudien Methodenbasierte Explorationsstudien - Durch Methodenvergleiche, -variationen oder den Einsatz von Methoden als Denkwerkzeug entstehen hier neue Hypothesen. Empiriebasierte Explorationsstudien - Mittels Primär- und Sekundäranalysen sollen Muster und Regelmäßigkeiten in Daten entdeckt werden. - Hierbei ist auch ein exploratives Signifikanztesten statthaft. Thesenhafte Zusammenfassung des 5. Kapitels Markus Pospeschill: Empirische Methoden in der Psychologie 2013 by Ernst Reinhardt, GmbH & Co KG, Verlag, München 13

14 Populationsbeschreibende Untersuchungsformen Zufallsstichprobe und Repräsentativität - Über eine Zufallsstichprobe sollen möglichst viele Merkmale der GG repräsentiert sein. - Zu unterscheiden ist hier zwischen globaler und lokaler Repräsentativität. - Exakte Abbildungen von GG lassen sich allerdings über Zufallsstichproben nicht erreichen. - Bei populationsbeschreibenden Untersuchungen werden Punkt- und Intervallschätzungen vorgenommen. - Mit wachsendem Stichprobenumfang nimmt die Präzision dieser Schätzungen allgemein zu. - Zur Präzisierung von Parameterschätzungen sind geschichtete, Klumpen- und mehrfach geschichtete Stichproben sowie wiederholte Stichprobenuntersuchungen geeignet. Punkt- und Intervallschätzung Parameterschätzung Stichprobenziehungstechniken - Die Elemente der Stichprobenpläne lassen sich zu komplexeren Stichprobenplänen kombinieren. - Daneben existieren nicht-probabilistische Auswahlverfahren, bei denen aber keine Inferenzschlüsse zulässig sind. Thesenhafte Zusammenfassung des 6. Kapitels Markus Pospeschill: Empirische Methoden in der Psychologie 2013 by Ernst Reinhardt, GmbH & Co KG, Verlag, München 14

15 Signifikanztests und damit verbundene Probleme Hypothesenprüfende Untersuchungsformen Zusammenhangs- Unterschieds-, Veränderungshypothesen Prognostische Hypothesen Poweranalyse Schätzung optimaler Stichprobenumfänge - Forschungshypothesen legen Geltungsbereich und Stichprobenart fest. - Ein Signifikanztest entscheidet über die Existenz eines Effektes (Ablehnung der Nullhypothese). - Nachträgliche Korrekturen des α-niveaus sind unzulässig. - Zusammenhangshypothesen werden vielfach über Cross-Sectional-Designs überprüft. - Für Unterschiedshypothesen bieten sich randomisierte Zwei- oder Mehrgruppen-Pläne an. - Veränderungshypothesen werden über Zwei- oder faktorielle Pretest-Posttest-Pläne untersucht. - Indirekte Veränderungsmessungen betrachten das Ausmaß an Veränderungen zwischen Messzeitpunkten. - Dabei ist die Reliabilität der Differenzwerte umso geringer, je höher die Reliabilität der Einzeltestungen ist. - Die Teststärke gibt die Wahrscheinlichkeit an, mit der ein Signifikanztest bei Gültigkeit der Alternativhypothese zu einem signifikanten Ergebnis führt. - Optimal ist ein Stichprobenumfang dann, wenn aufgrund eines empirischen Ergebnisses entweder die H 0 oder die H 1 zu verwerfen ist. Effektgrößen und deren Vereinheitlichung - Effektstärkemaße unterteilen sich in Maße zu standardisierten Differenzen und Indizes für Varianzaufklärung. - Über Delta-Maße können Effektgrößen vereinheitlicht werden. Thesenhafte Zusammenfassung des 7. Kapitels Markus Pospeschill: Empirische Methoden in der Psychologie 2013 by Ernst Reinhardt, GmbH & Co KG, Verlag, München 15

16 NEIN Einzelfalldesign? JA N pro Gruppe > 15? NEIN NEIN Mehrere Probanden vorhanden? JA JA Voraussetzungen gegeben? N pro Gruppe < 10? Beobachtungen > 50? JA Keine Autokorrelation? JA JA Parametrische Tests Parametrische Tests NEIN NEIN JA NEIN Erfahrungen mit Statistik? Nicht-parametrische Tests oder Randomisierungstests NEIN JA Zeitreihenanalyse (ARIMA) NEIN Randomisierungstests Entscheidungsdiagramm zur Wahl der angemessenen Teststatistik (Abbildung 8.1 im Buch) Markus Pospeschill: Empirische Methoden in der Psychologie 2013 by Ernst Reinhardt, GmbH & Co KG, Verlag, München 16

17 Einzelfallstudien und Small-n- Designs Problematik von Einzelfallstudien und kleinen Stichproben Exakte Tests/ Permutationstests/Randomisierungstest Einzelfalldiagnostik - Klinische Forschung ist vor allem durch Intensive Designs charakterisiert. - Der Anwendung parametrischer Testverfahren sind hier Grenzen gesetzt. - Randomisierungstests ersetzt analytische durch computationale Power. - Randomisierungstests schöpfen alle Informationen hinsichtlich der Verteilung aus den Daten aus. - Randomisierungstests ordnen die Daten neu an, um zu einer Prüfverteilung zu gelangen. - Beobachtete Testwerte lassen sich über Standardmessfehler, Standardschätzfehler und Konfidenzintervalle absichern. - Ferner leiten sich daraus Konzepte der kritischen Differenz und der diagnostischen Valenz ab. Thesenhafte Zusammenfassung des 8. Kapitels Abb. 8.9: Markus Pospeschill: Empirische Methoden in der Psychologie 2013 by Ernst Reinhardt, GmbH & Co KG, Verlag, München 17

18 Parametrische vs. verteilungsfreie Tests - Skalentheoretische und statistisch-mathematische Voraussetzungen sowie die Robustheit des Verfahren bestimmen die Entscheidungsfindung bei einem statistischen Test. Besondere Probleme und Herausforderungen Agglutinationstests α-fehler- Adjustierung Bootstrap- Methode Exakte Tests - Einzelne Signifikanzangaben können zu einer statistischen Entscheidung zusammengefasst werden. - A-priori Hypothesen bedürfen keiner α-fehler-adjustierung. - Undifferenzierte Globalhypothesen bedürfen einer α-fehler-adjustierung. - Bei den Entscheidungsregeln zur Ermittelung eines korrigierten α-wertes werden progressive von konservativen Regeln unterschieden. - Hierbei handelt es sich um eine Schätzmethode für Standardfehler und Konfidenzintervalle bei parametrischen Tests. - Hierbei handelt es sich um eine Methode, die Überschreitungswahrscheinlichkeit exakt zur Stichproben-Realisation der Teststatistik zu berechnen. Thesenhafte Zusammenfassung des 9. Kapitels Markus Pospeschill: Empirische Methoden in der Psychologie 2013 by Ernst Reinhardt, GmbH & Co KG, Verlag, München 18