FORSCHUNGSMETHODEN & STATISTIK IN DER PSYCHOLOGIE (Sedlmeier & Renkewitz)

Transkript

1 FORSCHUNGSMETHODEN & STATISTIK IN DER PSYCHOLOGIE (Sedlmeier & Renkewitz) 1. ALLTAGSPSYCHOLOGIE VS. Wiss. PSYCHOLOGIE Im Gegensatz zu anderen naturwiss. Disziplinen können Menschen bei psychologischen Themen oh spezielle Ausbildung mitreden. Alltagspsychologische Erkenntnisse beruhen auf Intuition oder Gefühl und birgen die Gefahr von Fehlinterpretationen: Fehler beim Wahrnehmen Fehler beim Erinnern Fehler beim (logischen) Denken Fehler im Umgang mit Wahrscheinlichkeiten Ein weiteres Problem der Alltagspsychologie besteht in de Mehrdeutigkeit und Vagheit der Alltagssprache sowie der Gefahr von Missverständnissen. Die wiss. Psychologie versucht, durch präzise Sprache und wiss. Methoden derartige Fehler zu minimieren, z.b. beim Ableiten, Prüfen und Weiterentwickeln von Hypothesen. 1

2 2. WISSENSCHAFTSTHEORIE Die Wissenschaftstheorie beschäftigt sich mit Fragen wie - Was ist die Welt? (Forschungsgegenstand) - Wie können wir die Welt erkennen? (Methodologie) Die meisten wissenschaftstheoretischen Positionen, die in der Psychologie eine Rolle spielen, gehen davon aus, dass es eine unabhängig von uns existierende Welt gibt, unterschieden sich jedoch hinsichtlich der Erkenntnismöglichkeiten und Methoden. Es gibt 4 bedeutsame konventionelle Ansätze: 1. logischer Empirismus (Carnap) 2. kriitischer Rationalismus (Popper) 3. Methodologie wiss. Forschungsprogramme (Lakatos) 4. historisch-soziologische Analyse (Kuhn) sowie vereinzelte Bestrebungen, die psychologische Forschung auf eine konstruktivistische Grundlage zu stellen. Im Gegensatz zu anderen NatWi kann der Erforschte selbst auch wieder Forscher sein (reaktive Rolle des UG), was Auswirkungen auf die Forschungsmethodik hat. Theorien entstehen auf unterschiedliche Weise (Induktion, Deduktion, Abduktion). Aus Theorien werden Hypothesen abgeleitet und empirisch überprüft. Es besteht alg. Konsens darüber, dass Theorien nie verifiziert oder bewiesen werden können, sich nur durch gescheiterte Falsifizierungsversuche bewähren und verbessern können. 2

3 3. MESSEN UND TESTEN Beim Messen werden Personen/Objekten hinsichtlich eines bestimmten Merkmals Zahlen zugeordnet (homomorphe Abbildung, strukturtreues Messen). Bei der Erarbeitung von homomorphen Abbildungen stellen sich 3 Kardinalprobleme 1. Repräsentationsproblem 2. Eindeutigkeitsproblem 3. Bedeutsamkeitsproblem Jede Messung erfolgt auf einem bestimmten Skalenniveau in Abhängigkeit von den empirischen Relationen zwischen den Messobjekten. Messwerte auf unterschiedlichen Skalenniveaus haben einen unterschiedlichen Informationsgehalt. Psychometrische Tests sind psychologie-spezifische Messinstrumente zur Messung latenter Variablen. Die KTT beurteilt anhand bestimmter Gütekriterien, ob und wie gut ein Test geeignet ist, ein bestimmtes Merkmal zu erfassen: 1. Objektivität 2. Reliabilität 3. Validität 3

4 4. DATENERHEBUNG: BEFRAGUNG & BEOBACHTUNG In der Psychologie gibt es im Grunde 2 Methoden, um Daten zu erhalten: 1. Befragung 2. Beobachtung In der Wissenschaft versucht man, durch Systematisierung und Standardisierung zu genaueren und weniger fehlerbehafteten Ergebnissen zu gelangen als bei der Alltagsbeobachtung. Bei der Befragung hängt die Art der Befragung von der untersuchten Fragestellung und den zur Verfügung stehenden Mitteln ab. Zu beachten ist, dass Antworten sonst ggf. systematisch verfälscht werden; aber auch Antworttendenzen (Soz. Erwünschtheit) und Interviewer-Effekte. Derartige Fehlermöglichkeiten lassen sich durch gute Vorbereitung minimieren. Auch die Wahl der Beobachtungsmethode hängt von der Fragestellung ab. Beobachtungsergebnisse können durch Wahrnehmungs-, Interpretations- und Erinnerungsfehler verfälscht werden, Darüber hinaus kann der Prozess des Beobachtens beim Beobachteten unerwünschte Reaktionen auslösen. Durch Schulung der Beobachter und ein hohes Maß an Struktur versucht man, die Fehleranfälligkeit von Beobachtungen zu vermindern. 4

5 5. EXPERIMENTELLE DESIGNS Experimente sind die beste verfügbare Methode, um Ursache-Wirkungs-Beziehungen zwischen Variablen zu identifizieren. In der Grundlagenforschung werden sie eingesetzt, um aus Theorien abgeleitete Kausalhypothesen zu testen. In der Anwendungsforschung werden sie genutzt, um die Wirkung von Interventionsmaßnahmen zu prüfe. wesentliche Merkmale: Manipulation der UV (um die Auswirkungen auf die AV zu beobachten) Kontrolle von SV (schwierigstes Problem bei Experimenten) sichert bei Gelingen die interne Validität und erlaubt dann eine eindeutige Aussage über eine Ursache-Wirkungs-Beziehung zwischen UV und AV In Between-Subjects-Designs nehmen unterschiedliche Personen an den verschiedenen Bedingungen des Experiments teil. In Experimenten mit Within-Subjects-Design durchlaufen die TN alle unterschiedlichen experimentellen Bedingen ( Messwiederholung, bei der die TN dieselbe Bedingung mehrfach durchlaufen) Die Kontrolle von SV erfolgt durch Randomisierung Konstanthalten Elimination In Experimenten mit mehrfaktoriellem Design werden mind. 2 UV manipuliert. Es können Haupteffekte aller beteiligten UV untersucht werden, aber auch Interaktionen / Wechselwirkungen. Eine Interaktion liegt vor, wenn die Wirkung einer UV von der Ausprägung der anderen UV abhängig ist. Bei Quasi-Experimenten kann keine Randomisierung der TN vorgenommen werden, so dass Quasi-Exp. keine vollständige Kontrolle von SV erreichen und somit weniger intern valide sind im Vergleich zu echten Experimenten. Quasi-Exp. sind dennoch die beste verfügbare Untersuchungsmethode bei der Evaluation von Interventionsmaßnahmen im Feld 5

6 6. DESKRIPTIVE & EXPLORATIVE DATENANALYSE Zu Zusammenfassung der Daten, die man in einer Studie erhalten hat, benutzt man i.d.r. zwei Arten von Maßen: Lagemaße typisch für die entsprechende Verteilung Streuungsmaße zeigen, wie homogen oder heterogen die Werte in dieser Verteilung sind Box-plot und Stamm-Blatt-Diagramm sind nützliche Kombinationen von Lage- und Streuungsmaßen. Bei der Auswahl der Maße müssen das Skalenniveau und die Verteilung der Werte berücksichtigt werden. X arithm., V, S X med, IQR Nominal Mindestens Intervallskalenniveau Werteverteilung sollte symmetrisch sein Mindestens O-skaliert Kein sinnvolles Streuungsmaß, aber X mod als Lagemaß Sehr nützlich für den Vergleich I-skalierter Werte aus unterschiedlichen Skalen sind transformierte Werte (z-werte), die in Standardabweichungswerten ausgedrückt werden. 6

7 7. KORRELATION Es geht um Verfahren, mit denen der Zusammenhang bzw. die Korrelation zwischen zwei Variablen analysiert werden kann. Streudiagramme Form und Richtung Korreliertheit / Unkorreliertheit r (-1 r 1) Produkt-Moment-Korrelationskoeffizient als Maß für Stärke und Richtung des linearen Zusammenhangs zwischen zwei I-skalierten Variablen aber: ein Zusammenhang erlaubt mit r keine Aussage über eine U-W- Beziehung Partialkorrelation gibt an, wie stark der Zusammenhang zwischen 2 Merkmalen ausgeprägt wäre, wenn eine bestimmte drittvariable keinen Einfluss auf die Merkmale hätte Soll der Zusammenhang zwischen zwei Variablen, die nicht mind. I-Skalenniveau aufweisen, bestimmt werden, können/müssen andere Maße eingesetzt werden: N-Niveau O-Niveau Phi Kendalls Tau 7

8 8. LINEARE REGRESSION Das Ziel der einfachen linearen Regression besteht darin, die Werte einer Kriteriumsvariablen Y auf der Grundlage eines Prädiktors X möglichst präzise vorherzusagen. Zu diesem Zweck wird eine Regressionsgleichung ermittelt y = bx + a Die Regressionsgerade veranschaulicht grafisch für jeden Wert des Prädiktors X, welcher Wert des Kriteriums Y vorhergesagt wird. Die Regressionsgerade wird nach dem Prinzip der kleinsten Quadrate bestimmt: Summe der quadrierten Abweichungen zwischen den vorhergesagten Y-Werten und den tatsächlichen x-werten. Die Regressionsgewichte b aus unterschiedlichen Untersuchungen sind erst nach der z- Standardiserung von Prädiktor X und Kriterium Y in der Regressionsanalyse vergleichbar, Während b bei der Regressionsgeade angibt, wie sich die Ausprägungen von Y verändern, wenn der Prädiktor X um eine Einheit steigt, gibt das standardisierte Regressionsgewicht ß an, um wieviele Standardabweichungseinheiten sich das Kriterium Y verändert, wenn der Prädiktor X um eine Standardabweichung steigt (r = ß bei einfacher Korrelation) Außerdem wird in der Regressionsanalyse ermittelt, wie präzise die Vorhersagen sind anhand der Gütemaße Determinationskoeffizient r² Standardschätzfehler die beide konzeptionell auf einer Zeregung der Y-Varianz beruhen. Die multiple Regression nutzt mehrere Prädiktoren, um ein Kriterium vorherzusagen, Als Gütemaße dienen multipler Korrelationskoeffizient R multipler Determinationskoeffizient R² Standardschätzfehler Die Regressionsnalyse basiert auf dem Zusammenhang zwischen Prädiktor und Kriterium zund unterliegt somit den gelichen Einschränkungen und Problemen wie die Korrelationsanalyse (insb. in Bezug auf die Annahme der Linearität). Die RA führt zu verzerrten Ergebnissen, wenn zwischen den beteiligten Variablen eine nicht-lineare Beziehung besteht. (Gilt sowohl bei einfacher als auch bei multipler RA) 8

9 9. EFFEKTGRÖßEN Effektgrößen erlauben allg. und über Studien hinweg vergleichbare Aussagen über die Größe von Unterschieden, Zusammenhängen und anderen Arten von Resultaten. Viele Fragestellungen in der Psychologie laufen darauf hinaus, zu erforschen, ob Unterschiede bestehen, in dem man Gruppen miteinander vergleicht. Die Werte für die entsprechenden Gruppen sind fast nie gleich. Durch Kenntnis der Effektgrößen lassen sich folgende Fragen zumindest teilweise beantworten: Wie groß sind die gefundenen Unterschiede? Sind die Unterschiede bedeutsam oder trivial? Ist der Unterschied in der einen Studie größer als in der anderen? Grundsätzlich kann man Effektgrößen in 2 Arten von Maßen unterteilen, die sich auf Stichprobengrößen beziehen (Cohen, 1962) Abstandsmaße Werden i.d.r. in Standardabweichungseinheiten ausgedrückt. Abstand zwischen den beiden Mittelwerten unter Berücksichtigung der Streuung Zusammenhangsmaße Fast immer Variationen des r BP Auch bei N- oder O-skalierten Merkmalen interpretierbar Nur bei I-skalierten Merkmalen sinnvoll interpretierbar Beide Maße kann man aus Rohdaten berechnen, aber auch ineinander überführen. Die gebräuchlichsten Effektgrößen sind die Abstandsmaße d und g die Korrelation r als Zusammenhangsmaß Da die geschätzte Populationsvarianz immer größer ist als die Stichprobenvarianz (wegen n- 1), ist g immer keiner als d. Dieser Unterschied macht sich v.a. bei kleinen Stichproben bemerkbar, bei großen Stichproben hingegen fällt er kaum ins Gewicht. Konventionen für die Beurteilung von Korrelationen, wenn kein Vergleich mit bisherigen Ergebnissen möglich ist oder wenn man nicht weiß, ob man einen Effekt als bedeutsam einstufen kann. 9

10 10. GRUNDLAGEN DER INFERENZSTATISTIK Es wird versucht, aufgrund von Stichprobenergebnissen Schlussfolgerungen auf die Population zu ziehen. Man benutzt Stichprobenstatistiken als Schätzungen für Populationsparameter Gegenstand der Inferenzstatistik Warum und wie man solche Schlüsse/Inferenzen von der Stichprobe auf die Population ziehen kann 2 Arten von inferenzstatistischen Verfahren Konfidenzintervalle Genauigkeitsaussagen über Schätzungen von Populationsparametern Signifikanztest Hypothesen über Populationsparameter zu prüfen theoretische Grundlage: Stichprobenverteilungen Inferenzen / Schlüsse über Populationsparameter können nicht mit 100%iger-Sicherheit gezogen werden, sondern sind potenziell immer fehlerbehaftet. Es handelt sich also um Wktsaussagen. Stichprobenstatistiken = Anteile, Mittelswerte, Mittelwertsunterschiede Varianzen zusammengefasste Werte Populationsparameter Inferenzstatistik ist nötig, weil man etwas über die Populationsparameter aussagen möchte. Die Basis dafür sind die Ergebnisse aus Stichproben und das Bindeglied zwischen Stichprobenergebnissen und Schlüssen auf Populationsparameter sind Stichprobenverteilungen. Stichprobenstatistiken liefern gute Schätzungen für Populationsparameter. Stichprobenverteilungen entstehen, wenn man aus einer Population (hypothetisch) unendlich oft Stichproben zieht, jeweils eine Stichprobenstatistik daraus berechnet und diese Stichprobenstatistiken als Verteilung abbildet. Wenn eine Stichprobenverteilung standardisiert ist (Fläche = 1 bzw. 100%), enthält sie die Wktn, mit denen man Stichprobenstatistiken (Anteile, Mittelwerte) einer bestimmten Größe erwarten kann. 10

11 10.1 Wahrscheinlichkeiten Inferenzen / Schlüsse über Populationsparameter können nicht mit 100%iger-Sicherheit gezogen werden, sondern sind potenziell immer fehlerbehaftet. Es handelt sich also um Wktsaussagen. Man unterscheidet: subjektiv klassisch empirisch/frequentistisch Gefühl / Intuition, ggf. inkl. Hintergrundwissen Wktn. lassen sich aus den Eigenschaften der Gegenstände ableiten Glücksspiele Eingeschränkter Anwendungsbereich, weil Wkt der Einzelereignisse eindeutig aus Eigenschaften bestimmbar sein muss Der Zufall spielt automatisch mit Schätzt man aufgrund von relativen Häufigkeiten Rolle des Zufalls spielt eine Rolle Die Häufigkeiten müssen durch Zufallsstichprobe entstanden sein oder zumindest so interpretiert werden können Konjunktionen, bedingte Wahrscheinlichkeiten Konjunktionen = zusammengesetzte Ereignisse ( aber, und ) braucht man, um bedingte Wktn zu bestimmen 1. direkt durch die zur Verfügung stehenden Häufigkeiten 2. Wahrscheinlichkeiten für Zähler und Nenner schätzen Eine Wkt einer Konjunktion kann nie größer sein als die Wktn jeder Einzelwktn. Bedingte Wktn kommen im Alltag häufig vor, sind aber nicht immer leicht zu erkennen ( wenn ) Bei Unabhängigkeit der beiden Ereignisse, gilt die Produktregel, die sich auf beliebig viele unabhängige Ereignisse erweitern und für die sog. Binomialverteilung nutzen lässt. 11

12 10.2 Von der Population über Stichproben zur Stichprobenverteilung Stichprobenverteilungen sind das Bindeglied zwischen Ergebnissen aus Stichproben und Schlüssen auf Populationsparameter. Empirische Stichprobenverteilung Sind Verteilungen der aus den Stichproben berechneten Stichprobenstatistiken Theoretische Stichprobenverteilung Verteilung unendlich viele Stichprobenstatistiken, berechnet aus den Resultaten unendlich vieler Stichprobenziehungen aus derselben Population N Stichprobenstatistik: Anteil I Stichprobenstatistik: Mittelwert Unterschiede zwischen verschiedenen Stichprobenergebnissen sind vollständig auf den Zufallsprozess zurückführbar, die Variation kommt ausschließlich durch den sog. Stichprobenfehler zustande. Zieht man nur eine Stichprobe und berechnet den Anteil ist es am wahrscheinlichsten, dass dieser Anteil mit dem Populationsanteil übereinstimmt. Bei Anteilen ist es automatisch so, dass die in der Stichprobe gefundene Streuung (Stichprobenstatistik) eine gute Schätzung für die Populationsstreuung ist, denn die Streuung wird durch die Höhe des Anteils vollständig festgelegt. Im Gegensatz dazu ist das bei Mittelwerten nicht der Fall: selbst wenn der Mittelwert eine gute Schätzung für den Populationsmittelwert ist, heißt das nicht automatisch, dass auch die Varianz der Stichprobe eine gute Schätzung für die Populationsvarianz ist. Von der Stichprobe zur Population (tatsächliche Vorgehensweise) Normalerweise hat man nur eine einzige Stichprobe zur Verfügung und will die daraus berechneten Stichprobenstatistiken benutzen, um Aussagen über die entsprechenden Populationsparameter zu treffen. Man kann Stichprobenstatistiken selbst als Schätzungen für die Populationsparameter benutzen, weil Stichprobenstatistiken, die identisch mit den Populationsparametern sind, oder zumindest sehr nahe an diesen liegen, auch die im Verglich zu anderen Ergebnissen höchste Auftretenswahrscheinlichkeit haben. Essenziel ist dabei natürlich, dass es sich bei den Stichprobenstatistiken um Zufallsstichproben handelt. 12

13 Zwei Gesetzmäßigkeiten, die im Zusammenhang mit Stichprobenverteilungen eine wichtige Rolle spielen: empirisches Gesetz der großen Zahlen zentraler Grenzwertsatz 10.3 Stichprobenverteilungen für Anteile Die Herleitung von Stichprobenverteilungen ist mathematisch nicht immer ganz einfach. Eine Ausnahme ist die Stichprobenverteilung, die entsteht, wenn man es mit Anteilen zu tun hat: die Binomialverteilung. Ausgangsbasis sind Zufallsexperimente mit nur zwei möglichen Ergebnissen. Ein Zufallsexperiment ist jedes Ereignis, dessen Ausgang/Ergebnis vom Zufall abhängt (=Bernoulli-Experiment). Im Prinzip kann man jede Binomialverteilung per Hand berechnen, in der Praxis benutzt man jedoch meist die Binomialformel, insb. bei größeren Stichproben. Die Binomialverteilung beschreibt die Wkt, dass ein Ereignis A in einem Zufallsexperiment mit n Ziehungen k-mal eintritt. Der Binomialkoeffizient gibt an, wie viele verschiedene Anordnungen möglich sind, die aus k mal A und n-k mal Nicht-A bestehen. Die Parameter der Binomialverteilung (Kenngrößen), durch die die Binomialverteilung vollständig bestimmt ist, sind n und p Lage- und Streuungsmaße von Stichprobenverteilungen Genau wie Häufigkeitsverteilungen können auch Stichprobenverteilungen am besten charakterisiert werden, indem man ihre Lage- und Streuungsmaße angibt. Diese Maße benötigt man zur Berechnung von Konfidenzintervallen und zur Durchführung von Signifikanztests. Erwartungswert und Varianz werden entweder theoretisch abgeleitet oder aus den Stichprobenergebnissen geschätzt. Wenn man aus einem Stichprobenergebnis Mittelwert und Varianz berechnet, dann liegen Zahlen schon vor. 13

14 Mittelwert und Varianz von Stichprobenverteilungen sind dagegen Zusammenfassungen von hypothetischen Ergebnissen, die man auf lange Sicht (bei unendlich oft durchgeführten Zufallsziehungen) erwarten kann. Mittelwert Erwartungswert (entspricht dem Populationsmittelwert Mü) Zufallsvariablen = Variablen, deren mögliche Ergebnisse zwar bekannt sind, bei denen das aktuelle Ergebnis jedoch von Zufall abhängt Stichprobenverteilungen für Mittelwerte In den meisten Bereichen psychologischer Forschung haben wir es häufiger mit Mittelwerten und Mittelwertsunterschieden statt mit Anteilen zu tun. Um Inferenzen über Mittelwerte und Mittelwertsunterschiede in der Population zu ziehen, stehen unterschiedliche Arten von Stichprobenverteilungen zur Verfügung: t-verteilung f-verteilung Praktische Vorgehensweise Erwartungswert und Varianz einer Stichprobenverteilung für Mittelwerte aus den Ergebnissen einer Stichprobe schätzen Die Vorgehensweise ist potenziell fehlerbehaftet, da die Häufigkeitsverteilung in der Stichprobe, die als Schätzgrundlage für die Populationsparameter dient. deutlich von dieser abweichen kann. Dennoch ist die plausibelste Erwartung bei jeder Zufallsziehung, dass das Stichprobenergebnis / die Häufigkeitsverteilung repräsentativ für die Populationsverteilung ist. Wir können jetzt Lage- und Streuungsparameter für die Stichprobenverteilung von Mittelwerten schätzen. Es fehlt jedoch noch die genaue Form der Stichprobenverteilung, welche wiederum von der Form der Populationsverteilung und v.a. von der Stichprobengröße abhängt. Mit zunehmender Stichprobengröße nehmen Stichprobenverteilungen zunehmend die Form der sog. Normalverteilung an unabhängig davon, wie die Populationsverteilung aussieht. Bei kleineren Stichproben benötigt man allerdings Annahmen über die Form der Populationsverteilung, um die genaue Form der entsprechenden Stichprobenverteilungen zu bestimmen. 14

15 Abweichungen der Stichprobenstatistiken von den entsprechenden Populationsparametern sind bei Zufallsziehungen nicht zu vermeiden. Mit steigender Stichprobengröße nimmt aber die Größe der Abweichungen tendenziell ab Der Einfluss der Stichprobengröße auf die Stichprobenverteilung zwei Gesetzmäßigkeiten von Bedeutung: empirisches Gesetz der großen Zahlen zentraler Grenzwertsatz empirisches Gesetz der großen Zahlen: - die Schätzungen von zusammengesetzten Werten wie Anteilen oder Mittelwerten werden tendenziell mit steigender Stichprobengröße genauer (jedoch nicht systematisch, nicht monoton steigend) - Die Schätzungen können mit kleineren Stichproben besser sein als mit größeren, aber größere Stichproben sind im Durchschnitt genauer und variieren weniger um den tatsächlichen Wert Große Stichproben sind besser geeignet als kleine Stichproben, um Populationsparameter zu schätzen zentraler Grenzwertsatz Jede gebräuchliche Stichprobenverteilung (Summen oder Mittelwerte) nähert sich mit steigender Stichprobengröße die sog. Normalverteilung bzw. der standardisierten Form, der Standardnormalverteilung, an. (Mittelwert = 0, Varianz = 1), so dass man die Bedeutung der Standardabweichung genau interpretieren kann. Die Wktn für große relative Abweichungen sinken mit steigender Stichprobengröße bzw. mit steigender Stichprobengröße wir die Schätzung der Anteile genauer. Eine sehr wichtige Annahme in der Inferenzstatistik besagt: Stichprobenergebnisse variieren Alle spezifischen Schätz- und Testverfahren beruhen auf dem Konzept der Stichprobenverteilungen 15

16 11 Konfidenzintervalle Mit Konfidenzintervallen kann man genauigkeitsaussagen über die auf der Grundlage einer Stichprobenstatistik gewonnen Populationsparameter machen. Genauigkeit drückt sich in der Länge des Konfidenzintervalls aus: je kürzer das Intervall, desto genauer die Schätzung (bei konstanter Konfidenz). Nicht verwechseln darf man Wahrscheinlichkeitsintervalle und Konfidenzintervalle! Ein Wahrscheinlichkeitsintervall kann man nur erstellen, wenn man die tatsächlichen Werte kennt. Die Wkt, einen bestimmten Anteil zu erhalten oder dass der Anteil in einem bestimmten Intervall liegt, hängt davon ab, wie groß der tatsächliche Anteil ist (was wir im Normalfall aber nicht wissen). Es ergibt sich bloß in einziges Intervall Bei Konfidenzintervallen wird ausgehend von dem Geschätzten Anteil die Stichprobenverteilung konstruiert und dann die Endpunkte des Intervalls gesucht. Aufgrund eines Konfidenzintervalls kann man keine Wahrscheinlichkeitsaussage über den wahren Wert machen, weil wir nicht wissen, welches der möglichen Intervalle wir in der entsprechenden Studie gefunden haben; aber wir können eine Wahrscheinlichkeitsaussage über das Intervall treffen Die Berechnung von Konfidenzintervallen Zur Berechnung nutzt man meist die Standardnormalverteilung (große Stichproben) 1. Stichprobe ziehen und Anteil (oder anderen Kennwert) berechnen 2. Standardnormalverteilungswerte für gesuchtes Konfidenzintervall bestimmen 3. Standardabweichung der Stichprobenverteilung (Standardfehler) berechnen 4. Standardabweichung der Stichprobenverteilung mit Standardnormalverteilungswerten multiplizieren 5. Die entsprechenden Werte auf der X-Achse der Stichprobenverteilung sind die Endpunkte des Konfidenzintervalls Da man es in der Psychologie aber häufig mit kleinen Stichproben zu tun hat, benutzt man Stichprobenverteilungen, die für diesen Fall genauere Schätzungen liefern. t-verteilung zur Berechnung eines Konfidenzintervalls für einen Mittelwert, aber auch für Mittelwertsunterschiede bei abhängigen und unabhängigen Messungen, wobei die Unterscheidung unabhängige vs. abhängige Messungen auch Auswirkungen auf die Konstruktion von Konfidenzintervallen (sowie die Spezifizierung von Signifikanztests) hat. 16

17 11.4 Die Interpretation von Konfidenzintervallen Mit Konfidenzintervallen kann man streng genommen keine Wahrscheinlichkeitaussage über den wahren Wert (Populationsparameter) machen, sondern nur über Intervalle Konfidenzintervalle beinhalten eine Wahrscheinlichkeitsaussage; die Aussage bezieht sich aber nicht auf den wahren Wert (den Populationsparameter),sondern auf das Intervall Konfidenzintervalle wurden insb. für eingeschränkte Ressourcen, eine einzige Untersuchung als Entscheidungsgrundlage (schnelle Entscheidungen) entwickelt Konfidenzintervalle können aber auch eine nützliche Grundlage für Urteile oder Vorhersagen sein Hauptsächlich werden sie in der psychologischen Forschung verwendet. um eine Aussage über die Genauigkeit von Ergebnissen zu machen. I.d.R. benötigt man Vorwissen über den Gegenstandsbereich Das Konfidenzintervall für den Mittelwert kann nur sinnvoll interpretiert werden, wenn man diesen Wert mit theoretischen Erwartungen, früheren Werten oder mit Werten vergleichbarer Merkmale vergleichen kann. Konfidenzintervalle für Mittelwertsunterschiede sind leichter zu interpretieren Eine andere wichtige Information, die man häufig benötigt, über die Größe des Effekts, kann man nicht direkt aus einem Konfidenzintervall entnehmen, sondern es ist zusätzlich notwendig, Effektgrößen zu berechnen. Konfidenzintervalle können immer bei symmetrischen Verteilungen verwendet werden. Unter bestimmten Umständen kommt dieser Ansatz jedoch an seine Grenzen, z.b. bei der Berechnung von Konfidenzintervallen für Effektgrößen. Konfidenzintervalle sind eng verwandt mit Signifikanztests. Konfidenzintervalle mit gebräuchlichen Werten wie 90% oder 95% sind ein Kompromiss zwischen Trivialtät (100%) und geringerer Aussagekraft (z.b. 50%) 17

18 12 Signifikanztests Signifikanztests sind ein Verfahren zur Überprüfung von Hypotehsen vor dem Hintergrund der Frage Lassen sich die beobachteten Abweichungen von einem erwarteten Wert noch als Zufallsprodukt akzeptieren? Es gibt nicht den einen Signifikanztest, sondern mehrere Ansätze, die sich nicht hinsichtlich der Berechnungen unterscheiden, wohl aber hinsichtlich der getroffenen Annahmen und hinsichtlich der Interpretation von Ergebnissen. Grundlage sind wieder Stichprobenverteilungen. Diese werden aber nicht wie bei Konfidenzintervallen um die empirisch ermittelten Stichprobenstatistiken herum konstruiert, sondern bei Signifikanztests sind die Ausgangswerte für die Stichprobenverteilungen hypothetische Populationsparameter (Statistische Hypothesen), die man vor der Durchführung des Tests festlegt. Das Ergebnis eines Signifikanztests ist dann eine Wahrscheinlichkeitsaussage (bedingte Wkt) über ein Stichprobenergebnis im Licht der zuvor aufgestellten Hypothesen. Bei der Vorgehensweise nach Fisher kann Ho verworfen werden, wenn der p-wert kleiner oder gleich Alpha ist (signifikantes Ergebnis) Bei einem nicht-signifikanten Ergebnis sind keine Schlussfolgerungen möglich. Beim Vorzeichentest (Arbuthnot) wird getestet, ob sich der Anteil der positiven und negativen Vorzeichen signifikant unterscheidet. Gleichheitszeichen werden i.d.r. weggelassen. Das durch Alpha festgelegte Kriterium zeigt, ob es sich um einen signifikanten oder nichtsignifikanten Test handelt, wobei bei nicht-signifikanten Ergebnissen keine Schlussfolgerungen möglich. Neyman & Pearson schlugen einige Änderungen / Verbesserungen vor, um die Probleme bei der Vorgehensweise nach Fischer in den Griff zu bekommen: sie stellten der Nullhypothese eine Altenativehypothese gegenüber Das Problem der Interpretation von Signifikanztestergebnissen lösten sie durch eine Verhaltensinterpretation Mit Hilfe der Alternativhypothese kann man bestimen, wie groß die Wkt. ist, den in der H1 festgelegten Effekt mit Hilfe des Tests aufzudecken. Die Wkt nenn man Teststärke/Power. Wenn man sich zwischen h0 und H1 aufgrund eines Stichprobenergebnisses entscheiden soll, kann man zwei Arten von Fehlern begehen Alpha-Fehler Beta-Fehler 18

19 12.4 Einflussfaktoren auf das Ergebnis eines Signifikanztests Populations-Effektgröße Stichprobengröße Abwägung der Fehler erster und zweiter Art Minimierung des experimentellen Fehlers Homogenität der Population(en) 12.5 Poweranalyse Vor dem Hintergrund der Einflussgrößen sollte man vor jedem Test eine Teststärkeanalyse oder Poweranalyse durchführen, z.b. GPower, a-priori Möglich sind aber auch - Kompromiss-Analyse - post hoc-analyse 12.6 Vorgehensweise nach Neyman & Pearson 1. Formuliere eine Nullhypothese 2. Formuliere eine Alternativhypothese 3. Entscheide Dich für die Größe und Alpha und Beta und konstruiere aufgrund der daraus ermittelten Stichprobengröße die entsprechende Stichprobenverteilung 4. p-wert prüfen 5. Ist p-wert nicht größer als Alpha, dann ist das Ergebnis signifikant 6. Bei signifikantem Ergebnis verhalte Dich so, wie wenn die Alternativhypothese wahr wäre; bei nicht-signifikantem Ergebnis verhalte Dich so, wie wenn die Nullhypothese zutrifft. In seiner Reinform wird der Ansatz von Neyman & Pearson in der Psychologie und in den SoWi selten verwendet, es kam auch zu keiner Integration der Ansätze Fisher und Neyman&Pearson Das konventionelle Verfahren: Der Hybrid In der psychologischen Forschungspraxis wird der hybride Ansatz (Fisher, Neyman, Pearson, ggf. Bayes) deutlich häfiger verwendet als nur Fischer oder Neyman&Pearson. Sternchenstrategie Die optimierte Version des konventionellen Ansatzes ist in den wichtigsten Aspekten identisch mit der Vorgehensweise nach Neyman & Pearson, abgesehen von der ausführlichen Kosten-Nutzen-Analyse und der Verhaltensinterpreation der Ergebnisse. Die Poweranalyse garantiert, dass das Testergebnis symmetrisch interpretiert werden kann. Ein Testergebnis muss allerdings nicht automatisch in eine Handlung münden. 19

20 11. 8 Signifikanztests: Was man noch wissen sollte Man kann auch in beide Richtungen testen einseitige vs. zweiseitige Tests Wie man p-werte nicht interpretieren sollte p-werte sind Indikatoren für die Größe des Effekts P ist kein Indikator für die Effektgröße, da ein p-wert alleine nichts über die Größe des gefundenen Effekts aussagt p-werte erlauben eine Abschätzung der Wahrscheinlichkeit, dass die Null- /Alternativhypothese zutrifft mit p kann man nicht die Wahrscheinlichkeit der Hypothese abschätzen, denn die Wahrscheinlichkeitsaussage betrifft das Ergebnis, nicht die Nullhypothese p-werte sind Irrtumswahrscheinlichkeiten: wenn man sich aufgrund des p-wertes für die Verwerfung der Nullhypothese entscheidet, kennt man die Wkt, dass man dabei einen Fehler macht. P entspricht nicht der Irrtumswahrscheinlichkeit, da p ein Produkt der Daten, während die Irrtumswahrscheinlichkeit eine Eigenschaft des Tests ist. p-werte erlauben eine Abschätzung der Wahrscheinlichkeit, dass ein Ergebnis replizierbar ist p ist kein Indikator für Replizierbarkeit, da unterschiedliche Ergebnisse zu unterschiedlichen p-werten führen und somit p-werte nicht als Indikator für Replizierbarkeit dienen. Richtige Interpretation: Ein p-wert ist die bedingte Wahrscheinlichkeit für ein Ergebnis (und alle noch extremeren Ergebnisse), unter der Bedingung, dass di Nullhypothese zutrifft. Wenn der p-wert kleiner ist als eine vorgegebene kleine (irrtums-)wahrscheinlichkeit Alpha, wenn also das Ergebnis unter der Gültigkeit der Nullhypothese sehr unwahrscheinlich ist, dann kann man schließen, dass diese beobachtete Abweichung von der Nullhypothese kein Zufall mehr sein kann. Das Ergebnis ist signifikant, man entscheidet sich gegen die Nullhypothese und für die Alternativhypothese. Die Konsequenz dessen ist im Neyman-Pearson Ansatz, dass man bei einem signifikanten Ergebnis sich so verhält, wie wenn die Alternativhypothese richtig wäre; bei einem nichtsignifikanten Ergebnis, wie wenn die Nullhypothese zuträfe (letzteres aufgrund der vorangegangenen Kosten-Nutzen-Analyse). Im konventionellen Ansatz benutzt man das Testergebnis i.d.r. als (eines von mehreren) Entscheidungs- oder Bewertungskriterium für die Hypothesen. 20

21 Signifikanztests und Konfidenzintervalle hängen eng miteinander zusammen: Ein X%- Konfidenzintervall ist das Intervall, das die mittleren X% der Stichprobenverteilung einschließt, die um eine aus der Stichprobe berechnete Stichprobenstatistik herum erstellt wird. Andererseits ist ein Konfidenzintervall, das den Wert der Nullhypothese überdeckt) gelichbedeutend mit einem nicht-signifikanten Ergebnis (p > Alpha) Konfidenzintervalle können also im Prinzip auch zum Signifikanztesten verwendet werden. Man muss jedoch darauf achten, dass Konfidenzintervalle dieselbe Fragestellung behandeln. Allgemeine Hinweise & Empfehlungen - Studie sauber durchführen - überlegen, für welche Population die Ergebnisse aussagekräftig sind - Bewusstsein über die o.g. Fehlinterpretationen der p-werte - immer Teststärke berechnen - immer exakte p-werte berichten - immer (Stichproben)Effektgrößen berechnen - im Zweifelsfall lieber Konfidenzintervalle statt Signifikanztests - Es sollte immer eines Teststärkeanalyse vor dem Test durchgeführt werden - es sollten immer die exakten p-werte berichtet werden (keine Sternchen) - es sollten immer auch zusätzliche Effektgrößen berechnet werden - Im Einzelfall ist zu überlegen, ob ein Konfidenzintervall nicht sinnvoller wäre - Signifikanztest nach Neyman-Pearson durchführen, wenn die Studie als Entscheidungsgrundlage dient. Die Fehler erster und zweiter Art nach einer Kosten-Nutzen-Analyse vor der Testdurchführung festlegen zur Entscheidung nach dem Test genügt dann der Vergleich des p-wertes mit Alpha. In keinem Fall sollte ein p-wert das einzige Ergebnis einer Studie sein, sondern man sollte immer versuchen, alle relevanten Ergebnisse einer Studie aufzufinden und auch zu kommunizieren. 21

22 13. t-tests t-tests haben in der Psychologie einen hohen Verbreitungsgrad. Sie können benutzt werden, um zu überprüfen, ob sich ein Populationsmittelwert von einem vorgegeben Wert unterscheidet (Einstichprobenfall), aber auch, ob sich zwei Populationsmittel signifikant unterscheiden. Dabei macht es einen Unterschied, ob die entsprechenden zwei Stichproben, aus denen die Mittelwerte berechnet werden, abhängige oder unabhängige Messungen enthalten: - Die UE sind jeweils Messwertpaare bei abhängigen Stichproben bei unabhängigen Stichproben kann eine solche Zuordnung zwischen den Messwerten in beiden Stichproben nicht getroffen werden. - Die Messwertpaare sind in der Regel positiv miteinander korreliert, was zu kleineren Standardfehlern als bei vergleichbaren unabhängigen Stichproben führt, - Der Unterschied schlägt sich auch in unterschiedlichen Berechnungsweisen für den t-wert und unterschiedlichen Powerberechnungen nieder. Eine Variante von t-tests wird auch verwendet, um zu überprüfen, ob sich eine Korrelation oder ein Regressionskoeffizient in der Population signifikant von 0 unterscheiden. Aus Testergebnissen kann man Effektgrößen berechnen entweder Abstandsmaße oder Umrechnung in eine Korrelation. Bei der Interpretation von Effektgrößen sollte man darauf achten, ob sie aus dem Ergebnis eines t-tests für unabhängige oder abhängige Stichproben berechnet wurden, da Effektgrößen aus abhängigen Stichproben i.d.r. größer sind. 14. F-Test in der einfaktoriellen Varianzanalyse Die Varianzanalyse ermöglicht es, Unterschiede zwischen mehr als zwei Mittelwerten auf statistische Signifikanz zu testen. Das zum Einsatz kommende Prüfverfahren ist der F-Test. In allen Varianten des F-Tests werden zwei Schätzungen der Populationsvarianz der AV bestimmt und zueinander ins Verhältnis gesetzt. Wie bei allen Signifikanztests ist eine sinnvolle Durchführung & Interpretation der Varianzanalyse an eine angemessen Abschätzung des benötigten Stichprobenumfangs bzw. an eine Betrachtung der Teststärke gebunden. Die Power der Varianzanalyse hängt ab von der Effektstärke in der Population, dem Signifikanzkriterium Alpha, der Stichprobengröße pro Gruppe und der Anzahl der untersuchten Gruppen. 22

23 15. Weitere F-Tests 1. mehrfaktorielle Varianzanalyse 2. einfaktorielle Varianzanalyse für abhängige Stichproben 3. außerhalb der Varianzanalyse kann der F-Tetst auch eingesetzt werden, um in der Regressionsanalyse zu prüfen, ob die Varianzaufklärung durch die Prädiktoren in der Population größer als Null ist 16. Kontrastanalyse Die Kontrastanalyse ist eine Sonderform der Varianzanalyse, die zwei entscheidende Vorteile besitzt: 1. präzisere Alternativhypothesen 2. es ist möglich, Effektgrößen zu berechnen, die ein Aussage darüber erlauben, wie sehr die Daten mit einer spezifischen Hypothese übereinstimmen 3. ermöglicht, die Güte zweier Hypothesen miteinander zu vergleichen und das Ausmaß der Überlegenheit der stärker zutreffenden Hypothese zu berechnen. Es wird empfohlen, bei allen präzisierbaren Fragestellungen, zu deren Untersuchung üblicherweise Varianzanalysen verwendet werden, eine entsprechende Kontrastanalyse durchzuführen. 17. Der Chi-Quadrat-Test Chi-Quadrat-Tests können zur Analyse nominalskalierter Variablen verwendet werden. Sie ermöglichen es, Hypothesen über die Häufigkeiten von Merkmalsausprägungen oder Merkmalskombinationen in der Population zu prüfen. Die in der Population angenommene Häufigkeitsverteilung entspricht dabei der Nullhypothese des Tests. Chi-Quadrat-Tests zählen zu den nonparametrischen Verfahren und sind daher na wenige Voraussetzungen gebunden. 23