Forschungsmethodik II, SS 2010

Transkript

1 Forschungsmethodik II, SS 2010 Michael Kickmeier-Rust Teil 4, 12. Mai 2010 Versuchspläne 1

2 Versuchsplanung / Versuchspläne Von der Idee zum Versuchsplan 1. Vorexperimentelle Pläne Geeignet um Vorversuche oder Pilotstudien zu machen. Nachteil: keine Kontrolle von Störvariablen und mangelnde Kausalität. Einzeluntersuchung mit und ohne Treatment (z.b. Schultest, Leistungstest,.) (N) M 1 (N) T M 1 N Nichtzufällige Zuordnung zu den Gruppen; Z Randomisiert M Messung; T Treatment; VG Versuchsgruppe; KG Kontrollgruppe Versuchsplanung / Versuchspläne Von der Idee zum Versuchsplan 1. Vorexperimentelle Pläne Vortest-Nachtest-Eingruppenplan (z.b. Fallstudien) (N) M 1 T M 2 Gruppenvergleich ohne Vortest mit und ohne Treatment (z.b. Pisa-Studie) VG1: (N) M 1 VG1: (N) T M 1 VG2: (N) M 1 VG2: (N) M 1 (Bortz & Döring, 1995, S. 575) 2

3 Versuchsplanung / Versuchspläne Von der Idee zum Versuchsplan 2. Quasiexperimentelle Pläne Quasiexperimente sind in der Forschungspraxis sehr wichtig, da ökonomisch und meist in einem natürlichen Kontext. Der Nachteil ist, dass Störvariablen nur bedingt kontrolliert werden können und dass keine Randomisierung stattfindet. Vortest-Nachtest-Kontrollgruppen-Plan (z.b. viele psychologische Untersuchungen) VG: (N) M 1 T M 2 KG: (N) M 1 M 2 Versuchsplanung / Versuchspläne Von der Idee zum Versuchsplan 2. Quasiexperimentelle Pläne Zeitreihenpläne (mit versch. Unterformen) (z.b. Fieberkurve vor und nach der Behandlung) (N) M 1 M 2 M 3 M 4 T M 5 M 6 M 7 M 8 M 9 3

4 Versuchsplanung / Versuchspläne Von der Idee zum Versuchsplan 3. Experimentelle Pläne Teuer aber gut: Randomisierung, max. Kontrolle von Störgrößen, max. isolierte Variation der Bedingung. Experimenteller Vortest-Nachtest-Kontrollgruppen-Plan (z.b. viele psychologische Untersuchungen) VG: (Z) M 1 T M 2 KG: (Z) M 1 M 2 Versuchsplanung / Versuchspläne Von der Idee zum Versuchsplan 3. Experimentelle Pläne Solomon 4-Gruppen-Plan VG1: (Z) M 1 T M 2 KG1: (Z) M 1 M 2 VG2: (Z) T M 2 KG2: (Z) M 2 4

5 Versuchsplanung / Versuchspläne Von der Idee zum Versuchsplan 3. Experimentelle Pläne Solomon 4-Gruppen-Plan Der Solomon-Plan und ähnliche Pläne haben den Vorteil, dass man die Vergleichbarkeit der Gruppen prüfen kann. Denn gerade bei kleinen Stichproben kann auch die Randomisierung nicht garantieren, dass alle Störgrößen gleichmäßig über die Gruppen verteilt sind. Der Nachteil ist, dass der Vortest die Pbn für den Nachtest sensibilisieren kann bzw. durch Lerneffekte zu anderen Ergebnissen führen kann. Versuchsplanung / Versuchspläne Von der Idee zum Versuchsplan 3. Experimentelle Pläne Solomon 4-Gruppen-Plan Interpretierbarkeit: VG1: > Treatment, Vortesteffekten, Störvariablen KG1: > Vortesteffekten, Störvariablen VG2: > Treatment, Störvariablen KG2: > Störvariablen 5

6 Versuchsplanung / Versuchspläne Von der Idee zum Versuchsplan 3. Experimentelle Pläne Solomon 4-Gruppen-Plan Interpretierbarkeit: Vergleich des D in VG1 und KG1 informiert über die reinen Treatmenteffekte Vergleich des D in VG2 und KG2 informiert über die reinen Treatmenteffekte Vergleich des D in KG1 und KG2 informiert über mögliche Vortesteffekte Versuchsplanung / Versuchspläne Von der Idee zum Versuchsplan 3. Experimentelle Pläne Mehrfaktorielle Pläne (z.b. 2x2 Design) VG: (Z) T M 1a, b KG: (Z) M 1a, b UV2 UV1 x 1 x 2 x 3 x 4 6

7 Versuchsplanung / Versuchspläne Von der Idee zum Versuchsplan 4. Probleme der Mehrfachmessung Positionseffekte Sensibilisierung: Die erste Bedingung, gleich welche, macht die Vpn aufmerksam für die nachfolgende Bedingungen und regt zu Vergleichen an. Übungseffekte: Die Versuchspersonen werden mit der Versuchssituation vertrauter, verstehen die Anforderungen eher und schneiden bei nachfolgenden Bedingungen besser ab. Ermüdungseffekte: Wenn die ersten Versuchbedingungen anstrengend oder langweilig sind, sinkt die Motivation, Bereitschaft oder Kraft für die weiteren Bedingungen. Erinnerungseffekte: Kommen bei den nachfolgenden Bedingungen Aufgabenstellungen oder Reizmaterial vor, welches aus vorhergehenden Bedingungen bekannt ist, dann sind bessere Ergebnisse zu erwarten. Versuchsplanung / Versuchspläne Von der Idee zum Versuchsplan 4. Probleme der Mehrfachmessung Übertragungseffekte (Carry-Over-Effekte) Übertragungseffekte hängen von der speziellen Bedingung ab. Weil die Bedingung A vor der Bedingung B kommt, wird Bedingung B in irgendeiner Weise von A beeinflusst. Es findet beispielsweise ein Lerntransfer von A auf B statt. Wäre B vor A gekommen, dann wäre nicht notwendigerweise ein Transfer von B auf A zu erwarten. Zwischenzeitliche Ereignisse Drop out 7

8 Versuchsplanung / Versuchspläne Die ersten Schritte zur Realisierung 1. Ethische Richtlinien beachten! Dokument of der Homepage: Richtlinien der DGPs 2. Prozedur definieren Detailliert den gesamten Versuchsablauf niederschreiben: Rekrutierung der Pbn Zuteilung der Pbn zu den Gruppen Instruktion der Pbn Material (z.b. Tests) und Apparaturen definieren Genauen Ablauf (inkl. Zeitschätzung) definieren Ort und Zeit der Durchführung definieren Kosten kalkulieren Versuchsplanung / Versuchspläne Die ersten Schritte zur Realisierung 2. Prozedur definieren Analysestrategie planen und Verfahren definieren Dateneingabe Datenaufbereitung (Selektion von Daten, unvollst. Daten, ) Datentransformation (bez. Format oder bez. bestimmter aggregierter Gruppen, ) Auswahl der Testverfahren und Definition einer Anaylsesequenz (z.b., Desktiptive Statistiken (M, SD, Min, Max, NV, Schiefe) > Varianzanalyse > Multiple Korrelation zur weiteren Untersuchung von möglichen Interaktionen) Durchführen eines Beispiels! 8

9 Versuchsplanung / Versuchspläne Die ersten Schritte zur Realisierung 3. Vorversuche 9

10 Ein Beispiel (frei nach Ronald Fisher) Eine Dame behauptet, gäbe man ihr eine Tasse Tee, der etwas Milch hinzugefügt sei, würde sie im Allgemeinen einwandfrei erkennen, ob zuerst der Tee oder zuerst die Milch in die Tasse gefüllt worden wäre. Wie kann man das prüfen? > Der Dame eine Tasse Tee geben, in der zuerst Tee und dann Milch eingeschenkt worden wäre und eine Tasse, in der zuerst Milch gegeben und dann Tee eingeschenkt worden wäre? Ein Beispiel (frei nach Ronald Fisher) Eine Dame behauptet, gäbe man ihr eine Tasse Tee, der etwas Milch hinzugefügt sei, würde sie im Allgemeinen einwandfrei erkennen, ob zuerst der Tee oder zuerst die Milch in die Tasse gefüllt worden wäre. Wie kann man das prüfen? > Der Dame eine Tasse Tee geben, in der zuerst Tee und dann Milch eingeschenkt worden wäre und eine Tasse, in der zuerst Milch gegeben und dann Tee eingeschenkt worden wäre? > 50:50 Chance 10

11 > Besser: Man bereitet 4 Tasse vor, die in der Reihenfolge Tee Milch eingeschenkt wurden und 4, die in der Reihenfolge Milch Tee eingeschenkt wurden. Die 8 Tasse reiht man nun zufällig am Tisch auf und bittet die Dame, die 2 Gruppen zu unterscheiden. > Es gibt nun Möglichkeiten, 4 Tassen zu wählen; das ergibt eine Chance von 0,014 also 1,4% > Genau das entspricht dem α-niveau. Würde die Dame nur raten und tatsächlich richtig raten, würde ich mit einer Wahrscheinlichkeit von 1,4% ein falschpositives Resultat akzeptieren. > Die Wahrscheinlichkeit, dass sich die Dame irrt, obwohl sie es vielleicht eigentlich kann entspricht dem β-fehler. 11

12 > Ein statistischer Test liefert nun auf Basis einer Konvention (α-niveau) eine Entscheidungshilfe - Solche Tests sagen aus, wie wahrscheinlich ein bestimmtes Ereignis ist (die Dame findet die 4 Tassen), gegeben die Nullhypothese gilt. - Allerdings ist nicht nur die Wahrscheinlichkeit für das eine bestimmte Ereignis interessant, sondern auch die Wahrscheinlichkeit noch extremerer Ereignisse, also solcher Ereignisse, die noch weiter von der Nullhypothese abweichen. > Parametrische (verteilungsabhängige) Verfahren - Sie gehen davon aus, dass bestimme Ereignisse in der Population best. Wahrscheinlichkeiten haben; bspw. eine Person mit einem bestimmte Gewicht zu finden oder eine Person, die die Einschenk-Sequenz von Milch und Tee erschmecken kann. Das bedeutet, für ein bestimmtes Merkmal (als Ereignisklasse) gibt es eine Wahrscheinlichkeits- (bzw. Häufigkeits-) Verteilung, z.b. die Normalverteilung. (Der Begriff Parameter bezieht sich auf die Werte, die die Wahrscheinlichkeitsverteilung, etwa Schiefe, Breite, Steilheit, etc., in der Population beeinflussen) 12

13 > Parametrische (verteilungsabhängige) Verfahren Normalverteilung: z.b. IQ µ = 100 > Parametrische (verteilungsabhängige) Verfahren Wie wahrscheinlich ist die empirisch gefundene oder eine größere Mittelwertsdifferenz unter allen möglichen rein theoretisch denkbaren Differenzen? _ µ - X µ = 100 µ = 100 x =

14 > Parametrische (verteilungsabhängige) Verfahren - Voraussetzungen: - Eine bestimmte Verteilung (Normalverteilung) - Homogene Varianzen _ µ - X > Parametrische (verteilungsabhängige) Verfahren - Beispiel: Gauß-Test IQ-Verteilung in einer Klasse Erwartungswert µ = 100; Standardabweichung σ = 15; IQ ist normal verteilt; Frage: Weicht die Klasse (nach oben oder unten) ab? H 0 : µ = 100; H 1 : µ <> 100; α = 1% Stichprobe/Klasse: 119, 98, 86, 111, 101, 96 14

15 > Parametrische (verteilungsabhängige) Verfahren - Beispiel: Gauß-Test _ z = X σ n Dichte der Standardnormalverteilung (z-verteilung) 0,5% 99,5% > Parametrische (verteilungsabhängige) Verfahren - Beispiel: Gauß-Test Dichte der Standardnormalverteilung (z-verteilung) 0,5% 99,5% Was wir wollen: α = 0,01; 2-seitig Entscheidungskriterium: z < -2,575; z > 2,575 15

16 > Parametrische (verteilungsabhängige) Verfahren - Beispiel: Gauß-Test _ z = X σ n z = 101, z = 0,299 > Parametrische (verteilungsabhängige) Verfahren - Beispiel: Gauß-Test _ z = X σ z = n 101, z = 0,299 6 H1 verwerfen; H0 gilt: die Klasse weicht nicht von der Norm ab. 16

17 > Nichtparametrische (verteilungsunabhängige) Verfahren - Sie nicht von einer bestimmten in der Population geltenden Verteilung eines Merkmals aus. Das bedeutet, dass die Anforderungen an die Daten der Stichprobe geringer sind (keine Normalverteilung, keine homogenen Varianzen). - Darüber hinaus stellen sie je nach Test meist weniger Anforderungen an das Skalenniveau. - Allerdings sind sie meist weniger mächtig als die parametrischen Verfahren. - Grundsätzlich können parametrische Verfahren durch nichtparametrische ersetzt werden umgekehrt nicht! > Nichtparametrische (verteilungsunabhängige) Verfahren - Beispiel: Mann-Whitney-U-Test H 0 : Frauen und Männer sind gleich groß; Werte: Frauen: 170, 174, 170, 165, 173, 162 Männer: 185, 172, 184, 178, 179 Daraus kann man (künstliche) Paare bilden; gilt die H 0, würde man erwarten, dass in der Hälft der Fälle die Frau größer ist, als der Mann und umgekehrt: n F * n M / 2 = 15 17

18 > Nichtparametrische (verteilungsunabhängige) Verfahren - Beispiel: Mann-Whitney-U-Test Nun bedient man sich eines Tricks und rechnet nicht mit den Originaldaten, sondern mit deren Rängen: Frauen: 170, 174, 170, 165, 173, 162 Rang: Männer: 185, 172, 184, 178, 179 Rang: > Nichtparametrische (verteilungsunabhängige) Verfahren - Beispiel: Mann-Whitney-U-Test und bildet die Rangsummen: Frauen: 170, 174, 170, 165, 173, 162 Rang: R F = 21 Männer: 185, 172, 184, 178, 179 Rang: R M = 38 18

19 > Nichtparametrische (verteilungsunabhängige) Verfahren - Beispiel: Mann-Whitney-U-Test und dann berechnet man die Testgrößen: > Nichtparametrische (verteilungsunabhängige) Verfahren - Beispiel: Mann-Whitney-U-Test Kritischer U-Wert bei α = 0.01: 3 19

20 > Nichtparametrische (verteilungsunabhängige) Verfahren - Beispiel: Mann-Whitney-U-Test Daraus ergeben sich die Schranken-Werte: Die kritische untere Schranke ist 3 Die kritische obere Schranke ist n F * n M untere Schranke = 27 Von den empirischen Testgrößen ist nur die der größeren Gruppe, also U F, relevant! > Nichtparametrische (verteilungsunabhängige) Verfahren - Beispiel: Mann-Whitney-U-Test U-Statistik U emp = 30 H 0 verwerfen! untere Schranke n M * nf obere Schranke 20

21 Untere Grenze Obere Grenze > Der Clue: Konfidenzintervalle oder warum sind Verteilungen so wichtig?!? - Punktschätzung ist für die Parameter der Teststatistiken ziemlich schwierig. - Bei (den meisten) reellen Zahlen geht die Wahrscheinlichkeit gegen 0, einen Parameter richtig zu treffen, da die Anzahl der möglichen Ausprägungen (nahezu) unendlich ist. - Ein Intervall zu schätzen, mit dessen Sicherheit man Zufrieden ist, scheint besser. > Konfidenzintervall > Der Clue: Konfidenzintervalle - Meist symmetrisch um den Stichprobenkennwert konstruiert. - Die Überdeckungswahrscheinlichkeit bezieht sich auf die Irrtumswahrscheinlichkeit α und ist 1 α. α 2 p=1-α x x Stichprobenkennwert wahre Wert α 2 21

22 Untere Grenze Obere Grenze Untere Grenze Obere Grenze > Der Clue: Konfidenzintervalle α 2 p=1-α x x Stichprobenkennwert wahre Wert α 2 > Der Clue: Konfidenzintervalle α 2 p=1-α x x Stichprobenkennwert wahre Wert α 2 Nur mit einer Verteilungsannahme lassen sich Grenzen angeben! 22

23 Was wann und warum??? Was wann und warum??? Vorberg, D., & Blankenberger, S. (1999). Die Auswahl statistischer Tests und Maße. Psychologische Rundschau, 50,

24 Schönen Nachmittag! 24