Evaluation & Forschungsstrategien

Transkript

1 Evaluation & Forschungsstrategien WS2013/14 Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz

2 Evaluation & Forschungsstrategien Seminar Anwendung statistischer Verfahren in Überblick Grundprinzip wichtigsten mathematischen Beziehungen Anwendungsbeispiele in Excel & Statistica HA/Tut Vertiefung mit Anwendungsbeispielen Aufgabenbearbeitung mit Excel & Statistica Prüfung Stud.Leistung Mündliche Modulabschlußprüfung Bearbeitung eines Project Files

3 Einführung Verfahren Versuchspläne Evaluation & Forschungsstrategien Evaluationsproblem am Beispiel der Wirksamkeitsprüfung einer therapeutischen Maßnahme: Grundprobleme und Prüfstrategien Varianzanalytische Designs / ANOVA darin: Messwiederholungsdesigns/Trendanalyse Lineare und nichtlineare Regression Vorhersage von dichotomen Kriterien/Erfolg Probleme des statistischen Entscheidens Typische Evaluationsdesigns mit Kontrollgruppe Ziele Wissen über statistische Verfahren Wissen über Untersuchungsstrategien Umsetzung mit Software

4 Evaluationsproblem Design Evaluation & Forschungsstrategien Problemstellung Eine Psychologin untersucht die Wirksamkeit einer neuen Behandlungsmethode gegen depressive Verstimmungen. Sie teilt eine Stichprobe von 44 depressiven Patienten in eine Therapiegruppe und eine Kontrollgruppe ein, und misst 3 Indikatorvariablen V1: Beanspruchung, V2: Ohnmacht/Hilflosigkeit und V3 Körperbeschwerden jede Woche bei allen Patienten. Die Therapiegruppe wird 6 Wochen lang therapiert. Alle 3 Variablen sind zur Beurteilung des Therapieerfolgs wichtig und gehen in die Beurteilung über die Eignung der Behandlungsmethode ein. Welches Design liegt vor / welche könnte man einsetzen? t1 t2 tk Control v1 v2 v3 v1 v2 v3 v1 v2 v3 Therapy v1 v2 v3 v1 v2 v3 v1 v2 v3 Hierbei wird jede Variable V j auf n i Versuchspersonen gemessen. i = 1: Kontrollgruppe i = 2: Therapiegruppe (die Stichprobenumfänge beider Gruppen dürfen verschieden sein)

5 Evaluation & Forschungsstrategien Daten 7.0 TIME*VAR*Group; LS Means Current effect: F(12, 504)=68.837, p= Effective hypothesis decomposition Vertical bars denote 0.95 confidence intervals DV_ TIME: Group: Control TIME: Group: Therapy VAR 1 Bean VAR 2 Ohnm VAR 3 Hilf

6 Evaluation & Forschungsstrategien Fragen

7 Basisliteratur zu Evaluation & Forschungsmethoden Literatur Bortz a) b) Bortz/Döring c) Winer

8 Univariate Mittelwertevergleiche - Problemstellung Problem Gruppierungsvariable Messgröße (metrisch) Beispiel Geschlecht x Anzahl der gefundenen Zielelemente in einem Konzentrationsleistungstest M J Frage Unterscheidet sich die Leistung von Mädchen und Jungen im statistischen Mittelwert?

9 Univariate Mittelwertevergleiche - Problemstellung Stichprobe Wir untersuchen 40 Mädchen und 45 Jungen Beispieldaten Geschlecht M xm J x x x xj M J = 6.5 Frage Gibt es wirkliche Leistungsunterschiede zwischen Jungen und Mädchen, oder ist der gefundene Unterschied rein zufällig?

10 Univariate Mittelwertevergleiche - Prüfstrategie Strategie Annahme Ermittle die Wahrscheinlichkeit für den beobachteten Mittelwertsunterschied unter der Annahme, dass beide Gruppen in der Population denselben Mittelwert besitzen Die Populationsmittelwerte von Jungen und Mädchen sind gleich Null-Hypothese H : 0 J M Alternativ- H Hypothese : 1 J M Urteil Ist der beobachtete Mittelwertsunterschied unter der H 0 sehr unwahrscheinlich (höchstens 5%), so lehnen wir die H 0 ab, und sehen die H 1 als die bessere Alternative an.

11 Sampling Theoretische Verteilung Sampling Distribution Population der Jungen Stichprobe des Umfangs N J x J Tue dies k - mal: Population der Mädchen Mittelwertsdifferenz x x x M x x x J 1 M1 J1 x x x 2 M2 J2 xk xmk xjk x M Stichprobe des Umfangs N M Verteilung der Differenzen von Mittelwerten x1 x2 xi xk

12 Wahrscheinlichkeitsdichte Methoden der Central Limit Theorem Theoretische Verteilung Sampling Distribution Die Verteilung von Differenzen von Mittelwerten nähert sich mit wachsendem Umfang der Sample-Stichproben einer Normalverteilung. Für N > 30 ist die Approximation gut. f x Es gilt: 0.10 x 0 s x (wird geschätzt) 0.05 s x s x s x 0 s 2s x x x Inferenzstat. Schluss In der theoretischen Verteilung der Differenzen von Mittelwerten wird die Wahrscheinlichkeitsbestimmung vorgenommen. Sie liegt dem inferenzstatistischen Schluss zugrunde.

13 Sampling Distribution Bestimmung des Standardfehlers Unabhängigkeit Ist die Messvariable eine in beiden Populationen unabhängige ZV: s s x N 2 2 M J M s N J Gleichheit der Populationsvarianz Jungen und Mädchen kommen aus derselben Population s s s M J Standardfehler s x s NM N J

14 Sampling Distribution Schätzung des Standardfehlers Schätzung aus Stichproben Für die Populationsvarianz verwendet man eine Schätzung aus den Daten beider Stichproben: Pooling 2 ˆ s N s N s SAQ SAQ N N 2 df df 2 2 M M J J M J M J M J 2 2 wobei und die Stichprobenvarianzen sind s M s J Dann gilt Schätzformel ˆ s NM sm NJ sj x N N 2 N N M J M J (Beste Schätzung des Standardfehlers aus Stichprobendaten)

15 Wahrscheinlichkeitsdichte Wahrscheinlichkeitsdichte Methoden der f (x) Normalverteilung z Standardnormalverteilung f (z) s x 0.05 s 1 z _ x Normalverteilung x z x s x _ z Standard-Normalverteilung z Die _ z- Transformation übersetzt die Rohdatenskala in die Standardskala ( z = 0, s z = 1)

16 Sampling Distribution Prüfgrösse z- Skala der Differenzen von Mittelwerten z x s x x Unter der H0 gilt 0 x Prüfgrösse Dann gilt: z x ist standardnormalverteilt s x Transformation [ ] x 2s x s x 0 s x 2s x [ ] z

17 Entscheidung über Prüfgrösse mit Standardnormalverteilung f t 95% Prüfgrösse z x s x 2.5% % z z 1 /2 1 /2 Ablehnungsbereich z z1 /2 Annahmebereich z z1 /2 z Ablehnungsbereich z z1 /2 Signifikanzniveau 0.05 P z z 1 /2 Testen zum Signifikanzniveau : Ist z > z 1-/2?

18 Entscheidung über Signifikanz des Mittelwerteunterschieds 1. Prüfgrösse Berechne z x s x 2. Kritischer z - Wert Ermittle kritischen z - Wert z 1-/2 für ein Fehlerniveau 3. Entscheide A. Gilt z > z 1-/2 Ablehnung von H 0 (die Mittelwerte der J. und M. sind signifikant verschieden) B. Gilt z < _ z 1-/2 Beibehalten von H 0 (die Mittelwerte der J. und M. unterscheiden sich zufällig)

19 Numerisches Beispiel Differenz der Mittelwerte xm s M x x x xj M J 2 s J = Standardfehler Prüfgrösse und Kritischer Wert Entscheidung ˆ s x z 2.52 z /2 = z = > 1.96 d.h. z > z 1-/2 H 0 ablehnen Die Mittelwerte entstammen nicht derselben Population (unterscheiden sich signifikant)

20 Voraussetzungen der Prüfung Varianzhomogenität a. Die Populationsvarianzen die beiden Stichproben zu Grunde liegen, müssen gleich (homogen) sein. (Prüfung mit geignetem Verfahren) Unabhängigkeit Verletzungen b. Die Messeinheiten innerhalb jeder Stichprobe müssen unabhängig sein. c. Die Messeinheiten beider Stichproben dürfen nicht teilweise paarweise zuzuordnen sein. Der Test ist relativ robust gegen Verletzungen der Varianzhomogenität. Verletzungen der Unabhängigkeit (b.) führen zur Ungültigkeit der Prüfgrösse, der Unabhängigkeit (c.) je nach Höhe der Korrelationen zu progressiven (kleine Korr.) oder zu konservativen Entscheidungen (hohe Korr.).

21 Mittelwertsprüfung bei mehreren Variablen Beispiel 10 Variablen Lebenszufriedenheit Arbeit X 1 : Gehalt X 2 : Entscheidungsfreiheit X 3 : Qualität der Kommunikation Person X 7 : Lebensansprüche X 8 : Sinnhaftigkeit Privatsphäre X 4 : Ehe X 5 : Freunde/Beziehungen X 6 : Sexualität Aktivität X 9 : Hobbies X 10 : Sport/Fitness x, x,, x Gruppen Gesunde Herzinfarktpatienten

22 Multivariate Mittelwertsvergleiche - Einzeltestungen Frage Teststrategie Probleme Ausweg Unterscheiden sich Gesunde und Patienten im Variablenkomplex Lebenszufriedenheit? Wir testen auf jeder der 10 Skalen den Gruppenunterschied mit einem t- Test. Wenn irgend einer der Tests signifikant wird, sehen wir die Gruppen als verschieden an. 1. Multiples Testen: Dieselbe Hypothese wird 10 mal geprüft. 2. Unterstellte Unabhängigkeit: Man behandelt die einzelnen Skalen als unabhängig voneinander. 3. Fehlendes Konstrukt: Lebenszufriendenheit wird nicht als Variablenkomplex mit Binnenstruktur behandelt. 4. Mangelnde Teststärke: Man nutzt nicht die Korrelationsstruktur der Variablen für einen leistungsfähigen Test. Verwendung eines multivariaten Tests, der die Information aller 10 Variablen und ihrer Korrelationsstruktur in eine statistische Prüfgrösse einfliessen lässt.

23 Fehler Kumulierung Overall Bonferroni Approximation Einzeltestungen - Bonferronikorrektur Bei simultanen Einzeltestungen kumuliert sich das Risiko: Setzt man das overall 1 1 ˆ m P 1 PT1 T2 Tm ˆ P mind. 1 falsch 1 keinen 1 falsch ˆ ˆ 1/ m 1 1 -Niveau fest und löst nach auf, folgt m Um alle m Tests auf einem konventionellen Alpha Niveau abzusichern, muss dieses durch die Anzahl der Tests geteilt werden. Bei 10 Tests muss man für ein overall Alpha = 5% ein Test-Alpha von 0.5% verwenden.

24 Ausblick: Multivariate Mittelwertsvergleiche - Verfahren Variablenkomplex x, x,, x Multivariates Testkonstrukt Multivariate Distanz (Mahalanobisdistanz) Optimale Linearkombination (Linear Discriminant Function) Multivariate Quadratsummen (SSCP-Matrizen-Zerlegung) Verfahren Hotelling s T 2 MANOVA Diskriminanz- Analyse Alle Verfahren entscheiden über den Gruppenunterschied im gesamten Variablenkomplex mit einem statistischen Test