Analyse von Experimenten. Stefan Hanenberg (University of Duisburg-Essen)

Transkript

1 Analyse von Experimenten Stefan Hanenberg (University of Duisburg-Essen)

2 Eine Intuitive Einführung

3 Intuitive Einführung (1) siehe vorherige Vorlesung Beispiel und Diskussion Ich glaube, dass die Programmiersprache Java besser als Smalltalk für die Durchführung von Softwareprojekten geeignet ist. Wie kann ich den Nachweis erbringen?

4 Intuitive Einführung (2) siehe vorherige Vorlesung... Zweite Idee Ich lasse von 4 Stundenten HelloWorld schreiben, 2 Stundenten in Java, 2 Stundenten in Smalltalk. Dann vergleiche ich, welche der beiden Gruppen schneller war. Wie vergleiche ich? Arithmetische Mittel? Mediane? Muss ich Ausreißer beachten? Sind 4 Probanden ausreichend?...

5 Intuitive Einführung (3) stats4runaways... Grundsätzliches Vorgehen bei der Auswertung Anwendung von Inferenzstatistik, d.h. Durchführung eines Signifikanztests Berechnung eines p-werts (Wahrscheinlichkeit eines alpha-fehlers) Wenn p-wert < 0.05, dann wurde etwas gefunden, ansonsten kein Unterschied gefunden

6 Intuitive Einführung (3) stats4runaways... Beispiel: Java/Smalltalk Entwicklungszeit Proband/Sprache/Zeit: Smalltalk Stefan/Smalltalk/2h, Michael/Java/1h, Thorsten/Java/4h, Manuel/Smalltalk/8h, Rainer/Smalltalk/6h, Klaus/Java/1h Java Es sieht so aus, als ob Smalltalk-Programmierer länger brauchen Durchführung eines Signifikanztests (hier Mann-Whitney-U-Test) Ergebnis: p=0.2 Kein Unterschied zwischen Java und Smalltalk gefunden (obwohl Mediane unter arithmetische Mittel unterschiedlich!)

7 Ziele Erlernen von Validen Methoden, um Experimente auszuwerten Welche Tests gibt es? Wann werden diese angewendet? (für welchen Experimentaufbau) Grenzen dieser Methoden Welche Annahmen haben die Tests?

8 Agenda Messdaten und Skalen Deskriptive Statistik Inferenzstatistik Verteilungen Signifikanztests Mittelwertvergleiche Wilcoxon, Mann-Whitney-U-Test, t-test Multiple Vergleiche Korrekturen Varianzanalyse Abbildung von Signifiganztests auf Versuchsaufbauen Werkzeugunterstützung SPSS & R

9 Messdaten und Skalen (1) Messdaten haben eine unterschiedliche Natur Skalen Nominalskala Werte folgen keiner Ordnung, aber man kann Werte unterscheiden, Bsp: weiblich, männlich Ordinalskala Werte sind geordnete, aber man kann den Abstand der Werte nicht Bewerten ( sehr gut ist nicht doppelt so viel wie gut ), Bsp.: sehr schlecht, schlecht, gut, sehr gut Intervallskala: Werte sind geordnet, Unterschiede können beziffert werden, eber es gibt keinen Nullpunkt, Bsp.: 10 C, 15 C, 66 C, Verhältnisskala Messdaten sind vollständig vergleichbar, d.h. 10*Datum = 2*5*Datum, etc.

10 Messdaten und Skalen (2) Für unterschiedliche Skalen müssen unterschiedliche Verfahren eingesetzt werden Z.B. gibt es keinen Durchschnitt von weiblich und männlich

11 Deskriptive Statistiken - Lagemaße Lagemaße geben ersten Anhaltspunkt, wo sich die meisten Messpunkte befinden

12 Deskriptive Statistiken - Lagemaße Arithmethisches Mittel Anfällig gegen Ausreißer Median Stabiler gegen Ausreißer Anfällig gegen Knubbel Gestutztes Mittel Entfernen der oberen/unteren 10% dann Mittelwert

13 Deskriptive Statistiken - Lagemaße Quantile Unterteilung der Messwerte in Abschnitte des gleichen Umfangs Beispiel: Messreihe: 5, 10, 99, 150, 1000 Arithmetisches Mittel: x=252,2 Median: 99 Erstes Quintil = 7,5

14 Deskriptive Statistiken - Streuungsmaße Streuungsmaße geben an, wie weit die Messwerte verteilt sind

15 Deskriptive Statistiken - Streuungsmaße Spannweite Differenz aus max und min Varianz Durchschnittliche, quadratische Abweichung von Mittelwert Summe der Quadrate wird auch als Quadratsumme (QS) bezeichnet Standardabweichung (=Streuung) Wurzel der Varianz

16 Deskriptive Statistiken Weitere Kennzahlen Schiefe (...selbstsprechend...) Exzeß (Breite des Gipfels)

17 Datenvisualisierung (1) Histogramme Beschreiben die Anzahl der Daten, die sich in einem Bereich befinden (Näherung an Verteilung) Boxplots Beschreiben, wie sich Daten um Median herum verteilen Punktstreudiagramms...

18 Datenvisualisierung Zweck Eindruck von der Beschaffenheit der Daten vermitteln Vergleich der Daten mit bekannten Formen von Daten (Verteilungen) Identifizierung von Ausreißern und Unregelmässigkeiten

19 Datenvisualisierung - Histogramm Beschreiben die Anzahl der Daten, die sich in einem Bereich befinden (Näherung an Verteilung) Daten werden in n Bereiche gegliedert (x- Achse), Vertikale beschreibt relative Häufigkeit der Daten in diesem Bereich Beispiel 1, 1, 2, 5, 6, 7, 8, 10, 15, 100 Zahlen knubbeln sich am Anfang, hinten ein Ausreißer

20 Datenvisualisierung - Histogramm Histogramme werden genutzt, um zu prüfen, ob Messdaten normalverteilt sind ( Glockenkurve ) Hier: leicht linksschiefe Verteilung, annähernd normalverteilt

21 Datenvisualisierung - Boxplot Beschreiben, wie sich Daten um Median herum verteilen Beispiel 1, 1, 2, 5, 6, 7, 8, 10, 15, ist ein Ausreißer die meisten Werte zwischen 0 und 10 Max-Wert (ohne Ausreißer) bei 15

22 Datenvisualisierung Punkt/Streu Diagramm Visualisierung von 2-Dimensionalen Daten Vermittelt ersten Eindruck Korrelation zwischen Daten Beispiel (1/15), (2/18), (4/23), (8/40) Punkt/Streu-Diagram legt Korrelation (wenn auch nicht sehr starke) nah

23 Normalverteilung Für eine Reihe von statistischen Tests ist es notwendig zu wissen, ob Daten (oder Differenzen, etc.) normalverteilt sind Festellung auf Normalverteilung 1. Anschauen der Histogramme, ob Normalverteilung plausibel 2. Durchführung von Signifikanztests auf Normalverteilung (später)

24 Signifikanztests AB Experimente Vergleich von Mittelwerten (bzw. zentrale Tendenz) Anwendung: AB-Experiment Unterscheidung Normalverteilt (t-test) Nicht-normalverteilt (Mann-Whitney-U-Test / Wilcoxon-Test) Between-subject (ungepaarte Vergleiche) Within-subject (gepaarte Vergleiche)

25 Grundlage Signifikanztests Signifikanztests Überprüfen der Nullhypothese H 0 (Mittelwert 1=Mittelwert 2), bzw. Annahme der Alternativhypothese H 1 Problem H 0 kann richtig sein, aber durch statistischen Test fällt Aussage für H 1 => alpha-fehler (Fehler 1. Art) H 1 kann richtig sein, aber durch statistischen Test fällt Aussage für H 0 => beta-fehler (Fehler 2. Art)

26 Grundlage Signifikanztests [Wikipedia] Beispiel Ziehen einer Kugel aus Urne, in der rote und blaue Kugeln sind H 0 : Es sind gleich viele rote wie blaue in der Urne Test ergibt Ablehnung von H 0 => alpha-fehler

27 Grundlage Signifikanztests

28 Grundlage Signifikanztests Signifikanztests ergeben p-wert, der die Größe des alpha-fehlers bestimmt bei Hypothese H 0, dass es keinen Unterschied gibt. Alpha-Level (auch Signifikanzniveau) gibt an, mit welchem alpha- Fehler man Leben kann, z.b. alpha = 0.05 besagt, dass eine 5% Wahrscheinlichkeit des alpha-fehlers toleriert wird Alpha-Grenze ist willkürlich gewählt und domänenabhängig Medizin: alpha = 0.01 Psychology: alpha = 0.05 Physik: alpha = Softwaretechnik: meist 0.05 (...aber keiner weiss, warum...)

29 Prüfen auf Normalverteilung Problem Einige Signifikanztests erwarten normalverteilte Daten Lösung 1. Plausibilität durch Histogramme 2. Durchführen eines Signifikanztests Kolmogorow-Smirnow-Test Shapiro-Wilk-Test (für kleine Stichproben)

30 Prüfen auf Normalverteilung: SPSS-Beispiel 1 p > 0.05, Abweichung von Normalverteilung nicht-signifikant => Normalverteilung darf angenommen werden (!)

31 Prüfen auf Normalverteilung: SPSS-Beispiel 2 p < 0.05, Abweichung von Normalverteilung nicht-signifikant => Normalverteilung darf nicht angenommen werden (!)

32 Konfidenzintervalle Konfidenzintervalle geben an, dass der erwartete Wert mit einer gegebenen Wahrscheinlichkeit innerhalb eines Intervalls liegt (in Abbildung zwischen x u und x o )

33 Konfidenzintervalle Konfidenzintervalle geben somit an, wie stark die Streuung um den Mittelwert ist

34 T-Test (unabhängige Stichproben) Annahme - Normalverteilte Daten (beide Datenreihen) - Unabhängig erhobene Daten - Varianzhomogenität (Gleichheit der Varianzen beider Reihen) Hypothese Erwartungswert beider Datenreihen ist gleich Berechnung (nach Bortz, Schuster, Statistik für Human- und Sozialwissenschaftler, 2007) 1. Standardfehler der Differenzen 2. Zielgröße (mit n1+n2-2 Freiheitsgraden)

35 t-test in SPSS SPSS führt automatisch Levene-Test für Varianzhomogenität durch Wenn Levene-Test signifikant, wird anderes Testverfahren verwendet, dass keine Varianzhomogenität unterstellt.

36 t-test in SPSS Varianzhomogenität ist gegeben (p=1.0), kein signifikanter Unterschied (p=0.292)

37 T-Test (abhängige Stichproben) Annahme - Normalverteilte Differenzen - Gepaart erhobene Daten Hypothese Erwartungswert beider Datenreihen ist gleich Berechnung (nach Bortz, Schuster, Statistik für Human- und Sozialwissenschaftler, 2007) 1. Standardabweichung der Differenzen 2. Zielgröße (mit n-1 Freiheitsgraden)

38 Paired t-test in SPSS STOP!!! Kein sign. Unterschied...ABER... Test hätte nicht durchgeführt werden dürfen (Differenzen nicht normalverteilt, da Shapiro-Wilk < 0.05)

39 Vereinfachung von t-test Annahmen T-Tests dürften unabhängig von Normalverteilungsannahme durchgeführt werden, wenn Anzahl der Daten pro Treatmentstufe > 30 liegt. Aber was, wenn Normalverteilung nicht vorliegt und Vereinfachung nicht gilt? => Nicht-parametrische Tests Mann-Whitney-U-Test (between subject) Wilcoxon-Test (within-subject)

40 Mann-Whitney U-Test Keine Annahme bzgl. Verteilung (zulässig für ordinale Daten) Verfahren: Ermittlung von Rängen Beispiel aus (Bortz, Schuster, Statistik für Human- und Sozialwissenschaftler, 2007) 1. Zuordnung der einzelnen Werte zu einem Rang (über beide Gruppen hinweg) 2. Bestimmung der Rangsummen T 1, T 2 3. Auszählen der Prüfgröße U (=Summe der Anzahl der größeren Ränge in anderen Gruppe), bzw. Berechnen des Wertes nach 4. Berechnung des Erwartungswertes, der Streuung und des z-werts

41 Mann-Whitney U-Test - SPSS p-wert = => kein signifikanter Unterschied im Vergleich zum t-test KEIN Konfidenzintervall Rangsummen zeigen Tendenz (aber nur dann anzumerken, wenn p-wert signifikant)

42 Wilcoxon-Test Keine Annahme bzgl. Verteilung (zulässig für ordinale Daten) Verfahren: Ermittlung von Rängen bei gepaarten Daten (within-subject) Beispiel aus (Bortz, Schuster, Statistik für Human- und Sozialwissenschaftler, 2007) 1. Absolutwerte der Rangdifferenzen 2. Bestimmung der Rangsummen T = Rangsumme der Werte mit häufig vorkommenderem Vorzeichen und T' (weniger häufig vorkommen) 3. Vergleich des kritischen Wertes mit T

43 Wilcoxon-Test - SPSS p-wert = 0.00 => signifikanter Unterschied 20 positive Ränge => Var2 größer als Var1

44 Multiple Vergleiche (mehr als 2 Treatments) Problem Wenn ich n Reihen miteinander vergleiche, dann gibt es einen kumulierten alpha-fehler => Jeder Einzelvergleich besitzt den alpha-fehler, entsprechend ergibt die Menge der Vergleiche einen größeren alpha-fehler Konservative Methode: Bonferroni-Korrektur Reduktion: alpha' = alpha/n

45 Mehrfaktorielle Varianzanalysen(1) (hier nicht mehr im Detail erläutert) Generelle Idee Effekt auf abhängige Variable AV durch zwei Faktoren A und B wird durch folgendes Modelle erklärt: AV = A + B +A*B + err Dabei treten die Variablen A und B sowohl als Einzelbestandteile als auch als Kombination auf

46 Mehrfaktorielle Varianzanalysen (2) Fragestellung für Mehrfaktorielle ANOVA Ist unabhängig Variable A signifikant? Ist unabhängige Variable B signifikant? Gibt es eine Interaktion zwischen beiden Variablen? Interaktion Zwei variablen interagieren, wenn ich durch verschiebung beider variablen einen unterschiedlichen Einfluß auf Zielgröße habe

47 Mehrfaktorielle ANOVA SPSS (1) Frage (Mock): Wirkt sich Rauchen auf die Anzahl der Programmierfehler aus? 2 UV: Rauchen (J/N), Geschlecht(M/W) AV: Programmierfehler Mögliche Interaktion Es kann sein, dass sich Rauchen für die unterschiedlichen Geschlechter (signifikant) unterschiedlich auswirkt

48 Mehrfaktorielle ANOVA SPSS (2) Hands on...

49 Abbildung auf Versuchsaufbauten AB-Tests Mittelwertvergleiche (Wilcoxon, U-Test, t-test) AB/BA-Vergleiche Unter Annahme eines counterbalance Effekts Mittelwertvergleiche (Wilcoxon, U-Test, t-test) Wenn kein counterbalance Effekt Varianzanalyse, Reihenfolge als Variable(!)

50 AB/BA-Vergleich Annahme: Programmiertechnik A und B (PT) Messpunkt: Programmierzeit (T) Zusätzliche Variable: Position (P) Modell: T = Störvariable + PT + Pos + PT*Pos Ziel: Nachweis der Signifikanz von PT Keine signifikante Interaktion PT*Pos Keine Signifikanz von Pos (es existiert alternative Analyse, hier jedoch ignoriert)

51 AA/AB-Vergleich Annahme: Programmiertechnik A und B (PT) Messpunkt: Programmierzeit (T) Zusätzliche Variable: Position (P) Modell: T = Störvariable + PT + Pos + PT*Pos Ziel Nachweis der Interaktion!

52 Offene Punkte Überprüfung von Zusammenhangshypothesen (Korrelation, Regression, Repeated Measures ANOVA) Was passiert, wenn Messpunkte nicht objektiv quantifizierbar sind (Cohen's Kappa)? Wie lässt sich die Teststärke ermitteln (reicht mein Testverfahren, um Unterschied zu Nachvollziehen von konkretem Experiment... (was wollen wir tun)?

53 Literatur Bortz, Schuster, Statistik für Human- und Sozialwissenschaftler, Springer, 2007

54 Analyse von Experimenten Stefan Hanenberg (University of Duisburg-Essen)