Statistische Methoden in der MMST: Schließende Statistik

Transkript

1 Statistische Methoden in der MMST: Schließende Statistik VL MMST Wintersemester 2014/15 Professur für Prozessleittechnik L. Urbas; J. Pfeffer

2 S6 - Dateninterpretation und Schlussfolgerung Versuchsdurchführung Versuchsaufbau Auswertung (Datenanalyse) Versuchsplan 2 Fragen 6 Hypothese 1 Schlussfolgerungen Antworten Problem [nach Sarris 2005, S.44] MMST Urbas, Pfeffer Folie Nr. 2

3 Evaluation mittels Stichprobe Beschreibende Statistik Stichprobenziehung Inferenzstatistischer Schluss Population Stichprobenmitglieder MMST Urbas, Pfeffer Folie Nr. 3

4 Aufgabe schließende Statistik Theorie Zusammenhangs/Unterschiedsvermutung Es wird vermutet, dass Gestaltungsvariante A Aufgabe besser unterstützt als Gestaltungsvariante B Experiment Stichprobe(n) Probanden mit Variante A zeigten im Mittel weniger Fehler und kürzere Bearbeitungszeiten als die Probanden der Gruppe mit Variante B Gilt Aussage auch für Population? Kennwerte (Parameter) der Population unbekannt Schätzung der Parameter für Population aus Stichprobe Wie wahrscheinlich ist es, dass die geschätzten Parameter den wahren Parametern der Population (nicht) entsprechen? MMST Urbas, Pfeffer Folie Nr. 4

5 Fehlerquellen Stichprobenfehler In Stichprobe können rein zufällig andere Verhältnisse als in der Population herrschen Kann nicht ausgeschlossen werden, Wahrscheinlichkeit kann aber beschränkt werden Vertrauensintervalle, Signifikanztests Systematischer Fehler Merkmal in Stichprobe systematisch anders verteilt als in Population systematisch falsche Aussage Verteilung bestimmter Merkmale ändert sich nicht durch Auswahl repräsentative Stichprobe MMST Urbas, Pfeffer Folie Nr. 5

6 Übersicht schließende Statistik Verteilung von Stichprobenkennwerten Wahrscheinlichkeitsverteilung von Stichprobenmittelwerten Zentraler Grenzwertsatz Scoring-Verfahren t-test: Eine oder zwei unabhängige Stichprobe, unbekanntes σ F-Test: Zwei abhängige Stichproben aus gleicher Population, unbekanntes σ Nichtparametrische Verfahren Rangsummen MMST Urbas, Pfeffer Folie Nr. 6

7 VERTEILUNG VON STICHPROBEN- KENNWERTEN

8 Stichprobenmittelwert N zufällige Stichproben aus gleicher Population Jeweils wird das arithmetisches Mittel als Schätzer für wahren Mittelwert gebildet Schätzungen werden sich zufällig unterscheiden! Wie verändern sich diese Unterschiede bei wachsendem Umfang? Bei wachsendem Stichprobenumfang n unterscheiden sich die MW der Stichproben immer weniger Verteilung der MW ist symmetrisch und bei großem n unabhängig von der Verteilung der Population MMST Urbas, Pfeffer Folie Nr. 8

9 Beispiel in R b<-(-15:15)*0.1 spm<-function(x,n) {hist(replicate(150,mean(sample(x,n))),breaks=b)} Histogram of y Histogram of replicate(150, mean(sample(x, n)) Histogram of replicate(150, mean(sample(x, n)) Histogram of replicate(150, mean(sample(x, n)) y y1<-rnorm(10000); spm(y1,10); spm(y1,50); spm(y1,150) Histogram of c(y - 3, y + 3)/3 Frequency Frequency Frequency Frequency replicate(150, mean(sample(x, n))) replicate(150, mean(sample(x, n))) Histogram of replicate(150, mean(sample(x, n)) Histogram of replicate(150, mean(sample(x, n)) Histogram of replicate(150, mean(sample(x, n)) Frequency Frequency Frequency Frequency replicate(150, mean(sample(x, n))) c(y - 3, y + 3)/3 replicate(150, mean(sample(x, n))) replicate(150, mean(sample(x, n))) replicate(150, mean(sample(x, n))) y2<-c(y-3,y+3)/3; spm(y2,10); spm(y2,50); spm(y2,150) MMST Urbas, Pfeffer Folie Nr. 9

10 Zentraler Grenzwertsatz Die Verteilung der Stichprobenmittelwerte eines Merkmals X geht für große n in eine Normalverteilung über, deren Varianz proportional zum Stichprobenumfang klein wird. Verteilung von X in Population irrelevant! Bei ausreichend großem n ist Verteilung der Stichprobenmittelwerte bekannt verlässliche Aussage über wahren Mittelwert möglich Für n > 30: Stichprobenmittelwertverteilung kann durch N(µ, σ²/n)-verteilung gut beschrieben werden. Populationsmittelwert µ Standardabweichung σ MMST Urbas, Pfeffer Folie Nr. 10

11 EXKURS VERTRAUENSINTERVALLE

12 Grundprinzipien Beim Schluss von Stichprobe auf Population ist immer mit Ungenauigkeiten und Fehlern zu rechnen (Stichprobenfehler) Stichprobenfehler kann nicht ausgeschlossen werden Größe der Fehler kann kontrolliert und unter feste Schranke gebracht werden Unsicherheit kann beschränkt werden Vertrauensintervall Bereich bei einer zufallsabhängigen Messung, in dem der wahre Wert mit einer vorgegebenen und hinreichend hohen Wahrscheinlichkeit liegt. Üblich sind 95%, 99% Vertrauensintervalle MMST Urbas, Pfeffer Folie Nr. 12

13 Vertrauensintervall des Populationsmittelwerts µ Für Stichproben (n>30) gilt Mittelwerte der Stichproben sind - verteilt N (, ) Eigenschaften dieser Normalverteilung: 95% der Werte liegen zwischen µ-1.96σ und µ+1.96σ 99% der Werte liegen zwischen µ-2.58σ und µ+2.58σ MMST Urbas, Pfeffer Folie Nr. 13

14 MMST Urbas, Pfeffer Folie Nr. 14 Geschätzter Standardfehler Populationsvarianz σ meistens nicht bekannt! Aber ist optimaler Schätzer für σ² mit guter Übereinstimmung für n>30 Standardfehler des Mittelwerts aus geschätztem Standardfehler anstelle wahrer Streuung berechnen bis n<100 approximatives Vertrauensintervall ) ( 1-1 ˆ s n n x x n n i i 1 1 1) ( ) ( ˆ ˆ n s n s n n x x n n i i x

15 AUFWAND

16 Problem 100 oder auch 30 Messungen sind (viel zu) aufwändig! Wir haben nur Zeit und Geld für Probanden MMST Urbas, Pfeffer Folie Nr. 16

17 t-verteilung 2 2 Zusammenhang ˆ / n gilt allg. nur für n>30 Aber: Wenn Population normalverteilt, dann kann Verteilung der Stichprobenmittelwerte ( x µ ) / mit einer t-verteilung mit n-1 Freiheitsgraden exakt wiedergegeben werden ˆ x x<-(-40:40)*0.1 plot(x,dnorm(x),type='l' lwd=2) lines(x,dt(x,1),col="red") lines(x,dt(x,3),col="orange") lines(x,dt(x,5),col="green") lines(x,dt(x,20),col="blue") dnorm(x) MMST Urbas, Pfeffer Folie Nr. 17 x

18 Zum Begriff Freiheitsgrad Freiheitsgrad = Anzahl Werte, die in einem statistischen Ausdruck frei variieren können Beispiel Stichprobenvarianz s 2 1 n n i 1 ( x i x ) 2 Von den n Summanden können nur n-1 beliebige Werte annehmen wg. n i 1 ( x i x ) 0 MMST Urbas, Pfeffer Folie Nr. 18

19 STATISTISCHE HYPOTHESEN

20 Inhaltliche vs. statistische Hypothese Inhaltliche Hypothese Leistung zweier Gruppen i, ii unterscheidet sich wg. unterschiedlichen Voraussetzungen Variante A ist leichter bedienbar als Variante B, weil Kompatibilitätsprinzipien bei Darstellung eingehalten Statistische Hypothese Ungerichtet/Gerichtet Die durchschnittliche Leistung zweier Gruppen unterscheidet sich: µ L,i µ L,ii Die mittlere Fehlerrate von Variante A ist kleiner als die von Variante V: µ F,A < µ F,B Spezifisch/Unspezifisch: Größe des Unterschieds MMST Urbas, Pfeffer Folie Nr. 20

21 Alternativhypothese / Nullhypothese Inhaltliche Hypothese: Wir vermuten in einem bestimmten MMS einen Zusammenhang von Erfahrung und Leistung Statistische Hypothese : ρ E,L 0 (ungerichtet, unspezifisch) Das was wir vermuten wird als Alternativhypothese H 1 bezeichnet Erweiterung/Alternative zu bestehendem Wissen Gegenteil Nullhypothese H 0 Beispiel: ρ E,L = 0 Es ist eine Entscheidung zu treffen Signifikanztest MMST Urbas, Pfeffer Folie Nr. 21

22 Idee des Signifikanztests Ziel: Wir wollen wissen, ob bestimmte Unterschiede oder Zusammenhänge in der Population gelten ( Hypothesen). Dazu erheben wir Daten. Problem: Unterschiede oder Zusammenhänge können sich zufällig ergeben, obwohl es in der Population keine Unterschiede oder Zusammenhänge gibt. Lösung: Wir bestimmen, wie wahrscheinlich die gefundenen Unterschiede/Zusammenhänge bei Gültigkeit der Nullhypothese durch Zufall zustande kommen können. Wenn Wahrscheinlichkeit unter einer vorher festgelegten Schranke, dann Entscheidung für Alternativhypothese Das Ergebnis heißt dann statistisch signifikant MMST Urbas, Pfeffer Folie Nr. 22

23 p-wert Signifikanztest: Verfahren zur Entscheidung zwischen H 0 und H 1 durch Berechnung der bedingten Wahrscheinlichkeit p = P(vorgefundenes oder extremeres Ergebnis H 0 gilt) Voraussetzung Wir kennen die Kennwerteverteilung von Mittelwerten, Mittelwertsunterschieden, Korrelationskoeffizienten, MMST Urbas, Pfeffer Folie Nr. 23

24 Beispiel: Ist neues MMS anders als altes? Leistung: Gemessen auf Intervallskala von Leistung im alten System sei nach langjähriger Beobachtung aller Mitarbeiter bekannt: µ 0 = 6, σ = 1 µ 1 sei die wahre Leistung mit neuem MMST Statistische Hypothese: H 1 : µ 1 µ 0 H 0 : µ 1 = µ 0 Schranke für Irrtum: 5% Leistungsmessung mit 100 Probanden ergibt x 1 5,772 Wie WS ist, dass x 1 um 0,228 oder mehr von µ 0 abweicht, wenn H 0 gilt? MMST Urbas, Pfeffer Folie Nr. 24

25 Beispiel: Fortsetzung Wie wahrscheinlich ist Wenn H 0 gilt, dann ist µ 1 = µ 0 = 6 und Standardfehler normalverteilt mit Tabelliert ist N(0,1) Z-Transformation z x 1 0 x Für Stichprobe: 5,772-6 /0,1=2,28 p-wert 2*0,0113=0,0226 WS für zufällige Messung von noch weiter weg von µ 0 : 2,3% x x 1 x 1 0 n dnorm(x) ,228 1 / 10 x ,1 =5,772 oder x MMST Urbas, Pfeffer Folie Nr. 25

26 Statistische Entscheidung Ist die Wahrscheinlichkeit der vorgefundenen Unterschiede oder Zusammenhänge unter der Annahme der Nullhypothese kleiner oder gleich der vorgegebenen Schranke α, dann kann Nullhypothese verworfen werden p-wert α, dann Entscheidung für H 1 α : Signifikanzniveau (üblich 1%, 5%, 10%) Wird α nicht überschritten, dann wird Testergebnis signifikant genannt. Beispiel: p-wert=0.0226, α=0.05 H 0 wird verworfen Neues MMS unterscheidet sich signifikant MMST Urbas, Pfeffer Folie Nr. 26

27 Logik des Testens (1/2) Warum wird von H 0 ausgegangen? Irrtumswahrscheinlichkeit kann bei unspezifischen Hypothesen nur für falsches Annehmen von H 1 angegeben werden (α-fehler) Forschungsethik: Lieber keine als falsche Schlüsse Welche Schranke ist zu wählen? Je nach Fragestellung kann mit unterschiedlichen Signifikanzniveaus gearbeitet werden Je kleiner α-fehler, desto größer β-fehler (!) Willkürliche Konventionen für psych. Forschung α=0,05 Siehe Wickens für kritische Diskussion für MMST MMST Urbas, Pfeffer Folie Nr. 27

28 Logik des Testens (2/2) Warum dürfen Hypothesen nicht an den gleichen Daten abgeleitet und geprüft werden? Neue Hypothesen an vorhandenen Daten aufstellen ist legitim. Die Prüfung ist jedoch nur an von neuen Daten möglich! Bei Analysen im Nachhinein findet sich rein zufällig immer irgendein Zusammenhang, wenn man nur genügend viele Variablen betrachtet Warum muss Schranke vorher festgelegt werden? P-Wert basiert auf der Stichprobe Größe des p-wertes gibt keine Aussage über die Größe des wahren Effektes p-wert Irrtumswahrscheinlichkeit Irrtumswahrscheinlichkeit = α MMST Urbas, Pfeffer Folie Nr. 28

29 Beliebte Irrtümer zur Irrtumswahrscheinlichkeit Statistische Entscheidung für H 0 bedeutet, dass H 0 wahr ist. Bei kleinen Stichproben werden Unterschiede oft nicht entdeckt (großer β-fehler). Statistische Entscheidung für H 1 bedeutet, dass H 1 wahr ist Eine Entscheidung mit α=0.05 für H 1 bedeutet nicht, dass H 1 mit 95%-Sicherheit richtig ist Signifikanz eines Ergebnisses sagt nichts über Größe von Unterschied/Zusammenhang in Population aus Signifikante Unterschiede können völlig bedeutungslos sein Auch wenn der p-wert viel kleiner ist als α, die WS für falsches Annehmen der H 1 ist α! MMST Urbas, Pfeffer Folie Nr. 29

30 Fehlerarten H 1 trifft zu H 0 trifft zu Entscheidung für H 1 1-β α = Fehler 1. Art (falsch positiv) Entscheidung für H 0 β = Fehler 2. Art (falsch negativ) 1-α MMST Urbas, Pfeffer Folie Nr. 30

31 Zur Verdeutlichung Angeklagter schuldig Angeklagter unschuldig Verurteilung 1-β α = Fehler 1. Art (falsch positiv) Freispruch β = Fehler 2. Art (falsch negativ) 1-α Nach Diekman 2007 MMST Urbas, Pfeffer Folie Nr. 31

32 Unbedingt beachten Signifikanzniveau vorher festlegen! Hauptkriterium: Was kostet mich ein Irrtum? Hypothesen vorher formulieren! Sonst: Genau das wollte ich herausfinden! Voraussetzungen des Tests müssen erfüllt sein! Beispiel: Merkmal muss normalverteilt, bzw. Stichprobenumfang hinreichend groß sein, damit Mittelwert normalverteilt ist Lesenswertes zu den Grenzen des Signifikanztests: Cohen (1994) The world is round (p<0.05) MMST Urbas, Pfeffer Folie Nr. 32

33 TESTEN VON UNTERSCHIEDEN

34 Mittelwertsunterschiede: t-test für unabhängige Stichproben Voraussetzungen Merkmal mindestens intervallskaliert Bei kleinen Stichproben (n<30) muss Merkmal in beiden Populationen normalverteilt sein Stichproben müssen aus Populationen mit gleicher Varianz stammen Stichproben müssen unabhängig sein Prüfgröße Verteilung der Differenz zweier Stichprobenmittelwerte, geteilt durch geschätzte Streuung ist t-verteilt MMST Urbas, Pfeffer Folie Nr. 34

35 Mittelwertsunterschiede: t-test für abhängige Stichproben Abhängige Stichproben Messwiederholung Parallelisierte Stichproben Voraussetzungen Merkmal mindestens intervallskaliert Bei kleinen Stichproben (n<30) muss Merkmal in beiden Populationen normalverteilt sein Prüfgröße Verteilung der gemittelten Differenzen, geteilt durch Standardfehler der gemittelten Differenzen ist t-verteilt MMST Urbas, Pfeffer Folie Nr. 35

36 Unterschiede von Varianzen: F-Test, Levene-Test Häufig zur Überprüfung von Voraussetzungen für andere Tests (z.b. Varianzhomogenität bei t-test) Voraussetzungen Merkmal mindestens intervallskaliert Merkmal in beiden Populationen normalverteilt Stichproben unabhängig Prüfgröße Verhältnis der Schätzer der Populationsvarianzen MMST Urbas, Pfeffer Folie Nr. 36

37 DATENINTERPRETATION UND SCHLUSSFOLGERUNG

38 S6 - Dateninterpretation und Schlussfolgerung Versuchsdurchführung Versuchsaufbau Auswertung (Datenanalyse) Versuchsplan 2 Fragen 6 Hypothese 1 Schlussfolgerungen Antworten Problem [nach Sarris 2005, S.44] MMST Urbas, Pfeffer Folie Nr. 38

39 Ergebnisorientierte schließende Statistik 1. Theorie -> Zusammenhangs/Unterschiedsvermutung Stadium 1 - Hypothesenbildung 2. Experiment Stadien Schlussfolgerungen Falsifikation der Nullhypothesen Aussage gültig für die gewählte Population MMST Urbas, Pfeffer Folie Nr. 39

40 Und danach? Dateninterpretation und Schlussfolgerungen. Rückbezug auf die Hypothesenbildung (Stadium 1) Methodenkritische Bewertung der Zwischenstadien (2-5) Welche neuen Fragen ergeben sich aus dem Ergebnis? Wissenschaftliche Kommunikation der Ergebnisse [nach Sarris 2005, S.44] MMST Urbas, Pfeffer Folie Nr. 40

41 Zusammenfassung Grundlagen der schließenden Statistik Aufgabe der schließenden Statistik Fehlerquellen Verteilung von Stichprobenkennwerten Zentraler Grenzwertsatz Vertrauensintervalle Hypothesen Beliebte Irrtümer Methoden t-test für unabhängige Stichproben t-test für abhängige Stichproben F-Test, Levene-Test Dateninterpretation Schlussfolgerungen Falsifikation der Nullhypothesen MMST Urbas, Pfeffer Folie Nr. 41

42 Literatur Einführung in die Inferenzstatistik [1] Nachtigall, Ch.,Wirtz, M., (2006). Wahrscheinlichkeitsrechnung und Inferenzstatistik. Juventa, Weinheim. [2] Bortz, J., Döring, N. (2006). Forschungsmethoden und Evaluation. Springer, Berlin. [3] Kühlmeyer, M. (2001). Statistische Auswertungsmethoden für Ingenieure. Springer, Berlin Einführung R [4] Dalgaard, P. (2002). Introductory Statistics with R. Springer, Berlin. [5] Adler, J. (2009). R in a Nutshell. O Reilly, Sebastopol (CA). Weitere Literatur [7] Sarris, V., & Reiß, S. (2005). Kurzer Leitfaden der Experimentalpsychologie. Pearson Studium. MMST Urbas, Pfeffer Folie Nr. 42