Prof. Dr. Walter F. Tichy Dr. Matthias Müller Sommersemester 2006

Transkript

1 Empirische Softwaretechnik Prof. Dr. Walter F. Tichy Dr. Matthias Müller Sommersemester 2006

2 Hypothesentesten, Fehlerarten und Güte 2

3 Literatur Kreyszig: Statistische Methoden und ihre Anwendungen, 7. Auflage,

4 MVP MVP Hypothese: Unabhängige Versagenswahrscheinlichkeiten Statistik S bestimmte Anzahl der Mehrfachversager bei Tests S war Binomialverteilt mit n= und p MVP = 0,12... Promille W << 0,5 Promille S=1255 zu erhalten Folge: MVP Hypothese abgelehnt 4

5 Was wäre gewesen bei S=166? Hypothese immernoch abgelehnt Aber: Wie groß W Hypothese beizubehalten obwohl sie falsch ist? Oder anders ausgedrückt: Wie groß W Hypothese abzulehnen wenn Alternative zutrifft Dazu... 5

6 Hypothesentesten 6

7 Hypothesentest allgemein Parameterwert u gesucht Hypothese: u = u 0 Alternative: u = u 1 Stichprobenfunktion g(x 1,...,x n ) liefert Schätzwert ũ für u 7

8 Arten von Tests Je nach Art der Hypothese werden zwei Arten von Tests unterschieden Einseitige Tests: u 1 > u 0, u 1 < u 0 Zweiseitige Tests: u 1 u 0 8

9 Bereiche Der Bereich in dem die Hypothese abgelehnt wird, heisst Verwerfungsbereich Bereich in dem die Hypothese angenommen wird, heisst Annahmebereich 9

10 Verwerfungsbereich Formulierung der Hypothese bestimmt Verwerfungsbereich Einseitig: kritischer Wert c, Verwerfungsbereich zusammenhängend Zweiseitig: zwei kritische Werte c 1 und c 2 und der Verwerfungsbereich besteht aus zwei Teilen 10

11 Verwerfungsbereich u 1 > u 0 Annahmebereich Verwerfungsbereich u 0 c 11

12 Verwerfungsbereich u 1 < u 0 Verwerfungsbereich Annahmebereich c u 0 12

13 Verwerfungsbereich u 1 u 0 Annahmebereich Verwerfungsbereich Verwerfungsbereich u 0 c 2 c 1 13

14 Fehler beim Testen Fehler 1. Art Die Hypothese wird verworfen, obwohl sie richtig ist Fehler 2. Art Die Hypothese wird angenommen, obwohl sie falsch ist 14

15 W α für Fehler 1. Art W α ist Signifikanzzahl des Tests u 1 > u 0 : u 1 < u 0 : u 1 u 0 : P( X > c) u= u 0 P( X < c) u= u 0 = α = α P ( X 1 2 u < c ) + P( X > c ) u u0 u= = 0 = α 15

16 W 1-β für Fehler 2. Art u 1 > u 0 : u 1 < u 0 : P P ( X u u1 c) = 1 β = ( X u u1 c) = 1 β = u 1 u 0 : P ( X c ) 1 u 1 2 = u1 + P( X c ) = 1 β = u u 16

17 Fehler 1. und 2. Art beim Testen einer Hypothese u=u 0 gegen Alternative u=u 1 Unbekannte Wirklichkeit u=u 0 u=u 1 Angenommen u=u 0 u=u 1 Richtige Entscheidung P=1-α Fehler 1.Art P=α Fehler 2.Art P=1-β Richtige Entscheidung P=β (Güte) 17

18 Fehler 1. und 2. Art schematisch Dichte bei u=u 0 Dichte bei u=u 1 1-β α u 0 c u 1 Annahmebereich Verwerfungsbereich 18

19 Güte β eines Test Güte β eines Tests ist W Fehler 2. Art nicht zu begehen Alternative Sicht: W die Alternative anzunehmen, wenn sie stimmt 19

20 Güte schematisch Dichte bei u=u 0 Dichte bei u=u 1 1-β α β u 0 c u 1 Annahmebereich Verwerfungsbereich 20

21 Güteberechnung für Normalverteilung Zufallsvariable X normalverteilt mit Varianz σ 2 =9 Stichprobe mit n=10 Werten Mit Mittelwert teste Hypothese µ= µ 0 = 24 x Alternative µ µ 0 Signifikanzzahl α =

22 Güteberechnung (cont d) Stichproben X 1,..., X n Stichprobenfunktion für Mittelwert der X k 1 =... ( X ) X n X n Trifft Hypothese zu dann ist X nach N(µ,σ 2 /n)-verteilt 22

23 Exkurs Warum ist X N(µ,σ 2 /n)-verteilt? 23

24 Warum ist X N(µ,σ 2 /n)-verteilt? Zufallsvariable X = X X n Summe von n unabhängigen Zufallsvariablen X k X k sei N(µ k,σ k2 )-verteilt X hat Mittelwert µ = µ µ n X hat Varianz σ 2 = σ σ n 2 Beweis durch Induktion über n 24

25 Warum ist X N(µ,σ 2 /n)-verteilt? Lineare Skalentransformation X sei N(µ,σ 2 ) verteilt X* = b 1 X + b 2 (b 1,b 2 konstant, b 1 0) X* N(b 1 X + b 2, b 12 σ 2 ) verteilt Beweis durch Nachrechnen 25

26 Güteberechnung (cont d) Normalverteilung ist symmetrisch Wähle kritische Werte c 1, c 2 symmetrisch um µ=24 c 1 = 24 k und c2 = 24 + k Bestimme c 1, c 2 aus P( 24 k X 24 + k) 1 = 24 = α µ 26

27 27 Güteberechnung (cont d) 0,95 0,9 0,9 1 0,9 ) (24 0,9 ) (24 1 ) 24 ( ) 24 ( 1 ) 24 ( = Φ Φ = Φ + Φ = < + = + = = k k k k k X P k X P k X k P α µ µ α α µ µ

28 Güteberechnung (cont d) Φ Φ k 0,9 k 0,9 k 0,9 Φ = Φ = 1 k 0,9 0,975 = und 0,95 Φ 0,9 0,025 ( 0,975) = 1,960 (Symmetrie) k = 28

29 Güteberechnung (cont d) Damit k = 1,86 und c 1 =24-1,86=22,14 und c 2 =25,86 Ist x nicht kleiner als 22,14 und nicht größer als 25,86 so nehme Hypothese an Liegt x ausserhalb dieses Bereiches, so lehne Hypothese ab 29

30 Güteberechnung (cont d) Test hat Güte β(µ) µ bezeichnet jetzt die Alternative β ( µ ) = = = P( X P( X 1+ Φ < < 22,14) 22,14) µ µ + P( X + 1 P( X 25,86) ( 23,34 1,05µ ) Φ( 27,26 1,05µ ) > µ 25,86) µ 30

31 Güte für n=10 β(µ) µ 0 µ 31

32 Interpretation der Güte Alternative µ nahe bei µ 0 Dann ist Güte schlecht D.h.: die W die Alternative im Test zu erkennen ist klein Oder: der Fehler 2. Art ist groß 32

33 Operations-Charakteristik Die Funktion 1-β(µ) heisst die Operations- Charakteristik des betreffenden Tests W Fehler 2. Art zu begehen 33

34 Was passiert bei größerer Stichprobe? Bisher n=10 Mit n=100 ändert sich Verteilung von X zu N(24;9/100) Varianz wird um Faktor 10 kleiner! k ändert sich von 1,86 auf k = 1,96 * 0,09 = 0,588 34

35 Was hat das für Folgen? Damit kleinerer Annahmebereich: c 1 =23,41 und c 2 =24,59 Daraus folgt: größere Güte β(µ) bei gleichen Abständen von µ zu 24 Damit kleinerer Fehler 2. Art Bei großen Stichprobenumfängen ist Risiko einer verpassten Chance geringer 35

36 Güte für n=10 und n=100 β(µ) µ 36

37 Fazit: Güteberechnung Güte β hängt von Wahl von α ab: je kleiner α desto kleiner β Bei festen α größere Güte β, wenn größerer Stichprobenumfang n 37

38 Beispiel: Welche Güte hatte MVP? n= p MVP =0, S Stichprobenfunktion = Statistik = Anzahl der Mehrfachversager 38

39 MVP Hypothese Gesucht W für Mehrfachversagen p Hypothese: p = p MVP Alternative: p p MVP Wenn Hypothese gilt, dann Stichprobenfunktion S Binom(n,p MVP ) verteilt S hat Mittelwert µ=n*p MVP 126 α = 0,001 39

40 Beobachtet S = 1255 Mehrfachversager Entspricht W p 1,26 Promille p >>p MVP Hypothese wird verworfen 40

41 Annahmebereich Für Annahmebereich gilt P(c 1 S c 2 ) pmvp = 1-α Binomialverteilung symmetrisch P(n*p MVP k S n*p MVP + k) pmvp =1-α Damitc 1 = 91 und c 2 = 165 Annahmebereich für gesuchten Wert p: p

42 Güte von MVP β(p) = P(S < 91) p + P(S > 165) p 42

43 Güte von MVP n= β (p) Grenzen für Annahmebereich p 43

44 Güte für S=1255 S=1255 beobachtet Impliziert S=n*p= * β( )~1 44

45 Verändern der Stichprobengröße Bei festem α wird β größer, wenn n größer wird Schranken für S bei n=1,3 Mio: c 1 =124; c 2 =209 Gegenüber n=1 Mio nach rechts verschoben und breiter Aber Intervall (c 2 -c 1 ) / (n*p MVP *(1-p MVP )) kleiner 45

46 Annahmebereich Annahmebereich für gesuchten Wert p: p Enger als Annahmebereich bei n=1 Mio n=1 Mio: p

47 Güte mit verschiedenen n β(p) p 47