Macht des statistischen Tests (power)

Transkript

1 Macht des statistischen Tests (power) Realer Treatment ja Ergebnis der Studie H 0 verworfen statistisch signifikant O.K. Macht H 0 beibehalten statistisch nicht signifikant -Fehler Effekt nein -Fehler O.K. Statistik für SoziologInnen 1 Testtheorie

2 Fehlerarten Die beiden Fehler sind natürlich nicht unabhängig voneinander Verringert man ceteris paribus den Fehler 1.Art, so erhöht man gleichzeitig den Fehler 2.Art Für alle möglichen Parameterwerte aus dem Bereich der Alternativhypothese, kann man den Fehler 2.Art bestimmen. Dieser Fehler 2.Art gibt die Wahrscheinlichkeit an, dass das Testverfahren einen real existenten Zustand aus H 1 (Parameterwerte aus dem Bereich der Alternativhypothese) nicht erkennt. Statistik für SoziologInnen 2 Testtheorie

3 Operationscharakteristik und Gütefunktion Fasst man den Fehler 2.Art als Funktion von auf So gelangt man zur Operationscharakteristik (OC) des Tests, die oft auch mit bezeichnet wird. Alternativ können wir auch das komplementäre Ergebnis betrachten. 1-Gütefunktion, Power oder Macht des Tests Die Gütefunktion gibt die Wahrscheinlichkeit an, dass das Testverfahren einen real existenten Zustand aus H 1 auch tatsächlich als solchen erkennt. Statistik für SoziologInnen 3 Testtheorie

4 Macht eines statistischen Tests (power) Wahrscheinlichkeit einen real bestehenden Unterschied durch den statistischen Test auch tatsächlich zu entdecken. Beispiel: Wie groß ist die Chance mit einer empirischen Studie die verbesserte Wirksamkeit nachzuweisen, wenn tatsächlich einen Wert größer als 0,20 hat. Die Macht des statistischen Tests hängt ab von: -Fehler (Fehler 1. Art) (positiv) Stärke des Unterschieds (positiv) Variabilität (negativ) Fallzahl (positiv) Statistik für SoziologInnen 4 Testtheorie

5 Statistisch signifikant Mittelwert: 100 Std.Abw.: 2 Mittelwert: 110 Std.Abw: 2 Geringe Überlappung Statistik für SoziologInnen 5 Testtheorie

6 Statistisch nicht signifikant Mittelwert: 100 Std. Abw.: 6 Bei größerer Mittelwert: 110 Variabilität Std.Abw.: wird 6 das Erkennen des Unterschieds schwieriger die Power sinkt. Große Überlappung Statistik für SoziologInnen 6 Testtheorie

7 Beispiel: Der Stimmenanteil einer Partei betrug bei der letzten Wahl 40%. Eine Umfrage unter n=600 Wahlberechtigten soll zeigen, ob sich der Anteil der Partei vergrößert hat. H 0 : 0,40 H 1 : 0,40 (einseitige Alternative) Irrtumswahrscheinlichkeit = 0,05 Signifikanzniveau 1- = 0,95 Prüfgröße: Z p p 0 0 p 0( 1 0) n Statistik für SoziologInnen 7 Testtheorie

8 Berechnung der Gütefunktion Einseitige Fragestellung H 0 : 0,40 H 1 : 0,40 (einseitige Alternative) Ergebnis war für =0,05: Erster Schritt: Bestimmung des Rückweisungsbereichs des Tests Rückweisungsbereich für Z :[1,645; + ] bzw. Rückweisungsbereich in Anteilen ausgedrückt 0,40+1,645*0,02==> [43,29%; 100%] d.h.: ab einem Stichprobenergebnis von 43,29% oder mehr in einer Stichprobe mit n=600 werden wir von einem signifikanten Ergebnis sprechen Statistik für SoziologInnen 8 Testtheorie

9 Berechnung der Gütefunktion Wie groß ist die Chance eine real existierende Abweichung von der Nullhypothese mit diesem Testverfahren auch tatsächlich zu entdecken? Konkret: Wie groß ist die Wahrscheinlichkeit, dass unsere Teststatistik bei n=600 und =0,05 ein signifikantes Ergebnis liefert (also in den Rückweisungsbereich fällt), wenn der wahre Stimmenanteil derzeit 0,425 (0,45 oder 0,5) beträgt? Verschiedene Parameterwerte aus dem Bereich der Alternativhypothese Antwort: Berechnen der Gütefunktion Dazu nehmen wir jetzt die verschiedenen Szenarien (aus dem Bereich der Alternativhypothese) für die Realität an und schauen, wie sich unsere Entscheidungsregel in den jeweiligen Situationen auswirkt. Statistik für SoziologInnen 9 Testtheorie

10 Berechnung der Gütefunktion Angenommen der wahre Anteil ist 42,5%. Wie groß ist die Wahrscheinlichkeit, dass unser Testverfahren, bei diesem Zustand der Grundgesamtheit ein richtiges (H A ) Ergebnis liefert? (d.h. wie groß ist die Wahrscheinlichkeit, dass das Stichprobenergebnis > 43,29% ist, wenn der wahre Anteil 42,5% ist?) P(z>1,645 =0,425) bzw. P(p>43,29 =0,425) 0,4329 0,425 Power(0, 425) 1 1 (0,391) 0,35 0,425 (1 0,425) 600 Wahrscheinlichkeit eine Steigerung von auf 42,5% zu entdecken beträgt nur 35%! Statistik für SoziologInnen 10 Testtheorie

11 pi Unter der Annahmen der Gültigkeit der Nullhypothese haben wir den kritischen Wert mit 43,29% bestimmt. Krit. Wert: 43,29% Index Statistik für SoziologInnen 11 Testtheorie

12 pi Verteilung unter Gültigkeit der Nullhypothese Verteilung unter dem Szenario =42,5% Index Statistik für SoziologInnen 12 Testtheorie

13 pi Fehler 2.Art Fälschliche Annahme von H 0 unter dem Szenario p=42,5% mit einer Wahrscheinlichkeit von 65% False Negative Result Power Korrekte Annahme von H A unter dem Szenario p=42,5% erfolgt mit einer Wahrscheinlichkeit von 35% Index Statistik für SoziologInnen 13 Testtheorie

14 Summary Wir haben für unsere Fragestellung zunächst den kritischen Anteilswert (43,29%) bestimmt, der in der Stichprobe für ein signifikantes Ergebnis überschritten werden muss. Dann haben wir berechnet, wie groß die Wahrscheinlichkeit ist, dass die Stichprobe über 43,29% liegen wird (wir uns also für H1 entscheiden), wenn der wahre Anteil 42,5% beträgt. Wir erhalten mit 0,35 die Wahrscheinlichkeit sich für die Alternativhypothese zu entscheiden, wenn diese mit =42,5% vorliegt. Power beträgt bei =42,5% rund 0,35. Fehler 2.Art beträgt bei =42,5% rund 0,65. Statistik für SoziologInnen 14 Testtheorie

15 Berechnung der Gütefunktion für andere Werte von Angenommen der wahre Anteil ist 45%. Wie groß ist die Wahrscheinlichkeit, dass unser Testverfahren, bei diesem Zustand der Grundgesamtheit ein richtiges (H A ) Ergebnis liefert? P(z>1,645 =0,45) bzw. P(p>43,29 =0,45) 0, ,45 Power(0,45) 1 1 ( 0,842) 0,80 0, 45 (1 0, 45) 600 Statistik für SoziologInnen 15 Testtheorie

16 pi Verteilung unter Gültigkeit der Nullhypothese Verteilung unter dem Szenario =45% Index Statistik für SoziologInnen 16 Testtheorie

17 pi Fehler 2.Art Fälschliche Annahme von H 0 unter dem Szenario p=45% mit einer Wahrscheinlichkeit von 20% False Negative Result Power Korrekte Annahme von H A unter dem Szenario p=45% mit einer Wahrscheinlichkeit von 80% Index Statistik für SoziologInnen 17 Testtheorie

18 Berechnung der Gütefunktion Angenommen der wahre Anteil ist 48%. Wie groß ist die Wahrscheinlichkeit, dass unser Testverfahren, bei diesem Zustand der Grundgesamtheit ein richtiges (H A ) Ergebnis liefert? P(z>1,645 =0,48) bzw. P(p>43,29 =0,48) 0,4329 0,48 Power(0, 48) 1 1 ( 2,31) 0,99 0, 48 (1 0, 48) 600 Statistik für SoziologInnen 18 Testtheorie

19 pi Verteilung unter Gültigkeit der Nullhypothese Verteilung unter dem Szenario =48% Index Statistik für SoziologInnen 19 Testtheorie

20 pi Fehler 2.Art Fälschliche Annahme von H 0 unter dem Szenario p=48% mit einer Wahrscheinlichkeit von 1% False Negative Result Power Korrekte Annahme von H A unter dem Szenario p=48% mit einer Wahrscheinlichkeit von 99% Index Statistik für SoziologInnen 20 Testtheorie

21 Macht des Tests im Beispiel p z Macht Macht Je stärker der wahre Wert von der Nullhypothese abweicht, desto größer ist ceteris paribus, die Chance diesen Unterschied auch zu entdecken Statistik für SoziologInnen 21 Testtheorie

22 1,20000 Macht für verschiedene Werte von 1, , ,60000 Macht(0,95) Macht(0,99) 0, ,20000 Je größer der Fehler 1.Art (je niedriger das Konfidenzniveau) gewählt wird, umso mächtiger ist ceteris paribus das Testverfahren. 0, ,400 0,405 0,410 0,415 0,420 0,425 0,430 0,435 0,440 0,445 0,450 0,455 0,460 0,465 0,470 0,475 0,480 0,485 0,490 0,495 0,500 Statistik für SoziologInnen 22 Testtheorie

23 Macht für unterschiedliche n 1, , , , ,40000 Macht(n=600) 0,20000 Je größer die Fallzahl ist, umso mächtiger ist ceteris paribus das Testverfahren. 0, ,400 0,405 0,410 0,415 0,420 0,425 0,430 0,435 0,440 0,445 0,450 0,455 0,460 0,465 0,470 0,475 0,480 0,485 0,490 0,495 0,500 Statistik für SoziologInnen 23 Testtheorie Macht(n=2400)

24 Formulierung der Hypothesen Die Annahme von H 0 ist in der Regel eine wesentlich unsicherere Entscheidung als deren Ablehnung. Interpretation: H 0 kann aufgrund der Stichprobe beim gewählten Signifikanzniveau nicht verworfen werden niemals argumentieren, dass H 0 zutrifft oder gar bewiesen wurde! Bei der Formulierung einseitiger Alternativen, muss daher jene Hypothese, die man beweisen möchte bzw. jene Hypothese, die mit schwerwiegenderen Konsequenzen verbunden ist als Alternativhypothese formuliert werden. Statistik für SoziologInnen 24 Testtheorie

25 Beispiel: Behauptung einer Pharmafirma: In 90% der Fälle bewirkt ein Medikament eine Erleichterung von bestimmten Krankheitssymptomen Empirische Studie mit n=200 Patienten 1) Hypothesenformulierung durch ARGE Kritische Medizin H 0 : 0,9 H 1 : < 0,9 Test auf Unterschreitung 2) Hypothesenformulierung durch Pharmafirma H 0 : 0,9 H 1 : > 0,9 Test auf Überschreitung Beide wählen eine Irrtumswahrscheinlichkeit =0,05 1) s p =0,021 z=-1,645 p c =0,90-0,035=0,865 Falls in Stichprobe weniger als x c =173 Annahme der Alternativhypothese (mit 95% - Wahrscheinlichkeit korrekt) 2) s p =0,021 z=1,645 p c =0,90+0,035=0,935 Falls in Stichprobe mehr als x c =187 Annahme der Alternativhypothese (mit 95% - Wahrscheinlichkeit korrekt) Statistik für SoziologInnen 25 Testtheorie

26 Studienplanung Eine Pharmafirma hat ein neues Medikament entwickelt, von dem vermutet wird, dass es die Heilungschance bei einer bestimmten Krankheit von 20% (Erfolgschance bei Standardmedikation) auf etwa 30% erhöht. Man plant eine Studie mit n=30 (n=100) Patienten. Wie groß ist die Chance, den vermuteten Effekt (Verbesserte Heilungschance um ca. 10%- Prozentpunkte) mittels der Studie nachweisen zu können? Signifikanzniveau =0,05 bzw. =0,01 Statistik für SoziologInnen 26 Testtheorie

27 Beispiel Studienplanung (n=30) n H ˆ p 0 p c 30 : 0 0,2 0,05 0,2*0,8 0, ,2 1,645*0,07 Power(0,3) H P( p : 0,2 0,322 0,3) 0,322 0,3 1( ) 1(0,26) 0,3*0, p c p c, ist der kritische Wert, der erzielt werden, muss damit die H 0 abgelehnt wird 0,40 P( p 0,322 0,3) Die Power(0,3) quantifiziert die Wahrscheinlichkeit, dass eine Behandlungsverbesserung von 20 auf 30% mit dieser Studie erkannt werden kann Statistik für SoziologInnen 27 Testtheorie

28 Beispiel Studienplanung (n=100) n 100 H ˆ p 0 p c : 0 0,2 0,05 : 0,2*0,8 0, ,2 1,645*0,04 Power(0,3) H 0,2 0,266 0,3) 0,266 0,3 1( ) 1( 0,75) 0,3*0, P( p 0 p c p c, ist der kritische Wert, der erzielt werden, muss damit die H 0 abgelehnt wird P( p 0,77 0,266 0,3) Die Wahrscheinlichkeit, dass eine Behandlungsverbesserung von 20 auf 30% mit dieser Studie von 100 Patienten erkannt werden kann, beträgt 77%. Statistik für SoziologInnen 28 Testtheorie

29 Beispiel Studienplanung (n=100; =0,01) n 100 H ˆ p 0 p c : 0 0,2 0,2*0,8 0, ,2 2,33* 0,04 0,293 1 ( 0,3* 0, ,01 H 1 : Power(0,3) P( p p 0 c 0,2 0,293 0,3 ) 1 ( 0,15) 0,3) P( p 0,293 0,56 0,3) Die Power sinkt durch, die Verringerung des alpha-fehlers (von 5% auf 1%) von 77% auf 56%. Statistik für SoziologInnen 29 Testtheorie

30 Einstichprobentests für das arithmetische Mittel H 0 : = 0 bzw. H 0 : 0 H 0 : 0 H 1 : 0 zweiseitiger Test) H 1 : 0 einseitiger Test auf Überschreitung) H 1 : 0 (einseitiger Test auf Unterschreitung) Unter Gültigkeit von H 0 ist die nachfolgende Teststatistik standardnormalverteilt. Sie kann als standardisierte Abweichung des empirischen Mittelwertes vom Wert der Nullhypothese interpretiert werden Z Z ~ x N x 0 (0;1) x 0 n Statistik für SoziologInnen 30 Testtheorie

31 Einstichprobentests für das arithmetische Mittel Analog wie beim Konfidenzintervall kann die Teststatistik nur dann unmittelbar berechnet werden, falls die Varianz der Grundgesamtheit bekannt ist. In der Praxis wesentlich bedeutsamer ist der Fall, dass die Varianz der Grundgesamtheit unbekannt ist und erst aus der Stichprobe geschätzt werden muss. Der daraus resultierenden zusätzlichen Unsicherheit tragen wir wieder durch Verwendung der t-verteilung Rechnung! Statistik für SoziologInnen 31 Testtheorie

32 Einstichprobentests für das arithmetische Mittel Einsetzen der Schätzung für die Varianz auf Basis der Stichprobe führt wieder zur t-verteilung, um die zusätzliche Unsicherheit zu kompensieren. Es gilt dann unter H 0 : T x x 0 0 n x s 1/( n1) ( x x) T~ t n1 Unter Gültigkeit von H 0 ist die Teststatistik t-verteilt mit n-1 Freiheitsgraden. Statistik für SoziologInnen 32 Testtheorie n i1 i 2

33 Beispiel: Produktionsprozess mit Sollwert: 500g Stichprobe: Fragestellung: Nr Gewicht Nr Gewicht Nr Gewicht 1 502, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,2 Lassen die Schwankungen in der Stichprobe auf eine signifikante Abweichung vom Sollwert schließen, oder handelt es sich um zufällige Schwankungen? Statistik für SoziologInnen 33 Testtheorie

34 Beispiel: Zweiseitige Fragestellung (keine Richtung vorgegeben) H 0 : = 0 =500 = 0,05 t 0,975;35 = 2,03 H 1 : t-verteilung mit n-1 Freiheitsgrade Kritischer Bereich (Ablehnungsbereich): [- -2,03] [2,03;+ ] Annahmebereich: [-2,03;+2,03] Statistik für SoziologInnen 34 Testtheorie

35 Beispiel: Nr Gewicht Nr Gewicht Nr Gewicht 1 502, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,2 Mittelwert 501,04 Varianz der Stichporbe 2,41 Standardabweichung 1,55 Standardfehler 0,26 Teststatistik 4,03 T ,26 4,03 1 ˆ ( ) n 2 2 xi x n1 i1 ˆ n kritischer Wert bei =0,05 2,03 1,55/6=0,26 Interpretation: Da der Mittelwert einer Stichprobe von 36 Verpackungseinheiten rund 501g und der Standardfehler nur rund 0,26g beträgt, wird die Nullhypothese verworfen. Man kann mit einer 95%- igen Sicherheit davon ausgehen, dass die Abweichung von der Norm in der Produktion nicht zufällig ist. Statistik für SoziologInnen 35 Testtheorie

36 Excel-Sheet Stichprobenergebnisse n= 36 xq= 501,04 s= 1,55 s(xq)= 0,258 Irrtumswahrscheinlichkeit alpha= 0,05 Freiheitsgrade= 35 kritischer t-wert= 2,0301 kritischer t-wert= 1,6896 bei zweiseitigem Test bei einseitigem Test Hypothese über den Erwartungswert H0: 500,00 Wert der Teststatistik: 4,03 p-value= 0,0001 bei einseitigem Test p-value= 0,0003 bei zweiseitigem Test Legende: xq...arithmetisches Mittel (x-quer) s...standardabweichung der Stichprobenwerte s(xq) Standardfehler Statistik für SoziologInnen 36 Testtheorie

37 Analyse mit SPSS Statistik für SoziologInnen 37 Testtheorie

38 Analyse mit SPSS Beim zweiseitigen Test impliziert ein signifikantes Ergebnis, dass das Konfidenzintervall für die Abweichung den Wert 0 nicht überdeckt. Statistik für SoziologInnen 38 Testtheorie

39 Beispiel Canadian Survey of Labour and Income Dynamics Gesamt-Mittelwert für den Stundenlohn beträgt 15,55 $ Im Rahmen einer Erhebung in einer Region wird eine Stichprobe von n=200 Angestellten befragt um festzustellen, ob sich der Lohn in dieser Region signifikant vom Gesamtmittel unterscheidet. H 0 : Lohnniveau gleich H A : Lohnniveau ungleich H 0 : = 0 =15,55 H 1 : zweiseitiger Test) Mittelwert der Stichprobe: 14,86 Standardabweichung: 7,2 Test-Statistik: -1,36 p-value (2-seitiger Test): 0,1769 Statistik für SoziologInnen 39 Testtheorie

40 Beispiel Stichprobenergebnisse n= 200 xq= 14,86 s= 7,2 s(xq)= 0,509 Irrtumswahrscheinlichkeit alpha= 0,05 Freiheitsgrade= 199 kritischer t-wert= 1,9720 kritischer t-wert= 1,6525 Hypothese über den Erwartungswert H0: 15,55 Wert der Teststatistik: -1,36 bei zweiseitigem Test bei einseitigem Test p-value= 0,0884 bei einseitigem Test p-value= 0,1769 bei zweiseitigem Test Legende: xq...arithmetisches Mittel (x-quer) s...standardabweichung der Stichprobenwerte s(xq) Standardfehler Der p-value des einseitigen Tests ist immer gleich der Hälfte p- values des zweiseitigen Tests. Statistik für SoziologInnen 40 Testtheorie

41 Beispiel: einseitiger Test auf Überschreitung In einer empirischen Studie werden 10 Raucher aus einer bestimmten Berufsgruppe befragt, wie viele Zigaretten sie täglich rauchen: Daten: 26, 34, 5, 20, 50, 44, 18, 39, 29, 19 x 28,4 Überprüfen Sie mit der Stichprobe die Hypothese, dass von Rauchern aus der untersuchten Berufsgruppe durchschnittlich mehr als 25 Zigaretten täglich geraucht werden mit einem =0,01. Gerichtete Fragestellung einseitige Hypothese H 0 : 0 25 H 1 : 0 >25 Statistik für SoziologInnen 41 Testtheorie

42 Berechnung x x n T ˆ s 1/( n1) xi n x ˆ x ˆ n i1 1 x x s 9 28, 4 25 s 13,64 T 0,789 13,64 / , 4, i , 4 186, 04 Tabellenwert t (0,99;df=9) =2,82 einseitiger Test offensichtlich kein signifikantes Ergebnis Die Nullhypothese wird beibehalten Statistik für SoziologInnen 42 Testtheorie

43 Beispiel: einseitiger Test auf Unterschreitung In einer empirischen Studie werden 10 Schüler befragt, wie viele Stunden sie wöchentlich Sport ausüben: Daten: 2, 3, 0, 6, 5, 4, 1, 3, 2, 1 x 2,7 Überprüfen Sie die Hypothese, dass durchschnittlich weniger als 5h wöchentlich für sportliche Aktivitäten verwendet werden mit einem =0,01. H 0 : 0 5 H 1 : 0 <5 Statistik für SoziologInnen 43 Testtheorie

44 Berechnung n x 0 x T ˆ s 1/( n1) ˆ xi nx x ˆ n i x 2, 7 x , 7 i s 3,57 9 2,7 5 s 1,89 T 3,85 1,89 / 10 Tabellenwert t (0,01;df=9) = -2,82 einseitiger Test offensichtlich ein signifikantes Ergebnis Die Nullhypothese wird abgelehnt Statistik für SoziologInnen 44 Testtheorie