Statistisches Testen

Transkript

1 Statistisches Testen Grundlegendes Prinzip Erwartungswert Bekannte Varianz Unbekannte Varianz Differenzen Anteilswert Chi-Quadrat Tests Gleichheit von Varianzen

2 Prinzip des Statistischen Tests Konfidenzintervall diente dazu, um Bereich festzulegen in dem ein Schätzer mit einer gewissen Wahrscheinlichkeit liegt. Testverfahren dienen dazu, um eine Entscheidung zu treffen. Typischerweise wählt man zwischen einer Nullhypothese H 0 und einer Alternative H 1, die beide präzise festgelegt werden müssen. Es kann zu zwei Fehlentscheidungen kommen: H 0 ist richtig, man entscheidet sich jedoch für H 1. H 1 ist richtig, man entscheidet sich jedoch für H 0.

3 Allgemeines zum Testprinzip: Fehler erster und zweiter Art tatsächlich gilt H 0 H 1 Testentscheidung H 0 1-α β H 1 α 1-β Fehler erster Art (α) : Wahrscheinlichkeit die Nullhypothese fälschlicherweise zu verwerfen. Fehler zweiter Art (β) : Wahrscheinlichkeit die Nullhypothese fälschlicherweise nicht zu verwerfen.

4 Allgemeines zum Testprinzip: Fehler erster und zweiter Art tatsächlich gilt H 0 H 1 Testentscheidung H 0 1-α β H 1 α 1-β Signifikanzniveau α wird von vorne herein festgelegt zb.: α = 0,05 Güte bzw. Power eines Tests (1 β) : Wahrscheinlichkeit für die korrekte Verwerfung der Nullhypothese.

5 Allgemeines zum Testprinzip: Power eines statistischen Tests Signifikanzniveau α Stichprob enumfang (+) Power eines Tests (+) Ausmaß des tatsächlichen Effektes/Unterschiedes/Zusammenhanges

6 Test für den Erwartungswert Man sucht nach Tests die bei gegebenem Signifikanzniveau α maximale Güte haben. Typischerweise wird ein Test derart durchgeführt, dass aus den Daten einer Stichprobe eine gewisse Teststatistik T berechnet wird, die mit einem zugehörigen Ablehnbereich verglichen wird Liegt T im Ablehnbereich wird die Nullhypothese verworfen und man entscheidet sich für H 1. Liegt T nicht im Ablehnbereich muss man H 0 beibehalten. Die Daten sind nicht stichhaltig genug, um sich für die Alternative zu entscheiden.

7 Test für den Erwartungswert Annahme: Stichprobe der Größe n normalverteilt mit bekannter Varianz σ und fraglichem Mittelwert µ. H 0 : µ = µ 0 H 1 : µ µ 0 Teststatistik: T = n ( 0 x µ ) σ Testentscheidung für H 1 : Ansonsten H 0 beibehalten

8 Einseitiges und zweiseitiges Testen Zweiseitiges Testen: H 0 : µ = µ 0 H 1 : µ µ 0 Testentscheidung für H 1 : Einseitiges Testen: H 0 : µ = µ 0 H 1 : µ > µ 0 Testentscheidung für H 1 : H 0 : µ = µ 0 H 1 : µ < µ 0 Testentscheidung für H 1 :

9 Test für Erwartungswert, σ unbekannt Stichprobe der Größe n, empirische Varianz s H 0 : µ = µ 0 H 1 : µ µ 0 Teststatistik: T = n( x µ 0) s Testentscheidung für H 1 : Ansonsten kann H 1 nicht verworfen werden. Einseitige Tests analog zu Fall mit σ bekannt

10 Beispiel 6-1 n = 30 Beutel Speisekartoffel, Sollwert kg. Im Mittel 1.88 kg, Standardabweichung s = 0.5 kg Teste zum Niveau α = 0.05 ob Beutel korrekt abgefüllt, Alternative: nicht korrekt abgefüllt 30( H 0 : µ =, H 1 : µ, T = =. 63 ) Testentscheidung für H 1 : Die Stichprobe bekräftigt, dass die Säcke nicht korrekt abgefüllt wurden.

11 Beispiel 6-1, Fortsetzung Berechne für das selbe Problem ein 95%-CI (µ x α, µ + x α ) mit CI = [1.787, 1.973] Man erkennt, dass der Sollwert nicht im Konfidenzintervall für den Erwartungswert liegt. Wir sehen hier den Zusammenhang zwischen Konfidenzintervallen und Testentscheidung: Ich entscheide mich im Test zum Niveau α genau dann für H 1 wenn das zu testende µ 0 nicht im (1- α) Konfidenzintervall von µ liegt.

12 Tests für Differenz zweier Mittelwerte Aufgrund von dem Zusammenhang zwischen Tests und Konfidenzintervallen ist nun klar, dass wir beim Vergleich von Mittelwerten wiederum folgende Fälle unterscheiden: 1. Verbundene Stichproben (Vorher-Nachher Vergleich): Bilde Differenzen und teste H 0 : µ = µ 0 gegen H 1 : µ µ 0. Zwei unabhängige Stichproben Bekannte Varianzen Unbekannte Varianzen, in beiden Gruppen gleich Unbekannte Varianzen, in beiden Gruppen verschieden

13 Unabhängige Stichproben (Größe n 1,n ), bekannte Varianzen σ 1, σ H 0 : µ 1 = µ H 1 : µ 1 µ Teststatistik: wobei T = µ σ D D und Testentscheidung für H 1 : Die Gestalt der Teststatistik ist für T-Tests typisch!

14 Unabhängige Stichproben (Größe n 1,n ) ; unbekannte Varianzen, Ann: σ 1 σ H 0 : µ 1 = µ H 1 : µ 1 µ Teststatistik: T = µ s D D wobei Testentscheidung für H 1 : mit wobei

15 Unabhängige Stichproben (Größe n 1,n ) ; unbekannte Varianzen, Ann: σ 1 = σ H 0 : µ 1 = µ H 1 : µ 1 µ Teststatistik: T = µ s D P mit Testentscheidung für H 1 :

16 Tests für den Anteilswert Wie schon bei der Berechnung vom α-konfidenzintervall für Anteilswerte benutzen wir auch beim Testen die Normalverteilungs - Approximation: Stichprobe der Größe n, H 0 : p = p 0, H 1 : p p 0 Teststatistik: T = n( pˆ p 0 (1 p p 0 0 ) ) Testentscheidung für H 1 : Beachte: : Kleiner Unterschied zu den Konfidenzintervallen für Anteilswerte: Verwende für die Varianz p 0!

17 Test für Differenz zweier Anteilswerte Wie für den Anteilswert selbst Normalverteilungs- Approximation (im Vergleich zum Konfidenzintervall wiederum Unterschied in der Formel für s D ) Stichproben der Größe n 1,n, H 0 : p 1 = p, H 1 : p 1 p Teststatistik: pˆ 1 pˆ T = s D mit und

18 Bsp. 6-1 Werbekampagne: 0 Personen vorher, davon 60 pos. 0 nachher befragt, davon pos. Frage: Änderung des Bekanntheitsgrades? H 0 : p 1 = p, H 1 : p 1 p p = 0.3, pˆ 0. 6 ˆ1 = T pˆ pˆ 1 Teststatistik: = = s D

19 Bsp Fortsetzung T pˆ pˆ 1 Teststatistik: = = s D Entscheide mich für die Alternativhypothese: Der Bekanntheitsgrad hat sich geändert! Einseitiger Test: H 0 : p p 1, H 1 : p > p 1 Entscheide mich für die Alternativhypothese: Der Bekanntheitsgrad hat sich gesteigert!

20 Tests für kategorielle Variablen Bisher behandelten wir Tests für Eigenschaften von metrischen Variablen. Wir möchten nun kategorielle Variablen behandeln (endlich viele Ausprägungen). Typischerweise folgen in diesem Zusammenhang die Teststatistiken einer χ Verteilung. Die Quantile der χ - Verteilung findet man in Tabelle 4, Seite 3 Wir werden 3 Situationen besprechen: 1. Test auf Unabhängigkeit zweier Variablen. Test auf Homogenität einer Variable zwischen Gruppen 3. Anpassungstest (eine Variable)

21 Klassischer χ -Test Dieser Test wird bei zwei verschiedenen Fragestellungen angewendet: 1) Besteht ein Zusammenhang zwischen zwei kategoriellen Variablen? ) Hat eine kategorielle Variable in zwei oder mehr Gruppen die selbe Verteilung? Test wird in beiden Situationen identisch durchgeführt. Entscheidend ist das Berechnen der Teststatistik aus einer Kreuztabelle.

22 χ Test am Beispiel von Tafel Frage: Gibt es einen Zusammenhang zwischen dem Geschlecht und dem Wunsch nach Lokalanästhesie vor einer Zahnbehandlung? D.h., unterscheidet sich der Anteil der, die Lokalanästhesie wünschen vom Anteil der? Nullhypothese, H 0 : Es besteht kein Zusammenhang zwischen Geschlecht und dem Wunsch nach Lokalanästhesie. (Die Anteile sind gleich) Alternativhypothese, H 1 : Es besteht ein Zusammenhang zwischen Geschlecht und dem Wunsch nach Lokalanästhesie. (Die Anteile unterscheiden sich)

23 χ Test am Beispiel von Tafel Daten der letzten beiden Tage aus einer Zahnarztpraxis: Lokalanästhesie gewünscht nicht gewünscht Anteil Lokalanästhesien bei n: 11/ = 55% Anteil Lokalanästhesien bei : 7/ = 35% Anteil Lokalanästhesien gesamt: / = 45%

24 χ Test am Beispiel von Tafel Angenommen, der Wunsch nach Lokalanästhesie ist tatsächlich unabhängig vom Geschlecht (d.h. bei n und gleich ausgeprägt), welche Zellenhäufigkeiten würden wir erwarten? Lokalanästhesie gewünscht nicht gewünscht???? Anteil Lokalanästhesien gesamt: / = 45%

25 χ Test am Beispiel von Tafel Angenommen, der Wunsch nach Lokalanästhesie ist tatsächlich unabhängig vom Geschlecht (d.h. bei n und gleich ausgeprägt), welche Zellenhäufigkeiten würden wir erwarten? Lokalanästhesie gewünscht nicht gewünscht zb: Zelle links oben: */ = 9.

26 χ Test Gesucht: Teststatistik, die den Abstand zwischen der beobachteten und der unter H 0 erwarteten Tabelle erfaßt. LA ja beobachtet unter H 0 erwartet 11 7 LA nein 9 13 LA ja 9 9 LA nein Berechne (beobachtet - erwartet) erwartet über alle 4 Zellen T = (11 9) 9 + (9 11) 11 + (7 9) 9 + (13 11) 11 = 1.616

27 LA ja LA nein Frage: Wie wahrscheinlich ist es, dieses spezielle Resultat ( T = 1.616) oder ein noch extremeres zu beobachten, unter der Annahme, dass kein Zusammenhang besteht (H 0 )? LA ja LA nein Noch extremer?:

28 LA ja LA nein Frage: Wie wahrscheinlich ist es, dieses spezielle Resultat ( T = 1.616) oder ein noch extremeres zu beobachten, unter der Annahme, dass kein Zusammenhang besteht (H 0 )? LA ja LA nein Noch extremer?:

29 LA nein LA ja

30 LA nein LA ja ,4 1,616 3,636 6,465 10,10 14,55 19,80 5,86 3,73

31 Teststatistik χ Test (allgemein) Kreuztabelle mit r Zeilen und s Spalten Teststatistik: T = r s i= 1 j= 1 ( h ij e e ij ij ) h ij beobachtete Häufigkeiten pro Zelle e ij = h i. h. j /n erwartete Häufigkeiten pro Zelle Entscheidung: H 0 wird abgelehnt falls

32 Der p-wert Bisher haben wir Testentscheidungen durchgeführt, indem wir die Teststatistik mit dem kritischen Wert verglichen haben. Alternativ kann man den entsprechenden p-wert heranziehen. p-wert: Wahrscheinlichkeit dass unter H 0 die Teststatistik (betragsmäßig) größer ist als der berechnete Wert. Testentscheidung: H 0 wird abgelehnt falls p-wert < α H 0 wird beibehalten falls p-wert α

33 χ Test mittels Computer Frage: Wie wahrscheinlich ist es in obigem Besipiel, dieses spezielle Resultat ( T = 1.616) oder ein noch extremeres zu beobachten, wenn kein Zusammenhang besteht (H 0 )? Antwort: (mittels Computer) Gesuchte Wahrscheinlichkeit für T = p = 0,36 p-wert > α = 0.05 Beide Ungleichungen sagen aus, dass H 0 nicht verworfen werden kann!

34 Durchführung des Tests mittels Computer 1) Formulieren von H 0 und H 1 ) Signifikanzniveau festlegen, z.b.: α = ) Passenden Test auswählen und durchführen 4) p-wert berechnen 5) p-wert mit Signifikanzniveau vergleichen 6) Testentscheidung: Frequency 1 Total Total Statistics for Table of geschl by Lokanae Statistic DF Value Prob Chi-Square wenn p < α H 0 verwerfen wenn p > α H 0 nicht verwefen

35 Anpassungstest Gegeben sei ein Merkmal mit m Ausprägungen. Aufgrund von n Beobachtungen sollen folgende Hypothesen getestet werden: H 0 : P(j-te Ausprägung) = p j H 1 : Mindestens eine Ausprägung hat nicht die vorgegebene Wahrscheinlichkeit p j Typisches Beispiel - Test auf Gleichverteilung: p j = 1/m

36 Anpassungstest: Teststatistik Teststatistik: T = m i= 1 ( h i e e i i ) h 1,, h m, beobachtete absolute Häufigkeiten e i = n p i, erwartete absolute Häufigkeiten Entscheidung: H 0 wird abgelehnt falls Die Quantile der χ - Verteilung findet man in Tabelle 4, Seite 3

37 Beispiel 6-13 Handelsvertreter besucht täglich Kunden Abschlüsse 0 1 > Tage Teste ob Kunden unabhängig voneinander mit p=0.05 ein Geschäft mit dem Vertreter abschließen (α = 0.01) Anzahl der täglichen Abschlüsse unter H 0 binomialverteilt mit n= und p=0.05 Erwartete Tage mit k Abschlüssen: 90 P(X=k)

38 Beispiel 6-13 Fortsetzung Abschlüsse 0 1 > Tage Unter H 0 erwartet Teststatistik: = 1.6 Aus Tabelle 4 entnimmt man H 0 kann nicht verworfen werden.

39 Test auf Gleichheit von Varianzen Die Verteilung des Quotienten zweier χ verteilter Zufallsgrößen heißt F-Verteilung Betrachte H 0 : Die Verteilungen zweier unabhängige Stichproben der Größe n 1 und n haben gleiche Varianz T = s s 1 ist F-verteilt H 0 : σ 1 = σ, H 1 : σ 1 σ H 0 wird beibehalten falls

40 Quantile der F-Verteilung Für n, m 1 und 0 < γ < 1 gilt Beachte die vertauschte Reihenfolge der Freiheitsgrade!